ตัวอย่างการใช้ robots

     เราสามารถปกป้องข้อมูลบางอย่างภายในเว็บไซต์ที่เราไม่อยากให้ robots จาก Search Engine เข้ามายุ่งได้ โดยการใช้ไฟล์ robot.txt ซึ่งมันเป็นไฟล์ .txt ธรรมดา เวลาใช้งานเพียงแค่ อัปโหลดไปไว้ที่ root directory

       1. ถ้าไม่ต้องการให้ robots ทุกชนิด มา index ข้อมูลภายในเว็บไซต์ของเรา ทั้งเว็บไซต์ ใช้คำสั่งดังนี้

              User-agent: *

              Disallow: /

       2. ถ้าอนุญาติให้ robots บางชนิดเข้ามาเก็บข้อมูลในเว็บไซต์เรา ก็ให้ใส่คำสั่งดังต่อไปนี้คับ ( แต่เราต้องรู้ ชื่อ robots ของแต่ละที่ด้วยคับ )

             User-agent: msnbot

             User-agent: Googlebot

             Disallow:

       3. ถ้าเราไม่ต้องการให้ robots เข้ามา index บ้างไฟล์ หรือ บางโฟร์เดอร์

             User-agent: *

             Disallow: /imags

             Disallow: /cgi-bin