SEO

Robots.txt มีรูปแบบการใช้งานอย่างไร?

Robots.txt เป็นไฟล์ที่ใช้สำหรับบอกเว็บไซต์ว่าเครื่องมือค้นหาต้องการเข้าถึงหรือไม่ต้องการเข้าถึงบางส่วนของเว็บไซต์ โดยไฟล์นี้จะถูกวางไว้ในโฟลเดอร์หลักของเว็บไซต์ และเครื่องมือค้นหาจะอ่านไฟล์นี้ก่อนที่จะเริ่มการค้นหาเว็บไซต์

การใช้ Robots.txt มีประโยชน์ในการบังคับให้เครื่องมือค้นหาไม่เข้าถึงส่วนของเว็บไซต์ที่ไม่ต้องการให้เข้าถึง ซึ่งส่วนนี้อาจเป็นส่วนที่ไม่สำคัญหรือเป็นส่วนที่เป็นความลับของเว็บไซต์ นอกจากนี้ Robots.txt ยังช่วยลดการใช้ทรัพยากรของเว็บไซต์เพราะเครื่องมือค้นหาจะไม่ต้องเข้าถึงส่วนของเว็บไซต์ที่ไม่จำเป็นอีกต่อไป

การเขียนไฟล์ Robots.txt

ไฟล์ Robots.txt เป็นไฟล์ที่ใช้สำหรับบอกเว็บไซต์ว่าจะให้ Search Engine Crawler มาค้นหาเนื้อหาบนเว็บไซต์ได้ถึงใดบ้าง และจะไม่ให้ค้นหาได้ถึงไหนบ้าง ซึ่งการเขียนไฟล์ Robots.txt นั้นสามารถทำได้ง่ายๆ โดยใช้ Notepad หรือโปรแกรม Text Editor อื่นๆ และสามารถเขียนไฟล์ได้ตามรูปแบบต่างๆ ดังนี้

รูปแบบการเขียนไฟล์ Robots.txt

รูปแบบการเขียนไฟล์ Robots.txt นั้นมีหลักการที่ต้องปฏิบัติตาม ซึ่งสามารถใช้ได้กับทุกเว็บไซต์ ดังนี้

  1. ต้องเป็นไฟล์ข้อความธรรมดา (.txt)
  2. ต้องชื่อไฟล์ว่า robots.txt
  3. ต้องวางไฟล์ไว้ที่ root directory ของเว็บไซต์

ตัวอย่างการเขียนไฟล์ Robots.txt

ตัวอย่างการเขียนไฟล์ Robots.txt สำหรับเว็บไซต์ที่ไม่ต้องการให้ Search Engine Crawler ค้นหาเนื้อหาบางส่วน ดังนี้

User-agent: *
Disallow: /admin/
Disallow: /private/

โดยในตัวอย่างนี้ ไฟล์ Robots.txt จะบอก Search Engine Crawler ว่าไม่ให้ค้นหาเนื้อหาในโฟลเดอร์ /admin/ และ /private/ บนเว็บไซต์นี้

สรุป

การเขียนไฟล์ Robots.txt เป็นการบอก Search Engine Crawler ว่าจะค้นหาเนื้อหาบนเว็บไซต์ได้ถึงใดบ้าง และจะไม่ค้นหาได้ถึงไหนบ้าง การเขียนไฟล์ Robots.txt นั้นสามารถทำได้ง่ายๆ โดยใช้ Notepad หรือโปรแกรม Text Editor อื่นๆ และสามารถเขียนไฟล์ได้ตามรูปแบบต่างๆ ดังที่ได้กล่าวมาข้างต้น

การใช้งาน Robots.txt

Robots.txt เป็นไฟล์ที่อยู่บนเว็บไซต์ที่ช่วยควบคุมการเข้าถึงของเครื่องมือค้นหาเว็บไซต์ เช่น Googlebot หรือ Bingbot โดยการใช้ Robots.txt จะช่วยป้องกันการเข้าถึงของเครื่องมือค้นหาเว็บไซต์ที่ไม่ต้องการให้เข้ามาดูเนื้อหาบางส่วนของเว็บไซต์

การใช้งาน Robots.txt มีขั้นตอนง่ายๆ ดังนี้

  1. สร้างไฟล์ Robots.txt โดยใช้โปรแกรม Text editor เช่น Notepad, Sublime Text, หรือ Visual Studio Code
  2. ตั้งค่าการเข้าถึงของเครื่องมือค้นหาเว็บไซต์ที่ต้องการบล็อก โดยใช้คำสั่ง Allow หรือ Disallow เช่น
    User-agent: *
    Disallow: /admin/
    Allow: /blog/
    

    ในตัวอย่างข้างบน ไฟล์ Robots.txt จะบล็อกการเข้าถึงโฟลเดอร์ /admin/ ของเว็บไซต์ แต่อนุญาตให้เข้าถึงโฟลเดอร์ /blog/

  3. บันทึกไฟล์ Robots.txt ลงใน root directory ของเว็บไซต์

การใช้งาน Robots.txt จะช่วยป้องกันการเข้าถึงของเครื่องมือค้นหาเว็บไซต์ที่ไม่ต้องการให้เข้ามาดูเนื้อหาบางส่วนของเว็บไซต์ แต่ไม่สามารถป้องกันการเข้าถึงของผู้ใช้ทั่วไปได้ ดังนั้น การใช้งาน Robots.txt ไม่ใช่วิธีการป้องกันการเข้าถึงเว็บไซต์ทั้งหมด แต่เป็นวิธีการควบคุมการเข้าถึงเนื้อหาบางส่วนในเว็บไซต์เท่านั้น

Related Articles

Back to top button