วิธีใช้ไฟล์ robots.txt เพื่อ SEO

Robots.txt เป็นหนึ่งในปัจจัยสำคัญที่ส่งผลต่อ SEO ของเว็บไซต์ของคุณ — คุณรู้ไหมว่า Robots.txt คืออะไร และจะใช้มันเพื่อปรับปรุง SEO ได้อย่างไร? บทความนี้จะอธิบายให้คุณเข้าใจทั้งหมด

What is Robots.txt?

ไฟล์หนึ่งใน root directory ของเว็บไซต์จะบอก search engine crawlers และ spiders ว่าหน้าและไฟล์ใดควรเข้าถึงและหน้าและไฟล์ใดไม่ควรเข้าถึง ผู้ดูแลเว็บมักต้องการให้เว็บไซต์ถูกค้นพบ แต่บางครั้งก็ไม่ต้องการให้บางหน้า เช่น หน้าเก็บข้อมูลส่วนตัว หรือเพื่อประหยัดพื้นที่ ดังนั้นคุณจึงสามารถสั่งให้ search engine crawlers และ spiders ไม่ทำ indexing ไฟล์ของคุณได้ (ไม่รวมหน้าที่มีขนาดใหญ่และมีภาพจำนวนมาก)

Robots exclusion standard หรือ robots exclusion protocol หรือเรียกสั้นๆ ว่า robots.txt เป็นมาตรฐานที่เว็บไซต์ใช้กำหนดการเข้าถึงและสื่อสารกับ web crawlers และ web robots

เครื่องมือค้นหามักใช้ Robots ในการจัดประเภทเว็บไซต์ แต่ไม่ใช่ Robots ทุกตัวจะปฏิบัติตามมาตรฐาน เช่น email harvesters, spambots, malware และ Robots ที่สแกนหาช่องโหว่ด้านความปลอดภัย ซึ่งบางตัวก็อาจเริ่มจากส่วนของเว็บไซต์ที่ถูกสั่งห้ามเข้าได้ด้วยซ้ำ มาตรฐานนี้สามารถใช้ควบคู่กับ Sitemaps ซึ่งเป็นมาตรฐานการรวม Robots สำหรับเว็บไซต์ – Wikipedia

เครื่องมือค้นหาใช้ keywords และ metadata ในการจัดทำดัชนีหน้าเว็บเพื่อแสดงผลลัพธ์ที่เกี่ยวข้องกับผู้ค้นหาออนไลน์ การติดอันดับผลการค้นหาที่ดีจึงสำคัญกับเจ้าของร้านค้าออนไลน์มากกว่าธุรกิจประเภทอื่น ๆ เพราะผู้คนโดยทั่วไปมักไม่เลื่อนดูเกินไม่กี่หน้าแรกของผลการค้นหา

Indexing เกิดขึ้นเมื่อ spiders หรือ crawlers เคลื่อนที่ไปรวบรวมข้อมูล นี่คือวิธีที่ search engine companies ดึงและจัดระเบียบข้อมูลทั้งหมดบน Internet และบริษัทเหล่านี้ใช้ bots เป็นเครื่องมือ

robots.txt คือไฟล์ที่ crawler ค้นหาเมื่อเข้าเว็บไซต์ครั้งแรก เมื่อพบไฟล์นี้ crawler จะอ่านคำสั่งภายในเพื่อกำหนดวิธีจัดทำดัชนีเว็บไซต์ หากไม่พบไฟล์ crawler จะใช้อัลกอริธึมของตัวเองในการค้นหา ส่งผลให้แม้มีผู้เข้าชมจำนวนมาก การจัดทำดัชนีกลับมีประสิทธิภาพลดลง

เพื่อให้ไฟล์ robots.txt ทำงานได้อย่างถูกต้อง ต้องมีเพียงไฟล์เดียวต่อเว็บไซต์เท่านั้น สำหรับโดเมนเสริม (add-on domain) ให้วางไฟล์ robots.txt ไว้ที่รากของเว็บไซต์ เช่น https://www.domain.com/robots.txt และไฟล์ดังกล่าวควรกำหนดให้ robots ห้ามเข้าถึงเว็บไซต์นั้น

ไฟล์ robots.txt สำคัญ — ต้องตั้งชื่อไฟล์เป็น robots.txt ให้ถูกต้อง ถ้าสะกดชื่อไฟล์ผิด ไฟล์จะไม่ทำงาน

Get in control

You have more control over your site’s SEO than you think.

โดยทั่วไป ข้อนี้เป็นจริง: คุณสามารถเลือกได้ว่า crawlers และ indexers ใดจะเห็นและจัดทำดัชนีเว็บไซต์ของคุณในระดับหน้า มีไฟล์ชื่อ robots.txt ที่ใช้ป้องกันไม่ให้ robots เหล่านี้เข้าถึงหน้าเว็บที่ไม่ต้องการ ไฟล์ข้อความเรียบง่ายชื่อ robots.txt จะอยู่ที่ root directory ของเว็บไซต์ และจะบอก robots ว่าไม่ให้เข้าอ่านหน้าที่ระบุ ซึ่ง robots จะใช้ข้อมูลนี้เพื่อปรับผลการค้นหาให้เจาะจงขึ้น

แม้จะไม่ใช่ปัจจัยหลัก แต่การตั้งค่า robots.txt ให้ถูกต้องเป็นวิธีที่ดีในการทำให้เว็บไซต์ของคุณปรากฏต่อเครื่องมือค้นหา ช่วยสร้างความประทับใจแรกที่ทำให้เครื่องมือค้นหาประเมินเว็บไซต์ของคุณในเชิงบวก และปรับปรุง SEO

แล้วคุณควรเริ่มอย่างไร? จุดมุ่งหมายของบุคคลนี้คืออะไร? ข้อห้ามที่ต้องรู้มีอะไรบ้าง? คำตอบทั้งหมดอยู่ในหน้าถัดไป

The reason to use Robots.txt

Robots.txt เป็นไฟล์ที่เครื่องมือค้นหาใช้กำหนดว่าเพจใดบนเว็บไซต์ของคุณควรถูกจัดทำดัชนีและเพจใดไม่ควรปรากฏในผลการค้นหา ตัวอย่างเช่น หากคุณระบุในไฟล์ Robots.txt ว่าหน้า thank you ของคุณไม่ให้เครื่องมือค้นหาเข้าถึง หน้าเพจนั้นจะไม่ปรากฏในผลการค้นหาและผู้ค้นหาจะไม่สามารถเจอได้ บางหน้าในเว็บไซต์จำเป็นต้องถูกซ่อนจากเครื่องมือค้นหา ทั้งเพื่อความเป็นส่วนตัวและเพื่อผลต่อการจัดอันดับ ซึ่งทั้งสองอย่างมีความสำคัญ

Where to locate your Robots file?

ถ้าคุณมีเว็บไซต์ ไฟล์ robots.txt อยู่ที่ไดเรกทอรีรากของเว็บไซต์ เข้าถึงผ่าน FTP หรือ cPanel แล้วค้นหาในโฟลเดอร์ public HTML ของบัญชี ไฟล์เหล่านี้มีขนาดเล็ก มักเพียงไม่กี่ร้อยไบต์ หากไม่พบ ให้สร้างไฟล์ robots.txt ขึ้นมาในไดเรกทอรีรากของเว็บไซต์

How Robots.txt Work

เมื่อเครื่องมือค้นหาต้องการจัดทำดัชนีเว็บไซต์ของคุณ จะส่งโปรแกรมขนาดเล็กที่เรียกว่า spiders หรือ robots มา สแกนหน้าเว็บแล้วส่งข้อมูลกลับไปยังเครื่องมือค้นหา คำสั่ง Disallow ในไฟล์ robots.txt ระบุไม่ให้เครื่องมือค้นหาและโปรแกรมอื่นๆ เข้าถึงหน้าที่คุณกำหนดไว้ ไฟล์ robots.txt มักประกอบด้วยคำสั่งต่อไปนี้:

will prevent all search engine robots from accessing the following page on your site: http://www.yoursite.com/thankyou

ก่อนคำสั่ง disallow จะมีคำสั่ง User-agent: * ส่วน User-agent ระบุว่าเราต้องการห้าม robot ใด

User-agent: Googlebot — คำสั่งนี้บล็อกเฉพาะ Googlebot ไม่ให้เข้าถึงเว็บไซต์ ขณะที่บอทหรือผู้ใช้รายอื่นยังเข้าถึงได้: http://www.yoursite.com/thankyou

การใช้สัญลักษณ์ '*' หมายความว่าคำสั่งด้านล่างใช้กับ robots ทั้งหมด ไฟล์ robots.txt ของคุณต้องวางไว้ที่ไดเรกทอรีหลักของเว็บไซต์ ตัวอย่าง: http://www.yoursite.com/robots.txt

How to Put Together a Robots.txt File

ใครๆ ก็สร้างไฟล์ข้อความง่ายๆ นี้ได้ เพียงใช้โปรแกรมแก้ไขข้อความ เช่น Notepad สร้างไฟล์ใหม่ บันทึกชื่อเป็น robots.txt แล้วพิมพ์เนื้อหา หากใช้ cPanel ให้ไปที่ public HTML folder แล้วเปิดเข้าไป เริ่มจากตรวจสอบว่าไฟล์ robots.txt มีอยู่แล้วหรือไม่

เมื่อทุกอย่างเรียบร้อย ก็เป็นอันเสร็จ ไฟล์จะมองเห็นและแก้ไขได้เฉพาะเจ้าของเท่านั้น ต้องตั้งสิทธิ์เป็น 0644 จึงจะทำงานได้

ถ้าทำไม่ได้ ให้คลิกขวาที่ไฟล์แล้วเลือก "change permissions" — เท่านี้ก็เรียบร้อย! จะมีไฟล์ชื่อ robots.txt ซึ่งเก็บคำสั่งสำหรับ robots. Robots.txt Syntax: โครงสร้างของไฟล์ robots.txt แบ่งเป็นหลายส่วน โดยแต่ละส่วนเป็น "directives" สำหรับ user agent ที่กำหนด แต่ละส่วนจะเริ่มด้วยชื่อของ user agent และแต่ละ crawl bot จะถูกระบุด้วย user agent ID ในโค้ด

มีสองวิธี: หากใช้ wildcard คุณจะตั้งเป้าไปที่ทุก search engines พร้อมกันได้ หรือเลือกเฉพาะ search engines ที่ต้องการก็ได้ เมื่อเริ่มรัน crawling bot จะเข้าสำรวจส่วนของเว็บไซต์ที่มองว่ายังด้อยที่สุด แล้วจะทำงานดังนี้:

User-Agent Directive

แต่ละบล็อกเริ่มด้วยการใส่ user-agent ในไม่กี่บรรทัดแรก เพื่อระบุว่าเป็น bot ดังนั้นถ้าต้องการบอก Googlebot ว่าต้องทำอย่างไร ให้เริ่มด้วย:

User-agent: Googlebot As a rule, search engines are seeking the most relevant information.

ถ้าคุณกำหนดคำสั่งสำหรับ Googlebot-Video และ Bingbot แล้ว user agent ของ Bingbot จะปฏิบัติตามคำสั่ง ส่วน Googlebot-Video มักตอบสนองต่อคำสั่งได้แม่นยำกว่า

Listed below are the most widely used search engine robots.

Disallow Directive

เมื่อคุณเปิดใช้งานฟีเจอร์นี้ บอทจะไม่สามารถเข้าถึงบางส่วนของเว็บไซต์ของคุณได้ แต่จะไม่หยุดบอทจากการท่องอินเทอร์เน็ตหรือการเข้าถึงเว็บไซต์ใดๆ ที่ต้องการ

Sitemap Directive (XML Sitemaps)

meta tag นี้แจ้ง search engines ว่า sitemap ของคุณอยู่ที่ไหน คุณควรส่ง sitemap ไปยัง Google Search Console เพื่อให้ search engines ค้นพบ และควรใช้เครื่องมือทั้งหมดเหล่านี้เพื่อรับข้อมูลเชิงลึกเกี่ยวกับเว็บไซต์ของคุณ

When speed is important, use the directive called “sitemap.”

Crawl-Delay Directive

ถ้าคุณต้องการให้ Yahoo, Bing และ Yandex ชะลอการ crawl เล็กน้อย ให้เพิ่มคำสั่ง 'crawl-delay' ในบล็อกของคุณ ผลลัพธ์ต่อไปนี้จะเกิดขึ้นเมื่อคุณเพิ่มบรรทัดนี้:

Crawl-Delay:10 Wait ten seconds before crawling.

เมื่อกำหนดค่าเครื่องมือค้นหา คุณสามารถตั้งให้รอ 10 วินาทีก่อนเริ่ม crawl เว็บไซต์ หรือรอ 10 วินาทีก่อนกลับมาหลังการ crawl ผลจะใกล้เคียงกัน แต่จะแตกต่างเล็กน้อยขึ้นกับแต่ละเครื่องมือค้นหา หากตั้งค่า Crawl-delay เท่ากับ 1 หมายความว่าเครื่องมือค้นหาจะเริ่ม crawl เว็บไซต์ทันที

Using Google Google Search Console to create Robots.txt

จากแถบเมนู เลือก crawler access เพื่อสร้างไฟล์ robots.txt ได้อย่างรวดเร็ว โดยใช้บัญชี Google Search Console ฟรี
เมื่อเข้าไปที่หน้าไซต์ ให้เลือก generate robots.txt เพื่อสร้างไฟล์ robots.txt เบื้องต้น

ตั้งค่า "action" เป็น "block" และที่ "User-agent" ระบุ robots ที่คุณไม่ต้องการให้เข้าถึงเว็บไซต์ของคุณ เลือก "directories and files" แล้วพิมพ์ชื่อโฟลเดอร์ที่ต้องการบล็อกการเข้าถึง ห้ามนำ "http://www.yoursite.com" มาเป็นส่วนหนึ่งของกลยุทธ์นี้ในทุกกรณี ตัวอย่างเช่น หากคุณไม่ต้องการให้ผู้ใช้เห็นหน้าต่อไปนี้ คุณสามารถ:

• http://www.yoursite.com/thank-you
• http://www.yoursite.com/free-stuff
• http://www.yoursite.com/private

In Google Google Search Console, enter the following into the “directories and files” field:/thank-you

• /free-stuff
• /private

After entering these for all robots and hitting “add a rule,” the final Robots.txt file would look like this.

After entering these for all robots and hitting “add a rule,” the final Robots.txt file would look like this.

ตั้งคำสั่ง Allow เป็นค่าเริ่มต้น เพื่อใช้เป็นข้อยกเว้นเมื่อคุณต้องการอนุญาตให้ robot เข้าถึงเว็บไซต์ที่คุณเคยบล็อกด้วยคำสั่ง

Googlebot จะเข้าถึงไดเรกทอรีรูปภาพบนไซต์ของคุณได้ ก็ต่อเมื่อมี ban command วางข้างๆ เมื่อคุณเลือกหน้าหรือไฟล์ที่ต้องการบล็อก ให้คลิก download เพื่อดาวน์โหลดไฟล์ Robots.txt

Install Your Robots.txt File

คุณสามารถอัปโหลดไฟล์ Robots.txt ไปยังไดเรกทอรีหลัก (www) ของพื้นที่ CNC บนเว็บไซต์ของคุณได้แล้ว เพื่อให้ไฟล์นี้ถูกค้นพบ Filezilla เป็น FTP client ที่ดีสำหรับการอัปโหลด ให้ผู้ดูแลหรือทีมพัฒนาเว็บสร้างไฟล์ Robots.txt หลังจากที่คุณส่งรายการ URL ที่ต้องการบล็อกไม่ให้ถูกเก็บข้อมูล (crawled) นี่เป็นตัวเลือกเพิ่มเติม โดยปกตินักพัฒนาเว็บที่ชำนาญจะทำส่วนนี้เสร็จภายในไม่ถึงหนึ่งชั่วโมง

Noindex vs. Disallow

หลายคนยังไม่แน่ใจว่าควรกำหนดกฎใดในไฟล์ robots.txt ของเว็บไซต์ โดยเฉพาะในส่วนเมนูนำทาง เหตุผลที่อธิบายไว้ก่อนหน้านี้ทำให้การใช้กฎ noindex ใน robots.txt ไม่มีผลอีกต่อไป

เว็บไซต์ของคุณอาจมี meta tag noindex ที่สั่งไม่ให้เครื่องมือค้นหาจัดทำดัชนีหน้าเว็บบางหน้า แท็กนี้อนุญาตให้ web robots เข้าเยี่ยมชมหน้าได้ แต่จะบอกให้เครื่องมือค้นหาไม่จัดทำดัชนีหน้านั้น

กฎ Disallow มักมีผลน้อยกว่า noindex tag ในระยะยาว. robots.txt ป้องกันไม่ให้ search engines crawl หน้าเว็บของคุณ แต่ไม่ได้ป้องกันการที่พวกเขาจะ index หน้านั้นโดยอาศัยการอ้างอิงจากหน้าอื่นหรือเว็บไซต์อื่น ซึ่งบางกรณีก็เป็นข้อดี.

ควรจำไว้ว่า แม้จะปิดหน้าและเพิ่มแท็ก noindex แล้ว robots อาจไม่ตรวจพบแท็กนั้น และยังคงจัดทำดัชนีหน้าอยู่ได้

Mistakes you will want to avoid

หลังจากที่คุณเข้าใจความสามารถของไฟล์ robots.txt และวิธีใช้งานแล้ว เราจะแสดงปัญหาแต่ละข้ออย่างละเอียด และอธิบายว่าการใช้งานผิดพลาดจะส่งผลเสียต่อ SEO อย่างไร

คุณไม่สามารถใช้ robots.txt หรือแท็ก noindex เพื่อบล็อกการเข้าถึงข้อมูลที่เป็นประโยชน์ซึ่งคุณต้องการเผยแพร่ต่อสาธารณะได้ ในอดีตเราเคยเห็นเหตุการณ์นี้ในการทำ SEO หลายครั้ง และทั้งหมดส่งผลเสียต่อผลลัพธ์ ดังนั้นจึงสำคัญที่จะตรวจให้แน่ใจว่าหน้าเว็บทั้งหมดของคุณมีแท็กและกฎ noindex และ noblock ก่อนเผยแพร่

อย่าใช้คำสั่ง crawl-delay บ่อยเกินไป เพราะจะจำกัดจำนวนหน้าที่ bots ตรวจสอบได้ และสำหรับเว็บไซต์ขนาดใหญ่จะทำให้การขึ้นสู่อันดับสูงและการดึงผู้เข้าชมจำนวนมากยิ่งยากขึ้น

ไฟล์ robots.txt ต้องใช้ตัวอักษรพิมพ์เล็กทั้งหมดและตั้งชื่อว่า robots.txt เพื่อให้ถูกอ่านอย่างถูกต้อง หากไม่เป็นเช่นนี้ ไฟล์จะไม่ทำงาน

Closing – Test Your Robots.TXT

ตอนนี้ควรตรวจสอบไฟล์ robots.txt ว่ายังทำงานถูกต้องหรือไม่ ในอดีต Google Search Console (GSC) เคยมีเครื่องมือ Robots.txt tester แต่มีเฉพาะในเวอร์ชันเก่าและถูกเลิกใช้ ปัจจุบัน Robots.txt tester ยังไม่สามารถใช้งานได้ใน GSC เวอร์ชันล่าสุด อย่างไรก็ตาม Google กำลังพัฒนาเพิ่มฟีเจอร์ให้ GSC ดังนั้นในอนาคตเราอาจเห็น Robots.txt tester ปรากฏในเมนูหลัก

หากต้องการทราบรายละเอียดเพิ่มเติมเกี่ยวกับการใช้งาน Robots.txt tester ให้ดูที่ Google’s help page. อีกหนึ่งเครื่องมือที่มีประโยชน์คือ:

เลือกโปรเจกต์จากเมนูแบบเลื่อนลงด้านขวา เช่น เว็บไซต์ของบริษัทคุณหรือโปรเจกต์อื่นๆ

หากต้องการแทนที่ไฟล์ robots.txt เก่าด้วยไฟล์ที่เพิ่งสร้าง ให้ลบข้อความในช่องทั้งหมด แล้วคลิก Test เพื่อเริ่มทดสอบ

The value of “Test” should be changed to “Allowed.” This will make sure that your robots.txt file is working right.

การตรวจสอบให้ไฟล์ robots.txt ถูกต้องช่วยให้เว็บไซต์ทำงานกับเครื่องมือค้นหาได้ดีขึ้นและยกระดับประสบการณ์ผู้ใช้ เมื่อ robots สามารถสำรวจและจัดทำดัชนีเว็บไซต์ได้อย่างถูกต้องและต่อเนื่อง คุณจะควบคุมได้ง่ายขึ้นว่าผู้ค้นหาจะเห็นเนื้อหาใดบนเว็บไซต์ของคุณ

Frequently asked questions