Robots.txt SEO: kiểm soát thu thập dữ liệu hiệu quả

Robots.txt làm được gì — và không làm được gì

Robots.txt là một tệp văn bản thuần đặt ở thư mục gốc của website (https://example.com/robots.txt). Vai trò của nó rất hẹp: cung cấp hướng dẫn thu thập dữ liệu cho các trình thu thập dữ liệu tuân thủ. Dùng nó để giảm các lần truy vấn không cần thiết trên những khu vực ít giá trị và cải thiện hiệu quả crawl; không nên dựa vào nó để điều khiển việc lập chỉ mục hoặc che giấu nội dung nhạy cảm.

Kiểm soát thu thập dữ liệu, không phải lập chỉ mục

Một chỉ thị Disallow ngăn các crawler tuân thủ truy xuất một đường dẫn URL. Nếu một trang bị chặn thu thập, công cụ tìm kiếm vẫn có thể lập chỉ mục URL dựa trên tín hiệu bên ngoài (ví dụ: liên kết) nhưng chúng sẽ không thấy HTML trang hoặc thẻ meta robots. Để ngăn việc lập chỉ mục một cách đáng tin cậy, hãy cho phép thu thập để trình thu thập dữ liệu có thể đọc thẻ meta robots noindex hoặc sử dụng header phản hồi X-Robots-Tag với noindex trên chính tài nguyên đó.

Công khai, mang tính hướng dẫn và không phải cơ chế bảo mật

Robots.txt có thể truy cập công khai và chỉ mang tính khuyến nghị: bất kỳ ai cũng có thể đọc nó tại /robots.txt, và các crawler ác ý có thể bỏ qua chỉ thị. Không liệt kê bí mật hay đường dẫn riêng tư trong robots.txt; coi nó là tài liệu điều khiển crawl, không phải cơ chế kiểm soát truy cập.

Cú pháp cơ bản và các chỉ thị thường gặp

Hầu hết site sẽ dùng một tập chỉ thị nhỏ. Đặc tả và các phần mở rộng thực tế do các công cụ tìm kiếm lớn hỗ trợ cho các mẫu cơ bản, wildcard và con trỏ sitemap. Giữ quy tắc đơn giản và ghi ý định trong chú thích khi có thể.

Các chỉ thị chính (ví dụ hiển thị dưới dạng dòng nguyên):

• User-agent: <bot-name> — nhắm tới một crawler; dùng User-agent: * cho tất cả crawler.
• Disallow: /path/ — ngăn việc truy xuất các đường dẫn dưới /path/.
• Allow: /path/file.js — cho phép rõ ràng một đường dẫn nằm trong thư mục cha bị Disallow (được các công cụ lớn hỗ trợ).
• Sitemap: https://example.com/sitemap.xml — chỉ cho crawler tới XML sitemap(các).
• Wildcards: * (khớp bất kỳ chuỗi nào) và $ (cuối chuỗi) được các công cụ lớn hỗ trợ trên thực tế; dùng cẩn thận cho các mẫu tham số truy vấn.
• Chỉ thị phi tiêu chuẩn: Crawl-delay và Host được một số crawler nhận diện nhưng không thuộc tiêu chuẩn gốc — hãy kiểm tra hành vi với các user-agent mà bạn quan tâm.

Cách robots.txt tương tác với việc lập chỉ mục và xếp hạng

Phân tách thu thập dữ liệu, lập chỉ mục và xếp hạng: robots.txt ảnh hưởng đến giai đoạn thu thập (liệu crawler có truy xuất một URL hay không). Việc lập chỉ mục đòi hỏi crawler đọc nội dung trang hoặc meta/X-Robots-Tag. Xếp hạng là quá trình tiếp theo dựa trên các tín hiệu, trong đó có tín hiệu từ nội dung trang; nếu crawler không thể truy xuất trang, những tín hiệu từ nội dung sẽ không có.

Hệ quả thực tiễn:

• Chặn một trang trong robots.txt nghĩa là công cụ tìm kiếm không thể truy xuất trang để đọc thẻ meta robots noindex hay dữ liệu có cấu trúc.
• Nếu một tài nguyên quan trọng (CSS/JS) bị chặn, lập chỉ mục ưu tiên di động và việc render có thể không nhìn thấy trang đúng cách; vì Google dùng phiên bản di động làm cơ sở chính cho thu thập và lập chỉ mục, và vì Googlebot Smartphone là crawler mặc định kể từ July 2024, hãy cho phép các tài nguyên cần thiết để render trên di động.

Xác minh: cách kiểm tra những gì crawler thực sự thấy

Kiểm tra khả năng truy cập và nội dung robots.txt từ bên ngoài và xác nhận cách site phản hồi các yêu cầu từ crawler thật. Dùng server logs, truy vấn trực tiếp và công cụ Search Console cho các trang bạn quản lý.

Kiểm tra nhanh bằng curl

Để lấy header phản hồi HTTP cho robots.txt (chỉ headers):

• curl -I https://example.com/robots.txt — trả về chỉ header phản hồi; kiểm tra status code và Content-Type.

Để lấy toàn bộ tệp với một user-agent cụ thể (HTML và các chỉ thị):

• curl -A "Googlebot" https://example.com/robots.txt — trả về nội dung tệp sử dụng chuỗi user-agent đã chỉ định.

Log máy chủ và bằng chứng thu thập thực tế

Kiểm tra log máy chủ cho các yêu cầu tới /robots.txt và các user-agent crawler như Googlebot hay Bingbot. Log cho thấy tần suất truy vấn, mã phản hồi và liệu crawler có cố gắng truy cập các URL bị cấm hay không. Với trang bạn sở hữu, dùng URL Inspection của Search Console để xem tín hiệu thu thập và lập chỉ mục; với trang bên thứ ba, truy vấn site: cho gợi ý nhưng không mang tính quyết định.

Các sai lầm phổ biến và cách khắc phục

Tránh các lỗi thường gặp sau khi quản lý robots.txt.

• Chặn CSS/JS cần thiết cho render: cách sửa — cho phép các đường dẫn tới tài sản cần cho quy trình render trên di động để Googlebot Smartphone có thể render trang chính xác.
• Mong robots.txt gây noindex cho URL: cách sửa — gỡ Disallow cho trang đó và dùng thẻ meta robots noindex hoặc header X-Robots-Tag để công cụ tìm kiếm thấy chỉ thị.
• Liệt kê URL nhạy cảm trong robots.txt: cách sửa — không tiết lộ đường dẫn riêng tư trong robots.txt; bảo vệ bằng xác thực và kiểm soát truy cập phía server thích hợp.
• Quy tắc wildcard quá phức tạp vô tình khớp các trang hợp lệ: cách sửa — kiểm tra từng mẫu với URL mẫu và ghi mục đích trong chú thích, giữ quy tắc cụ thể nhất có thể.

Các chiến lược robots.txt khuyến nghị

Áp dụng cách tiếp cận thận trọng và có thể kiểm thử: giữ robots.txt ở mức tối giản, dẫn crawler tới sitemap, và ưu tiên kiểm soát lập chỉ mục ở cấp trang bằng meta/X-Robots-Tag.

Các mẫu thực tiễn:

• Cho phép mặc định kèm sitemap: bao gồm User-agent: * và chỉ thị Sitemap để crawler có thể khám phá cấu trúc của bạn nhanh chóng.
• Chặn các trang truy vấn ít giá trị hoặc kết quả tìm kiếm nội bộ, nhưng tránh chặn các mẫu tham số vốn cũng khớp nội dung canonical; ưu tiên xử lý tham số trong sitemap hoặc qua thẻ canonical.
• Giai đoạn staging hoặc phát triển: chặn crawler khi staging công khai, nhưng gỡ hoặc thay đổi chặn trước khi ra mắt; đừng dựa vào robots.txt như biện pháp duy nhất để bảo vệ tài sản tiền sản xuất.

Ví dụ bạn có thể áp dụng

Site đơn giản có sitemap

User-agent: *
Disallow:
Sitemap: https://example.com/sitemap.xml

CMS phổ biến (cho phép admin-ajax)

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xml

Chặn staging (máy chủ công khai nhưng chưa live)

User-agent: *
Disallow: /

Cảnh báo: các chặn trên staging phải được gỡ trước khi ra mắt; đồng thời bảo mật staging bằng xác thực để công cụ tìm kiếm và bên thứ ba không vô tình lập chỉ mục nếu tệp robots bị thay đổi.

Duy trì robots.txt ở quy mô lớn

Với site lớn, coi robots.txt như một cấu hình: lưu vào source control, xem xét thay đổi trong pull request, và triển khai cùng site để staging và production có tệp đúng, theo môi trường. Tự động hóa kiểm thử lấy robots.txt đã triển khai và xác thực cú pháp quy tắc đối với các URL đại diện.

Nếu bạn vận hành nhiều subdomain, nhớ rằng robots.txt là theo host: các quy tắc tại example.com/robots.txt không áp dụng cho sub.example.com.

FAQ