Thu thập và lập chỉ mục: hướng dẫn khám phá công cụ tìm kiếm

Định nghĩa cốt lõi: thu thập (crawling), lập chỉ mục (indexing), xếp hạng (ranking)

Xem crawling và indexing là hai giai đoạn khác nhau. Crawling là quá trình phát hiện và lấy nội dung: một crawler truy cập các URL, lấy phản hồi từ server và ghi nhận những tài nguyên ảnh hưởng đến việc render. Indexing là giai đoạn đánh giá và lưu trữ: sau khi một trang được lấy và (thường) render, công cụ tìm kiếm sẽ quyết định có lưu trang vào chỉ mục hay không và có cho phép xuất hiện trong kết quả tìm kiếm. Ranking là giai đoạn riêng biệt sắp xếp nội dung đã được lập chỉ mục cho truy vấn. Các vấn đề ở giai đoạn crawl hoặc index có thể khiến trang không bao giờ vào cuộc đua xếp hạng.

Cách crawling hoạt động trong thực tế

Khi một crawler yêu cầu một URL, nó kiểm tra mã trạng thái HTTP, redirect, header phản hồi và HTML/CSS/JS server trả về. Crawler phát hiện liên kết (thẻ a HTML, entry trong sitemap, liên kết hreflang), tài nguyên nhúng và script có thể sinh thêm URL để lấy. Những điểm vận hành quan trọng:

• Crawlers theo dõi liên kết nội bộ và backlink bên ngoài như tín hiệu phát hiện.

• Robots.txt được kiểm tra trước khi lấy trang; nó có thể ngăn crawling nhưng không nhất thiết ngăn lập chỉ mục nếu còn tín hiệu khác.

• JavaScript rendering: nhiều crawler hiện đại render trang, nhưng các tài nguyên bị chặn hoặc chậm có thể ngăn render và che mất nội dung. Dùng server-side rendering hoặc đảm bảo nội dung quan trọng có trong HTML ban đầu khi có thể.

• Ngân sách crawl và tần suất: các công cụ tìm kiếm ưu tiên những URL nào cần truy cập lại. Các site rất lớn nên quản lý bề mặt URL có thể lập chỉ mục để tránh việc crawler truy xuất các trang giá trị thấp không cần thiết.

Lập chỉ mục: yếu tố quyết định trang có được lưu hay không

Quyết định lập chỉ mục sử dụng nhiều tín hiệu: robots thẻ meta, X-Robots-Tag headers, canonical tags, chất lượng nội dung, trùng lặp và structured data. Được crawled là cần thiết nhưng chưa đủ để lập chỉ mục — một trang có thể bị crawled nhưng không được đưa vào chỉ mục nếu công cụ cho là giá trị thấp hoặc được chỉ dẫn loại trừ rõ ràng.

Ví dụ thực tế về các chỉ thị ảnh hưởng đến lập chỉ mục:

• Ví dụ meta robots trong HTML: <meta name="robots" content="noindex, nofollow">

• Ví dụ canonical: <link rel="canonical" href="https://example.com/preferred-page">

• Ví dụ header HTTP (X-Robots-Tag): X-Robots-Tag: noindex

Xác minh: cách kiểm tra crawling và lập chỉ mục (trang của bạn vs bên thứ ba)

Với các trang bạn sở hữu (kiểm tra chính chủ)

Sử dụng Google Search Console's URL Inspection để xác nhận trạng thái crawl và index, xem render trực tiếp, và thấy vấn đề coverage cho URL đó. Báo cáo Coverage và Pages giúp xác định nhóm vấn đề về lập chỉ mục. Dùng Rich Results Test để xác thực structured data và kiểm tra xem kết quả có đủ điều kiện cho các tính năng mở rộng hay không.

Với trang của bên thứ ba/nhà xuất bản (xác minh bên ngoài)

Khi bạn không kiểm soát domain, dựa vào các tín hiệu công khai và fetch trực tiếp. Dùng curl và trình duyệt để kiểm tra HTML mà site trả, kiểm tra header HTTP, và xác nhận link tồn tại trong source trang và DOM đã render. Ví dụ lệnh:

• Lấy chỉ headers: curl -I https://example.com/page (chỉ trả về headers phản hồi).

• Lấy HTML dưới user-agent di động: curl -A "Mozilla/5.0 (Linux; Android 12)" https://example.com/page (lấy toàn bộ phản hồi HTML cho UA đó).

• Kiểm tra DOM đã render bằng Chrome DevTools Elements panel hoặc headless renderer để đảm bảo link không được chèn sau theo cách mà công cụ tìm kiếm có thể không thực thi.

Dùng toán tử site: (ví dụ site:publisher.com "unique phrase") như chỉ báo lập chỉ mục công khai — hữu ích nhưng không mang tính quyết định. Với Bing, dùng Bing Webmaster Tools Site Explorer để kiểm tra tín hiệu lập chỉ mục.

Những lỗi phổ biến và cách khắc phục

• Robots.txt chặn tài nguyên quan trọng: robots.txt có thể ngăn crawler lấy CSS/JS cần thiết để render nội dung. Giải pháp: cho phép các asset quan trọng hoặc dùng server-side rendering cho nội dung cốt lõi.

• Vô tình để noindex hoặc header X-Robots-Tag: kiểm tra template, quy tắc staging và cấu hình CDN edge xem có header thêm noindex. Dùng curl -I để kiểm tra headers.

• Sử dụng canonical sai: trỏ nhiều trang về canonical sai có thể khiến các trang ưu tiên bị loại khỏi chỉ mục. Đảm bảo liên kết canonical trỏ đến phiên bản nội dung tốt nhất.

• Trang giá trị thấp bị lập chỉ mục quá nhiều (điều hướng faceted, lưu trữ mỏng): giảm các biến thể có thể lập chỉ mục bằng canonicalization, xử lý tham số, hoặc đặt noindex cho các biến thể ít giá trị.

• Dựa nhiều vào client-side rendering mà không có server fallback: đảm bảo nội dung quan trọng xuất hiện trong HTML ban đầu hoặc được render nhanh; nếu không crawler có thể không thực thi script cần thiết hoặc mất nhiều thời gian hơn để lập chỉ mục.

Checklist kiểm toán thực tế

Hướng dẫn nhanh để tìm và sửa các vấn đề phát hiện/lập chỉ mục. Làm từ trên xuống các trang hoặc mục site bạn quan tâm nhất.

1. Xác nhận URL canonical dự kiến được phục vụ trong HTML và không xung đột với redirect phía server.
2. Kiểm tra robots.txt xem có disallow ảnh hưởng đến trang hoặc asset CSS/JS: curl https://example.com/robots.txt
3. Kiểm tra headers phản hồi: curl -I https://example.com/page và xem X-Robots-Tag, mã trạng thái và giá trị cache-control.
4. Xác thực meta robots trong HTML trang: đảm bảo bạn không vô tình để noindex.
5. Dùng URL Inspection (Search Console) để có thông tin crawl và index có thẩm quyền cho các trang bạn sở hữu, và chạy Live Test để xem đầu ra đã render hiện tại.
6. Kiểm tra liên kết nội bộ: đảm bảo các trang quan trọng được liên kết từ menu chính, trang danh mục, hoặc nội dung ngữ cảnh để crawler có thể tiếp cận trong độ sâu hợp lý.
7. Kiểm toán nội dung trùng và gần trùng: quyết định phiên bản nào nên được lập chỉ mục và đặt canonical hoặc dùng noindex khi phù hợp.

Cập nhật cho 2026 bạn nên biết

Google dùng phiên bản di động làm cơ sở chính để crawling và lập chỉ mục. Kể từ July 2024, Google crawls sites for Search với Googlebot Smartphone theo mặc định. Google cũng đã loại bỏ trang cached truyền thống vào đầu 2024, nên chế độ 'Cached' không còn là công cụ gỡ lỗi. Search Generative Experience / AI Overviews giờ đã phổ biến trong nhiều SERP; việc được lập chỉ mục không đảm bảo trang sẽ xuất hiện trong tóm tắt AI, vì chúng dùng logic chọn lọc và tóm tắt bổ sung.

Mẹo khắc phục sự cố thêm

Nếu trang không được lập chỉ mục dù có thể crawl, kiểm tra server logs để xác nhận các lần truy vấn của crawler và mã phản hồi. Server logs cho biết crawler nhận được 200, 3xx, 4xx hay 5xx và user-agent nào đã được dùng. TTFB chậm, lỗi 5xx thường xuyên, hoặc giới hạn tần suất quá chặt có thể giảm tần suất truy cập lại.

Với site nặng JavaScript, so sánh HTML thô (curl) với DOM đã render (DevTools) để tìm nội dung không bao giờ hiện ra nếu thiếu tương tác người dùng. Nếu nội dung quan trọng cần tương tác, hiển thị phiên bản server-rendered hoặc pre-rendered cho crawler.

Tham khảo nhanh: công cụ hữu ích

• Google Search Console (URL Inspection, báo cáo Coverage).

• Rich Results Test và Schema Markup Validator cho structured data.

• Chrome DevTools (Network, Performance, Elements) và headless renderer.

• curl để kiểm tra header và nội dung; server logs cho bản ghi crawl có thẩm quyền; Bing Webmaster Tools Site Explorer để kiểm tra chỉ mục Bing.

Câu hỏi thường gặp

Làm sao biết Google đã lập chỉ mục một trang cụ thể chưa?

Với các trang bạn sở hữu, phương pháp có thẩm quyền là URL Inspection của Google Search Console. Nó hiển thị trạng thái crawl, index và đủ điều kiện rich result. Với trang của bên thứ ba, các tín hiệu công khai như toán tử site: có thể gợi ý nhưng không chắc chắn; dùng curl và kiểm tra DOM đã render để xác nhận nội dung trang và headers.

Nếu một trang đã bị crawled nhưng chưa vào chỉ mục, tôi nên kiểm tra gì trước?

Kiểm tra thẻ meta noindex hoặc header X-Robots-Tag, xung đột canonical trỏ sang nơi khác, nội dung mỏng hoặc trùng lặp, và tài nguyên chặn render. Dùng curl -I để xem headers và URL Inspection Live Test để xem đầu ra đã render.

Việc lập chỉ mục ưu tiên di động có thay đổi cách tôi kiểm tra khả năng crawl không?

Có: kiểm tra trải nghiệm di động (smartphone) trước vì Google dùng phiên bản di động làm cơ sở chính cho crawling và lập chỉ mục. Xác nhận nội dung chính, structured data, và liên kết nội bộ hiện diện và render đúng dưới user-agent di động.

Việc được lập chỉ mục có đảm bảo xuất hiện trong AI Overviews hoặc tính năng SERP không?

Không. Lập chỉ mục là cần thiết để xuất hiện trong kết quả tìm kiếm, nhưng AI Overviews và các tính năng SERP khác dùng logic lựa chọn và tóm tắt bổ sung. Structured data, độ rõ ràng nội dung và bối cảnh có thẩm quyền tăng khả năng được chọn, nhưng không có gì đảm bảo.