Feltérképezés és indexelés: keresőmotor útmutató

Alapfogalmak: feltérképezés, indexelés, rangsorolás

Tekintse a feltérképezést és az indexelést két külön szakasznak. A feltérképezés a felfedezés és lekérés: egy feltérképező URL-eket látogat meg, lekéri a szerver választ, és rögzíti a renderelést befolyásoló erőforrásokat. Az indexelés az értékelés és tárolás szakasza: miután egy oldal le van kérve és (általában) renderelve, a kereső dönt arról, hogy tárolja-e az indexben és jogosulttá teszi-e a találatok között való megjelenésre. A rangsorolás külön szakasz, amely az indexelt tartalmat rendezi a lekérdezések. Hibák a feltérképezés vagy indexelés szakaszában megakadályozhatják, hogy egy oldal valaha versenyezzen a rangsorolásért.

Hogyan működik a feltérképezés a gyakorlatban

Ha egy feltérképező lekér egy URL-t, figyeli a HTTP státuszkódokat, átirányításokat, válaszfejléceket és a szerver által visszaküldött HTML/CSS/JS fájlokat. Felfedezi a linkeket (HTML horgonyok, sitemap-bejegyzések, hreflang-linkek), beágyazott erőforrásokat és azokat a scripteket, amelyek további URL-eket generálhatnak. Fontos működési pontok:

• A feltérképezők belső linkeket és külső backlinkeket követnek felfedezési jelként.

• Robots.txt ellenőrzése a lapok lekérése előtt történik; megakadályozhatja a feltérképezést, de ha más jelek vannak, nem feltétlenül akadályozza az indexelést.

• JavaScript renderelés: sok modern feltérképező rendereli az oldalakat, de a blokkolt vagy lassú erőforrások megállíthatják a renderelést és elrejthetik a tartalmat. Használjon szerveroldali renderelést, vagy ahol lehetséges, biztosítsa, hogy a kritikus tartalom elérhető legyen a kezdeti HTML-ben.

• Crawl budget és gyakoriság: keresőmotorok priorizálják, mely URL-eket érdemes újra felkeresni. Nagyon nagy oldalaknak kezelniük kell az indexelhető URL-felületeket, hogy elkerüljék az alacsony értékű oldalak fölösleges feltérképezését.

Indexelés: mi határozza meg, hogy egy oldal bekerül-e az indexbe

Az indexelési döntéseknél sok jel szerepel: robots meta tagek, X-Robots-Tag fejlécek, canonical tagek, tartalomminőség, duplikáció és strukturált adatok. A feltérképezés szükséges, de nem elégséges az indexeléshez — egy oldal le lehet térképezve, mégsem kerülhet be az indexbe, ha a kereső alacsony értékűnek ítéli vagy kifejezetten kizárásra utasították.

Gyakorlati példák az indexelést befolyásoló direktívákra:

• HTML meta robots példa: <meta name="robots" content="noindex, nofollow">

• Canonical példa: <link rel="canonical" href="https://example.com/preferred-page">

• HTTP fejléc példa (X-Robots-Tag): X-Robots-Tag: noindex

Ellenőrzés: hogyan ellenőrizze a feltérképezést és indexelést (saját oldal vs. harmadik fél)

Saját oldalak (hiteles ellenőrzés)

Használja a Google Search Console URL Inspection funkciót a feltérképezés és index állapotának megerősítéséhez, a live render megtekintéséhez és a lefedettségi problémák feltárásához az adott URL-en. A Coverage és Pages jelentések segítenek az indexálási problémák csoportjainak megtalálásában. A Rich Results Testtel validálhatja a strukturált adatokat és ellenőrizheti, hogy egy találat jogosult-e kibővített megjelenésre.

Harmadik fél / kiadói oldalak esetén (külső ellenőrzés)

Ha nem Ön kezeli a domaint, támaszkodjon nyilvános jelekre és élő lekérésekre. Használjon curl-t és böngészőt az oldal által szolgáltatott HTML ellenőrzéséhez, vizsgálja a HTTP fejléceket, és győződjön meg róla, hogy a link benne van a forrásban és a renderelt DOM-ban. Példa parancsok:

• Csak a fejlécek lekérése: curl -I https://example.com/page (csak a válaszfejléceket adja vissza).

• HTML lekérése mobil user-agenttel: curl -A "Mozilla/5.0 (Linux; Android 12)" https://example.com/page (lekéri a teljes HTML-választ az adott UA-hoz).

• Ellenőrizze a renderelt DOM-ot a Chrome DevTools Elements paneljében vagy egy headless rendererrel, hogy megbizonyosodjon arról, a linket nem később injektálják-e be olyan módon, amelyet a keresőmotorok esetleg nem hajtanak végre.

Használja a site: operátort (pl. site:publisher.com "unique phrase") mint nyilvános indexáltsági jelzőt — hasznos lehet, de nem végleges. Bing esetén használja a Bing Webmaster Tools Site Explorerét az indexelési jelek ellenőrzéséhez.

Gyakori hibák és javításuk

• Robots.txt fontos erőforrások blokkolása: a robots.txt megakadályozhatja, hogy a feltérképezők lekérjék a tartalom rendereléséhez szükséges CSS/JS fájlokat. Megoldás: engedélyezze a kritikus erőforrásokat, vagy használjon szerveroldali renderelést a lényegi tartalomhoz.

• Véletlen noindex vagy X-Robots-Tag fejléc: ellenőrizze a sablonokat, staging szabályokat és a CDN edge konfigurációt olyan headerek után kutatva, amelyek noindexet adnak hozzá. Használja a curl -I parancsot a headerek ellenőrzéséhez.

• Hibás canonical használat: ha sok oldal a rossz canonicalra mutat, az eltávolíthatja a preferált oldalakat az indexből. Győződjön meg róla, hogy a canonical linkek a legjobb, egyedi tartalomverzióra mutatnak.

• Túlzottan indexált, alacsony értékű oldalak (faceted navigation, vékony archívumok): csökkentse az indexelhető permutációkat canonicalizációval, paraméterkezeléssel vagy szándékos noindexszel az alacsony értékű változatoknál.

• Erős függés a kliensoldali rendereléstől szerveroldali fallback nélkül: biztosítsa, hogy a kritikus tartalom megjelenjen a kezdeti HTML-ben vagy gyorsan renderelődjön; különben a feltérképezők nem feltétlenül futtatják a szükséges scripteteket, vagy lassabban indexelik a tartalmat.

Gyakorlati audit-ellenőrzőlista

Gyors áttekintés a felfedezési/indexálási problémák megtalálásához és javításához. Dolgozzon felülről lefelé azokon az oldalakon vagy site-szakaszokon, amelyek Önnek a legfontosabbak.

1. Ellenőrizze, hogy a kívánt canonical URL szerepel-e a HTML-ben, és nincs-e ütközés a szerveroldali átirányításokkal.
2. Ellenőrizze a robots.txt-et azokra a disallow szabályokra, amelyek az oldalt vagy a CSS/JS erőforrásokat érintik: curl https://example.com/robots.txt
3. Vizsgálja meg a válaszfejléceket: curl -I https://example.com/page és nézze meg az X-Robots-Tag-et, státuszkódokat és cache-control értékeket.
4. Ellenőrizze a meta robots-ot az oldal HTML-jében: győződjön meg róla, hogy nem hagyta véletlenül noindexen.
5. Használja az URL Inspectiont (Search Console) a hiteles feltérképezési és indexelési adatokhoz a saját oldalain, és futtassa a Live Testet a jelenlegi renderelt kimenet megtekintéséhez.
6. Ellenőrizze a belső linkelést: biztosítsa, hogy a fontos oldalak elérhetők legyenek a globális navigációból, kategóriaoldalakról vagy kontextuális tartalmakból, hogy a feltérképezők ésszerű mélységen belül elérjék őket.
7. Auditálja a duplikált és közelduplikált tartalmakat: döntse el, mely verziók kerüljenek indexelésre, canonicalizálja vagy használjon noindexet, ahol szükséges.

2026-os kontextusfrissítések, amelyekről tudnia kell

Google a mobil verziót használja elsődleges bázisként a feltérképezéshez és indexeléshez. 2024 júliusa óta a Google alapértelmezés szerint a Googlebot Smartphone-tal feltérképezi a keresésre szánt oldalakat. A Google 2024 elején eltávolította a hagyományos cached oldalakat, így a 'Cached' nézet már nem használható hibakeresésre. A Search Generative Experience / AI Overviews sok SERP-ben már általános; az, hogy egy oldal indexelve van, nem garantálja, hogy megjelenik az AI-összefoglalókban, amelyek további kiválasztási és összegzési logikát alkalmaznak.

További hibakeresési tippek

Ha az oldalak nem kerülnek indexelésre annak ellenére, hogy feltérképezhetők, vizsgálja meg a szerverlogokat, hogy megerősítse a feltérképezői lekéréseket és a válaszkódokat. A szerverlogok megmutatják, hogy a feltérképezők 200, 3xx, 4xx vagy 5xx válaszokat kaptak-e és mely user-agenteket használták. Lassú TTFB, gyakori 5xx hibák vagy agresszív rate limit-ek csökkenthetik az újrafelderítés gyakoriságát.

JavaScript-igényes oldalaknál hasonlítsa össze a nyers HTML-t (curl) a renderelt DOM-mal (DevTools), hogy megtalálja azokat a tartalmakat, amelyek felhasználói interakció nélkül soha nem jelennek meg. Ha a kritikus tartalom interakciót igényel, kínáljon a feltérképezőknek szerveroldalon renderelt vagy előrenderelt verziót.

Gyors referencia: hasznos eszközök

• Google Search Console (URL Inspection, Coverage jelentés).

• Rich Results Test és Schema Markup validátor a strukturált adatokhoz.

• Chrome DevTools (Network, Performance, Elements) és headless rendererek.

• curl a fejlécek és tartalom ellenőrzéséhez; szerverlogok a hiteles feltérképezési rekordokhoz; Bing Webmaster Tools Site Explorer a Bing index-ellenőrzésekhez.

Gyakran ismételt kérdések (GYIK)

Honnan tudhatom, hogy a Google indexelte-e egy adott oldalt?

Saját oldalainál a hiteles módszer a Google Search Console URL Inspection-je. Megmutatja a feltérképezési, indexelési és rich result jogosultságot. Harmadik féltől származó oldalaknál a nyilvános jelek, mint a site: operátor, jelző értékűek lehetnek, de nem véglegesek; használjon curl-t és renderelt DOM ellenőrzést a tartalom és headerek megerősítéséhez.

Ha egy oldal le van térképezve, de nincs indexelve, mit ellenőrizzen először?

Ellenőrizze a noindex meta tageket vagy X-Robots-Tag fejléceket, olyan canonical konfliktusokat, amelyek máshová mutatnak, vékony vagy duplikált tartalmat és renderelést blokkoló erőforrásokat. Használja a curl -I-t a fejlécek ellenőrzéséhez és az URL Inspection Live Testet a renderelt kimenet megtekintéséhez.

Megváltoztatja-e a mobile-first indexelés, hogyan auditálja a feltérképezhetőséget?

Igen: először ellenőrizze a mobil (smartphone) élményt, mert a Google a mobil verziót használja elsődleges bázisként a feltérképezéshez és indexeléshez. Ellenőrizze, hogy a kulcsfontosságú tartalom, a strukturált adatok és a belső linkek jelen vannak-e és helyesen renderelődnek-e mobil user-agent alatt.

Garantálja-e az indexelés, hogy egy oldal bekerül az AI Overviews-ba vagy a SERP funkciókba?

Nem. Az indexelés szükséges a megjelenéshez a keresési eredmények között, de az AI Overviews és más SERP funkciók további kiválasztási és összegzési logikát alkalmaznak. A strukturált adatok, a tartalom tisztasága és a hiteles kontextus növelik a bekerülés esélyét, de nincs rá garancia.