Så här använder du Robots.txt-filen för SEO

Visste du att Robots.txt är en av de viktigaste delarna för din webbplats SEO? Vad är Robots.txt egentligen, och hur använder du det för SEO? Vi kommer att förklara det här i detta inlägg.

Vad är Robots.txt?

Det finns filer i en webbplats rotkatalog som talar om för sökmotor-crawlers och spindlar vilka sidor och filer de ska kunna se och vilka de inte ska kunna se. Webbansvariga vill ofta att deras webbplatser ska hittas av sökmotorer, men det finns tillfällen då det inte är nödvändigt. Om du lagrar privat information eller försöker spara utrymme kan du hindra sökmotorn från att indexera dina filer (exklusive tunga sidor med bilder).

Robots exclusion standard, även känd som robots exclusion protocol eller helt enkelt robots.txt, är en standard som används av webbplatserför att kommunicera med web crawlers och andra web robots.

Robotar används ofta av sökmotorer för att kategorisera webbplatser. Alla robotar samarbetar inte med standarden; e-postinsamlare, spambots, skadlig programvara och robotar som söker efter säkerhetsbrister kan till och med börja med de delar av webbplatsen där de har blivit tillsagda att hålla sig borta. Standarden kan användas tillsammans med Sitemaps, en robotinkluderingsstandard för webbplatser. – Wikipedia

Sökmotorer som använder nyckelord och metadata för att indexera webbsidor visar de mest relevanta resultaten för personer som söker efter något på internet. Det är viktigare för onlinebutiksägare att få bra sökmotorresultat än för något annat företag att få bra sökmotorresultat. Vanligtvis går människor inte förbi de första få resultatsidor från en sökmotors förslag.

Indexering görs med hjälp av spindlar eller crawlers, som rör sig runt. Det är så sökmotor-företag får och organiserar all information på internet. Dessa företag använder dessa botar.

robots.txt är filen som crawlers letar efter när de besöker en webbplats för första gången. Så snart crawlen hittar en sådan fil kommer den att leta i den efter instruktioner om hur webbplatsen ska indexeras. Det finns inga instruktioner för boten som inte kan hitta dem, så den använder sin algoritm för sin verksamhet för att söka efter dem. Detta gör att många söker efter saker på webbplatsen, men det gör också indexeringsprocessen mindre effektiv.

För att robots.txt-filen ska fungera kan det bara finnas en på webbplatsen. Ett tilläggsdomännamn måste ha en robots.txt-fil i roten av sin webbsida. Till exempel bör den finnas på https://www.domain.com/robots.txt, och den bör tala om för robotar att inte gå till den webbplatsen.

Robots.txt är också viktigt för att säkerställa att namnet på din fil heter robots.txt. Om namnet inte är rättstavat kommer det inte att fungera.

Få kontroll

Du har mer kontroll över din webbplats SEO än du tror.

Generellt sett är detta sant. Du kan välja vilka crawlers och indexerare som kan se och indexera din webbplats på sidnivå. Det finns en fil som heter robots.txt som kan användas för att säkerställa att detta inte händer igen. Det finns en enkel textfil som heter robots.txt i rotkatalogen på din webbplats. Denna fil talar om för webbrobotar att inte läsa din webbplats. Robotar kan använda denna information för att förbättra sina sökresultat för att vara mer specifika.

Eftersom det inte är allt, har du upptäckt att det är ett bra sätt att få din webbplats sedd av sökmotorer. Om du vill att sökmotorer ska gilla din webbplats, måste du göra ett gott första intryck. På rätt sätt kan användningen av robots.txt hjälpa med SEO.

Så, hur går du tillväga? Vad är syftet med detta? Vad ska du aldrig göra? Svaren på dessa frågor finns på nästa sida.

Anledningen att använda Robots.txt

Robots.txt är en fil som sök-motorer använder för att ta reda på vilka sidor på din webbplats som ska indexeras och vilka som ska hållas utanför sökresultaten. Om du till exempel anger i din Robots.txt-fil att din tack-sida inte ska vara tillgänglig för sökmotorer, kommer denna sida inte att visas i sökresultaten och kommer inte att vara tillgänglig för personer som söker efter den på webben. Vissa sidor på din webbplats måste döljas för sökmotorer både av integritetsskäl och för sökmotor-ranking. Detta är viktigt för båda.

Var hittar du din Robots-fil?

Om du har en webbplats finns robots.txt-filen i din webbplats rotkatalog. Logga in på din FTP cPanel och leta efter den i det publika HTML-området på ditt konto. Dessa filer tar inte upp mycket utrymme. De kan bara vara några hundra byte. Om du inte hittar en, måste du skapa en.

Hur Robots.txt fungerar

När sökmotorer vill indexera din webbplats skickar de ut små program som kallas ”spindlar” eller ”robotar” som genomsöker din webbplats och returnerar data till sökmotorerna. Robots.txt ”Disallow”-direktiv instruerar sökmotorer och andra program att inte söka efter vissa sidor på din webbplats som du anger i kommandot. Följande kommandon kan hittas i robots.txt-filen:

kommer att förhindra alla sökmotorrobotar från att komma åt följande sida på din webbplats: http://www.yoursite.com/thankyou

Före disallow-kommandot finns kommandot: ”User-agent: * “. User-agent-delen identifierar vilken robot du vill förbjuda.

”User-agent: Googlebot”. Detta kommando skulle bara förhindra Google-robotarna från att komma åt webbplatsen; andra skulle fortfarande kunna komma åt den: http://www.yoursite.com/thankyou

Men genom att använda ”*”-tecknet anger du att kommandona nedan refererar till alla robotar. Din robots.txt-fil skulle finnas i huvudkatalogen på din webbplats. Till exempel: http://www.yoursite.com/robots.txt

Så här sätter du ihop en Robots.txt-fil

Vem som helst kan skapa denna enkla textfil. Du behöver en textredigerare som Anteckningar för att skriva din text. Öppna en ny textfil och spara den som ”robots.txt”, skriv sedan i den. När du är i din cPanel, gå till den publika HTML-mappen och klicka på den. Börja med att se till att filen redan finns där.

Om allt ser bra ut är du klar. Endast den som äger filen ska kunna se och ändra den. För att filen ska fungera behöver den ha behörigheten ”0644”.

Om inte, högerklicka på filen och välj ”ändra behörigheter”. Där har du det! Det finns en fil som heter robots.txt som innehåller instruktioner för robotar. Robots.txt Syntax. Robots.txt-filen har flera sektioner med ”direktiv” för varje användaragent som har ställts in. Varje sektion börjar med namnet på användaragenten. Varje crawlbot identifieras av sitt användaragent-ID enligt koden.

Det finns två sätt att göra detta: Så länge du använder en wildcard kan du rikta in dig på alla sökmotorer samtidigt. Du kan välja vilka sökmotorer du vill rikta in dig på. När du startar en crawling bot kommer den att gå till de delar av webbplatsen som den har minst restriktioner för. Det kommer att gå så här:

User-Agent-direktiv

De första raderna i varje block inkluderar user-agent, som identifierar en bot. Så, till exempel: om du vill tala om för en Googlebot vad den ska göra, skulle du börja med:

User-agent: Googlebot Som regel söker sökmotorer den mest relevanta informationen.

Så länge du har ett Googlebot-Video och ett Bingbot-direktiv på plats. ”Bingbot”-användaragenten kommer att agera enligt instruktionerna. Du kan förvänta dig mer precisa instruktioner från Googlebot-Video.

Nedan listas de mest använda sökmotorrobotarna.

Disallow-direktiv

Botar kommer inte att kunna komma åt vissa delar av din webbplats om du aktiverar denna funktion. Ingenting hindrar botarna från att resa runt på internet och komma åt vilka webbplatser de vill.

Sitemap-direktiv (XML Sitemaps)

Denna meta tag talar om för sökmotorer var din sitemap finns. Du måste skicka dem till sökmotorernas Google Search Console för att de ska hittas. Det skulle hjälpa om du använde vart och ett av dessa verktyg eftersom de kan lära dig mycket om din webbplats.

När hastighet är viktigt, använd direktivet som kallas ”sitemap”.

Crawl-Delay-direktiv

Om du vill sakta ner Yahoo, Bing och Yandex lite när de genomsöker, kan du lägga till ett direktiv som kallas ”crawl-delay”. Följande kommer att hända när du lägger till denna rad i ditt block:

Crawl-Delay:10 Vänta tio sekunder innan genomsökning.

När en sökmotor är inställd kan den ställas in att vänta tio sekunder innan den genomsöker en webbplats eller tio sekunder innan den återvänder till en webbplats efter en genomsökning. Effekten är nästan densamma men något annorlunda beroende på vilken sökmotor som används. Efter en genomsökning innebär en Crawl-delay på 1 att sökmotorer kommer att börja genomsöka webbplatsen omedelbart.

Använda Google Google Search Console för att skapa Robots.txt

Välj ”crawler access” från menyraden för att snabbt skapa en robots.txt-fil med ett gratis Google Google Search Console-konto. För att skapa en grundläggande Robots.txt-fil, välj ”generera robots.txt” när du kommer till webbplatsen.

Under ”åtgärd”, välj ”blockera”, och under ”User-agent”, välj vilka robotar du inte vill se på din webbplats. Välj ”kataloger och filer” och skriv in namnen på de mappar du vill hålla utom räckhåll. ”http://www.yoursite.com” ska inte vara en del av denna strategi på något sätt, form eller vis.” Till exempel, om du inte vill att människor ska kunna se sidorna nedan, kan du:

• http://www.yoursite.com/thank-you
• http://www.yoursite.com/free-stuff
• http://www.yoursite.com/private

I Google Google Search Console, ange följande i fältet ”kataloger och filer”:/thank-you

• /free-stuff
• /private

Efter att ha angett dessa för alla robotar och klickat på ”lägg till en regel”, skulle den slutliga Robots.txt-filen se ut så här.

Efter att ha angett dessa för alla robotar och klickat på ”lägg till en regel”, skulle den slutliga Robots.txt-filen se ut så här.

Det finns ett standardkommando ”Allow” om du vill göra ett undantag och tillåta en robot att komma åt en webbplats som du har blockerat med ett kommando.

Googlebot kan bara komma åt din webbplats fotokatalog om förbudskommando placeras bredvid den. Klicka sedan på ”ladda ner” för att få din Robots.txt-fil. Klicka på ”ladda ner” när du har valt de sidor och filer du vill blockera, klicka på ”ladda ner”.

Installera din Robots.txt-fil

En fil som heter ”Robots.txt” kan nu läggas till i din webbplats CNC-områdes huvudkatalog (www). Detta innebär att den nu kan hittas. Filezilla är en bra FTP-klient för detta. Låt en webbprogrammerare skapa din robots.txt-fil efter att ha gett dem en lista över URL:er som ska blockeras från att genomsökas. Detta är ett extra alternativ. I detta fall kommer en skicklig webbutvecklare att slutföra jobbet på mindre än en timme.

Noindex vs. Disallow

Många vet inte vilken regel de ska använda i din webbplats robots.txt-fil i navigeringsfältet. Detta beror på att skälen som anges i föregående avsnitt gör att Robots.txt no index-regler inte längre fungerar.

Din webbplats kan ha en ”noindex” meta tag som du kan använda för att hindra sökmotorer från att indexera en av dina webbsidor. Som regel kommer denna tagg att låta webbrobotar besöka din webbplats, men den kommer också att tala om för sökmotorer att inte indexera din sida.

Det kanske inte är lika effektivt som noindex-taggen i längden. Disallow-regeln kanske inte är lika effektiv som denna tagg. Detta är bra eftersom robots.txt hindrar sökmotorer från att skanna din sida. Det hindrar dem inte från att indexera din sida baserat på information från andra sidor och webbplatser, vilket är bra.

Det är viktigt att komma ihåg att även om du inaktiverar och lägger till en noindex-tagg på en sida, kommer robotar inte att känna till taggen och kan fortsätta att indexera sidan även om du gör det.

Misstag du vill undvika

Du har lärt dig om de många saker du kan göra med din robots.txt-fil och hur du kan använda den. I denna del kommer vi att gå igenom varje problem mer i detalj och visa hur, om den används fel, det kan ha en dålig effekt på SEO.

Du kan inte använda en robots.txt-fil eller en ”noindex”-tagg för att hindra människor från att komma åt användbar information som du vill göra offentlig. Tidigare har vi sett många sådana saker hända med SEO. Alla har haft en dålig effekt på resultaten. Det är viktigt att säkerställa att alla dina webbsidor har noindex- och noblock-taggar och regler innan de går live.

Om du använder crawl-delay-direktiv bör du inte använda dem för ofta. Detta beror på att de begränsar antalet sidor som botar kan titta på. Å andra sidan kan en stor webbplats göra det svårare för dig att få höga rankings och få många besökare.

För att säkerställa att din robots fil läses korrekt måste du använda rätt Robots.txt-format för din fil. Alla bokstäver ska vara gemener när den är i robots fil. Den ska heta ”robots.txt”. Den kan inte fungera om den inte gör det.

Avslutning – Testa din Robots.TXT

Din fil bör nu kontrolleras för att säkerställa att den fungerar korrekt. Det finns en robots.txt-testruta som du kan använda i Google Google Search Console, men bara om du använde den gamla Google Search Console, som inte längre används. Robots.txt-testaren fungerar inte längre på grund av den senaste GSC (Google arbetar hårt med att lägga till nya funktioner i GSC, så kanske i framtiden kommer vi att kunna se Robots.txt-testaren i huvudnavigeringen).

Om du vill lära dig mer om vad Robots.txt-testaren kan göra, gå till Googles hjälpsida. Ett annat användbart verktyg finns där ute:

Välj ett projekt från rullgardinsmenyn till höger. Till exempel kan du arbeta med webbplatsen för ditt företag eller ett annat projekt.

För att ersätta den gamla robots.txt-filen med den du just skapade, måste du först ta bort allt ur rutan. För att starta ett test, klicka på ”Testa”.

Värdet för ”Testa” bör ändras till ”Tillåtet”. Detta kommer att säkerställa att din robots.txt-fil fungerar korrekt.

Genom att se till att din robots.txt-fil är korrekt kan du förbättra din sökmotorprestanda och användarupplevelsen för dina besökare samtidigt. Det är lättare för dig att kontrollera vad människor ser när de söker efter saker på din webbplats om robotar kan spendera sina dagar med att titta och indexera den.

Vanliga frågor