πώς να χρησιμοποιήσετε το robots.txt για SEO

Τι καλύπτει αυτός ο οδηγός

Αυτό το άρθρο εξηγεί τι ελέγχει και τι δεν ελέγχει το robots.txt, δείχνει σωστή σύνταξη με πρακτικά παραδείγματα, παρέχει checks με command-line που μπορείτε να εκτελέσετε και απαριθμεί βήματα αντιμετώπισης για να επανορθώσετε κοινά λάθη. Θα λάβετε επίσης συμβουλές επαλήθευσης που λειτουργούν σε περιβάλλοντα αναζήτησης του 2026 (mobile-first indexing είναι η προεπιλογή της Google από τον Ιούλιο του 2024 και η Google αφαίρεσε τις παραδοσιακές cached pages στις αρχές του 2024).

Τι είναι το robots.txt και τι ελέγχει

robots.txt είναι ένα αρχείο απλού κειμένου στον ριζικό φάκελο ενός site που μεταδίδει οδηγίες crawling σε καλά συμπεριφερόμενα web robots. Είναι μέρος του Robots Exclusion Standard. Χρησιμοποιήστε το αρχείο για να υποδείξετε στους crawlers ποιες διαδρομές μπορούν να προσπελάσουν· ελέγχει το crawling, όχι το indexing ή το ranking.

Σημαντικές διακρίσεις που πρέπει να θυμάστε:

Crawling vs indexing vs ranking — το robots.txt επηρεάζει το crawling (τι ανακτά ένας agent). Μία URL αποκλεισμένη από το crawling μπορεί να εξακολουθήσει να εμφανίζεται στο index αν άλλες σελίδες τη συνδέουν και η search engine επιλέξει να index-άρει το URL χωρίς να ανακτήσει το περιεχόμενο.

Το robots.txt είναι συμβουλευτικό — μόνο οι compliant crawlers θα το ακολουθήσουν. Κακόβουλα bots, harvesters και κάποιοι scanners μπορεί να το αγνοήσουν.

Το robots.txt δεν αντικαθιστά τους ελέγχους πρόσβασης. Χρησιμοποιήστε HTTP authentication, password protection ή ελέγχους στο server για ιδιωτικό περιεχόμενο.

Πού πρέπει να βρίσκεται το robots.txt και βασικοί κανόνες

Το robots.txt πρέπει να σερβίρεται από τη ρίζα του site στον ακριβή host και protocol για τον οποίο ισχύουν οι κανόνες. Παραδείγματα τοποθεσιών που είναι ξεχωριστές: https://example.com/robots.txt και https://sub.example.com/robots.txt. Δεν μπορείτε να τοποθετήσετε ένα robots.txt σε υποφάκελο και να περιμένετε να ελέγχει όλο το domain.

Για ευκολία και παραδείγματα σε αυτόν τον οδηγό, το κανονικό test path είναι http://www.yoursite.com/robots.txt.

Σύνταξη robots.txt και κοινές οδηγίες

Ένα ελάχιστο robots.txt χρησιμοποιεί directives ομαδοποιημένα ανά user-agent. Οι γραμμές είναι case-insensitive για τα ονόματα των directives. Τα παραδείγματα παρακάτω χρησιμοποιούν τα standard tokens που υποστηρίζουν οι περισσότερες μεγάλες crawlers:

Αποκλεισμός όλων των crawlers από ένα directory:

User-agent: *

Disallow: /private/

Επιτρέψτε ένα συγκεκριμένο αρχείο ενώ απαγορεύετε τον φάκελό του (χρήσιμο για Googlebot-style parsing):

User-agent: *

Disallow: /images/

Allow: /images/logo.png

Μπορείτε να δηλώσετε sitemaps στο robots.txt για να υποδείξετε στους crawlers το XML sitemap:

Sitemap: http://www.yoursite.com/sitemap.xml

Pattern matching: οι μεγάλες search engines υποστηρίζουν το wildcard αστερίσκο (*) και το τέλος-αλφαβήτου dollar ($) στα πρότυπα του robots.txt. Το μη-standard directive Crawl-delay αγνοείται από μερικούς engines (η Google δεν υποστηρίζει Crawl-delay).

Πρακτικά παραδείγματα

1) Επιτρέψτε σε όλους τους crawlers να προσπελάσουν τα πάντα (προεπιλεγμένη ασφαλής επιλογή):

User-agent: *

Disallow:

2) Αποκλείστε έναν μόνο crawler (π.χ. απαγορέψτε έναν συγκεκριμένο agent από όλο το περιεχόμενο):

User-agent: BadBot

Disallow: /

3) Αποτρέψτε τους crawlers από το να ανακτούν resources που χρειάζονται για rendering (συνηθισμένο λάθος — δείτε troubleshooting):

Disallow: /static/js/

Ο αποκλεισμός CSS/JS μπορεί να εμποδίσει την Google να δει τη σελίδα όπως οι χρήστες. Εφόσον η Google χρησιμοποιεί την mobile έκδοση ως βασική για το crawling and indexing και αξιολογεί τα Core Web Vitals από τη rendered σελίδα, μην αποκλείετε πόρους που απαιτούνται για το rendering.

Πώς να επαληθεύσετε και να αντιμετωπίσετε προβλήματα με το robots.txt

Βασικοί έλεγχοι που μπορείτε να εκτελέσετε από έξω από το site:

Ανάκτηση του σώματος του αρχείου: curl http://www.yoursite.com/robots.txt — αυτό επιστρέφει το περιεχόμενο που θα έβλεπε ένας crawler.

Έλεγχος μόνο headers: curl -I http://www.yoursite.com/robots.txt — επαληθεύει το HTTP status (200 vs 4xx/5xx) και το Content-Type. Το -I επιστρέφει μόνο headers της απόκρισης.

Δείτε πώς το λαμβάνουν τα browsers: ανοίξτε το https://www.yoursite.com/robots.txt σε browser και επιβεβαιώστε ότι το περιεχόμενο είναι ίδιο με του curl.

Επιθεωρήστε τα server logs για πραγματικά αιτήματα crawlers στο /robots.txt και για Googlebot ή άλλους agents που προσπαθούν να ανακτήσουν αποκλεισμένες σελίδες — τα logs είναι το πιο αξιόπιστο σήμα τρίτου μέρους για τη συμπεριφορά των crawlers.

Έλεγχοι που πρέπει να εκτελέσετε όταν είστε ιδιοκτήτης της ιδιοκτησίας:

Χρησιμοποιήστε το URL Inspection του Google Search Console για μεμονωμένες σελίδες ώστε να δείτε αν η Google έχει ανακτήσει ή ευρετηριάσει ένα URL. Το URL Inspection είναι εξουσιοδοτικό για ιδιοκτησίες που κατέχετε.

Μετά την αλλαγή του robots.txt, παρακολουθήστε τα server logs και την αναφορά Performance στο Search Console για να επιβεβαιώσετε τη συμπεριφορά crawling για σημαντικές σελίδες.

Συνηθισμένα σημάδια προβλημάτων και τι να κάνετε

Αν κατά λάθος αποκλείσατε CSS/JS — σύμπτωμα: οι σελίδες αποδίδονται διαφορετικά για τους crawlers· Λύση: αφαιρέστε τα paths των πόρων από το Disallow ώστε οι crawlers να τα ανακτούν.

Το robots.txt επιστρέφει 404/5xx — σύμπτωμα: μερικοί crawlers μπορεί να θεωρήσουν το site πλήρως crawlable ή να αναστείλουν προσωρινά το crawling· Λύση: επαναφέρετε ένα έγκυρο robots.txt που επιστρέφει 200 και σωστό Content-Type.

Αποκλείσατε ολόκληρο host ή protocol βάζοντας το robots.txt στο λάθος subdomain — σύμπτωμα: οι σελίδες εξαφανίζονται από τα crawl logs· Λύση: προσθέστε το robots.txt στο σωστό host (και ελέγξτε redirects).

Αν μια σελίδα αποκλείεται από το crawling αλλά εμφανίζεται στα αποτελέσματα αναζήτησης χωρίς snippet, αυτό δείχνει ότι το URL ευρετηριάστηκε από εξωτερικά σήματα παρόλο που το περιεχόμενο δεν ανακτήθηκε. Για να αφαιρέσετε τέτοια URLs από τα αποτελέσματα, χρησιμοποιήστε σωστή HTTP authentication, διαγράψτε τη σελίδα ή σερβίρετε μια noindex οδηγία στη σελίδα η ίδια (το noindex απαιτεί ο crawler να ανακτήσει τη σελίδα, οπότε μην την αποκλείσετε στο robots.txt αν σκοπεύετε να χρησιμοποιήσετε noindex).

Checklist: αναπτύξτε και ελέγξτε το robots.txt με ασφάλεια

Τοποθετήστε το robots.txt στη ρίζα του site για τον ακριβή host και protocol.

Δοκιμάστε το αρχείο με curl (body και headers) και σε browser.

Αποφύγετε τον αποκλεισμό CSS, JavaScript, ή άλλων assets που χρησιμοποιούνται για το rendering εκτός αν σκοπεύετε ρητά να αποτρέψετε το rendering από crawlers.

Δηλώστε sitemaps στο robots.txt για να βοηθήσετε τους crawlers να ανακαλύψουν τα indexable URLs σας.

Παρακολουθήστε server logs και Search Console για τη συμπεριφορά crawling μετά από αλλαγές.

Αν χρειάζεστε έναν βήμα-προς-βήμα οδηγό, διαβάστε το Read the Technical SEO Guide για ευρύτερο πλαίσιο πάνω στην crawlability και τα Core Web Vitals.

Πρόσθετες παρατηρήσεις για το 2026

Επειδή η Google χρησιμοποιεί την mobile έκδοση ως την κύρια βάση για crawling και indexing και επειδή οι παραδοσιακές cached pages αφαιρέθηκαν στις αρχές του 2024, περιεχόμενο που αποκρύπτεται σκόπιμα από τους crawlers μέσω robots.txt μπορεί να έχει μικρότερη πιθανότητα να εμφανιστεί σε σύγχρονες AI-driven περιλήψεις και στα Search Generative Experience features. Αν θέλετε περιεχόμενο διαθέσιμο σε AI overviews ή να χρησιμοποιηθεί για πλούσια SERP features, επιτρέψτε στους crawlers να ανακτούν και να index-άρουν τη σελίδα και χρησιμοποιήστε structured data όπου είναι κατάλληλο.

FAQ