CodeKitHubΤι είναι αυτό το εργαλείο;
Το robots.txt είναι ένα αρχείο απλού κειμένου στη ρίζα του site σας που ενημερώνει τους web crawlers ποια μέρη του site επιτρέπεται ή όχι να επισκεφτούν. Μηχανές αναζήτησης όπως η Google και το Bing το σέβονται για την ευρετηρίαση· το 2026 είναι επίσης ο καθιερωμένος τρόπος με τον οποίο τα sites εξαιρούν το περιεχόμενό τους από την εκπαίδευση μοντέλων AI, μέσω συγκεκριμένων ονομάτων bot όπως GPTBot, CCBot και Google-Extended.
Η σωστή σύνταξη έχει σημασία — μια λάθος διαδρομή Disallow μπορεί κατά λάθος να αποκλείσει τις μηχανές αναζήτησης από ολόκληρο το site σας, ή ένας κανόνας αποκλεισμού AI τοποθετημένος λάθος μπορεί τελικά να μην αποκλείει τίποτα. Αυτός ο δημιουργός παράγει συντακτικά σωστό αποτέλεσμα για κάθε σενάριο.
Μετά από σχεδόν τρεις δεκαετίες ως άτυπη σύμβαση από το 1994, το Robots Exclusion Protocol τυποποιήθηκε επιτέλους ως RFC 9309 το 2022 — οι κανόνες που παράγει αυτός ο δημιουργός (User-agent, Disallow, Allow, καθώς και η επέκταση Sitemap) ακολουθούν αυτή τη προδιαγραφή.
Γιατί να το χρησιμοποιήσετε;
- Ειδικό πρότυπο αποκλεισμού AI crawlers που καλύπτει τα GPTBot, ChatGPT-User, CCBot, Google-Extended, ClaudeBot, Bytespider και anthropic-ai — διατηρώντας ρητά την πρόσβαση των μηχανών αναζήτησης.
- Προσαρμοσμένες διαδρομές disallow για περιεχόμενο που θέλετε κρυφό από όλους τους crawlers.
- Πεδίο URL sitemap — μια μικρή προσθήκη που βοηθά τις μηχανές αναζήτησης να ανακαλύψουν τις σελίδες σας πιο γρήγορα.
- Σωστή σύνταξη κάθε φορά — κανένας κίνδυνος ένα τυχαίο τυπογραφικό λάθος να αποκλείσει ολόκληρο το site σας.
- Δωρεάν, άμεσο, κατεβάστε το αρχείο απευθείας ή αντιγράψτε το κείμενο.
Πώς χρησιμοποιείται
- Επιλέξτε ένα πρότυπο: επιτρέψτε τα πάντα, αποκλείστε τα πάντα, ή αποκλείστε μόνο τους AI crawlers.
- Προαιρετικά προσθέστε προσαρμοσμένες διαδρομές disallow, μία ανά γραμμή (π.χ. /admin/).
- Προαιρετικά προσθέστε το URL του sitemap σας.
- Κάντε κλικ στο Αντιγραφή ή Λήψη, και ανεβάστε το αρχείο στη ρίζα του site σας ως /robots.txt.
Παράδειγμα
Είσοδος
Πρότυπο: Αποκλεισμός AI crawlers, διατήρηση μηχανών αναζήτησης. Sitemap: https://example.com/sitemap.xmlΈξοδος
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
...
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlΚάθε AI crawler αποκτά τον δικό του ρητό αποκλεισμό, ενώ ο κανόνας wildcard στο τέλος διατηρεί ανοιχτή την κανονική πρόσβαση των μηχανών αναζήτησης.
Πρέπει να αποκλείσετε αυτόν τον crawler;
Δεν εξυπηρετούν όλα τα bots τον ίδιο σκοπό — αποκλείοντας το λάθος μπορεί να κόψετε την επισκεψιμότητα αναζήτησης αντί να εξαιρεθείτε απλώς από την εκπαίδευση AI.
| Crawler | Τι κάνει | Αποκλείστε το αν… |
|---|---|---|
| Googlebot, Bingbot | Ευρετηριάζει το site σας για τα αποτελέσματα αναζήτησης | Ποτέ — ο αποκλεισμός τους σας αφαιρεί εντελώς από την αναζήτηση Google/Bing. |
| GPTBot, ChatGPT-User | Οι crawlers της OpenAI — το GPTBot εκπαιδεύει μοντέλα, το ChatGPT-User ανακτά σελίδες που ζήτησε ένας χρήστης από το ChatGPT να περιηγηθεί | Δεν θέλετε το περιεχόμενό σας να χρησιμοποιείται για εκπαίδευση AI, αλλά σημειώστε ότι το ChatGPT-User που περιηγείται σε μια σελίδα που συνδέθηκε από χρήστη είναι διαφορετική περίπτωση που κάποια sites επιλέγουν να επιτρέπουν. |
| Google-Extended | Ελέγχει αν η Google χρησιμοποιεί το περιεχόμενό σας για εκπαίδευση Gemini/AI — ξεχωριστό από την ευρετηρίαση αναζήτησης του Googlebot | Θέλετε να παραμείνετε στην Αναζήτηση Google αλλά να εξαιρεθείτε από την εκπαίδευση AI της Google — αυτή η οδηγία κάνει ακριβώς αυτό χωρίς να βλάπτει τις κατατάξεις. |
| CCBot, Bytespider, anthropic-ai, ClaudeBot | Common Crawl (τροφοδοτεί πολλά σύνολα δεδομένων AI), ByteDance, οι crawlers της Anthropic | Ίδια λογική με το GPTBot — αποκλείστε αν δεν θέλετε το περιεχόμενο σε σύνολα εκπαίδευσης AI. |
Συχνές ερωτήσεις
Το robots.txt σταματά πραγματικά την AI από τη χρήση του περιεχομένου μου;
Λειτουργεί με σύστημα τιμής — οι crawlers αξιόπιστων εταιρειών AI το σέβονται πράγματι (γι' αυτό υπάρχουν τα GPTBot, CCBot κ.λπ. ως ξεχωριστά, τεκμηριωμένα user-agents ειδικά ώστε τα sites να μπορούν να εξαιρεθούν). Δεν σταματά crawlers που αγνοούν το πρότυπο, και δεν έχει καμία επίδραση σε περιεχόμενο που έχει ήδη συλλεχθεί πριν προσθέσετε τον αποκλεισμό.
Θα βλάψει ο αποκλεισμός των AI crawlers την κατάταξή μου στο Google/Bing;
Όχι — το πρότυπο αποκλεισμού AI αποκλείει συγκεκριμένα μόνο τα ονομαστικά AI bots και αφήνει έναν κανόνα wildcard "Allow: /" για όλους τους υπόλοιπους, οπότε το Googlebot και το Bingbot δεν επηρεάζονται.
Πού τοποθετώ το αρχείο robots.txt;
Στη ρίζα του τομέα σας, ώστε να είναι προσβάσιμο ακριβώς στο yourdomain.com/robots.txt — όχι σε υποφάκελο. Οι περισσότερες υπηρεσίες φιλοξενίας και οι generators στατικών sites έχουν έναν καθορισμένο φάκελο public/root γι' αυτό.
Για τι χρησιμεύει η γραμμή sitemap;
Κατευθύνει τους crawlers στο sitemap.xml σας, το οποίο απαριθμεί όλες τις ευρετηριάσιμες σελίδες σας. Είναι προαιρετικό αλλά συνήθως συνιστάται — μία επιπλέον γραμμή που μπορεί να επιταχύνει την ανακάλυψη νέων σελίδων.
Μπορώ να συνδυάσω προσαρμοσμένες διαδρομές disallow με το πρότυπο αποκλεισμού AI;
Ναι — το πρότυπο αποκλεισμού AI προσθέτει πρώτα τους αποκλεισμούς των AI bots και μετά εφαρμόζει τις προσαρμοσμένες διαδρομές disallow σας (αν υπάρχουν) κάτω από τον γενικό κανόνα wildcard που εξακολουθεί να επιτρέπει τις μηχανές αναζήτησης.