AI crawlers: τι να επιτρέψεις στο robots.txt για GPTBot, ClaudeBot και PerplexityBot
Ενημερώθηκε: 4 Αυγούστου 2026
Αν το robots.txt σου μπλοκάρει τα AI crawlers, το περιεχόμενό σου δεν φτάνει ποτέ στα μοντέλα και είσαι αόρατος στις απαντήσεις τους. Για να σε βλέπουν, επίτρεψε ρητά τα βασικά: GPTBot και OAI-SearchBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot, Google-Extended. Είναι μια αλλαγή λίγων γραμμών με άμεση επίδραση.
Ποιο bot κάνει τι
Δεν κάνουν όλα την ίδια δουλειά, και η διάκριση έχει σημασία όταν αποφασίζεις τι επιτρέπεις:
- GPTBot — συλλέγει περιεχόμενο για την εκπαίδευση των μοντέλων της OpenAI.
- OAI-SearchBot — τροφοδοτεί τις live αναζητήσεις του ChatGPT (αυτό επηρεάζει άμεσα τι βλέπει ο χρήστης σήμερα).
- ChatGPT-User — μπαίνει όταν ένας χρήστης ζητά ρητά από το ChatGPT να ανοίξει τη σελίδα σου.
- ClaudeBot — το αντίστοιχο της Anthropic για το Claude.
- PerplexityBot — για τη μηχανή απαντήσεων της Perplexity.
- Google-Extended — δεν είναι crawler· είναι διακόπτης που ελέγχει αν το περιεχόμενό σου χρησιμοποιείται στα AI προϊόντα της Google.
Το πρόβλημα που δεν βλέπεις
Πολλά sites μπλοκάρουν αυτά τα bots χωρίς να το ξέρουν: από προεπιλογή κάποιου security plugin, από ρύθμιση του CDN, ή επειδή κάποιος αντέγραψε ένα robots.txt από το internet.
Το αποτέλεσμα είναι σιωπηλό — δεν βγάζει σφάλμα, απλώς δεν εμφανίζεσαι ποτέ στις απαντήσεις. Αξίζει να το ελέγξεις πριν από οτιδήποτε άλλο.
Παράδειγμα robots.txt που επιτρέπει τα AI
Η λογική είναι απλή: μία ομάδα ανά bot με ρητή άδεια. Παράδειγμα για τα βασικά:
- User-agent: GPTBot / Allow: /
- User-agent: OAI-SearchBot / Allow: /
- User-agent: ChatGPT-User / Allow: /
- User-agent: ClaudeBot / Allow: /
- User-agent: PerplexityBot / Allow: /
- User-agent: Google-Extended / Allow: /
- Και μη ξεχάσεις τη γραμμή Sitemap: με το πλήρες URL του sitemap σου.
Πρέπει να τα επιτρέψω όλα;
Είναι επιχειρηματική απόφαση, όχι τεχνική. Αν ζεις από το να σε βρίσκουν πελάτες, η απάντηση είναι σχεδόν πάντα ναι — το να μπλοκάρεις τα bots σε κάνει αόρατο εκεί που μετακινείται η αναζήτηση.
Αν έχεις περιεχόμενο επί πληρωμή ή αρχείο που δεν θέλεις να χρησιμοποιηθεί για εκπαίδευση, μπορείς να επιτρέψεις τα search bots (OAI-SearchBot, PerplexityBot) και να περιορίσεις τα training bots. Είναι νόμιμος συμβιβασμός.
Τι να ελέγξεις τώρα
- Άνοιξε το site σου με /robots.txt στο τέλος και δες τι λέει.
- Ψάξε για Disallow που αφορά τα παραπάνω user-agents.
- Βεβαιώσου ότι υπάρχει γραμμή Sitemap.
- Έλεγξε και το CDN/firewall σου — μπορεί να μπλοκάρει bots πριν καν φτάσουν στο robots.txt.
Συχνές ερωτήσεις
Αν επιτρέψω τα bots, «κλέβουν» το περιεχόμενό μου;
Το χρησιμοποιούν για να παράγουν απαντήσεις, συχνά με αναφορά στην πηγή. Το ερώτημα είναι πρακτικό: προτιμάς να σε αναφέρουν ή να αναφέρουν τον ανταγωνιστή σου; Για τις περισσότερες επιχειρήσεις η ορατότητα αξίζει περισσότερο.
Το robots.txt είναι δεσμευτικό;
Είναι σύμβαση που οι μεγάλοι πάροχοι τηρούν. Δεν είναι τεχνικό εμπόδιο — αν θέλεις πραγματικό αποκλεισμό, χρειάζεσαι ρυθμίσεις σε επίπεδο server ή CDN.
Πόσο γρήγορα φαίνεται η αλλαγή;
Το ξεμπλοκάρισμα είναι προϋπόθεση, όχι εγγύηση. Τα bots πρέπει να ξαναπεράσουν και τα μοντέλα να ανανεωθούν — μιλάμε για εβδομάδες έως μήνες.
Δες πού βρίσκεσαι στο AI — δωρεάν
Το δωρεάν micro-audit σου δείχνει σε 2 λεπτά αν το ChatGPT σε αναφέρει για τα δικά σου keywords.
Ξεκίνα τον δωρεάν έλεγχο →