AI crawler-и: какво да разрешиш в robots.txt за GPTBot, ClaudeBot и PerplexityBot
Обновено: 4 август 2026 г.
Ако твоят robots.txt блокира AI crawler-ите, съдържанието ти никога не достига до моделите и си невидим в отговорите им. За да те виждат, разреши изрично основните: GPTBot и OAI-SearchBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot и Google-Extended. Това са няколко реда с непосредствен ефект.
Кой бот какво прави
Не всички вършат една и съща работа, а разликата има значение, когато решаваш какво да разрешиш:
- GPTBot — събира съдържание за обучението на моделите на OpenAI.
- OAI-SearchBot — захранва търсенето на живо в ChatGPT (това влияе на онова, което потребителят вижда днес).
- ChatGPT-User — задейства се, когато потребител изрично помоли ChatGPT да отвори твоята страница.
- ClaudeBot — еквивалентът на Anthropic за Claude.
- PerplexityBot — за машината за отговори на Perplexity.
- Google-Extended — не е crawler; това е ключ, който контролира дали съдържанието ти се използва в AI продуктите на Google.
Проблемът, който не виждаш
Много сайтове блокират тези ботове, без да знаят: по подразбиране от plugin за сигурност, от настройка на CDN, или защото някой е копирал robots.txt от интернет.
Резултатът е безшумен — няма грешка, просто никога не се появяваш в отговорите. Струва си да го провериш преди всичко друго.
Пример за robots.txt, който разрешава AI
Логиката е проста: една група на бот с изрично разрешение. За основните:
- User-agent: GPTBot / Allow: /
- User-agent: OAI-SearchBot / Allow: /
- User-agent: ChatGPT-User / Allow: /
- User-agent: ClaudeBot / Allow: /
- User-agent: PerplexityBot / Allow: /
- User-agent: Google-Extended / Allow: /
- И не забравяй реда Sitemap: с пълния URL на твоята sitemap.
Трябва ли да ги разреша всички?
Това е бизнес решение, не техническо. Ако живееш от това клиенти да те намират, отговорът е почти винаги да — блокирането на ботовете те прави невидим точно там, където се измества търсенето.
Ако имаш платено съдържание или архив, който не искаш да се използва за обучение, можеш да разрешиш ботовете за търсене (OAI-SearchBot, PerplexityBot) и да ограничиш тези за обучение. Това е законен компромис.
Какво да провериш сега
- Отвори сайта си с /robots.txt накрая и прочети какво пише.
- Потърси Disallow, засягащ горните user-agent-и.
- Увери се, че има ред Sitemap.
- Провери и CDN или защитната стена — могат да блокират ботове още преди robots.txt.
Често задавани въпроси
Ако разреша ботовете, „крадат“ ли ми съдържанието?
Използват го, за да произведат отговори, често с посочване на източника. Практическият въпрос е: предпочиташ да споменават теб или конкурента ти? За повечето бизнеси видимостта струва повече.
Обвързващ ли е robots.txt?
Това е конвенция, която големите доставчици спазват. Не е техническа преграда — за реално блокиране са нужни правила на ниво сървър или CDN.
Колко бързо се вижда промяната?
Отблокирането е предпоставка, не гаранция. Ботовете трябва да минат отново и моделите да се обновят — очаквай седмици до месеци.
Виж къде си в AI — безплатно
Безплатният micro-audit ти показва за 2 минути дали ChatGPT те назовава за твоите ключови думи.
Стартирай безплатната проверка →