Как пользоваться
- 1Выберите пресет: открыть всё, закрыть всё, WordPress, интернет-магазин или блокировка ИИ-ботов.
- 2Добавьте правила для нужных роботов и при необходимости Crawl-delay.
- 3Укажите адреса sitemap.
- 4Скопируйте или скачайте robots.txt и загрузите его в корень сайта.
Готовые пресеты
«Открыть всё» и «Закрыть всё» подходят для рабочего сайта и для тестовой копии. Пресет WordPress закрывает админку, но оставляет доступным admin-ajax.php. Пресет для интернет-магазина закрывает корзину, оформление заказа, личный кабинет и страницы поиска. Отдельный пресет блокирует ИИ-краулеры: GPTBot, CCBot, Google-Extended, ClaudeBot, PerplexityBot и Bytespider.
Правила для Яндекса
Чтобы задать отдельные правила для Яндекса, добавьте строку для робота Yandex. Учтите, что директиву Host Яндекс больше не поддерживает, а Crawl-delay игнорируют и Яндекс, и Google — скорость обхода настраивается в Яндекс Вебмастере. Для борьбы с дублями из-за UTM-меток Яндекс понимает директиву Clean-param, но её надёжнее дополнять тегом canonical.
Частые вопросы
Куда загружать robots.txt?
Строго в корень домена: https://example.ru/robots.txt. Файл в подпапке роботы не найдут.
Закрывает ли Google-Extended сайт от Google Поиска?
Нет. Google-Extended запрещает только использование контента для обучения моделей Gemini; индексация в поиске не меняется.
Как проверить готовый файл?
Вставьте его в наш инструмент «Проверка robots.txt» и протестируйте нужные адреса для разных роботов.
Результаты не радуют?
Обратитесь в Webin Agency: быстрые сайты с SEO-оптимизацией, интернет-магазины и ведение Google Ads.