Выбор исходных данных и способа обработки

Сверьте allowed и правило для каждого контрольного пути.

  • На входе: TXT robots.txt, TXT списка URL.
  • Результат: CSV.

Настройки и варианты результата

В «Проверить правила robots.txt» доступны следующие параметры. Начните с значений по умолчанию, затем измените нужный параметр и сравните результат с исходником.

ПараметрДоступные значенияПо умолчанию
User-agent роботаВведите значение для своего файлаGooglebot

Порядок действий

Проверить пути по правилам выбранного User-agent

  1. Подготовьте TXT robots.txt / TXT списка URL. Пример показывает: проверить пути по правилам выбранного User-agent.
  2. Выберите User-agent робота = Googlebot. Запустите обработку и прочитайте диагностику.
  3. Скачайте CSV. Сверьте allowed и правило для каждого контрольного пути.

Практический пример

url,allowed,rule https://example.com/private/report,false,/private/ https://example.com/private/help,true,/private/help

Вход и результат
Исходные данные
User-agent: *
Disallow: /private/
Allow: /private/help
Результат
url,allowed,rule
https://example.com/private/report,false,/private/
https://example.com/private/help,true,/private/help

Сверьте allowed и правило для каждого контрольного пути.

Ограничения и проверка готового файла

Сверьте allowed и правило для каждого контрольного пути.

Для выбранной операции данные передаются нашему серверу. Временные рабочие файлы удаляются после обработки; история пользовательских файлов не создаётся.

Официальные требования: Robots Exclusion Protocol · Спецификация формата и правила совместимости

  • До 1 файла, суммарно 25 МБ. Каждое поле текста — до 1 млн символов.
  • Для UTF-8-файла текстовый parser допускает до 2 млн символов; поле ввода ограничено 1 млн.

Вопросы и ответы

Какие исходные данные принимает «Проверить правила robots.txt»?

Поддерживаются: TXT robots.txt, TXT списка URL. До 1 файла, суммарно 25 МБ. Каждое поле текста — до 1 млн символов.

Что получится после обработки в «Проверить правила robots.txt»?

Robots.txt, user-agent и URL-список → allow/disallow-решение с правилом, вызвавшим его. Форматы результата: CSV.

Как проверить результат этой операции?

Сверьте allowed и правило для каждого контрольного пути.

Какой пример помогает начать работу?

User-agent: * Disallow: /private/ Allow: /private/help. Проверить пути по правилам выбранного User-agent Ожидаемый результат: url,allowed,rule https://example.com/private/report,false,/private/ https://example.com/private/help,true,/private/help.

Какие ограничения нужно учитывать?

До 1 файла, суммарно 25 МБ. Каждое поле текста — до 1 млн символов. Для UTF-8-файла текстовый parser допускает до 2 млн символов; поле ввода ограничено 1 млн.

Где обрабатываются данные и сохраняется ли история?

Для выбранной операции данные передаются нашему серверу. Временные рабочие файлы удаляются после обработки; история пользовательских файлов не создаётся.