Проверить правила robots.txt
Robots.txt, user-agent и URL-список → allow/disallow-решение с правилом, вызвавшим его.
Можно перетащить файл сюда
TXT
До 1 файла, суммарно 25 МБ. Каждое поле текста — до 1 млн символов.
Для обработки данные передаются нашему серверу. Временные рабочие файлы удаляются; история файлов не создаётся.
Как пользоваться
Сверьте allowed и правило для каждого контрольного пути.
- Подготовьте TXT robots.txt / TXT списка URL. Пример показывает: проверить пути по правилам выбранного User-agent.
- Выберите User-agent робота = Googlebot. Запустите обработку и прочитайте диагностику.
- Скачайте CSV. Сверьте allowed и правило для каждого контрольного пути.
Пример
Практический пример: Проверить правила robots.txt
User-agent: * Disallow: /private/ Allow: /private/help
Проверить пути по правилам выбранного User-agent
url,allowed,rule https://example.com/private/report,false,/private/ https://example.com/private/help,true,/private/help
Форматы и ограничения
Симуляция выбирает подходящую группу и самое специфичное Allow/Disallow. Это проверка правил переданного файла; она не доказывает, что поисковый робот получил именно эту версию robots.txt. На входе: TXT robots.txt, TXT списка URL. Форматы результата: CSV.
- На входе
- TXT robots.txt, TXT списка URL
- Результат
- CSV
Robots.txt, user-agent и URL-список → allow/disallow-решение с правилом, вызвавшим его.
- До 1 файла, суммарно 25 МБ. Каждое поле текста — до 1 млн символов.
- Для UTF-8-файла текстовый parser допускает до 2 млн символов; поле ввода ограничено 1 млн.
Сверьте allowed и правило для каждого контрольного пути.
Для выбранной операции данные передаются нашему серверу. Временные рабочие файлы удаляются после обработки; история пользовательских файлов не создаётся.
Для выбранной операции данные передаются нашему серверу. Временные рабочие файлы удаляются после обработки; история пользовательских файлов не создаётся.
Вопросы об инструменте
Какие исходные данные принимает «Проверить правила robots.txt»?
Поддерживаются: TXT robots.txt, TXT списка URL. До 1 файла, суммарно 25 МБ. Каждое поле текста — до 1 млн символов.
Что получится после обработки в «Проверить правила robots.txt»?
Robots.txt, user-agent и URL-список → allow/disallow-решение с правилом, вызвавшим его. Форматы результата: CSV.
Как проверить результат этой операции?
Сверьте allowed и правило для каждого контрольного пути.
Какой пример помогает начать работу?
User-agent: * Disallow: /private/ Allow: /private/help. Проверить пути по правилам выбранного User-agent Ожидаемый результат: url,allowed,rule https://example.com/private/report,false,/private/ https://example.com/private/help,true,/private/help.
Какие ограничения нужно учитывать?
До 1 файла, суммарно 25 МБ. Каждое поле текста — до 1 млн символов. Для UTF-8-файла текстовый parser допускает до 2 млн символов; поле ввода ограничено 1 млн.
Где обрабатываются данные и сохраняется ли история?
Для выбранной операции данные передаются нашему серверу. Временные рабочие файлы удаляются после обработки; история пользовательских файлов не создаётся.