Генератор Robots.txt - SEO Инструмент

Q: Куда загрузить?

В корневую папку.

Загрузить с Сайта

Введите адрес сайта для загрузки существующего файла.

Общие Настройки

Доступ по Умолчанию (Все Боты)

Устанавливает правило по умолчанию для "User-agent: *".

Задержка Сканирования

URL Карты Сайта (Необязательно)

Ограниченные Директории

Пути для Блокировки

Введите один путь на строку (например: /admin/). Применяется ко всем ботам, если не переопределено.

Правила для Конкретных Ботов

Googlebot

Google Image Bot

Bingbot

Yahoo! Slurp

DuckDuckBot

Baiduspider

YandexBot

Facebot

Twitterbot

LinkedInBot

Applebot

AhrefsBot

MJ12bot

SemrushBot

DotBot

Rogerbot

Exabot

Сгенерированный robots.txt

Загрузите этот файл в корневую директорию вашего сайта.

Что такое файл Robots.txt?

Файл robots.txt важен для SEO.

Основные Преимущества Использования Генератора Robots.txt

Оптимизация Бюджета Сканирования: У больших сайтов ограниченный бюджет сканирования.
Защита Чувствительных Областей: Хотя это не устройство безопасности, оно удерживает хорошо воспитанных ботов от промежуточных зон.
Интеграция Sitemap: Автоматическая привязка вашей XML Sitemap помогает Google быстрее находить новые URL.

Стандартный Синтаксис Robots.txt

Синтаксис в основном состоит из директив "User-agent", "Allow", "Disallow" и "Sitemap".

User-agent: *
Disallow: /admin/
Disallow: /tmp/
Allow: /

Эта конфигурация позволяет всем пау кам получить доступ ко всему сайту, кроме указанных каталогов.

Часто Задаваемые Вопросы (FAQ)

Куда загрузить?