Kaithings Logo

Gerador de Robots.txt Online

Controle como os mecanismos de busca rastreiam seu site. Gere um arquivo robots.txt em segundos.

Carregar do Site

Digite o endereço do site para carregar o arquivo existente.

Configurações Gerais

Define a regra padrão para "User-agent: *".

Diretórios Restritos

Digite um caminho por linha (ex: /admin/). Aplica-se a todos os bots, a menos que seja substituído.

Regras de Bots Específicos

Googlebot
Google Image Bot
Bingbot
Yahoo! Slurp
DuckDuckBot
Baiduspider
YandexBot
Facebot
Twitterbot
LinkedInBot
Pinterest
Applebot
AhrefsBot
MJ12bot
SemrushBot
DotBot
Rogerbot
Exabot

Robots.txt Gerado

Carregue este arquivo no diretório raiz do seu site.

O que é um Arquivo Robots.txt?

O arquivo robots.txt é importante para SEO.

Principais Benefícios de Usar um Gerador de Robots.txt

  • Otimizar Orçamento de Rastreamento: Sites grandes têm um orçamento de rastreamento limitado.
  • Proteger Áreas Sensíveis: Embora não seja um dispositivo de segurança, mantém bots bem comportados fora de áreas de teste.
  • Integração de Sitemap: Vincular automaticamente seu Sitemap XML ajuda o Google a descobrir novos URLs mais rapidamente.

Sintaxe Padrão do Robots.txt

A sintaxe consiste principalmente em diretivas "User-agent", "Allow", "Disallow" e "Sitemap".

User-agent: *
Disallow: /admin/
Disallow: /tmp/
Allow: /

Esta configuração permite que todos os spiders acessem todo o site, exceto os diretórios especificados.

Perguntas Frequentes (FAQ)

Onde carregar?

No diretório raiz.

Protege dados?

Não, não é um protocolo de segurança.

Ferramentas (Outros)

Verificador de Diferenças

Compare dois textos e destaque as diferenças.
Cortador de Imagens

Corte e redimensione imagens diretamente no seu navegador.
Gerador de Slug

Gere slugs de URL limpos e otimizados para SEO.
Codificar/Decodificar URL

Codifique ou decodifique parâmetros de URL com segurança.

Configurações de Cookies

Usamos cookies e tecnologias LocalStorage para oferecer a melhor experiência, analisar o tráfego do site e salvar seus consentimentos legais (downloads de arquivos QR, etc.).

Detalhes