Was ist eine Robots.txt-Datei?
Die robots.txt-Datei ist wichtig für SEO.
Hauptvorteile der Verwendung eines Robots.txt-Generators
- Crawl-Budget optimieren: Große Websites haben ein begrenztes Crawl-Budget.
- Sensible Bereiche schützen: Obwohl kein Sicherheitsgerät, hält es gut erzogene Bots von Staging-Bereichen fern.
- Sitemap-Integration: Das automatische Verlinken Ihrer XML-Sitemap hilft Google, neue URLs schneller zu entdecken.
Standard-Robots.txt-Syntax
Die Syntax besteht hauptsächlich aus "User-agent", "Allow", "Disallow" und "Sitemap" Direktiven.
User-agent: *
Disallow: /admin/
Disallow: /tmp/
Allow: /
Disallow: /admin/
Disallow: /tmp/
Allow: /
Diese Konfiguration erlaubt allen Spidern den Zugriff auf die gesamte Website, außer den angegebenen Verzeichnissen.