Werkzeuge

Robots.txt-Generator

robots.txt fĂŒr Ihre Website konfigurieren und erzeugen

* fĂŒr alle Crawler verwenden

Generierte robots.txt

# Klicken Sie auf „robots.txt erzeugen“, um die Ausgabe zu sehen

Über robots.txt

  • ‱ Legen Sie robots.txt im Root-Verzeichnis Ihrer Website ab
  • ‱ Verwenden Sie „Allow: /“, um alle Pfade zu erlauben
  • ‱ Verwenden Sie „Disallow: /pfad/“, um bestimmte Pfade zu sperren
  • ‱ Crawl-delay legt die Wartezeit zwischen Anfragen fest
  • ‱ FĂŒgen Sie die Sitemap-URL hinzu, um die Indexierung zu verbessern

Wenn Sie diese Tools hilfreich finden, unterstĂŒtzen Sie bitte die Entwicklung!

Vielen Dank! ☕

Kaufen Sie mir einen Kaffee