Hulpmiddelen

Robots.txt-generator

Configureer en genereer robots.txt voor je site

Gebruik * voor alle crawlers

Gegenereerde robots.txt

# Klik op "Robots.txt genereren" om de uitvoer te zien

Over robots.txt

  • • Plaats robots.txt in de hoofdmap van je website
  • • Gebruik Allow: / om alle paden toe te staan
  • • Gebruik Disallow: /pad/ om specifieke paden te blokkeren
  • • Crawl-delay bepaalt de wachttijd tussen verzoeken
  • • Voeg een sitemap-URL toe voor betere indexering

Vind je deze tools handig? Overweeg dan de ontwikkeling te steunen!

Bedankt! ☕

Koop me een koffie