工具

Robots.txt 產生器

為網站設定並產生 robots.txt

對所有爬蟲使用 *

已產生的 robots.txt

# 點擊「產生 robots.txt」以查看輸出

關於 robots.txt

  • • 把 robots.txt 放在網站根目錄
  • • 使用 Allow: / 允許所有路徑
  • • 使用 Disallow: /path/ 封鎖指定路徑
  • • Crawl-delay 用於設定兩次請求之間的等待時間
  • • 加入 sitemap 網址可提升索引效果

如果您覺得這些工具有用，請考慮支持開發！

謝謝！ ☕

請我喝杯咖啡