Robots.txt 產生器

為您的網站設定並產生 robots.txt

使用者代理

使用 * 代表所有爬蟲

允許所有路徑

允許路徑

禁止路徑

Crawl-delay（秒）

網站地圖網址

產生的 robots.txt

# 點擊「產生 robots.txt」以查看輸出

關於 robots.txt

• 將 robots.txt 放在網站根目錄
• 使用 Allow: / 允許所有路徑
• 使用 Disallow: /path/ 封鎖特定路徑
• Crawl-delay 設定兩次請求之間的等待時間
• 加入 sitemap URL 以利索引

如果您覺得這些工具很好用，歡迎支持開發！

謝謝！ ☕

請我喝杯咖啡