도구

robots.txt 생성기

사이트용 robots.txt를 설정하고 생성합니다

모든 크롤러에 * 사용

생성된 robots.txt

# “robots.txt 생성”을 클릭하면 결과가 표시됩니다

robots.txt 안내

  • • robots.txt는 웹사이트 루트 디렉터리에 두세요
  • • 모든 경로를 허용하려면 Allow: / 를 사용하세요
  • • 특정 경로를 막으려면 Disallow: /path/ 를 사용하세요
  • • Crawl-delay는 요청 사이 대기 시간을 설정합니다
  • • 인덱싱을 개선하려면 사이트맵 URL을 포함하세요

이 도구들이 유용하다면 개발을 후원해 주세요!

감사합니다! ☕

커피 한 잔 사주세요