웹
robots.txt 생성기
검색엔진 크롤링 규칙을 GUI로 설정하고 robots.txt 파일을 생성합니다.
프리셋
User-agent:
Crawl-delay:초
Sitemap URL
robots.txt 미리보기
User-agent: *Allow: /
사용 방법
- 프리셋을 선택하거나 직접 User-agent 그룹을 추가합니다.
- 각 그룹에서 Allow(허용) 또는 Disallow(차단) 규칙을 추가하고 경로를 입력합니다.
- 필요시 Crawl-delay(크롤링 간격)를 설정합니다.
- Sitemap URL을 입력하면 파일 하단에 자동으로 추가됩니다.
- 오른쪽 미리보기에서 결과를 확인하고 복사 또는 다운로드합니다.
robots.txt란? 웹사이트 루트에 위치하는 텍스트 파일로, 검색엔진 크롤러에게 어떤 페이지를 크롤링해도 되는지 알려줍니다.
배치 위치: 생성된 파일을 웹사이트 루트 디렉토리에 /robots.txt로 저장하세요.
참고: robots.txt는 크롤러에 대한 권고사항이며, 악의적인 봇은 이를 무시할 수 있습니다. 민감한 페이지는 서버 측 인증으로 보호하세요.