웹
robots.txt 생성기
검색엔진 크롤링 규칙을 GUI로 설정하고 robots.txt 파일을 생성합니다.
프리셋
User-agent:
Crawl-delay:초
Sitemap URL
robots.txt 미리보기
User-agent: *Allow: /
사용 방법
- 프리셋을 선택하거나 직접 User-agent 그룹을 추가합니다.
- 각 그룹에서 Allow(허용) 또는 Disallow(차단) 규칙을 추가하고 경로를 입력합니다.
- 필요시 Crawl-delay(크롤링 간격)를 설정합니다.
- Sitemap URL을 입력하면 파일 하단에 자동으로 추가됩니다.
- 오른쪽 미리보기에서 결과를 확인하고 복사 또는 다운로드합니다.
robots.txt란? 웹사이트 루트에 위치하는 텍스트 파일로, 검색엔진 크롤러에게 어떤 페이지를 크롤링해도 되는지 알려줍니다.
배치 위치: 생성된 파일을 웹사이트 루트 디렉토리에 /robots.txt로 저장하세요.
참고: robots.txt는 크롤러에 대한 권고사항이며, 악의적인 봇은 이를 무시할 수 있습니다. 민감한 페이지는 서버 측 인증으로 보호하세요.
robots.txt 생성기 자세히 알아보기
검색엔진 크롤러가 사이트의 어떤 경로를 수집해도 되고 안 되는지 알려 주는 robots.txt 파일을 만들어 주는 도구입니다. User-agent별로 허용·차단 규칙을 시각적으로 추가하면 즉시 표준 형식의 텍스트가 만들어지고, 그대로 복사해 사이트 루트(/robots.txt)에 업로드하면 됩니다.
더 알아보기접기
Googlebot·Bingbot·Yeti(네이버) 같은 자주 쓰는 크롤러 프리셋을 제공하고, Sitemap·Crawl-delay 같은 부가 지시어도 한 줄 추가로 입력할 수 있습니다. 생성된 결과는 미리보기로 즉시 확인 가능해 처음 만드는 사람도 실수 없이 작성할 수 있습니다.
이럴 때 사용하세요
- •관리자 페이지(/admin, /api 등)를 검색 결과에서 숨기고 싶을 때
- •사이트맵 위치를 robots.txt에 명시해 검색엔진 색인을 유도할 때
- •특정 봇(스크래퍼·LLM 학습 봇)의 접근만 차단하고 싶을 때
- •스테이징·개발 환경 전체를 검색엔진에서 제외해야 할 때
robots.txt 생성기 자주 묻는 질문
robots.txt를 만들면 검색결과에서 즉시 사라지나요?
아니요. 크롤링을 막는 것이지 이미 색인된 페이지를 삭제하지는 않습니다. 색인된 결과를 빼려면 Google Search Console의 URL 삭제 도구나 noindex 메타 태그를 함께 사용해야 합니다.
Disallow와 noindex의 차이는 뭔가요?
Disallow는 크롤러가 페이지를 가져가지 않도록 막는 것이고, noindex는 가져가더라도 검색결과에 표시하지 말라는 지시입니다. 색인 자체를 막으려면 noindex가 더 확실합니다.
와일드카드(*)와 $는 어떻게 쓰나요?
*는 임의의 문자열, $는 URL 끝을 의미합니다. 예: Disallow: /*.pdf$는 모든 .pdf로 끝나는 URL을 차단합니다. 본 도구는 해당 문법을 지원합니다.
악성 봇도 robots.txt를 따르나요?
주요 검색엔진 봇은 따르지만 스크래퍼나 악성 봇은 무시합니다. 민감한 페이지는 robots.txt가 아니라 서버 인증·IP 차단으로 보호해야 합니다.
Sitemap 지시어는 어디에 적나요?
User-agent와 무관하게 파일 어느 위치에든 적을 수 있습니다. 본 도구는 파일 끝에 "Sitemap: https://..." 형태로 자동 추가합니다. 여러 사이트맵을 여러 줄 적어도 됩니다.