Robots.txt 분석기
도메인의 robots.txt를 즉시 가져와 크롤러 허용/차단 규칙을 파싱합니다. Googlebot 차단 여부, 사이트맵 URL, User-agent별 규칙을 한눈에 확인.
사용 방법
- 도메인 또는 URL 입력 (예: example.com)
- Googlebot / GPTBot 차단 여부 즉시 확인 (배지 강조)
- User-agent별 탭 — Allow/Disallow 경로 상세 분석
- 경로 접근 테스터 — 특정 봇의 특정 경로 접근 가능 여부 확인
- 사이트맵 URL 클릭 → 새 탭 확인 · 원본 텍스트 복사
이 링크는 제휴 마케팅 링크입니다. 클릭 시 수수료를 받을 수 있으며 가격에는 영향을 주지 않습니다. This is an affiliate link. We may earn a commission at no extra cost to you.
자주 묻는 질문
Q. robots.txt가 없으면 어떻게 되나요?
robots.txt 파일이 없으면 검색엔진 크롤러는 기본적으로 사이트 전체를 크롤링합니다. 이는 SEO에 문제가 되지 않지만, 관리자 페이지 등 크롤링을 원하지 않는 경로는 명시적으로 차단하는 것이 권장됩니다.
Q. robots.txt로 차단하면 SEO에 영향이 없나요?
robots.txt로 차단한 페이지는 크롤링되지 않아 색인이 안 됩니다. 단, 외부에서 링크가 많이 걸린 페이지는 크롤링 없이도 URL이 색인될 수 있습니다. 완전히 숨기려면 noindex 메타태그와 병행 사용하세요.
Q. Disallow: / 규칙은 무엇을 의미하나요?
Disallow: / 는 해당 User-agent에게 사이트 전체 크롤링을 금지합니다. User-agent: *에 이 규칙이 적용되면 구글·네이버·빙 등 모든 검색엔진이 사이트를 크롤링할 수 없어 검색 노출이 차단됩니다.
이 도구 사용하는 방법
분석할 웹사이트의 도메인(예: example.com)을 입력합니다. 자동으로 "도메인/robots.txt" 경로를 조회합니다.
원본 robots.txt 내용과 파싱된 User-agent별 허용·차단 규칙 목록을 확인합니다.
Googlebot, Bingbot, Yeti(네이버) 각각에 대한 크롤링 허용 경로와 차단 경로를 색상으로 구분해 확인합니다.
robots.txt에 선언된 Sitemap: URL을 추출해 사이트맵 접근 가능 여부를 검증합니다.
Robots.txt 분석기에 대해 알아야 할 전문 지식
robots.txt 작성의 함정은 숙련된 SEO 담당자도 빠지는 오류를 유발합니다. 대표적인 실수는 CSS·JavaScript 파일을 차단하는 것입니다(예: Disallow: /assets/). 구글봇은 페이지를 렌더링할 때 CSS·JS 파일을 필요로 하며, 이를 차단하면 구글이 페이지를 올바르게 해석하지 못해 순위가 하락합니다. 2015년 이전 구글 가이드라인에 CSS/JS 차단이 권장됐던 잘못된 정보가 아직도 일부 사이트에 잔존합니다. Google Search Console의 "URL 검사" 도구로 렌더링 결과를 확인해 블록된 리소스가 없는지 점검해야 합니다.
크롤 예산(Crawl Budget) 최적화는 대규모 사이트의 SEO 핵심 전략입니다. 구글봇은 각 도메인에 할당된 크롤 예산(하루 크롤링 페이지 수 한도)을 가집니다. 불필요한 URL(파라미터 URL, 페이지네이션, 중복 콘텐츠)을 robots.txt로 차단하거나 noindex 처리하면 크롤 예산이 중요한 콘텐츠에 집중돼 색인 속도가 빨라집니다. 1만 페이지 이상의 사이트는 `/api/`, `/search?q=`, `/cart/` 등 검색 가치가 없는 동적 경로를 Disallow하는 것이 권장됩니다.
Google Search Console의 Crawl Stats(크롤 통계) 보고서와 robots.txt를 연동해 분석하면 크롤링 효율을 정밀하게 관리할 수 있습니다. Crawl Stats에서는 구글봇의 하루 방문 횟수, 응답 시간, 크롤링된 파일 유형(HTML·CSS·JS·이미지) 분포를 확인할 수 있습니다. 만약 이미지·CSS 크롤링이 전체의 60% 이상을 차지한다면 HTML 콘텐츠 크롤링 비율을 높이는 최적화가 필요합니다. robots.txt에서 비필수 미디어 파일 경로를 제한하면 HTML 크롤링 비율이 높아져 신규 콘텐츠 색인 속도가 개선됩니다.
함께 사용하면 좋은 도구
도메인의 A, AAAA, MX, TXT, NS, CNAME 레코드를 Google DNS(8.8.8.8) 기반으로 즉시 조회합니다. 도메인 설정 확인·문제 진단에 필수.
URL을 입력하면 title, description, OG 태그, canonical, robots, H1/H2 수를 자동 추출하고 SEO 적합성을 점검합니다. 개선 제안 포함.
Google PageSpeed Insights 기반으로 웹페이지 성능 점수와 Core Web Vitals(LCP·CLS·TTFB)를 분석합니다. 모바일·데스크톱 점수 동시 제공.