Robots.txt: 정의와 작동 방식

robots.txt란 무엇인가?

robots.txt(로봇 제외 프로토콜)는 호스트 루트에 위치한 일반 텍스트 파일입니다 — 예: https://example.com/robots.txt — user-agents(웹 크롤러)에 간단한 크롤링 지침을 제공합니다. 이 파일은 공개적이고 기계 판독 가능하며 인증이나 콘텐츠 숨김 용도로 사용되지 않습니다. 크롤러는 사이트 소유자가 방문을 피하거나 우선시하길 바라는 경로를 파악하기 위해 robots.txt를 읽습니다.

robots.txt가 SEO에서 중요한 이유

robots.txt는 크롤링을 제어합니다. 크롤링은검색 엔진이귀하의 사이트와 상호작용하는 방식에서 페이지를 발견하고 가져오는 단계입니다; 만약 크롤러가 URL을 가져오는 것이 차단되면, 메타 robots 같은 온페이지 지시나 색인화에 필요한 페이지 콘텐츠를 보지 못할 수 있습니다. 따라서 robots.txt는 색인화에 간접적으로 영향을 미칠 수 있습니다. 직접적으로 순위(랭킹)를 설정하지는 않습니다 — 순위는 색인화 이후 여러 신호를 기반으로 결정됩니다. robots.txt는 서버 리소스 보호, 중복되거나 내부 도구 페이지의 크롤링 회피, 그리고 올바른 렌더링에 필요한 자산에 크롤러가 접근할 수 있도록 하는 데 사용하세요.

robots.txt의 작동 원리

크롤러는 동일 호스트에서 다른 페이지를 요청하기 전에 /robots.txt를 먼저 가져와서 일치하는 첫 번째 User-agent 섹션과 그 지시문을 적용합니다. 주요 크롤러가 지원하는 일반적인 지시문에는 User-agent, Disallow, Allow, Sitemap이 포함됩니다. 패턴 매칭 및 추가 지시문에 대한 지원은 크롤러마다 다르며—Google은 문서에 따라 * 및 $ 같은 패턴을 인식하고 Allow/Disallow 우선순위 규칙을 준수합니다.

일반적인 지시문 및 예시

최소한의 robots.txt 예시:

User-agent: *
Disallow: /private/
Allow: /public/
Sitemap: https://example.com/sitemap.xml

참고: robots.txt는 사이트 루트에 배치해야 합니다. robots.txt가 HTTP 404를 반환하면 대부분의 크롤러는 이를 '제한 없음'으로 간주합니다. 파일을 불러올 수 없거나 서버 오류가 발생하면 크롤러 동작이 다양할 수 있으므로, 의도치 않은 광범위 차단을 피하려면 테스트하고 모니터링하세요. Google의 동작 및 예시는 Google의 robots.txt 문서를 참조하세요.

robots.txt의 유형

목적에 따라 다양한 robots.txt 패턴이 사용됩니다. 아래는 일반적인 접근 방식과 간단한 장단점입니다.

- 전체 사이트 차단 (Disallow: /)
장점: 크롤러의 호스트 전체 접근을 즉시 차단합니다.
단점: 크롤러가 콘텐츠와 자산을 가져오지 못하게 하여 공개 페이지의 색인화가 중단될 수 있습니다.

- 경로별 규칙 (Disallow: /private/)
장점: 내부 또는 관리자 경로를 손쉽게 제외할 수 있습니다.
단점: robots.txt는 공개 파일이므로, 비밀로 유지해야 할 민감한 경로를 나열하면 안 됩니다.

- User-agent별 규칙 (User-agent: Googlebot)
장점: 특정 크롤러에 맞춰 동작을 조정할 수 있습니다.
단점: 관리 부담이 늘어나며 일부 크롤러는 비표준 지시문을 무시할 수 있습니다.

robots.txt 시작하기

1) 크롤링으로부터 보호할 항목(서버에 부담을 주는 영역, 스테이징 경로)과 크롤러에 항상 노출되어야 하는 항목(공개 페이지, 렌더링에 필요한 CSS/JS)을 결정하세요.

2) 사이트 루트에 robots.txt라는 이름의 텍스트 파일을 만드세요. 운영 환경에 배포하기 전에 로컬과 스테이징에서 테스트하세요.

3) 아래 기술 체크리스트로 배포 후 검증하세요. 파일은 단순하게 유지하고, User-agent별 규칙은 차후 유지보수자가 의도를 이해할 수 있도록 문서화하세요.일반적인 robots.txt 실수
• robots.txt로 민감한 데이터를 숨기려 하는 것 — robots.txt는 공개 파일이므로 보안 수단으로 사용하면 안 됩니다. 인증을 적용하거나 리소스를 제거하세요.
• 렌더링에 필요한 CSS/JS를 차단하는 것 — 이것은 검색엔진이 페이지 레이아웃과 콘텐츠를 이해하는 데 악영향을 줄 수 있습니다.
• meta noindex가 포함된 페이지를 차단하는 것 — Googlebot이 해당 페이지를 가져오지 못하면 meta noindex 지시자를 확인할 수 없습니다.
• robots.txt를 하위 경로에 두는 것(예: /blog/robots) — robots.txt는 사이트 루트에 두어야 합니다.robots.txt) — 크롤러는 루트 디렉터리의 파일만 확인합니다.
• 구문 오류 및 잘못된 HTTP 상태 코드 — 파일이 적절한 HTTP 200 응답으로 제공되는지 확인하세요.

robots.txt 확인: 기술 체크리스트

robots.txt를 배포하거나 업데이트한 후 아래 점검 항목을 사용하세요. 각 항목에는 확인 위치와 명확한 합격 조건이 나와 있습니다.

**파일 접근 가능 여부** — 확인 위치: curl -I https://example.com/robots.txt — 요청이 HTTP 200을 반환하고 파일 내용이 예상한 것과 일치하면 통과.
**지시문 올바름** — 확인 위치: curl https://example.com/robots.txt 또는 브라우저의 view-source — User-agent/Disallow/Allow 라인이 정책과 일치하면 통과.
**렌더링 자원 차단 여부** — 확인 위치: Chrome DevTools Network 및 Coverage 또는 크롤러 시뮬레이터로 페치 — 렌더링에 필요한 CSS/JS가 차단되지 않으면 통과.
**Google 차단 확인(자사 사이트)** — 확인 위치: Google Search Console URL Inspection — 검사 결과가 URL이 크롤링 가능하고 'Blocked by robots.txt'로 표시되지 않으면 통과.
**외부 크롤러 확인** — 확인 위치: curl 또는 서드파티 크롤러로 차단된 URL을 요청해 페이지는 200을 반환하지만 크롤러의 접근이 거부되는지 확인 — 동작이 기대와 일치하면 통과.
**사이트맵 존재 여부** — 확인 위치: robots.txt 내용 및 Google Search Console의 Sitemaps 리포트 — 사이트맵 URL이 robots.txt에 나열되었거나 Search Console에 제출되어 승인되면 통과.

robots.txt 확인용 도구 및 명령어

curl(헤더만): curl -I https://example.com/robots.txt — HTTP 상태와 응답 헤더를 반환합니다. curl(전체 파일): curl https://example.com/robots.txt — 검사용으로 파일 내용을 출력합니다. Chrome DevTools: 파일 URL을 열거나 페이지의 네트워크 요청을 확인해 자원이 허용되는지 확인하세요. Google Search Console의 URL Inspection: 소유한 URL에 대해 Google이 페이지를 인지하는지, robots.txt로 차단되었는지 여부를 보고합니다.Bing Webmaster ToolsSite Explorer는 Bing이 파일을 어떻게 처리했는지(검증된 사이트에 대해) 보여줄 수 있습니다. 서버 로그를 사용해 어떤 user-agents가 robots.txt를 요청했는지와 빈도를 확인하세요.

지원되는 지시문과 우선순위에 대한 권위 있는 세부 내용은 공식 문서를 참조하세요: https://developers.google.com/search/docs/advanced/robots/intro

Technical SEO Guide 읽어보기

자주 묻는 질문

Q: robots.txt로 페이지를 차단하면 검색 결과에서 사라지나요?\nA: robots.txt로 차단하면 크롤러가 해당 페이지를 가져오지 못하게 되어 보통 온페이지 신호를 확인할 수 없습니다. 다만 차단된 페이지는 외부 신호에 의해 URL만으로 검색결과에 노출될 수 있으며, 캐시된 스니펫이나 렌더된 콘텐츠는 제공되지 않습니다. 삭제를 요청하려면 소유한 URL에 대해 인덱스 제거 도구를 사용하세요. 메타로 인덱싱을 제어하려면 크롤러가 meta robots:noindex 지시문을 확인할 수 있도록 페이지가 크롤러에 의해 접근 가능해야 합니다.

Q: robots.txt로 특정 봇을 차단할 수 있나요?\nA: 알려진 크롤러를 대상으로 User-agent별 스탠자(stanza)를 추가할 수 있습니다. 다만 robots.txt는 준수를 전제로 하는 규약이므로 정상적으로 동작하는 크롤러는 이를 따르지만 악의적인 봇은 무시할 수 있습니다. 보다 강력한 보호가 필요하면 인증, IP 필터링 또는 방화벽을 사용하세요.

Q: robots.txt에 사이트맵을 포함해야 하나요?\nA: robots.txt에 'Sitemap: https://example.com/sitemap.xml'을 추가하면 크롤러에게 사이트맵 위치를 알려주는 편리한 방법입니다. 또한 소유한 사이트의 경우 Google Search Console에 사이트맵을 직접 제출하세요.

Q: robots.txt는 프로토콜과 호스트별로 적용되나요?\nA: 예. robots.txt는 호스트와 프로토콜별로 가져오기 때문에 https://example.com/robots.txt는 http://example.com/robots.txt 또는 https://sub.example.com/robots.txt. 사이트에서 사용하는 동일한 스킴 및 호스트에 파일을 배치하세요.

Q: 어떻게 mobile-first indexing가 robots.txt에 어떤 영향을 미치나요?\nA: Google은 모바일 버전을 주요 기준으로 사용하여 크롤링 및 인덱싱2024년 7월부터 Google은 검색에서 기본적으로 Googlebot Smartphone을 사용하여 사이트를 크롤링합니다. robots.txt가 모바일로 제공되는 페이지에서 올바른 렌더링과 인덱싱에 필요한 리소스를 의도치 않게 차단하지 않도록 확인하세요.

Q: 공식 지침은 어디에서 확인할 수 있나요?\nA: Google의 robots.txt 문서를 다음에서 확인하세요:https://developers.google.com/search/docs/advanced/robots/intro관련 크롤링 및 인덱싱 관행에 대해서는 Schema.org 및 W3C 자료도 참조하세요.

양질의 backlinks를 확보하여 권위를 높이세요.