AI 크롤러는 당신의 사이트를 정말 읽을 수 있나요?

SSR 없이 렌더링된 페이지, 막혀 있는 GPTBot, 빠진 JSON-LD. 눈에는 안 보이지만 AI 답변에서 당신을 사라지게 만드는 것들입니다

$ segeo scan https://your-site.com

→ fetching raw HTML (no JS execution) ...
✓ SEO   crawl · index · meta ····· 82
! GEO   ai-crawler · schema ······ 41   # GPTBot disallowed, no JSON-LD
◆ TOTAL weighted score ·········· 63

# 77 checks · 8 categories · report saved

사람들은 이제 구글에 검색하는 만큼 ChatGPT와 Perplexity에게 묻습니다. 문제는, AI가 답변을 만들 때 참조하는 파이프라인이 우리가 최적화해 온 검색 파이프라인과 다르다는 것입니다.

구글 순위는 잘 나오는데 ChatGPT에 브랜드를 물어보면 전혀 안 나오는 경험, 개발하다 보면 한 번쯤 겪습니다. 버그가 아니라 구조의 문제입니다. 검색엔진 봇과 AI 크롤러는 같은 URL을 열어도 서로 다른 것을 본다는 전제에서 출발해야 합니다.

---

01. AI 크롤러는 자바스크립트를 실행하지 않는다

가장 먼저 걸리는 지점입니다. Googlebot은 렌더링 큐를 거쳐 JS를 실행하지만, 대부분의 AI 크롤러는 원시 HTML만 가져갑니다. 클라이언트에서 fetch 후 마운트되는 콘텐츠는 AI 입장에서 존재하지 않는 셈입니다.

	Googlebot	GPTBot · ClaudeBot · PerplexityBot
처리 방식	크롤 → 렌더 큐 → JS 실행 → 인덱싱	원시 HTML만 파싱 (JS 미실행)
CSR 콘텐츠	지연은 있지만 결국 읽힘	루트 div만 보이면 빈 페이지로 처리

💊 처방 — SPA라면 SSR·SSG·프리렌더를 도입하세요. Next.js는 App Router의 서버 컴포넌트, 그 외 프레임워크는 프리렌더링 미들웨어로 최소한 핵심 콘텐츠·메타·JSON-LD를 원시 HTML에 실어 보내야 합니다.

---

02. robots.txt / llms.txt — 접근을 명시적으로 허용하기

AI 크롤러 상당수는 차단돼 있으면 그냥 지나갑니다. 기본값으로 막혀 있거나, 와일드카드 Disallow에 함께 걸려버린 경우가 흔하죠. 노출을 원한다면 명시적으로 허용해야 합니다.

# --- AI 크롤러 (허용 시 AI 답변 인용 후보) ---
User-agent: GPTBot          # ChatGPT / OpenAI
User-agent: ClaudeBot       # Claude / Anthropic
User-agent: PerplexityBot   # Perplexity
User-agent: Google-Extended # Gemini 학습·그라운딩 토큰
Allow: /

# --- ChatGPT·Copilot은 Bing 인덱스를 사용 ---
User-agent: Bingbot
Allow: /

# --- 네이버 AI 브리핑 (국내 트래픽의 절반) ---
User-agent: Yeti
Allow: /

Sitemap: https://your-site.com/sitemap.xml

여기에 더해 /llms.txt를 두면, AI가 사이트의 핵심 문서를 빠르게 파악하도록 지도를 쥐여줄 수 있습니다. 마크다운 한 장이면 됩니다.

# Your Company

> 한 줄 소개 — 무엇을 하는 회사이고 누구를 위한 서비스인지.

## 핵심 문서
- [제품 소개](https://your-site.com/about): 기능 요약
- [자주 묻는 질문](https://your-site.com/faq): 대표 Q&A
- [문의](https://your-site.com/contact): 연락 경로

---

03. 메타 · 스니펫 제어 — nosnippet 한 줄의 무게

구글 AI Overviews는 별도 크롤러가 아니라 일반 Googlebot 색인을 씁니다. 그래서 스니펫 지시자 하나가 AI 노출 여부를 가릅니다. nosnippet이 걸려 있으면 순위와 무관하게 AI 개요에서 즉시 제외됩니다.

<!-- 정규 URL 고정: 중복·파라미터 흡수 -->
<link rel="canonical" href="https://your-site.com/page" />

<!-- 스니펫 충분히 허용 (AI 인용 후보로 노출) -->
<meta name="robots"
      content="index,follow,max-snippet:-1,max-image-preview:large" />

<!-- 특정 페이지만 AI/스니펫 제외하고 싶을 때 -->
<meta name="robots" content="nosnippet" />

---

04. 구조화 데이터 — AI에게 "엔티티"로 인식되기

AI가 브랜드를 하나의 엔티티(entity) 로 이해하게 만드는 핵심 신호가 JSON-LD입니다. Organization + sameAs로 정체성을 묶고, 콘텐츠는 Article·FAQPage로, 지역 비즈니스라면 LocalBusiness로 명세하세요.

<script type="application/ld+json">
{
  "@context": "https://schema.org",
  "@type": "Organization",
  "name": "Your Company",
  "url": "https://your-site.com",
  "logo": "https://your-site.com/logo.png",
  "sameAs": [
    "https://www.instagram.com/your",
    "https://blog.naver.com/your",
    "https://www.linkedin.com/company/your"
  ]
}
</script>

---

05. 인용 가능성 — AI가 복붙할 수 있는 문장 구조

기술 설정을 다 맞춰도, 문장 구조가 인용에 부적합하면 소용없습니다. AI는 두괄식 답변, 정의형 문장, 명확한 시맨틱 마크업을 선호합니다. 질문에 대한 결론을 첫 문장에 두고, <h2>에 실제 질문을, 그 아래 답을 배치하는 구조가 인용률을 높입니다.

<h2>GEO란 무엇인가요?</h2>
<p>GEO는 생성형 AI 검색이 답변을 만들 때 내 사이트를
   출처로 인용하도록 콘텐츠·구조를 최적화하는 작업이다.</p>
<!-- ↑ 정의를 첫 문장에. AI가 그대로 인용 가능 -->

---

06. URL 하나로 8개 카테고리 77개 항목 자동 점검

위 항목들을 페이지마다 손으로 확인하기는 번거롭습니다. 세지오(SEGEO) 는 주소만 넣으면 검색엔진 기준과 AI 기준을 동시에 훑고, 무엇이 막혀 있는지 리포트로 돌려줍니다.

	카테고리	점검 내용
A	AI 크롤러 접근성	GPTBot·ClaudeBot·PerplexityBot·Google-Extended·Yeti의 robots.txt·llms.txt 정책
B	크롤링 · 인덱싱	상태 코드, 리다이렉트 체인, canonical, sitemap, 도메인 정규화
C	메타 · 스니펫 제어	nosnippet·max-snippet 등 AI 개요 노출을 좌우하는 메타 지시자
D	구조화 데이터	Organization·sameAs·Article·FAQ JSON-LD 유효성과 엔티티 신호
E	콘텐츠 인용 가능성	두괄식·정의형 문장, 통계 밀도, 신선도(freshness)
F	E-E-A-T · 신뢰	저자, 발행일, 출처 링크, 소개·연락처 등 신뢰 근거
H	성능 · 렌더링	JS 없이 원시 HTML만으로 콘텐츠가 읽히는지 검증
I	보안 · 정책	HTTPS, 혼합 콘텐츠, 보안 헤더, HTTP/2

결과는 뭉뚱그린 하나가 아니라 세 축으로 분해됩니다. 77개 항목마다 영향 축이 태그돼 있어, 지금 SEO가 약한지 GEO가 약한지 바로 구분됩니다.

• SEO 점수 — 크롤링·인덱싱·메타 등 전통 검색 노출 요인
• GEO 점수 — AI 크롤러·구조화·인용 가능성 요인
• 통합 점수 — 8개 카테고리 가중치 종합 판정

📐 진단 근거 — 구글 검색센터 공식 문서, llms.txt 표준 스펙, 주요 AI 크롤러의 공개 정책을 기반으로 77개 항목과 가중치를 설계했고, 실제 운영 사이트 실측으로 외부 진단 도구와 교차 검증했습니다. 리포트는 링크로 저장돼 팀·개발자에게 그대로 공유할 수 있습니다.

---

지금 사이트가 어디서 막혀 있는지 확인하세요

$ segeo scan https://segeo.kr

👉 URL 하나로 무료 진단하기

비로그인 1회/일 · 카카오·구글 로그인 시 무제한 · 카드 불필요

 

---

SEGEO — 검색엔진과 AI, 두 파이프라인에서 발견되게.

 

http://segeo.kr 쎄지오