📖 약 4분 읽기
1편과 2편에서 AI가 사이트를 이용하는 경로와, 경로마다 얻는 정보가 다른 이유를 살펴보았습니다. 마지막 글은 실제 진단에서 AI 봇이 어디서 막혔는지, 그리고 사람 대신 움직이는 에이전트에게 사이트가 무엇을 알려 줄 수 있는지를 정리합니다.
AI 봇이 싫어하는 것 — 막히는 지점
보안 설정은 사람이 아닌 방문을 막도록 만들어져 있습니다. 그래서 AI 수집기와 조회 도구가 의도와 무관하게 막히는 일이 자주 생깁니다. 아래는 실제 진단에서 확인한 유형입니다(사명 비공개).
| 막히는 지점 | 확인된 증상 |
|---|---|
| robots.txt 규칙 | 상품 상세 경로를 막는 규칙 때문에, 규칙을 지키는 모든 수집기가 상세 페이지를 읽지 않았습니다. 일반 검색에도 같은 영향이 있었습니다. |
| 호스팅 보안 설정 | 검색엔진 봇(구글·빙·네이버)은 통과하고, AI 봇 6종은 1KB도 안 되는 확인 화면만 받았습니다. |
| 방화벽·사이버 대피소 | 특정 AI 서비스 하나를 빼고 나머지 AI 봇이 모두 차단되었습니다. |
| CDN 봇 관리 | 요청이 어디서 오느냐에 따라 정상 응답, 보안 확인 화면(429), 조회 거부가 서로 다르게 나왔습니다. |
| 요청 빈도 제한 | 짧은 간격으로 이어진 요청에서 일부 AI 봇에 503 오류가 간헐적으로 발생했습니다. |
표 1. AI 봇이 막힌 지점(실제 진단 사례, 사명 비공개)
그림 1. 사람에게는 정상인 사이트가 AI 봇에게는 확인 화면으로만 보인 사례
이 사례에서 사이트는 사람에게 아무 문제 없이 보였습니다. 담당자도, 일반 방문 분석 도구도 이 차이를 알 수 없었습니다. 검색엔진 봇과 AI 봇을 같은 주소로 나란히 비교해 보아야 드러나는 문제입니다.
막히지 않아도 얻지 못하는 것
| 유형 | 확인된 모습 |
|---|---|
| 깨진 안내 파일 | AI용 안내 파일(llms.txt)이 “상세 안내”라며 가리키는 하위 파일이 열리지 않았습니다(404). |
| 사이트맵 누락 | 새로 만든 상품 페이지가 사이트맵에 없었고, 갱신일도 오래전 날짜에 멈춰 있었습니다. |
| 스크립트 안에만 있는 정보 | 본문은 비어 있고 상품 정보가 구조화 데이터에만 있어, 실시간 조회 경로에서 모두 사라졌습니다. |
| 긴 화면 표시 시간 | 화면을 그리는 수집기 조건에서 상품 수치가 나타나기까지 8 ~ 11초가 걸렸습니다. |
| 화면 폭에 따른 주소 이동 | 특정 화면 폭에서 다른 주소로 이동해, 대표 주소 신호가 엇갈렸습니다. |
| 출처 표시 혼선 | 구조화 데이터의 같은 회사 표시(sameAs)에 제3자 정보 사이트가 들어 있었습니다. |
표 2. 접근은 되지만 정보를 얻지 못한 유형(실제 진단 사례, 사명 비공개)
AI 봇이 오는지조차 모르는 이유
많은 사이트가 AI 봇이 오는지, 막히는지 자체를 모릅니다. 이유는 세 가지입니다.
- 기록되지 않습니다. 일반 방문 분석은 브라우저에서 실행되는 스크립트로 기록하는데, 대부분의 AI 봇은 그 스크립트를 실행하지 않습니다.
- 캐시가 가립니다. 페이지 캐시나 CDN 캐시가 응답하면 서버 기록에도 방문이 빠질 수 있습니다.
- 이름만으로는 부족합니다. 접속 이름은 흉내 낼 수 있고, 일부 에이전트는 일반 브라우저와 같은 이름을 씁니다.
에이전트에게 길을 알리는 방법
에이전트는 사람처럼 메뉴를 눌러 기능을 찾지 않습니다. 대신 사이트가 기계용으로 남겨 둔 안내를 먼저 찾습니다. 사람용 화면과 별도로, 에이전트에게 기능·API·MCP(AI가 외부 서비스 기능을 도구로 불러 쓰는 연결 규약)의 위치를 알리는 수단은 다음과 같습니다.
| 안내 수단 | 무엇을 알리나 |
|---|---|
| 사이트맵 | 에이전트·API 안내 페이지가 있다는 사실을 수집기에 알립니다. |
| robots.txt | 사이트맵과 AI용 안내 파일의 위치를 알립니다. |
| llms.txt | AI에게 사이트 요약과 함께 MCP 서버 주소, API 명세 위치를 알립니다. |
| 발견 파일(/.well-known/ 아래) | MCP 서버 목록, AI 카탈로그처럼 기계가 정해진 위치에서 찾는 안내입니다. |
| MCP 서버 카드 · 공식 MCP 레지스트리 | 서비스가 제공하는 도구 목록과 연결 방법을 공개 목록에 올립니다. |
| API 명세(OpenAPI) | 에이전트가 호출할 수 있는 기능과 형식을 알립니다. |
표 3. 에이전트에게 기능 위치를 알리는 안내 수단(본문 기준 정리)
비즈스프링은 자사 서비스인 인터넷트렌드와 눈치(nunchi.biz)에서 이 수단들의 일부를 실제로 운영하고, 일부는 준비하고 있습니다. 운영해 보면 무엇을 열고 무엇은 열지 않을지, 가입·결제처럼 사람이 직접 확인해야 하는 단계를 어디에 둘지가 사이트마다 다르다는 점이 분명해집니다. 업무 성격과 보안 정책에 따라 답이 달라지므로 먼저 현재 상태를 진단하는 것이 순서입니다.
시리즈를 마치며 — 결국 GEO입니다
그림 2. AI 봇·에이전트 대응의 네 단계 점검(본문 기준 정리)
AXO·AAO·ABO라는 이름은 새롭지만, 목표는 GEO와 같습니다. AI가 우리 사이트를 정확히 읽고, 인용하고, 쓰게 하는 것입니다. 달라진 점은 AI가 답변을 만드는 데서 그치지 않고 사람 대신 사이트에 들어와 일을 처리하기 시작했다는 것이며, 그래서 GEO의 점검 범위도 접근·읽기·실행·측정까지 넓어졌습니다.
용어 풀이
robots.txt: 수집기에게 어떤 경로를 읽어도 되는지 알리는 파일입니다.
llms.txt: AI에게 사이트의 핵심 안내를 전하기 위해 쓰이는 텍스트 파일입니다.
MCP(Model Context Protocol): AI가 외부 서비스의 기능을 도구처럼 불러 쓰도록 연결하는 규약입니다.
CDN: 사이트 앞단에서 응답을 대신하고 보안·속도를 관리하는 전송 서비스입니다.
AI 봇이 우리 사이트 앞에서 멈추고 있지는 않을까요?
막히는 지점, 얻지 못하는 정보, 에이전트에게 열어 둘 범위는 사이트마다 다릅니다. GEOcare.ai가 검색엔진 봇과 AI 봇을 나란히 비교해 현재 상태를 진단해 드립니다.
자료: 비즈스프링 GEOcare 진단 실측(사명 비공개, 특정 시점·환경의 측정값이며 업체의 실제 수집 서버 동작과 다를 수 있습니다)
자주 묻는 질문 (FAQ)
사이트가 사람에게는 잘 보이는데 AI 봇이 못 읽을 수 있나요?
사람과 다른 곳에서 막히기 때문입니다. 호스팅 보안 설정, 방화벽, CDN 봇 관리는 사람이 아닌 방문을 걸러내도록 만들어져 있어, AI 봇만 확인 화면을 받는 경우가 있습니다. 검색엔진 봇과 AI 봇을 같은 주소로 비교해 보아야 드러납니다.
AI 에이전트에게 우리 서비스의 API나 MCP 위치를 어떻게 알리나요?
사이트맵, robots.txt, llms.txt, /.well-known/ 아래의 발견 파일, MCP 서버 카드와 공식 MCP 레지스트리, API 명세(OpenAPI) 같은 안내 수단이 있습니다. 무엇을 어디까지 열지는 업무 성격과 보안 정책에 따라 달라집니다.
AI 봇이 우리 사이트에 오는지 어떻게 알 수 있나요?
일반 방문 분석 도구로는 어렵습니다. 대부분의 AI 봇은 방문 기록 스크립트를 실행하지 않기 때문입니다. 서버나 엣지 단계의 기록을 확인해야 하며, 캐시와 이름 위장 가능성도 함께 고려해야 합니다.