막는 robots.txt, 내주는 llms.txt

지난번에 AI 봇을 막는 파일 이야기를 정리했는데, 그 반대편에 AI에게 읽기 좋게 내주는 파일이 따로 있습니다. 이름은 llms.txt. 2024년에 제안된 뒤 이번 달에 2판으로 갱신됐는데, 갱신 내용을 보다가 눈에 띈 대목이 있었습니다. 크롬의 검사 도구가 이 파일이 있는지를 점검 항목에 넣었다는 것입니다. 제안 문서를 읽고, 어느 회사가 실제로 두고 있는지 직접 받아서 세어봤습니다.

📌 30초 요약

① llms.txt는 사이트 요약을 마크다운으로 적어두는 파일입니다. AI가 읽을 것을 전제로 씁니다.

② robots.txt와 목적이 다릅니다. 하나는 접근 허용 범위, 하나는 필요할 때 꺼내 쓰는 안내입니다.

③ 사이트맵으로도 대체가 안 됩니다. 제안 문서가 이유 세 가지를 들고 있습니다.

④ AI 회사 세 곳이 자기 개발자 문서에 두고 있습니다. 직접 받아서 크기를 세어봤습니다.

⑤ 크롬 검사 도구의 점검 항목에 들어갔습니다. 제안이 도구 쪽으로 넘어간 신호입니다.

⑥ 티스토리에는 없습니다. 주소를 직접 열어보니 404였습니다.

막는 파일과 내주는 파일

둘 다 사이트 주소 뒤에 파일 이름을 붙이면 나오는 텍스트 파일이라 헷갈리기 쉽습니다. 제안 문서는 목적이 다르다고 분명히 선을 긋습니다. robots.txt는 자동화 도구에게 어디까지 들어와도 되는지 알려주는 것이고, llms.txt는 누군가를 돕던 AI가 이 주제에 대한 정보가 필요할 때 꺼내 보는 것입니다.

기준	robots.txt	sitemap.xml	llms.txt
하는 일	들어와도 되는 범위	전체 페이지 목록	골라 놓은 요약과 길잡이
읽는 쪽	크롤러	검색 엔진	답하는 중인 AI
읽는 시점	수집하기 전	색인 만들 때	필요해진 그때
형식	규칙 목록	XML	마크다운
놓는 자리	사이트 최상단만	보통 최상단	아무 경로에나

맨 아랫줄이 설계 의도를 잘 보여줍니다. 제안 문서는 이 파일을 사이트 최상단에만 두게 하지 않은 이유를 따로 설명합니다. "공유 호스트에서 자기 경로만 통제할 수 있는 사람"도 쓸 수 있어야 한다는 것입니다. 예로 든 건 특정 코드 저장소 호스팅의 프로젝트 페이지인데, 자기 폴더에는 파일을 올릴 수 있어도 호스트 최상단에는 아무것도 못 얹는 처지죠. 이 대목은 뒤에서 다시 나옵니다.

📄 사이트맵으로 안 되는 이유 세 가지

제안 문서가 든 이유는 이렇습니다 — ① 사이트맵에는 보통 AI가 읽기 좋은 형태의 페이지가 안 실린다 ② 외부 사이트 주소를 못 넣는다(이해에 도움이 되더라도) ③ 다 합치면 AI가 한 번에 담아두기엔 너무 크고, 사이트를 이해하는 데 필요 없는 것까지 들어간다. 요약하면 사이트맵은 전수 목록, llms.txt는 골라낸 것입니다.

직접 받아서 세어봤습니다

제안 문서는 AI 회사들이 자기 개발자 문서에 이 파일을 두고 있다고 적고 있습니다. 말만 보고 넘기기엔 아까워서 주소를 직접 열어봤습니다. 결과가 흥미로웠습니다.

# 2026-08-25 직접 받아본 결과

A사 개발자 문서   200   51줄
B사 API 문서      200   182줄
C사 문서 전체     200   682줄
C사 도구 문서     200   197줄
   ↑ 같은 회사인데 경로마다 따로 있다
     /docs/llms.txt 는 /docs/ 아래만 담당

이 블로그 주소     404   없음

같은 회사가 경로마다 다른 파일을 두고 있다는 게 눈에 띕니다. 규약이 "아무 경로에나 놓을 수 있고, 그 파일은 자기 아래 경로를 담당한다"고 정해둔 대로입니다. 여러 개가 걸리면 가장 구체적인 것을 쓰라는 규칙도 함께 있습니다. 참고로 저는 이 문서들의 변화를 매일 받아서 비교하는 방식으로 새 소식을 잡아내고 있는데, 그게 가능한 것도 이 파일이 사람이 아니라 기계가 읽으라고 만들어진 덕입니다.

2판에서 달라진 것

제안자가 서두에 이렇게 적어뒀습니다. 2024년에 이 글을 처음 쓸 때는 대체로 예측이었지만 지금은 일상이 됐다고요. 2판은 그 2년치 경험을 반영한 것입니다.

🧭 제안에서 관행으로 넘어가는 신호

크롬의 성능·품질 검사 도구가 llms.txt 유무를 점검 항목으로 넣었습니다. "에이전트가 돌아다니기 좋은 사이트인가"를 보는 항목군에 포함된 것인데, 개인의 제안이 브라우저 표준 도구의 체크리스트로 옮겨갔다는 뜻이라 무게가 다릅니다.

문서 플랫폼이 자동 생성하기 시작했다는 언급도 있습니다. 쓰는 사람이 따로 만들지 않아도 생기는 구조가 되면 보급 속도가 달라집니다.

2판에서 실무적으로 가장 쓸모 있는 건 HTTP 응답 헤더로도 선언할 수 있게 한 것입니다. 페이지를 한 줄도 고치지 않고 서버나 CDN 설정만으로 "이 페이지의 마크다운판은 여기, 이 페이지를 설명하는 llms.txt는 여기"를 알려줄 수 있습니다.

형식 자체는 단출합니다. 필수는 제목 한 줄뿐이고, 그 아래 짧은 요약, 그리고 링크 목록을 항목별로 묶으면 끝입니다. 마지막에 "선택"이라는 묶음을 두는 관례가 있는데, 공간이 부족하면 AI가 건너뛰어도 되는 것들을 여기 모아둡니다. 무엇을 버려도 되는지까지 알려주는 셈입니다.

🔁 저장소에 둔 파일이 명령까지 정할 때

폴더에 둔 파일이 바깥 프로그램의 행동을 정한다는 이야기를 했는데, 같은 구조가 훨씬 위험한 쪽으로 쓰인 사례가 9월에 공개됐습니다. 저장소의 깃 설정 파일이 실행할 명령을 지정할 수 있고 에이전트가 문맥을 모으다가 그걸 그대로 돌리는데, 승인 창도 격리 장치도 거치지 않습니다. 다만 주소로 내려받는 평범한 방식은 해당 없고, 설정이 든 폴더째 파일로 받을 때만 성립합니다. 「읽히려고 두는 파일」과 「실행을 부르는 파일」을 갈라 보는 눈이 하나 더 필요해졌습니다.

자주 묻는 질문

Q. robots.txt가 있으면 llms.txt는 필요 없지 않나요?

겹치지 않습니다. robots.txt는 수집하기 전에 어디까지 되는지를 보고, llms.txt는 누군가에게 답하던 중에 참고합니다. 제안 문서도 "공존하도록 설계했다"고 적고 있습니다. 막는 쪽 이야기는 AI 봇 세 갈래를 정리한 글에 따로 있습니다.

Q. 티스토리 블로그에도 만들 수 있나요?

지금은 어렵습니다. 주소를 열어보니 404였고, robots.txt와 마찬가지로 개별 블로그가 최상단에 파일을 얹을 수 없습니다. 공교롭게도 제안 문서가 "아무 경로에나 둘 수 있게 한 이유"로 든 상황이 정확히 이 처지인데, 블로그 서비스는 그 경로조차 우리가 못 만듭니다. 직접 만든 사이트라면 사정이 다릅니다 — AI로 만든 웹사이트에는 파일 하나 올리는 것으로 끝납니다.

Q. 만들어두면 AI 검색에 잘 잡히나요?

제안 문서는 그런 약속을 하지 않습니다. 노출을 올려준다는 말이 아니라, AI가 이미 찾아왔을 때 헤매지 않게 해주는 것에 가깝습니다. 다만 브라우저 검사 도구가 점검 항목에 넣은 이상 "있으면 잘 만든 사이트"라는 기준이 생기는 중이라, 앞으로의 기대치는 달라질 수 있습니다.

🧾 솔직하게 밝혀둘 것

① 이건 제안입니다. 표준화 기구가 승인한 규격이 아니라 개인이 낸 제안이 넓게 채택된 경우고, 문서 스스로도 "proposal"이라고 부릅니다.

② 파일이 있다는 것과 AI가 실제로 읽는다는 것은 다릅니다. 어느 회사 어느 도구가 이 파일을 읽는지는 각자 공개하기 나름이고, 제가 확인한 것도 아닙니다.

③ 줄 수는 확인한 시점의 값입니다. 문서가 갱신되면 바뀌고, 실제로 저는 이 값이 하루 사이에 크게 달라지는 경우를 몇 번 봤습니다.

④ 티스토리 404는 이 블로그 주소 기준입니다. 서비스 전체가 항상 그렇다고 확인하지는 못했습니다.

⑤ "놓으면 유입이 는다"는 근거는 찾지 못했습니다. 그런 주장을 보시면 무엇을 근거로 하는지부터 확인하시는 편이 좋습니다.

✨ 정리하면

웹에 사람이 읽는 판과 AI가 읽는 판을 따로 두자는 흐름이 생겼고, llms.txt는 그 입구에 해당합니다. 막는 파일이 이미 있는 자리 옆에 내주는 파일이 하나 더 생긴 셈입니다. 블로그 서비스를 쓰는 입장에서는 당장 할 수 있는 게 없지만, 문서나 사이트를 직접 운영한다면 지금 파일 하나 놓아두는 것으로 준비가 끝납니다.

코딩 도구 쪽에도 같은 발상의 파일이 먼저 자리를 잡았습니다 — AI가 읽는 설명서 AGENTS.md가 그것이고, 막는 쪽은 AI 봇 세 갈래 정리에 있습니다. AI에 쓰는 돈 전체를 순서대로 보려면 AI 지출 허브를 참고하시면 됩니다.

※ 출처: llms.txt 제안 문서 2판 원문(2026년 8월 갱신)과, 각 사이트 주소로 직접 요청해 받은 응답. 2026년 8월 25일 확인 기준이며 파일 내용·크기·존재 여부는 언제든 바뀔 수 있습니다. 본문의 회사 표기는 규약 채택 사실을 보여주려는 것이라 A사·B사·C사로 적었습니다.