크롤4AI — 웹페이지를 LLM 마크다운으로 무료 변환

웹페이지를 복사해 AI에 붙여 넣느라 지친 분께. 크롤4AI는 어떤 웹페이지든 AI가 읽기 좋은 마크다운으로 바꿔 주는 오픈소스 도구이고, 직접 돌리면 영구 무료입니다.

AI에게 웹 자료를 먹이려다 지저분한 화면 코드와 광고까지 딸려 와 곤란했던 적 있다면, 크롤4AI가 그 일을 대신해 줍니다. 크롤4AI는 어떤 웹페이지든 깔끔한 마크다운으로 바꿔 주는 오픈소스 웹 크롤러로, 검색 증강이나 AI 에이전트, 데이터 파이프라인의 재료를 만드는 데 쓰입니다. 직접 설치해 돌리면 영구 무료이고, 손이 가기 싫으면 키 하나로 호스팅 버전을 쓸 수도 있습니다. 이런 도구를 AI에 붙이는 연결 방식이 궁금하다면 엠시피 입문 글이 배경이 됩니다.

짧게 정리하면

• 크롤4AI는 어떤 웹페이지든 AI가 읽기 좋은 마크다운으로 바꿔 주는 오픈소스 크롤러입니다.
• 직접 설치해 돌리면 영구 무료이고, 키 하나로 쓰는 호스팅 버전도 있습니다.
• 마크다운 변환 외에 원하는 항목만 뽑기, 웹 검색, 출처 단 답변까지 한 번의 호출로 됩니다.

공식 저장소 안내 문서를 직접 열어 확인했습니다. 라이선스는 오픈소스(아파치 2.0)이고, 최신은 0.9.5 버전이며 한도·가격은 바뀔 수 있으니 공식 문서를 함께 보세요.

무엇을 해 주나

크롤4AI의 핵심 한 줄은 웹페이지를 마크다운으로 바꾼다입니다. 왜 하필 마크다운이냐면, AI 모델이 가장 깔끔하게 읽어 들이는 형식이기 때문입니다. 사람이 보는 웹페이지에는 메뉴·광고·화면 꾸밈 코드가 잔뜩 섞여 있는데, 이걸 그대로 AI에 넣으면 토큰만 잡아먹고 품질도 떨어집니다. 크롤4AI는 그 군더더기를 걷어 내고 본문만 마크다운으로 정리해 줍니다. 공식 설명에 따르면 쓰임새는 세 갈래입니다. 내 자료로 답하게 하는 검색 증강의 재료, 스스로 웹을 뒤지는 AI 에이전트의 눈, 그리고 대량 수집 데이터 파이프라인입니다. 내 문서로 답하는 챗봇을 만드는 흐름은 무료 검색 증강 글에 정리돼 있는데, 크롤4AI는 그 앞단에서 웹 자료를 모으는 역할을 맡습니다. 단순 변환만이 아니라, 페이지에서 원하는 항목만 구조화해 뽑거나, 웹을 검색하거나, 검색 결과 페이지를 데이터로 받거나, 질문에 출처를 달아 답하게 하는 것도 한 번의 호출로 됩니다.

바이브코딩하는 분이라면 쓰임새가 더 손에 잡힙니다. 예를 들어 어떤 라이브러리 공식 문서 여러 쪽을 크롤4AI로 마크다운으로 바꿔 AI에게 통째로 먹이면, AI가 최신 사용법을 보고 코드를 짜 줍니다. 모델이 혼자 기억하던 낡은 정보로 지어내는 대신, 방금 긁어 온 진짜 문서를 근거로 삼게 되는 것입니다. 경쟁사 가격표나 공지 페이지를 주기적으로 긁어 변화만 추려 보고받는 식의 자동화에도 맞습니다. 핵심은 사람이 복사해 붙이던 지루한 중간 단계를 도구가 대신 치운다는 점이고, 그만큼 AI가 다루는 자료의 폭이 넓어집니다.

공식 안내 기준, 할 수 있는 일

기능	내용
마크다운 변환	웹페이지의 군더더기를 걷고 본문만 깔끔한 마크다운으로
항목 추출	페이지에서 원하는 항목만 구조화된 데이터로 뽑기
웹 검색	웹을 검색하거나 검색 결과 페이지를 데이터로 받기
출처 답변	질문에 근거 출처를 달아 답하기

두 가지 쓰는 법

쓰는 길은 둘로 갈립니다. 하나는 내 컴퓨터나 서버에 직접 설치해 돌리는 방식입니다. 공식 안내는 파이썬 패키지로 한 줄 설치하고 브라우저 준비 명령을 한 번 돌리면 된다고 합니다. 정확한 명령은 공식 문서에 나와 있습니다. 이 길은 오픈소스라 영구 무료이고, 데이터가 밖으로 나가지 않아 민감한 작업에 유리합니다. 다른 하나는 제공자가 운영하는 호스팅 버전을 키 하나로 쓰는 방식입니다. 설치가 귀찮거나 규모를 키우고 싶을 때 편합니다. 호스팅에는 AI 에이전트가 바로 붙을 수 있는 엠시피 연결도 들어 있어서, 에이전트가 웹을 읽는 도구로 그대로 쓸 수 있습니다. 코딩 없이 이런 도구들을 엮어 자동화로 만드는 방법은 자동화 연결 글과 함께 보면 그림이 넓어집니다. 보안이 중요하면 직접 설치, 빠른 시작이 중요하면 호스팅으로 가르면 됩니다.

공식 안내 기준, 두 가지 방법

방법	특징
직접 설치	오픈소스로 영구 무료, 데이터가 밖으로 안 나감, 파이썬 한 줄 설치
호스팅	키 하나로 바로 시작, 엠시피 연결로 에이전트에 바로 붙임
고르는 법	보안·비용은 직접 설치, 빠른 시작·규모는 호스팅

무료 한도와 유료

비용을 솔직히 짚어 보겠습니다. 직접 설치해 돌리는 오픈소스 쪽은 말 그대로 영구 무료입니다. 반면 호스팅 버전은 무료 한도가 정해져 있습니다. 공식 안내 기준으로 무료는 매달 1,000크레딧에 분당 10번, 동시 2건까지이고, 유료는 월 10달러부터 분당 120번, 동시 10건으로 늘어납니다. 가볍게 맛보거나 개인 프로젝트라면 무료 한도로 충분하지만, 많은 페이지를 빠르게 긁어야 한다면 직접 설치하거나 유료로 올라가야 합니다. 무료로 AI를 붙여 쓰는 다른 선택지들은 무료 API 모음 글에 모아 두었으니 함께 견주면 좋습니다.

남의 웹사이트를 긁을 땐 규칙을 지켜야 합니다. 크롤4AI가 기술적으로 거의 모든 페이지를 가져올 수 있다고 해서 아무 사이트나 마구 수집해도 되는 건 아닙니다. 사이트의 이용약관과 수집 거부 규칙, 저작권을 확인하고, 과도한 요청으로 상대 서버에 부담을 주지 않도록 속도를 조절하세요. 특히 로그인 뒤의 개인정보나 유료 콘텐츠는 함부로 긁으면 법적 문제가 될 수 있습니다.

자주 묻는 질문

정말 무료인가요

직접 설치해 돌리는 오픈소스 쪽은 영구 무료입니다. 호스팅 버전은 매달 1,000크레딧까지 무료이고, 더 쓰려면 월 10달러부터인 유료로 올라갑니다. 맛보기나 개인 작업이라면 무료 한도로 대개 충분합니다.

왜 마크다운으로 바꾸나요

AI 모델이 가장 깔끔하게 읽는 형식이 마크다운이기 때문입니다. 웹페이지의 메뉴·광고·꾸밈 코드를 걷어 내면 토큰도 아끼고 답 품질도 올라갑니다. 지저분한 화면 코드를 그대로 넣는 것보다 훨씬 낫습니다.

코딩을 몰라도 쓸 수 있나요

호스팅 버전은 키 하나로 시작할 수 있어 진입이 쉽습니다. 직접 설치는 파이썬을 조금 다뤄야 하지만, 공식 문서에 설치법과 예제가 정리돼 있어 따라 할 만합니다.

아무 사이트나 긁어도 되나요

기술적으로 가능하다고 다 허용되는 건 아닙니다. 사이트 약관과 수집 거부 규칙, 저작권을 지키고 요청 속도를 조절해야 합니다. 로그인 뒤 자료나 유료 콘텐츠는 특히 조심해야 합니다.

크롤4AI는 화려하지 않지만, AI에게 웹을 먹이는 거의 모든 작업의 바닥에 깔리는 도구입니다. 저라면 먼저 직접 설치로 몇 페이지를 바꿔 보며 결과를 확인하고, 규모가 커지면 호스팅을 저울질하겠습니다. 중요한 건 도구의 힘이 아니라 쓰는 사람의 태도라, 남의 자료를 긁을 때는 규칙과 예의를 함께 챙기는 게 오래 쓰는 길입니다.

확인한 곳: 크롤4AI 공식 저장소 안내 문서와 라이선스 파일(공개 저장소에서 직접 확인). 오픈소스 웹 크롤러로 웹페이지를 LLM용 마크다운으로 변환, 라이선스 아파치 2.0, 최신 0.9.5 버전(2026년 10월 14일), 직접 설치는 영구 무료·호스팅은 키 하나로 사용, 기능은 마크다운 변환·항목 추출·웹 검색·검색 결과 데이터·출처 답변과 에이전트용 엠시피 연결, 호스팅 무료는 매달 1,000크레딧·분당 10·동시 2, 유료는 월 10달러부터 분당 120·동시 10. 수집 시 약관·저작권·속도 준수 필요. 2026년 10월 22일 기준이며 한도·가격은 바뀔 수 있습니다.