홍드로이드의 야매코딩

AI 에이전트나 RAG를 만들었는데, "웹에서 최신 정보를 가져와서 먹이고 싶다" — 이 단계에서 막히는 분이 많아요. 일반 크롤링은 HTML이 지저분해서 LLM이 못 쓰거든요. 이걸 한 방에 해결하는 도구가 Firecrawl(파이어크롤)입니다. 웹사이트 전체를 LLM이 바로 읽는 마크다운·JSON으로 변환해 줘요. 왜 화제인지 정리합니다.📌 30초 요약✓ Firecrawl = 웹사이트를 LLM용 마크다운·JSON으로 변환하는 크롤링 API✓ 핵심 6기능: Crawl·Scrape·Map·Search·Extract·Agent(FIRE-1)✓ 공식 MCP 서버로 Claude·Cursor·ChatGPT에 한 방 연결✓ 무료티어(API키 없이 scrape/search) + 오픈소스 자가호스팅 시 무료Firec..