사내 LLM 게이트웨이 도입 — 캐시가 조용히 꺼져 요금이 오릅니다

회사에서 AI 도구를 쓰기 시작하면 중간에 관문 하나를 세우는 경우가 많습니다. 키를 서버에만 두고, 누가 얼마나 썼는지 보고, 예산을 한곳에서 막으려고요. 그런데 공식 문서를 읽다 보니 이 관문이 무언가를 제대로 넘겨주지 않으면 기능이 조용히 망가집니다. 특히 무서운 건 캐시가 오류 하나 없이 꺼져서, 아무도 모르는 채 요금만 오르는 경우예요. 정리했습니다.

📌 30초 요약

• ★★캐시가 조용히 꺼집니다 — 오류가 없어 눈치채기 어렵습니다.
• ★주소만 바꾸면 구독이 그대로 쓰입니다.
• 자격증명까지 넣는 순간 구독 한도가 사라지고 토큰당 과금입니다.
• ★짝이 어긋나면 오류, 둘 다 빠지면 침묵입니다.
• ⚠️ 오래 생각하는 동안 연결이 끊길 수 있습니다.
• 목록을 고정해두면 다음 판올림에서 깨집니다.

주소만 바꾸면 구독이 그대로 쓰입니다

가장 먼저 짚어야 할 오해입니다. 접속 주소를 관문 쪽으로 바꾸는 것만으로는 결제 주체가 바뀌지 않습니다. 요청은 관문을 지나가지만, 저장된 개인 로그인이 그대로 유효한 자격증명으로 남아 그 사람의 구독 한도와 청구가 적용됩니다.

결제까지 조직으로 넘기려면 자격증명 값을 함께 넣어야 합니다. 그런데 그 순간 성격이 확 바뀝니다 — 개인 구독은 그 세션에서 쓰이지 않고, 구독에 딸린 사용 한도도 적용되지 않으며, 트래픽은 토큰 단위로 자격증명 소유자에게 청구됩니다. "한도 안에서 쓰던 것"이 "쓴 만큼 내는 것"으로 바뀌는 거예요. 도입 전에 이 차이를 먼저 계산해 보세요.

🧭 관문을 두면 좋은 점

물론 이유가 있어서 세우는 겁니다. 제공자 키는 서버에만 두고 개발자에게는 관문용 자격증명만 주고, 사람·팀별로 사용량을 붙이고, 예산과 속도 제한을 한곳에서 걸고, 모든 요청을 감사 기록으로 남길 수 있어요. 나가는 사람이 있으면 자격증명 하나만 회수하면 됩니다. 다만 그 관문은 이제 우리 조직이 굴려야 하는 인프라이고, 도구가 새 기능을 내놓을 때 관문이 그걸 안 넘기면 그 기능이 깨집니다. 계속 따라가며 손봐야 한다는 뜻이에요.

캐시가 조용히 꺼집니다 — 오류가 없습니다

여기가 이 글의 핵심입니다. 같은 내용을 반복해 보낼 때 앞부분을 재사용해 값을 크게 깎아주는 장치가 있는데, 이게 동작하려면 "여기까지 재사용해라"는 표시가 원래 자리에 그대로 실려 가야 합니다.

관문이 이 표시를 지우거나, 덩어리로 온 지시문을 그냥 한 줄 글자로 바꿔 넘기면 재사용이 통째로 사라집니다. 문제는 오류가 안 난다는 거예요. 대화는 멀쩡히 돌아가고 답도 정상입니다. 다만 매 차례가 새 입력으로 계산돼 요금만 조용히 불어납니다. 토큰을 아끼려고 애쓴 노력이 관문 설정 한 줄에 날아갈 수 있는 셈이죠.

증상	짚어볼 곳
오류는 없는데 요금이 계속 오름	재사용 표시가 지워졌는지 — 입력량은 큰데 재사용 기록이 거의 없음
어떤 기능이 그냥 안 됨	능력 표시가 통째로 빠짐 — 오류 없이 조용히 없는 셈
알 수 없는 항목이라며 거부	표시는 빼고 본문만 넘김 — 짝이 어긋남
한참 조용하다 끊김	살아있음 신호를 버리거나 모아 보냄
글자가 안 흐르고 한 번에 나옴	응답을 다 모았다 넘김 — 화면이 멈춘 듯 보임

짝이 어긋나면 오류, 둘 다 빠지면 침묵

새 기능들은 "이런 걸 쓰겠다"는 표시와 실제 내용이 짝으로 다닙니다. 이 짝을 어떻게 다루느냐로 결과가 완전히 갈려요.

한쪽만 넘기면 딱딱한 거부가 돌아옵니다. 알 수 없는 항목이 들어왔다면서요. 반대로 둘 다 함께 빠지면 그 기능이 조용히 꺼질 뿐 오류는 안 납니다. 그래서 "요청 내용을 검사한다며 중간에서 고쳐 쓰는" 관문이 특히 위험합니다 — 지우는 것과 똑같이 짝을 깨거든요. 들여다보되 고치지는 말라는 게 문서의 지침입니다.

⚠️ 지금 본 목록을 고정하면 다음 판올림에서 깨집니다

관문을 만들 때 "지금 오는 항목들만 통과시키자"고 목록을 박아두는 건 함정입니다. 도구는 판올림마다 새 능력을 추가하는데, 그게 새 표시나 새 항목 형태로 도착하거든요. 고정된 목록은 그 새 항목을 걸러내 다음 판올림에서 기능을 깨뜨립니다. 열린 목록으로 다뤄 그대로 흘려보내고, 새 판이 나올 때마다 시험해 보라는 게 문서의 권고예요.

오래 생각하는 동안 연결이 끊깁니다

응답은 조각으로 흘러와야 합니다. 관문이 다 모았다가 한 번에 넘기면 그동안 화면이 멈춘 것처럼 보여요. 여기까지는 예상 가능한데, 덜 알려진 함정이 하나 더 있습니다.

모델이 한참 생각하는 동안에는 내용이 안 나옵니다. 그 침묵을 메우는 게 "살아있다"는 신호인데, 관문이 이걸 버리거나 모아두면 받는 쪽은 아무것도 안 오는 걸로 보고 일정 시간 뒤 스스로 연결을 끊습니다. 긴 작업일수록 잘 끊기는 이유가 여기 있어요. 뒤에 있는 제공자가 아예 그런 신호를 안 보내는 종류라면, 관문이 직접 만들어 넣어야 합니다.

🧑‍💻 붙이는 쪽에서 보이는 증상은 따로 있습니다

여기까지가 관문이 무엇을 넘겨야 하는지였다면, 개발자 기계에서 실제로 보이는 증상은 결이 다릅니다. 명령줄로는 응답이 오는데 도구는 로그인을 요구하는 것이 대표적이고, 가장 뜻밖인 건 사내 방화벽이 질문 속 꺾쇠 표시와 코드를 공격으로 오해해 막는 경우입니다. 이때는 관문 기록에 요청이 아예 남지 않습니다.

자주 묻는 질문 (FAQ)

Q. 관문 기록에 안 남는 요청이 있던데요?

맞습니다, 일부는 본사로 직접 갑니다. 특정 기능이 쓸 수 있는 상태인지 확인하는 요청 같은 것들이 설정한 주소를 따라가지 않고 원래 주소로 나가요. 그래서 직접 나가는 길을 막아둔 사내망에서는 이런 기능만 연결 오류가 나고, 정작 대화는 멀쩡히 돌아가는 이상한 상황이 생깁니다. 방화벽 담당자와 이야기할 때 이 구분을 알고 가면 시간을 아낍니다.

Q. 관문을 통해 다른 회사 모델도 쓸 수 있나요?

지원하지 않는다고 명시돼 있습니다. 관문 제품 자체가 여러 모델을 다룰 수 있어도, 이 도구를 그쪽으로 돌리는 건 지원 범위 밖이에요. 그리고 제품 자체를 승인하거나 유지·감사해주지도 않습니다. "제공자를 나중에 갈아끼울 수 있다"는 장점도 조건부인데, 관문이 한 가지 형식의 창구를 일관되게 내줄 때만 성립합니다. 특정 제공자 형식을 그대로 노출하면 개발자 기계 설정이 그 제공자에 묶여버려요.

Q. 오류를 우리 형식으로 감싸서 내보내도 되나요?

그러면 자동 복구가 깨집니다. 어떤 능력이 거부당하면 도구가 그 능력만 끄고 다시 시도해 대화를 살리는 장치가 있는데, 이게 원래 오류 문구를 읽고 판단하거든요. 관문이 자기 봉투에 싸서 내보내면 상태 번호를 그대로 뒀더라도 복구 경로가 끊깁니다. 오류 응답은 손대지 말고 그대로 넘기세요. 모델이 도중에 바뀌는 상황은 모델 자동 변경 정리에 따로 적어뒀습니다.

🧾 정직하게 밝혀둘 것

• 제가 관문을 운영해본 실측이 아닙니다. 공식 문서의 계약·증상·권고를 우리말로 정리했습니다.
• ★설정 항목 이름·환경 변수·헤더 이름·상태 번호·판올림 번호는 옮기지 않았습니다. 실제로 구축할 때는 원문 명세를 보세요.
• ★"도입 전에 한도와 과금 차이를 계산해 보라"는 제 제안이고, 문서는 구독이 대체된다는 사실만 밝힙니다.
• 관문 제품별 동작은 제품마다 다릅니다. 여기 적은 건 도구가 보내는 쪽의 요구 사항입니다.

✨ 정리하면

관문은 키·비용·감사를 한곳에 모아주지만, 우리가 굴려야 하는 인프라가 됩니다. 가장 조심할 건 캐시가 오류 없이 꺼져 요금만 오르는 경우예요. 주소만 바꾸면 구독이 그대로 쓰이고, 자격증명까지 넣으면 한도가 사라져 쓴 만큼 내는 구조로 바뀝니다. 표시와 내용은 짝이라 한쪽만 넘기면 거부, 둘 다 빠지면 침묵이고요. 토큰을 아끼는 쪽은 Headroom 압축 도구, 모델이 도중에 바뀌는 문제는 모델 자동 변경 정리, 결과가 조각으로 오는 이야기는 실시간 출력 정리, 전체 비용 흐름은 AI 지출 관리 허브에 모아뒀습니다.

※ 출처: Claude Code의 게이트웨이 공식 문서와 프로토콜 명세(2026년 8월 30일 열람). 요구 사항은 판올림마다 늘어납니다.