AI 토큰 한국어가 3~5배 더 든다? — 직접 재보니 1.44배였습니다

AI 토큰을 한국어로 쓰면 영어보다 3~5배 더 나간다는 이야기가 돌고 있습니다. 같은 구독료를 내고 3분의 1만 받는다는 말까지 붙어서요. 억울한 얘기라 널리 퍼졌는데, 출처를 따라가 보니 "커뮤니티 벤치마크와 학술 연구를 종합하면"이라고만 적혀 있었습니다. 그래서 토크나이저를 직접 돌려서 재봤습니다. 결과가 꽤 달랐습니다.

📌 30초 요약

• 직접 측정 결과 1.44배 — 같은 뜻의 한국어·영어 문장 5쌍을 현세대 토크나이저로 재니 153 대 106이었습니다.
• 구세대로 재면 2.30배. 같은 문장인데 토크나이저 세대만 바꿔도 배수가 이만큼 달라집니다. "3~5배"는 옛날 숫자일 가능성이 큽니다.
• 3배라는 숫자의 정체 — 글자 하나당 효율로 보면 실제로 약 3배 차이가 납니다. 그런데 한국어는 같은 뜻을 영어의 절반 글자 수로 씁니다. 그래서 최종 청구는 1.44배로 줄어듭니다.
• 영어로 물어봐도 절감폭은 생각보다 작습니다. 대개 출력이 입력보다 비싸고, 답변은 어차피 한국어로 받기 때문입니다.
• 제가 잰 건 OpenAI 계열 토크나이저뿐입니다. Claude·Gemini는 공개 토크나이저를 못 찾아 재지 못했습니다.

먼저, 그 3~5배는 어디서 온 숫자인가

출처를 찾아 올라가 봤습니다. 국내 기사에 실린 문장은 이렇습니다 — "영어 사용자가 100토큰으로 하는 대화를 한국어로는 300~500토큰을 써야 한다." 근거로 제시된 건 "커뮤니티 벤치마크와 학술 연구를 종합하면" 한 줄이었고, 특정 논문이나 벤치마크 이름은 없었습니다.

같은 기사에 실린 유일한 구체적 사례는 일본 기업 LayerX의 것이었습니다. 중간 추론은 영어로 하고 최종 답변만 일본어로 뽑게 해서 출력 토큰을 약 20% 줄였다는 자사 블로그 내용입니다. 의미 있는 사례지만 일본어 이야기지 한국어 측정치가 아니고, 줄인 폭도 20%지 3~5배가 아닙니다.

그래서 직접 쟀습니다

방법은 단순합니다. 같은 뜻의 한국어 문장과 영어 문장을 짝지어 놓고, OpenAI가 공개한 토크나이저 라이브러리로 각각 토큰 수를 세는 겁니다. 인사말처럼 짧은 것부터 기술 설명이 든 긴 문단까지 다섯 쌍을 만들었습니다.

# pip install tiktoken
import tiktoken

enc = tiktoken.get_encoding("o200k_base")   # 현세대
old = tiktoken.get_encoding("cl100k_base")  # 구세대

ko = "이 코드의 버그를 찾아서 고쳐줘."
en = "Find and fix the bug in this code."

print(len(enc.encode(ko)), len(enc.encode(en)))   # 12 9
print(len(old.encode(ko)), len(old.encode(en)))   # 18 9

다섯 쌍 전체를 돌린 결과입니다. 배수 열이 한국어가 영어의 몇 배를 쓰는지입니다.

문장 유형	한국어 글자	영어 글자	한국어 토큰	영어 토큰	배수
인사말	13	24	7	7	1.00
짧은 지시	18	34	12	9	1.33
업무 요청	42	99	27	21	1.29
기술 설명	57	110	34	21	1.62
긴 문단	129	258	73	48	1.52
합계	259	525	153	106	1.44

1.44배. 3~5배가 아니었습니다. 그리고 재미있는 게, 인사말은 1.00배로 완전히 같았습니다. 짧고 흔한 표현일수록 차이가 없고, 문장이 길고 전문적일수록 벌어집니다.

그런데 구세대 토크나이저로 재면 2.30배가 나옵니다

여기가 이 글의 핵심입니다. 똑같은 문장 다섯 쌍을 한 세대 전 토크나이저로 다시 돌렸더니 결과가 이렇게 바뀌었습니다.

토크나이저	한국어 토큰	영어 토큰	배수
구세대	244	106	2.30
현세대	153	106	1.44

한국어 토큰만 244에서 153으로 줄었습니다. 영어는 106 그대로고요. 토크나이저가 세대 교체되면서 한국어를 훨씬 효율적으로 쪼개게 된 겁니다. 긴 문단 하나만 놓고 보면 배수가 2.71에서 1.52로 떨어졌습니다.

그러니까 "한국어는 3~5배"라는 말이 완전한 낭설은 아닙니다. 다만 그 말이 만들어진 시점의 숫자일 가능성이 큽니다. 모델이 새 세대로 넘어갈 때마다 이 페널티는 조용히 줄어들어 왔고, 그 사실은 아무도 기사로 쓰지 않습니다. 나쁜 소식만 퍼지고 좋은 소식은 안 퍼지는 거죠.

그럼 3배라는 숫자는 뭐였나 — 글자당 효율의 함정

같은 데이터를 글자 하나당 몇 토큰이 드는가로 다시 보면, 갑자기 3배가 나타납니다.

보는 방식	한국어	영어	해석
토큰 1개가 담는 글자 수	1.77자	5.38자	약 3배 불리
같은 뜻을 쓰는 데 필요한 글자 수	259자	525자	약 2배 유리
둘을 곱한 최종 결과	153토큰	106토큰	1.44배 불리

글자당으로만 보면 3배가 맞습니다. 실제로 토크나이저가 한글을 어떻게 쪼개는지 들여다보면 왜 그런지 바로 보입니다.

# 토큰 하나하나를 다시 글자로 풀어 본 결과
안녕하세요    -> 2토큰  ['안', '녕하세요']
감사합니다    -> 3토큰  ['감', '사', '합니다']
데이터베이스  -> 4토큰  ['데', '이터', '베', '이스']

hello        -> 1토큰  ['hello']
database     -> 1토큰  ['database']

"데이터베이스"는 4토큰인데 "database"는 1토큰입니다. 4배죠. 이런 걸 보면 억울할 만합니다. 그런데 한국어는 그 대신 문장이 짧습니다. 같은 내용을 전달하는 데 259자면 되는 걸 영어는 525자를 씁니다. 한국어가 글자당 3배 손해를 보고, 글자 수에서 2배를 되찾아서, 최종적으로 1.44배가 되는 구조입니다.

⚠️ 이 측정의 한계 — 제가 먼저 밝힙니다

• OpenAI 계열 토크나이저만 쟀습니다. Claude와 Gemini는 토크나이저가 공개돼 있지 않아 같은 방식으로 재지 못했습니다. 두 곳의 배수는 다를 수 있습니다.
• 문장 5쌍은 작은 표본입니다. 코드가 섞인 프롬프트나 표·목록이 많은 문서는 결과가 달라질 수 있습니다.
• 영어 문장은 제가 번역해 쓴 것입니다. 더 간결하게 옮겼다면 영어 토큰이 더 줄어 배수가 커졌을 겁니다. 즉 1.44배는 낙관적인 쪽에 가까운 값일 수 있습니다.
• 그래서 결론은 "정확히 1.44배다"가 아니라 "3~5배라고 할 근거는 제가 재본 범위에서 나오지 않았다"입니다.

영어로 물어보면 실제로 얼마나 아낄까

여기서 대부분의 글이 "그러니 영어로 물어보세요"로 끝납니다. 그런데 계산을 해보면 이 조언의 실익이 생각보다 작습니다. 이유는 출력이 입력보다 비싸기 때문입니다.

아래는 제가 세운 가정으로 직접 계산한 예시입니다. 실제 요금제가 아니라 구조를 보여주려는 숫자입니다. 입력 1,000토큰·출력 2,000토큰을 쓰는 질문 하나, 출력 단가가 입력의 4배인 흔한 구조를 가정했습니다.

방식	입력 토큰	출력 토큰	비용 지수	절감
한국어로 묻고 한국어로 받기	1,000	2,000	9,000	기준
영어로 묻고 한국어로 받기	694	2,000	8,694	3.4%
영어로 묻고 영어로 받기	694	1,389	6,250	30.6%

결론이 명확합니다. 질문만 영어로 바꾸는 건 3% 남짓입니다. 의미 있는 절감은 답변까지 영어로 받을 때 나옵니다. 그런데 답변을 영어로 받으면 읽는 시간이 늘고, 팀에 공유할 때 다시 번역해야 합니다. 토큰을 아끼려다 사람 시간을 쓰는 셈이라, 저는 이걸 무조건 권하지 않습니다.

✅ 그래서 실제로 효과가 큰 것

언어를 바꾸는 것보다 출력 길이를 줄이는 지시가 훨씬 큽니다. 출력이 비싼 쪽이니까요. "표로만", "300자 이내로", "설명 없이 코드만" 같은 한 줄이 위 표의 세 번째 행보다 큰 절감을 냅니다. 그리고 그 한 줄은 한국어로 써도 됩니다.

🗺️ AI 지출 전체 지도

토큰 단가는 AI 요금의 한 조각일 뿐입니다. 무료로 시작해서 어디서 돈이 새고, 상한은 어떻게 거는지까지 단계별로 묶어 둔 지도가 있습니다.

AI 지출 완전 정복 — 7단계 지도 보기 →

🧪 직접 재보는 습관을 평가로 굳히기

한 번 재보고 끝내지 말고 상시 측정으로 만들면 더 낫습니다. 평가를 만들 때는 「좋은 답」 대신 숫자로 된 기준을 세우고 정확도·안전성·응답 시간처럼 여러 축을 한꺼번에 걸어 둡니다. 사람도 판단이 갈릴 만큼 애매한 경우를 시험에 꼭 넣으세요 — 사고는 늘 거기서 납니다.

자주 묻는 것

Q. 그래서 한국어로 쓰면 손해인가요, 아닌가요?

손해는 맞습니다. 다만 제가 잰 범위에서는 1.44배지 3~5배가 아닙니다. 월 3만 원짜리 구독이라면 체감상 4만 원어치를 쓰는 정도지, 9만 원어치가 아닙니다. 그리고 이 격차는 토크나이저 세대가 바뀔 때마다 줄어들어 왔습니다.

Q. Claude나 Gemini도 똑같나요?

모릅니다. 두 곳은 토크나이저를 공개하지 않아서 같은 방법으로 재지 못했습니다. 원리상 비슷한 경향은 있겠지만 배수는 다를 수 있으니, 이 글의 1.44배를 그대로 옮겨 쓰지 마세요. 같은 단가라도 청구가 달라지는 구조는 단가가 같아도 청구는 다릅니다에 정리했습니다.

Q. 내 프롬프트가 몇 토큰인지 직접 세보려면?

위 코드 그대로입니다. pip install tiktoken 하고 세 줄이면 됩니다. 긴 시스템 프롬프트를 매번 붙여 보내고 있다면 한 번 재보는 걸 권합니다. 프롬프트를 조금 늘렸을 뿐인데 값이 배로 뛰는 경우는 프롬프트를 조금 더 넣었더니 값이 두 배에서 다뤘습니다.

Q. 무료로 쓰면 이런 고민이 없지 않나요?

무료 등급도 토큰이나 요청 수로 한도를 셉니다. 한국어를 쓰면 같은 한도로 더 적게 쓰게 되는 건 마찬가지입니다. 다만 그 한도 숫자를 공식 문서에서 못 찾는 경우도 있습니다 — Gemini API 무료 한도, 공식 문서에는 없습니다에 그 기록을 남겼습니다.

✨ 정리하면

한국어 토큰 페널티는 있습니다. 다만 제가 잰 값은 1.44배였습니다. 널리 도는 3~5배는 글자당 효율(약 3배)만 떼어 본 숫자이거나, 구세대 토크나이저 시절의 값으로 보입니다. 한국어는 문장이 짧다는 이점으로 그 손해의 상당 부분을 되찾습니다.

그리고 아끼고 싶다면 언어보다 출력 길이를 건드리세요. 질문만 영어로 바꾸는 건 3% 남짓이지만, "표로만 답해줘" 한 줄은 그보다 훨씬 큽니다. 억울해할 시간에 재보는 게 빠릅니다. 세 줄이면 됩니다.

📎 출처와 주의

• 직접 측정 — 본문의 토큰 수치는 전부 2026년 8월 15일에 OpenAI가 공개한 토크나이저 라이브러리로 제가 직접 돌려 얻은 값입니다. 문장 5쌍, 두 세대 인코딩 비교. 코드는 본문에 그대로 실어 두었으니 재현해 보실 수 있습니다.
• 📰 2차 출처 — "한국어 3~5배", "구독료 대비 3분의 1"은 국내 보도에서 인용했고, 그 기사는 근거를 "커뮤니티 벤치마크와 학술 연구를 종합하면"이라고만 밝히고 있습니다. 특정 논문·벤치마크는 제시돼 있지 않습니다. LayerX의 출력 토큰 20% 감소 사례도 같은 기사 인용이며 일본어 기준입니다.
• 못 잰 것 — Claude·Gemini는 공개 토크나이저를 찾지 못해 측정에서 제외했습니다. "차이가 없다"는 뜻이 아니라 확인하지 못했다는 뜻입니다.
• 비용 지수 표는 제가 세운 가정에 따른 예시 계산입니다. 특정 서비스의 실제 요금이 아니며, 출력 단가 배율은 서비스마다 다릅니다.
• 토크나이저와 요금 체계는 예고 없이 바뀝니다. 중요한 결정 전에는 본인 계정 화면에서 다시 확인하세요.