AI 환각 줄이는 법 — 모른다고 말할 허락을 주는 게 먼저입니다

자료를 붙여놓고 물었는데 문서에 없는 내용이 태연하게 섞여 나온 경험, 다들 있으실 겁니다. 보통은 "정확하게 답해줘"를 덧붙이며 다그치게 되죠. 그런데 공식 지침의 첫 번째 처방은 정반대였습니다 — "모른다고 말해도 된다"고 허락해 주라는 것. 그리고 이 기법들을 다 써도 완전히 없어지지는 않는다고 문서가 직접 못을 박습니다. 실제로 쓸 수 있는 순서로 정리했습니다.

📌 30초 요약

• ★★"모른다"고 말할 허락을 주는 게 첫 수입니다.
• ★근거를 먼저 뽑고, 그다음 분석시키세요 — 순서가 핵심입니다.
• ★다 쓴 뒤 스스로 지우게 하는 방법이 있습니다.
• ⚠️ 같은 질문을 여러 번 던져 답이 갈리면 의심하세요.
• 바깥 지식 금지를 한 줄 명시하세요.
• 그래도 완전히 없어지지는 않습니다.

모른다고 말할 허락을 주세요

문서가 맨 앞에 놓은 기법입니다. "확신이 안 서거나 자료에 필요한 정보가 없으면, 자신 있게 판단하기에는 정보가 부족하다고 말해달라"를 프롬프트에 한 줄 넣으라는 것. 문서 표현으로는 이 단순한 기법이 잘못된 정보를 크게 줄인다고 되어 있습니다.

왜 효과가 있는지 생각해 보면 납득이 됩니다. 아무 말 없이 질문만 던지면 "답을 내놓는 것"이 기본 기대치가 되거든요. 빈칸을 남기는 선택지가 애초에 주어지지 않은 셈입니다. 모른다고 말할 자리를 만들어 주면 억지로 채우지 않아도 됩니다. 짧은 지시문 하나가 결과를 크게 바꾸는 사례를 본 적이 있다면, 이것도 같은 계열입니다.

근거를 먼저 뽑고 그다음 분석시키세요

긴 문서를 붙여 물을 때 쓰는 기법인데, 순서가 전부입니다. 흔히 "분석하면서 근거도 같이 대줘"라고 시키죠. 문서가 권하는 건 그게 아니라 두 단계로 쪼개는 것입니다.

단계	시키는 것
먼저	관련 대목을 글자 그대로 뽑아 번호를 붙이게
없으면	"해당 대목 없음"이라고 쓰게 — 빈칸을 허용
그다음	뽑은 것 번호를 대가며 분석하게
못박기	"뽑은 것만 근거로 삼아라"를 명시

이렇게 하면 답변이 실제 본문에 발을 붙이게 됩니다. 문서는 이 방식을 특히 긴 문서를 다룰 때 권하는데, 자료가 길수록 원문에서 멀어지기 쉽기 때문이에요. 여기에 하나 더 붙이면 좋습니다 — "준 자료만 쓰고 일반 지식은 쓰지 말라"고 명시하는 것. 안 그러면 배운 내용과 준 자료가 섞여 나옵니다.

다 쓴 뒤 스스로 지우게 하세요

가장 실용적인 기법이라고 생각합니다. 결과물을 만든 뒤에 "주장 하나하나마다 뒷받침하는 대목을 자료에서 찾아라. 못 찾으면 그 주장을 지우고, 지운 자리를 빈 괄호로 표시하라"를 붙이는 방식이에요.

효과가 두 겹입니다. 첫째, 근거 없는 문장이 자동으로 빠집니다. 둘째, 빈 괄호가 남아서 "여기는 자료에 없던 부분"이라는 표시가 눈에 보입니다. 사람이 뒤에서 채우거나 자료를 더 찾아야 할 자리가 그대로 드러나는 거죠. 발표 자료를 자동으로 만들어주는 도구처럼 결과물이 그럴듯하게 완성돼 나오는 종류일수록 이 검증 단계가 중요합니다 — 매끈한 문장 사이에 숫자 하나가 지어내진 채 섞여 있으면 찾기가 정말 어렵거든요.

💡 검증을 아예 프롬프트에 넣어두세요

이 기법들의 공통점은 사람이 나중에 하던 검증을 프롬프트 안으로 끌어들인다는 것입니다. 받아본 뒤에 하나씩 대조하는 대신, 만드는 과정에 검증 단계를 끼워 넣는 거죠. 자주 쓰는 작업이라면 이 문장들을 아예 지시문에 상시로 넣어두는 게 낫습니다. 매번 붙이는 걸 잊어버리니까요.

그래도 완전히 없어지지는 않습니다

문서가 더 얹는 기법이 넷 있습니다. 단계별로 추론 과정을 먼저 설명하게 하면 잘못된 전제나 논리 비약이 드러납니다. 같은 프롬프트를 여러 번 돌려 답을 비교했을 때 서로 어긋나면, 그 부분이 지어낸 곳일 가능성이 높고요. 받은 답을 다시 입력으로 넣어 확인시키거나 늘려 쓰게 하면 앞뒤가 안 맞는 곳이 잡힙니다. 마지막이 앞서 말한 바깥 지식 금지입니다.

그리고 문서가 마지막에 한 문단을 따로 떼어 강조합니다 — 이 기법들이 환각을 크게 줄이기는 하지만 완전히 없애지는 못한다고요. 중요한 판단이 걸린 정보는 반드시 사람이 확인하라는 게 결론입니다. 기법을 다 적용해 놓고 "이제 검증 안 해도 되겠지"로 넘어가는 게 가장 위험하다는 뜻이죠. 언어별 성능표를 볼 때도 마찬가지였습니다 — 숫자는 출발점이지 결론이 아닙니다.

🔁 도구 쪽에도 같은 허락이 필요합니다

모른다고 말할 허락을 주자는 이야기를 프롬프트 쪽에서 했는데, 도구가 돌아가는 자리에도 같은 장치가 들어왔습니다. 하위 에이전트에 일을 맡길 때 응답이 중간에 끊기면 그 자리에서 끝내지 않고 이어 가라고 다시 밀어 넣고, 그래도 안 되면 「못 끝냈다」를 결과 대신 분명히 보고합니다. 다만 승인 창에서 범위를 넓히는 답을 고르면 그 허락이 본 대화까지 번지니 이쪽은 반대로 좁게 잡으셔야 하고요. 「모른다」는 넓게, 「해도 된다」는 좁게가 결국 같은 원리입니다.

자주 묻는 질문 (FAQ)

Q. 어느 것부터 적용하면 되나요?

순서대로 하세요. 모른다고 말할 허락 한 줄이 비용도 0이고 효과가 큽니다. 그다음이 근거 먼저 뽑기, 마지막이 다 쓴 뒤 자가 검증이에요. 뒤로 갈수록 응답이 길어지니 비용도 함께 오릅니다.

Q. 짧은 질문에도 필요한가요?

근거 뽑기는 긴 문서를 다룰 때를 전제로 한 기법입니다. 짧은 대화에서는 과합니다. 다만 모른다고 말할 허락은 길이와 무관하게 넣어둘 만합니다.

Q. 여러 번 돌려 비교하는 건 돈이 두 배 아닌가요?

맞습니다. 그래서 중요한 판단이 걸린 건에만 쓰는 게 현실적이에요. 대신 답이 갈리는 지점만 사람이 확인하면 되니, 전체를 다 검토하는 것보다는 싸게 먹힙니다.

Q. 빈 괄호가 너무 많이 나오면요?

그건 기법이 제대로 작동한 것입니다. 원래는 그 자리가 지어낸 문장으로 채워졌을 테니까요. 자료가 부족하다는 신호로 읽고, 문서를 더 붙이거나 질문 범위를 좁히세요.

✨ 정리하면

환각을 줄이는 기법들은 하나같이 "빈칸을 허용하는 방향"입니다. 모른다고 말할 길을 열어주고, 근거를 못 찾으면 지우게 하고, 없는 건 없다고 쓰게 하는 것. 다그친다고 정확해지지 않습니다. 그리고 마지막 한 줄만은 잊지 마세요 — 기법을 다 써도 없어지지는 않으니, 중요한 건 사람이 확인해야 합니다. 비용까지 함께 저울질하는 흐름은 AI 지출 관리 허브에 단계별로 정리해 두었습니다.

출처: Claude 공식 문서 「환각 줄이기」 (2026-09-01 열람). 문서는 이 기법들이 환각을 줄이지만 완전히 제거하지는 못한다고 명시하며, 중요한 정보는 항상 검증할 것을 권고합니다.