AI에게 완료 기준 주기 — 채점은 다른 AI가 따로 합니다

AI에게 일을 시킬 때 가장 어려운 게 "이 정도면 됐다"를 언제 판단하느냐입니다. 그래서 매번 결과를 보고 "여기 고쳐", "이건 빠졌어"를 반복하게 되죠. 그런데 완료 기준을 문서로 주면 AI가 스스로 채점하고 다시 만드는 방식이 있습니다. 설계가 흥미로워요 — 채점하는 쪽은 만드는 쪽과 완전히 분리된 맥락에서 돌아갑니다. 자기가 만든 걸 자기가 후하게 봐 주지 못하게요.

📌 30초 요약

• ★★채점자는 별도 맥락에서 돕니다 — 구현 과정에 안 휘둘리게요.
• ★기준이 모호하면 채점이 흔들립니다 — "좋아 보인다"는 금물.
• ★반복 상한이 기본 셋입니다 — 최대 스물까지 올릴 수 있어요.
• ⚠️ 설명과 기준서가 어긋나면 그냥 실패로 끝납니다.
• 채점자 속생각은 안 보입니다 — 돌고 있다는 것만 보여요.
• 기준서 쓰기 막막하면 잘된 결과물을 주고 분석시키세요.

기준을 주면 스스로 반복합니다

넘기는 건 두 가지입니다. ①무엇을 만들어야 하는지 한 줄 설명 ②어떤 기준으로 채점할지 적은 문서. 그러면 별도 메시지를 안 보내도 곧바로 일을 시작하고, 결과물이 나올 때마다 채점을 거쳐 기준을 만족할 때까지 다시 만듭니다.

무한정 도는 건 아닙니다. 반복 횟수 상한이 있고 기본값은 세 번, 최대 스무 번까지 올릴 수 있어요. 도는 동안에도 내가 중간에 말을 걸어 방향을 틀 수 있지만 꼭 그럴 필요는 없습니다. 프롬프트가 아니라 루프를 설계하라는 관점이 여기서 제품 기능으로 굳어진 셈이죠 — 내가 짜던 반복문을 서비스가 대신 돌려 주고, 멈추는 조건이 "기준 통과"가 됩니다.

채점은 별도 맥락에서 합니다

설계에서 가장 눈여겨볼 대목입니다. 채점을 맡는 쪽이 본체와 다른 맥락 창에서 돌아갑니다. 문서가 이유까지 적어 뒀어요 — 만드는 쪽이 어떤 선택을 하며 여기까지 왔는지에 영향받지 않게 하려는 것.

이게 왜 중요하냐면, 같은 맥락 안에서 자기 결과물을 평가하게 하면 "이렇게 만든 데는 이유가 있었지"라는 변명이 그대로 채점에 반영되기 때문입니다. 분리해 두면 채점자는 결과물과 기준서만 보고 판단하죠. 대신 대가도 있습니다 — 채점자의 속생각은 볼 수 없습니다. 진행 신호로 "지금 채점 중"이라는 것만 알 수 있고, 끝나면 어떤 항목이 통과하고 어떤 게 걸렸는지 요약이 나와서 그게 다음 수정의 재료가 됩니다.

기준이 모호하면 채점이 흔들립니다

성패는 사실상 기준서 쓰기에 달려 있습니다. 문서가 좋은 예와 나쁜 예를 나란히 놓았는데 차이가 분명해요.

이렇게 쓰면	이렇게 바꾸세요
"데이터가 좋아 보인다"	"가격 열에 숫자 값이 들어 있다"
"충분히 자세하게"	"최근 다섯 해 실적을 사용한다"
"보기 좋게 정리"	"가정은 별도 시트에 모은다"

🚨 항목마다 따로 채점하기 때문입니다

채점자는 기준서의 항목을 하나씩 독립적으로 봅니다. 그래서 애매한 항목이 하나 있으면 그 항목의 판정이 매번 달라지고, 결과적으로 반복이 헛돕니다. 기준서 쓰기가 막막하다면 문서가 권하는 우회로가 있어요 — 잘 나온 결과물을 하나 주고 "이게 왜 좋은지 분석해 줘"라고 시킨 뒤, 그 분석을 기준서로 바꾸는 것. 백지에서 쓰는 것보다 낫다고 적혀 있습니다.

끝나는 방식이 다섯 가지입니다

한 바퀴가 끝날 때마다 결과가 붙습니다. ①기준 충족이면 그대로 마무리, ②수정 필요면 다음 바퀴로 넘어가죠. ③상한 도달이면 마지막으로 한 번 정리하는 답을 남기고 끝나는데, 그 뒤로는 더 채점하지 않습니다.

주의할 건 넷째입니다. ④실패는 기준서가 결과물에 아예 적용되지 않을 때 나옵니다. 문서가 든 예가 명확해요 — 설명과 기준서가 서로 모순될 때. 표를 만들라고 해 놓고 기준서에는 문서 서식을 따지는 항목만 있으면 이렇게 끝납니다. 둘을 같이 쓰고 같이 읽어 보는 습관이 필요합니다. 마지막 ⑤중단은 내가 도중에 끊은 경우고, 그때는 새 목표를 바로 걸 수 있습니다. 한 번에 하나만 걸리지만 앞 기록은 그대로 남아서 이어서 진행됩니다.

결과물은 정해진 폴더에 파일로 쌓이고, 세션 번호로 목록을 뽑아 내려받습니다. 다 끝난 것 같은데 목록에 안 보이면 몇 초 뒤 다시 조회하세요 — 올라가는 데 시간이 조금 걸립니다. 말로 시켜서 결과물을 받아 보는 방식에 익숙하다면, 여기에 채점 기준이 하나 더 붙었다고 생각하면 됩니다. 참고로 이렇게 쌓인 파일도 저장되는 데이터라, 회사에서 자체 열쇠 암호화를 켜 두었다면 그 보호 범위에 함께 들어갑니다.

자주 묻는 질문 (FAQ)

Q. 기준서를 매번 새로 써야 하나요?

아닙니다. 파일로 올려 두고 여러 작업에서 재사용할 수 있어요. 짧으면 그냥 본문에 적어 넣어도 되고요. 자주 하는 종류의 일이라면 기준서를 자산으로 관리하는 게 이득입니다.

Q. 반복 상한을 크게 잡으면 좋은 거 아닌가요?

한 바퀴마다 만드는 비용과 채점하는 비용이 함께 듭니다. 기준서가 애매하면 스무 바퀴를 돌아도 통과 못 하고 돈만 씁니다. 상한을 올리기 전에 기준서부터 다듬는 게 순서예요.

Q. 진행 상황을 어떻게 보나요?

신호를 흘려 받거나 현재 상태를 물어보면 됩니다. 몇 번째 바퀴인지, 채점이 시작됐는지, 끝났다면 결과가 무엇인지 나옵니다. 몇 번째인지 세는 값은 0부터 시작하니 헷갈리지 마세요.

Q. 어떤 일에 잘 맞나요?

"결과물이 파일 하나로 딱 떨어지는 일"에 잘 맞습니다. 문서가 든 예도 계산 모형을 표 파일로 만드는 작업이에요. 반대로 판단이 취향에 가까운 일은 채점 항목을 못 만들어서 잘 안 맞습니다.

✨ 정리하면

"다 됐다"의 정의를 넘기면 검사도 반복도 대신 돌아갑니다. 다만 결과 품질은 기준서가 결정하니 셋만 챙기세요 — 항목을 채점 가능한 문장으로 쓰고, 설명과 기준서가 서로 어긋나지 않게 하고, 상한을 올리기 전에 기준서를 먼저 다듬을 것. 막막하면 잘된 결과물 하나를 분석시켜 기준서로 바꾸는 방법이 있습니다. 비용과 권한을 함께 설계하는 흐름은 AI 지출 관리 허브에 정리해 두었습니다.

출처: Claude 공식 문서 「완료 기준 정의」 (2026-09-02 열람). 시험 단계 기능이며 기본값·상한과 지원 범위는 2026년 기준으로 변동될 수 있습니다.