AI 성과 보고에서 '몇 % 빨라졌다'가 안 먹히는 이유

📈 성과 보고

"30% 빨라졌습니다"가
안 먹히는 이유

경영진이 의심하는 게 합리적이거든요.

도입 반년쯤 지나면 "그래서 효과가 있나"라는 질문이 옵니다. 팀원들에게 물어보면 다들 좋다고 하고, 설문을 돌리면 "30% 정도 빨라진 것 같다"는 답이 나오죠. 그대로 보고하면 "체감 말고 숫자로 가져오라"는 말을 듣습니다. 억울하지만 그 의심이 타당합니다 — 자기보고 수치는 연구자들 자신도 신뢰하지 않거든요. 왜 안 맞는지, 그리고 대신 무엇을 들고 가야 하는지 정리했습니다.

📌 30초 요약

🙋 "몇 % 빨라졌다"는 자기보고입니다 — 연구자들도 의심합니다
🔧 숨은 재작업이 빠져 있습니다. 총 절감과 순 절감은 다릅니다
🏢 개인은 빨라졌는데 조직 지표엔 안 잡히는 일이 흔합니다
📊 대신 들고 갈 것은 처리량 · 대기 시간 · 재작업률 세 가지
📄 보고서는 한 장이면 됩니다 — 구조를 아래에 뒀습니다

★ 자기보고를 연구자들도 안 믿습니다

2026년 초에 나온 기술직 대상 조사가 하나 있습니다. 속도가 몇 배 빨라졌는지를 본인들에게 물었더니 꽤 큰 수치가 나왔어요. 그런데 흥미로운 건 그 조사를 한 연구팀이 자기들 결과를 앞장서서 깎아내린다는 점입니다.

📄 조사팀이 스스로 붙인 경고

· "조사 결과가 반드시 현실에 근거하지는 않는다"
· 이전 연구에서 사람들이 AI의 영향을 크게 과대평가하는 것으로 나타났다고 언급
· "특히 높게 나온 값들은 과장됐을 가능성이 있다"
· 극단적으로 높게 답한 응답자들을 따로 검토했더니 일부는 실제로 과장이었다고 밝힘

그리고 가장 인상적인 대목 — 조사를 수행한 기관의 직원들이 다른 응답자들보다 낮은 수치를 답했습니다. 연구팀은 그 이유로 "이들이 지각과 실제의 격차에 관한 자사 연구를 알고 있기 때문일 수 있다"고 적었습니다.

즉 "이 편향을 아는 사람은 덜 부풀려 답한다"는 겁니다. 우리 팀 설문도 마찬가지예요.

⚠️ 그래서 이 글에도 배수·퍼센트를 안 적었습니다

✅ 위 경고 문구들은 해당 조사 페이지에서 직접 확인했습니다. 표본은 수백 명 규모의 편의표본이고, 조사팀 스스로 회신율이 낮았다고 밝히고 있습니다.

📰 반면 "몇 배 빨라졌다"는 수치 자체는 본문에 옮기지 않았습니다. 조사팀이 직접 "과장 가능성"을 경고한 값을 제가 인용해 퍼뜨리면 경고까지 같이 전달되지 않기 때문입니다.

같은 이유로 여기저기 도는 "기업 몇 %가 ROI를 못 봤다" 같은 값도 뺐습니다. 인용처마다 숫자가 다르고, 무엇을 성과로 셌는지가 제각각이라 비교가 안 됩니다.

★ 총 절감과 순 절감은 다릅니다

자기보고가 부풀려지는 데는 구조적인 이유가 하나 더 있습니다. 고친 시간이 어디에도 안 잡힙니다.

🔧 기록되지 않는 손질

1. AI가 초안을 만든다 → "10분 만에 나왔다"는 인상이 남습니다
2. 사람이 받아서 조용히 고칩니다 — 문장을 다듬고, 틀린 숫자를 바꾸고, 톤을 맞추고
3. 이 3번을 아무도 기록하지 않습니다. 기억에도 잘 안 남고요

그래서 나중에 물어보면 "10분"이라고 답합니다. 실제로는 손질까지 40분이 걸렸는데도요.

이건 거짓말이 아닙니다. 사람이 원래 그렇게 기억합니다 — 눈에 띄는 순간(빠른 초안)은 남고, 지루한 손질은 흐려져요.

🏢 그리고 조직 지표에는 더 안 잡힙니다

개인이 진짜로 빨라졌어도 회사 숫자는 그대로일 수 있습니다. 이유가 몇 가지예요.

· 남은 시간이 다른 일로 채워집니다. 퇴근이 빨라지지 않아요
· 병목이 다른 데 있습니다. 초안이 빨리 나와도 결재가 3일 걸리면 총 기간은 같습니다
· 빨라진 사람이 일부입니다. 팀 평균으로는 희석돼요

경영진이 "체감 말고 숫자"라고 하는 건 이걸 본 겁니다. 개인 체감과 조직 결과가 안 맞는 걸 이미 여러 번 봤거든요.

★ 대신 들고 갈 지표 세 가지

공통점이 있습니다 — 사람에게 안 물어보고 시스템에서 뽑는 숫자입니다. 그래서 반박이 안 됩니다.

지표 1 처리량 — 같은 기간에 몇 건

"빨라졌다"가 사실이라면 같은 인원이 같은 기간에 더 많이 처리했어야 합니다. 안 늘었다면 절감된 시간이 어디로 갔는지를 먼저 설명해야 해요.
→ 어디서: 티켓 시스템, 이슈 트래커, 발행·납품 기록. 이미 쌓여 있습니다

지표 2 대기 시간 — 접수부터 착수까지 가장 설득력 있음

AI가 실제로 바꾸는 건 작업 속도보다 "밀린 것이 줄어드는 속도"인 경우가 많습니다.
→ 왜 강한가: 고객·타 부서가 체감하는 숫자입니다. "우리가 빨라졌다"가 아니라 "기다리는 시간이 줄었다"는 건 반박하기 어렵습니다.

지표 3 재작업률 — 다시 손본 비율 불리해도 넣으세요

위에서 말한 숨은 손질을 드러내는 지표입니다. 반려·수정 요청 건수면 됩니다.
→ 왜 굳이: 불리한 숫자를 먼저 내면 나머지 숫자가 믿깁니다. 그리고 이게 줄어드는 추이야말로 가장 강한 성과 증거예요 — 도입 초기엔 늘었다가 줄어드는 게 정상입니다.

💡 세 지표를 못 뽑는다면

그게 곧 첫 번째 보고 내용입니다. "지금은 측정 체계가 없어서 효과를 확인할 수 없습니다. 다음 분기까지 이걸 만들겠습니다"가 지어낸 30%보다 훨씬 나은 보고예요.

측정 자체가 없다는 건 담당자 잘못이 아니라 도입 설계의 문제입니다. 도입 전에 기준을 정하는 방법을 따로 정리해 뒀는데, 다음 도구부터는 이 순서로 가시면 됩니다.

한 장짜리 보고서 구조

순서	내용
① 무엇을 바꿨나	도구 이름이 아니라 업무 이름으로. "주간보고 초안 작성에 적용"
② 숫자 세 줄	처리량 · 대기 시간 · 재작업률. 도입 전후 비교로
③ 안 된 것	여기가 신뢰를 만듭니다. 기대했는데 안 된 항목을 명시
④ 비용	좌석·사용량·교육까지. 항목 구분대로
⑤ 다음 분기에 할 것	확대 · 유지 · 중단 중 하나를 명확히 제안

🚫 이런 보고는 역효과입니다

· 업계 통계로 시작하기
"업계에서는 몇 % 향상됐다고 합니다"로 열면 "그래서 우리는?"이 바로 옵니다. 남의 숫자는 우리 근거가 못 됩니다.

· 벤더 자료를 그대로 옮기기
공급사 성과 자료는 파는 쪽이 만든 것입니다. 경영진도 그걸 압니다. 한 번 쓰면 이후 내 숫자도 같은 취급을 받아요.

· 좋은 것만 담기
모든 항목이 개선됐다는 보고는 믿기지 않습니다. 실제로 그런 도입은 거의 없고, 읽는 사람도 그걸 압니다.

자주 묻는 질문

Q. 설문은 아예 쓸모없나요?

아닙니다. 다만 용도가 다릅니다. 설문으로 알 수 있는 건 "어디가 불편한가", "왜 안 쓰나"예요 — 이건 시스템 로그로는 절대 안 나옵니다. 설문으로 성과를 재려고 하니까 문제인 겁니다. 성과는 로그로, 이유는 설문으로 나누세요.

Q. 숫자가 안 좋으면 도입이 취소되지 않을까요?

그 걱정 때문에 부풀리면 다음이 더 어려워집니다. 한 번 좋게 보고하면 그게 기준선이 되어 다음엔 그보다 나아야 하거든요. 그리고 나중에 실제 효과가 안 보이면 도구가 아니라 담당자가 의심받습니다.

안 좋은 숫자는 "아직"이라는 맥락과 함께 내세요. "초기엔 재작업이 늘어나는 게 정상이고, 3개월 추이를 보겠다"가 성립합니다.

Q. 그럼 AI가 효과가 없다는 건가요?

그런 얘기가 아닙니다. 개별 작업 단위에서는 분명한 개선이 관찰됩니다. 다만 그 개선이 조직 숫자로 나타나려면 병목이 같이 풀려야 하고, 그건 도구를 사는 것과 별개의 일이에요. "효과가 없다"가 아니라 "효과가 어디서 막히는지 찾아야 한다"가 맞는 결론입니다. 그리고 그걸 찾는 게 위 세 지표입니다.

✨ 정리하면

사람에게 물어본 숫자는 경영진 앞에서 안 버팁니다.
처리량 · 대기 시간 · 재작업률 — 시스템에서 뽑으세요.
그리고 안 된 것을 먼저 적으면 나머지가 믿깁니다.

📎 같이 읽으면 좋은 글

· 도입 전 2주 — 나란히 돌려보고 기준을 미리 정하기
· AI 예산은 왜 늘 빗나가나 — 편성 전에 모아둘 숫자 4가지
· 사놓고 아무도 안 쓴다 — 정착 비용과 국비 환급
· 딥리서치 원가 — 많이 쓴다고 정확해지지 않는 이유

🗺️ 전체 지도 — 상황별로 어디를 봐야 하나

· AI에 쓰는 돈 총정리 — 개인·개발자·회사별 지출 가이드
회사 도입 다섯 단계가 정리돼 있습니다. 성과 보고는 그 흐름의 결과물이에요

출처와 한계 · 2026년 8월 기준입니다. 직접 확인한 것 — 본문에 인용한 조사팀의 자기 경고 문구(결과가 반드시 현실에 근거하지는 않는다는 서술, 이전 연구에서 관찰된 과대평가 경향, 높게 나온 값의 과장 가능성, 극단값 응답자 검토 결과, 조사 수행 기관 직원들이 상대적으로 낮게 응답했다는 관찰과 그에 대한 해석)는 해당 연구기관의 공개 게시물에서 직접 확인했습니다. 해당 조사는 수백 명 규모의 편의표본이며 회신율이 낮았다고 조사팀이 밝히고 있습니다. 본문에 생산성 배수나 향상률 수치를 옮기지 않았습니다 — 조사팀 스스로 과장 가능성을 경고한 값을 재인용하면 그 경고가 함께 전달되지 않기 때문입니다. 같은 이유로 널리 인용되는 "기업 몇 %가 ROI를 확인하지 못했다" 류의 값도 사용하지 않았습니다(인용처마다 수치가 다르고 성과의 정의가 제각각). 재작업이 절감 시간을 상쇄한다는 서술과 처리량·대기 시간·재작업률이라는 지표 구성은 여러 실무 자료에서 공통적으로 언급되는 접근을 정리한 것으로, 특정 연구의 검증된 결론이 아닙니다. 조직마다 측정 가능한 항목과 시스템이 다르므로 실제 지표는 사내 데이터로 조정하시기 바랍니다. 이 블로그는 언급된 어떤 서비스·연구기관과도 제휴 관계가 없습니다.