AI 도구 도입 전 2주 — 데모 말고 '나란히 돌려보기'로 정하세요

🧪 도입 전 검증

데모는
항상 잘 됩니다

그래서 나란히 돌려봐야 압니다.

도입 검토는 대개 시연으로 시작합니다. 잘 됩니다. 당연하죠 — 잘 되는 예시로 준비된 자리니까요. 문제는 도입하고 나서 우리 데이터, 우리 예외 상황, 우리 사람들과 만났을 때 드러납니다. 그때는 이미 결재가 났고요. 이 글은 결재 전에 2주만 써서 확인하는 방법입니다. 특별한 도구도 예산도 필요 없습니다 — 지금 하던 일을 그대로 하면서 옆에 하나 더 돌리면 됩니다.

📌 30초 요약

🎭 데모는 잘 되는 예시로 준비된 자리입니다 — 판단 근거가 못 됩니다
👥 ★병행 운행 — 기존 방식과 나란히 돌리고 사람 결과를 정답지로
✍️ 성공 기준은 시작 전에 숫자로 적어야 합니다. 나중에 정하면 늘 통과돼요
🔍 2주차엔 잘된 것 말고 어긋난 것만 모아서 봅니다
♻️ 이 과정에서 나온 기록이 도입 후에도 계속 쓰입니다

데모에서 안 보이는 것들

데모에서는	실제로는
깔끔한 샘플 문서	스캔본, 표가 깨진 엑셀, 손으로 쓴 메모
전형적인 질문	우리 회사에서만 쓰는 용어, 줄임말, 사내 규칙
한 건 처리	하루 200건 중 예외가 30건 — 예외 처리가 진짜 업무
발표자가 조작	안 익숙한 사람이 급할 때 씀

즉 데모가 보여주는 건 "잘 되면 이렇게 된다"입니다. 우리가 알아야 하는 건 "우리 경우엔 얼마나 안 되나"인데 말이죠. 둘은 완전히 다른 질문입니다.

⚠️ "AI 파일럿 O%가 실패"라는 수치를 안 쓴 이유

이 주제를 검색하면 실패율이 쏟아집니다. 그런데 값이 제각각입니다 — 85%, 87%, 88%, 95%가 전부 "업계 통계"로 인용되고 있어요.

그리고 이 수치를 싣는 곳 대부분이 "파일럿을 프로덕션으로 올려드립니다"를 파는 컨설팅입니다. 실패율이 높을수록 수주가 되는 위치죠.

수치가 저렇게 흔들린다는 것 자체가 무엇을 실패로 셌는지 기준이 제각각이라는 뜻입니다. 그래서 이 글에는 퍼센트가 없습니다. 대신 여러 자료에서 공통으로 지목하는 실패 원인만 가져왔습니다 — 성공 기준이 불명확했고, 실제 업무 흐름에 안 붙였고, 초기 예산이 끝나자 관심도 끝났다는 것들이요.

★ 방법은 하나 — 나란히 돌리기

👥 병행 운행이란

기존 방식을 그대로 하면서, 같은 일을 AI에게도 시킵니다.
그리고 AI 결과는 아직 아무 데도 쓰지 않습니다. 고객에게 안 나가고, 기록도 안 바꿉니다. 그냥 모아둡니다.

사람이 낸 결과가 정답지가 됩니다.
두 결과를 나란히 놓으면 "어디서 얼마나 어긋나는지"가 그대로 보입니다. 추측이 아니라 우리 데이터로요.

부수 효과가 더 큽니다
이때 쌓인 비교 기록이 곧 평가 데이터입니다. 나중에 모델이 바뀌거나 다른 도구로 옮길 때 "그때보다 나아졌나"를 잴 자가 생기는 거예요. 이걸 안 만들어두면 앞으로 모든 판단이 감으로 갑니다.

💡 왜 "일단 한 팀만 써보게 하자"는 잘 안 되나

가장 흔한 방식인데 결론이 안 납니다. 써본 사람이 "괜찮던데요"라고 하면 그게 좋다는 건지 나쁘다는 건지 판단할 기준이 없거든요.

체험과 검증은 다릅니다. 체험은 인상을 남기고, 검증은 비교 가능한 기록을 남깁니다. 결재를 올리려면 후자가 필요해요.

★ 2주 설계 — 그대로 따라 하시면 됩니다

0일차 — 성공 기준을 먼저 적는다 (30분)
시작 전에 숫자로 적고 관련자에게 공유하세요. 예: "100건 중 사람이 손 안 대고 그대로 쓸 수 있는 게 70건 이상".
끝나고 정하면 무조건 통과합니다. 이미 시간을 썼으니 다들 되는 쪽으로 해석하거든요. 이게 검증이 실패하는 가장 흔한 이유입니다.

1주차 — 그냥 나란히 돌린다
하던 대로 일하면서 같은 입력을 AI에도 넣습니다. 결과는 스프레드시트 한 장에 모으세요 — 입력 / 사람 결과 / AI 결과 / 같음·다름. 도구 살 필요 없습니다.
이 주에는 평가하지 않습니다. 모으기만 해요.

2주차 — 어긋난 것만 본다
맞은 건 볼 필요 없습니다. 틀린 것만 모아서 종류별로 묶으세요.
· 프롬프트로 고쳐지는 것 → 고치고 다시 돌림
· 데이터가 없어서 못 하는 것 → 도구를 바꿔도 안 됨
· 원래 사람도 헷갈리는 것 → AI 탓이 아님. 기준부터 정해야 함
세 번째가 꽤 많이 나옵니다. 그것만 알아내도 2주가 아깝지 않아요.

마지막 날 — 0일차에 적은 기준으로만 판정
그때 적은 숫자에 도달했나, 아닌가. 새 기준을 만들지 마세요. 못 넘었으면 그 사실이 결과입니다 — 안 사는 것도 성공한 검증이에요.

📄 스프레드시트는 이 다섯 칸이면 충분합니다

입력 · 사람 결과 · AI 결과 · 판정(같음/다름) · 다르면 왜

마지막 칸이 핵심입니다. "왜 다른가"를 그때그때 한 줄로 적어두면 2주차에 분류가 저절로 됩니다. 나중에 몰아서 적으려 하면 기억이 안 나요.

자주 보는 설계 실수 4가지

1. 제일 쉬운 업무로 테스트한다

잘 나오라고 쉬운 걸 고르면 데모를 한 번 더 하는 것과 같습니다. 평소에 제일 귀찮은 업무로 하세요. 거기서 되면 진짜입니다.

2. 제일 잘하는 사람만 참여시킨다

프롬프트를 잘 쓰는 사람만 넣으면 그 사람의 실력을 측정하게 됩니다. 실제로 쓸 사람들을 넣어야 실제 결과가 나옵니다.

3. 기간을 안 정한다

"일단 써보자"는 끝나지 않습니다. 끝이 없으면 판정도 없고, 판정이 없으면 결론 없이 구독료만 나갑니다. 2주든 4주든 날짜를 박으세요.

4. 데이터를 그냥 넣는다

검증이라도 실제 고객 정보·계약서가 들어갑니다. 무료 체험 계정이면 특히 조심하세요 — 넣으면 안 되는 것부터 정하고 시작해야 합니다.

통과했다면 — 결재 전에 세 가지만 더

① 계정을 공용 주소로 다시 만든다
검증은 대개 누군가의 개인 계정으로 시작합니다. 본계약 전에 옮기세요 — 나중에 옮기려면 순서가 꼬입니다.

② 내보내기를 한 번 눌러본다
들어가기 전에 나오는 길을 확인하는 겁니다. 2주치 데이터로 테스트하기 딱 좋은 시점이에요 — 받아도 못 쓰는 형식인 경우가 있습니다.

③ 좌석 수를 최소로 시작한다
검증에 참여한 인원만큼만. 전사 배포는 정착을 확인한 뒤가 맞습니다 — 사놓고 아무도 안 쓰는 일이 여기서 갈립니다.

혼자거나 소규모라면 — 축소판

⏱️ 2주 → 하루로 줄이기

지난주에 실제로 한 일 5건을 꺼내세요.
이미 결과물이 있으니 정답지가 준비된 상태입니다. 같은 입력을 무료 체험에 넣고 비교하면 끝이에요.

기준도 하나면 됩니다
"손 안 대고 쓸 수 있나, 고쳐야 하나, 다시 하는 게 빠른가" — 셋 중 하나로만 표시하세요.
5건 중 '다시 하는 게 빠르다'가 2건 이상이면 지금은 아닙니다. 두 달 뒤에 다시 해보세요. 모델은 계속 바뀌니까요.

자주 묻는 질문

Q. 나란히 돌리면 일이 두 배 아닌가요?

맞습니다. 그래서 2주고, 그래서 전체가 아니라 일부 건만 합니다. 하루 200건이면 20건만 골라 하세요. 그리고 이 부담은 도입 후에 잘못 골랐을 때의 부담보다 훨씬 작습니다. 좌석값·이관·재교육을 생각하면요. 2주 고생하고 안 사기로 결정하는 게 가장 남는 장사일 때도 많습니다.

Q. 무료 체험 기간이 짧아서 2주가 안 되면요?

기간을 줄이지 말고 건수를 줄이세요. 7일이면 하루 3건씩 20건으로도 판단이 섭니다. 그리고 체험 기간 연장은 의외로 요청하면 되는 경우가 많습니다 — 검증 계획서를 보여주면 특히요. 영업 담당자 입장에서도 제대로 검증하고 사는 고객이 낫거든요.

Q. 검증에서 떨어진 도구는 다시 안 보나요?

기록을 남겨두면 다시 볼 수 있습니다. "무엇이 몇 건 안 됐다"가 적혀 있으면, 몇 달 뒤 같은 데이터로 다시 돌려서 비교하면 됩니다. 이 분야는 변화가 빨라서 그때 안 되던 게 지금 되는 경우가 흔합니다. 그래서 검증 기록이 자산이에요 — 버리지 마세요.

✨ 정리하면

데모는 "잘 되면 이렇게 된다"를 보여줄 뿐입니다.
하던 일 옆에 나란히 돌리고, 사람 결과를 정답지로 쓰세요.
그리고 성공 기준은 시작 전에 — 이거 하나가 절반입니다.

📈 그 기록으로 보고서를 만들 때

· AI 성과 보고에서 '몇 % 빨라졌다'가 안 먹히는 이유
위에서 만든 비교 기록이 여기서 쓰입니다. 반대로 사람에게 물어본 숫자는 경영진 앞에서 안 버팁니다 — 대신 들고 갈 지표 세 가지와 한 장짜리 보고서 구조

📎 도입 전후로 이어지는 글

· 기업 AI 도입 비용 — 견적서에 안 나오는 항목들
· 사놓고 아무도 안 쓴다 — 사내 정착 비용과 국비 환급
· 퇴사하면 계정도 같이 나갑니다 — 소유권 옮기는 순서
· 나올 때 드는 비용 — 데이터를 다 받아도 안 끝납니다

🗺️ 전체 지도 — 상황별로 어디를 봐야 하나

· AI에 쓰는 돈 총정리 — 개인·개발자·회사별 지출 가이드
검증을 통과했다면 그다음은 얼마를 어떻게 쓸지입니다. 지출 4계단과 숨은 비용 7가지

출처와 한계 · 2026년 8월 기준입니다. 본문에 AI 파일럿 실패율 수치를 사용하지 않았습니다. 검색되는 값이 85%·87%·88%·95% 등으로 자료마다 크게 다른데 모두 "업계 통계"로 인용되고 있어 무엇을 실패로 집계했는지 기준을 특정할 수 없었고, 해당 수치를 싣는 곳 상당수가 파일럿의 프로덕션 전환을 컨설팅으로 판매하는 위치였기 때문입니다. 본문의 실패 원인(불명확한 성공 기준, 실제 업무 흐름과의 단절, 초기 예산 소진 후 관심 이탈, 반복 실패로 인한 조직의 피로)과 병행 운행 방식(기존 프로세스와 나란히 실행해 사람의 결과를 기준선으로 삼고, 그 비교 기록을 이후 평가 데이터로 활용)은 여러 기술·컨설팅 자료에서 공통적으로 언급되는 접근을 정리한 것으로, 특정 연구의 검증된 결론이 아닙니다. 본문의 2주·건수·판정 기준은 실행을 돕기 위한 예시이며 업무 성격에 따라 조정해야 합니다. 검증 단계라도 실제 데이터를 입력할 때는 소속 조직의 보안 기준을 따르시기 바랍니다. 이 블로그는 언급된 어떤 서비스·컨설팅과도 제휴 관계가 없습니다.