회사에서 ChatGPT, Claude, Copilot 같은 AI 도구를 시범 도입(PoC)하는 일이 흔해졌습니다. 그런데 2~4주의 PoC가 끝나고 나면 많은 팀이 같은 질문 앞에서 멈춥니다. "그래서, 효과가 있었나요?"
PoC가 결론 없이 끝나는 흔한 이유
1. 시작 전에 기준치를 재지 않았다
"보고서 초안 작성 시간이 줄었다"를 말하려면 원래 몇 분이 걸렸는지 알아야 합니다. 하지만 대부분의 PoC는 도구부터 나눠주고, 도입 전 업무 시간(As-Is)은 측정하지 않은 채 시작합니다. 끝나고 나면 비교할 숫자가 없습니다.
2. 평가가 설문 한 번에 몰린다
참여자는 본업을 하면서 도구를 써보고, 기록하고, 마지막에 설문까지 채워야 합니다. 바쁜 주에는 도구를 안 쓰게 되고, 설문은 PoC가 끝날 때 기억에 의존해 작성됩니다. "좋았던 것 같다"는 인상만 남습니다.
3. 무엇을 시험하는지가 흐리다
"한번 써보세요"만으로 시작한 PoC는 참여자마다 다른 일에 다른 방식으로 도구를 씁니다. 어떤 업무에서 무엇이 좋아져야 성공인지 정해져 있지 않으면, 결과를 모아도 비교가 되지 않습니다.
4. 실제 데이터를 넣어도 되는지 모른다
고객 정보나 사내 문서를 넣어도 되는지 기준이 없으면 참여자는 가짜 예시로만 테스트합니다. 그러면 실제 업무에서의 성능은 끝까지 알 수 없습니다.
PoC를 시작하기 전에 정해두면 좋은 것
| 항목 | 예시 |
|---|---|
| 대상 업무 | 고객 문의 요약, 주간 보고서 초안 |
| 기준치(As-Is) | 문의 1건당 요약 12분, 주 8건 재확인 요청 |
| 성공 기준 | 요약 시간 50% 단축, 재확인 요청 0건 |
| 넣어도 되는 데이터 | 고객 이름·연락처는 가리고 입력 |
| 평가 방법과 시점 | 주 1회 짧은 체크, 종료 시 인터뷰 |
이 다섯 가지만 PoC 시작 전에 합의해도 "효과가 있었나?"에 훨씬 구체적으로 답할 수 있습니다. 보안 기준은 회사에서 ChatGPT 써도 될까? 기업 AI 도입 보안 체크리스트에서 더 자세히 다뤘습니다.
여러분의 PoC 경험을 들려주세요
NeedThisAI는 팀이 AI 도구를 도입하고 효과를 확인하는 과정을 더 쉽게 만드는 방법을 찾고 있습니다. 실제로 PoC를 해본 분들이 무엇이 가장 불편했는지 직접 듣고 싶습니다.
- 대상: AI 도구 PoC에 참여했거나 운영해 본 분 (현업 참여자, 담당자 모두)
- 소요 시간: 약 5분
- 마감: 10월 12일(월)
- 혜택: 설문 결과 요약 리포트를 가장 먼저 보내드리고, PoC 경험이 있는 성실 응답자 중 10명을 추첨해 스타벅스 아메리카노 기프티콘을 드립니다. (10월 14일 발송)
응답은 개인과 회사를 식별할 수 없도록 통계로만 다루며, 결과가 정리되면 이 블로그에도 요약을 공유하겠습니다.