“AI 기능을 넣어보자”는 요청을 받으면 무엇부터 해야 할까요? 모델 비교표보다 먼저 필요한 것은 사용자가 끝내려는 일과, AI가 틀렸을 때의 처리 방법입니다. AI PM은 이 두 가지를 제품의 요구사항으로 바꾸는 사람입니다.
AI PM이라는 직함의 범위는 회사마다 다릅니다. 이 글에서는 AI를 활용하는 제품이나 기능의 문제 정의, 품질 기준, 출시와 개선을 책임지는 역할로 설명합니다. 아래 산출물과 예시는 NeedThisAI가 제안하는 실무 방식입니다.
1. AI PM은 무엇을 결정하나요?
일반적인 제품 관리에 더해 AI가 어느 범위에서 답하거나 행동할 수 있는지를 정해야 합니다. 같은 입력에도 결과가 달라질 수 있고, 문장이 자연스러워도 사실이나 조건이 틀릴 수 있기 때문입니다.
| 결정할 일 | 고객 문의 답변 초안 기능의 예 |
|---|---|
| 풀 문제 | 상담사가 배송 규정을 찾고 답변하는 시간을 줄인다 |
| AI의 범위 | 승인된 배송 정책에서 근거를 찾아 초안을 쓴다 |
| 사람의 책임 | 상담사가 주문 정보와 예외 조건을 확인하고 발송한다 |
| 실패 대응 | 근거가 없으면 추측하지 않고 담당자에게 넘긴다 |
| 출시 조건 | 품질·권한·처리 시간 기준을 함께 통과한다 |
처음부터 자동 발송을 목표로 할 필요는 없습니다. 근거 검색과 초안 작성만으로도 도움이 되는지 먼저 확인할 수 있습니다.
2. 첫 번째 산출물: 문제 정의 한 장
“좋은 답변을 만드는 챗봇”은 개발 범위를 합의하기 어렵습니다. 실제 업무 단위로 다음을 적어보세요.
대상: 국내 배송 문의를 처리하는 상담사
현재 흐름: 문의 분류 → 주문 조회 → 정책 검색 → 답변 작성 → 발송
반복되는 불편: 상품별 배송 예외를 찾느라 여러 문서를 오간다
첫 범위: 일반 배송 문의의 정책 검색과 답변 초안
제외 범위: 보상 확정, 환불 실행, 분쟁 판단
확인할 변화: 검수를 포함한 건당 처리 시간과 정책 오류
AI를 사용하지 않는 검색 개선이나 답변 양식으로 해결할 수 있는지도 비교합니다. 사용자 문제가 해결되는지가 기술 도입 여부보다 먼저입니다.
3. 두 번째 산출물: 평가 질문과 채점표
시연 때 잘 나온 답변만으로 출시를 결정하면 실제 업무의 예외를 놓치기 쉽습니다. 현업과 함께 대표 질문, 기대 결과, 근거 자료를 묶은 평가 세트를 만드세요.
- 일반 문의: 기준 문서에서 답을 찾을 수 있는가?
- 조건부 문의: 도서산간·예약 상품 등 예외를 반영하는가?
- 정보 부족: 주문 번호가 없을 때 추가 질문을 하는가?
- 답변 불가: 연결된 문서에 없는 보상 정책을 지어내지 않는가?
- 접근 제한: 권한이 없는 고객 정보가 노출되지 않는가?
채점은 “자연스러움 5점”만으로 끝내지 않습니다. 정책과의 일치, 필수 조건 포함, 출처의 적절성, 개인정보 노출 여부를 나누면 수정할 지점이 보입니다. 중대한 정보 노출은 다른 항목의 높은 점수로 상쇄하지 않는 통과 조건으로 둡니다.
평가에 쓴 질문으로 계속 수정했다면, 별도로 남겨둔 질문으로 마지막 확인을 합니다. 표본 규모와 질문 유형도 기록해야 다음 버전과 비교할 수 있습니다.
4. 세 번째 산출물: 출시 후 운영 기준
AI PM은 답변 품질과 함께 사용자가 실제로 일을 끝내는지도 봐야 합니다. 초안 생성이 빨라도 수정에 오래 걸리면 전체 업무 시간은 늘어납니다.
예를 들어 기존 처리 시간이 12분이고 AI 사용 후 초안 2분, 검수·수정 7분이라면 절감 시간은 3분입니다. 이는 계산 설명을 위한 가정이며 실제 성과가 아닙니다. 비교할 때는 문의 난이도와 담당자의 숙련도 차이도 확인하세요.
운영 지표는 다음처럼 함께 둡니다.
| 관점 | 확인할 지표 |
|---|---|
| 사용자 가치 | 검수를 포함한 처리 시간, 업무 완료율 |
| 품질 | 정책 오류, 누락, 상담사 수정 사유 |
| 서비스 | 응답 지연, 장애, 수동 전환 성공 여부 |
| 비용 | 완료된 업무 한 건당 모델·검색·운영 비용 |
모델, 프롬프트, 연결 문서를 바꿀 때는 같은 평가 세트를 다시 실행합니다. 오류가 늘면 이전 버전으로 되돌리거나 해당 기능을 잠시 끌 담당자와 절차도 정합니다.
5. 개발자·현업과 어떻게 나누어 일하나요?
PM은 성공 기준과 우선순위를 정하고, 개발자는 구현 방식과 기술적 제약을 구체화하며, 현업은 정답과 예외 조건을 검토합니다. 보안 담당자는 데이터와 접근 범위를 확인합니다. 조직에 따라 한 사람이 여러 역할을 맡더라도 결정 책임은 문서에 남겨두는 편이 좋습니다.
AI PM 포트폴리오에도 화면 시안과 프롬프트만 넣기보다 문제 정의, 평가 세트, 실패 사례, 개선 전후의 판단 근거를 담아보세요. “어떤 모델을 썼는가”와 함께 “왜 이 범위로 출시해도 된다고 판단했는가”에 답할 수 있어야 합니다.
NIST의 AI RMF는 설계·개발·사용·평가 전반에서 AI 위험을 관리하기 위한 자발적 프레임워크입니다. 아래 산출물은 특정 직무의 공식 표준이 아니라 이러한 위험 관리 관점을 제품 기획에 적용한 제안입니다. NIST AI RMF 공식 안내
더 읽기: AX PM의 프로젝트 운영, AI 서비스 기획서 작성법, AI 답변 검증 체크리스트
공식 자료 확인일: 2026년 10월 24일.