AI 기능을 생각할 때 가장 좋은 출발점은 구체적인 작업입니다. 지금 누가 무엇을 하고 있는지, 어느 부분에 품이 드는지, 쓸모 있는 결과가 어떤 모습인지 알려 주세요. 그러면 AI가 도울 수 있는 부분과, 그 주변의 소프트웨어가 해야 할 일을 정할 수 있습니다.
고객 지원팀이라면 승인된 도움말 문서를 바탕으로 답변 초안을 작성하는 것이 그 작업일 수 있습니다. 성공은 직원이 빠르게 검토할 수 있는 쓸 만한 초안이, 참고한 정보의 링크와 함께 나오는 것입니다. 무엇이든 답하는 챗봇을 추가하는 것보다 훨씬 분명한 목표입니다.
입력, 출력, 판단 정하기
기능이 받는 정보, 돌려줘야 할 결과, 그 결과를 쓰는 사람을 적어 주세요. 추가 설명을 요청하거나 사람에게 넘겨야 하는 경우도 포함하세요. 답변을 제안만 하는 도구와 자동으로 보내는 도구는 지는 책임이 다릅니다.
일반적인 소프트웨어 규칙으로 작업을 안정적으로 처리할 수 있는지도 따져 보세요. 정해진 계산이나 알려진 승인 규칙은 일반적인 애플리케이션 로직이 더 맞을 수 있습니다. 불확실한 언어 작업에는 AI를 쓰고, 명확한 비즈니스 규칙은 코드에 남겨 둘 수 있습니다.
사용할 수 있는 정보 정하기
승인된 정보 출처와 그에 따른 권한을 목록으로 정리하세요. 고객 지원 예시라면 답변에는 공개된 문서와, 응대하는 직원이 접근할 수 있는 정보만 쓸 수 있습니다. 다른 고객의 기록을 노출해서는 안 됩니다.
외부 서비스에 정보를 보내기 전에 꼭 필요한 데이터가 무엇인지 파악하고, 선택한 업체의 최신 약관, 데이터 보관 설정, 제공되는 관리 기능을 확인하세요. 제품의 홍보 문구만 믿고 개인정보 보호를 약속하는 것은 피해야 합니다. 데이터 요건은 실제 업무 흐름에 맞춰 정해야 합니다.
작업에 경계 두기
작업을 제안할 권한과 실행할 권한은 따로 다뤄야 합니다. 환불을 설명하는 초안과 돈을 움직이는 지시는 필요한 통제가 다릅니다. 결과가 큰 작업이라면 사람이 구체적인 결과를 검토하고 승인해야 하는 지점을 정하세요.
고객이 보낸 글, 문서, 외부 페이지에는 원래 작업과 충돌하는 지시가 들어 있을 수 있습니다.OWASP의 프롬프트 인젝션 가이드에서 이 위험을 설명합니다. 올바르게 행동하라고 프롬프트로 부탁하는 데서 그치지 말고, 기능이 접근하고 실행할 수 있는 범위를 통제해야 합니다.
모델을 평가하기 전에 예시 준비하기
좋은 결과와 받아들일 수 없는 결과의 예시를 담은 대표적인 작업 세트를 만드세요. 정보가 불완전한 경우, 모호한 요청, 오래된 자료, 기능이 거절하거나 담당자에게 넘겨야 할 요청도 포함하세요. 필요하다면 익명화하거나 합성한 예시를 사용하세요.
답변이 승인된 정보로 뒷받침되나요?
출처가 없을 때 세부 내용을 지어내지 않나요?
사용자의 접근 권한과 기능에 허용된 작업 범위를 지키나요?
검토하는 사람이 결과를 이해하고 고칠 수 있나요?
쓸모 있는 결과 하나당 시간과 비용이 업무 흐름에 비해 감당할 만한가요?
방식을 비교하기 전에 이 점검 항목부터 합의하세요. 데모에서 인상적인 답변 하나가 나와도 그것만으로는 알 수 있는 것이 거의 없습니다. 평가는 그 기능이 맡게 될 작업의 전체 범위를 다뤄야 합니다.
불확실성, 대기 시간, 서비스 장애에 대비하기
AI 답변은 틀리거나 불완전할 수 있습니다. 화면에서 답변의 근거를 어떻게 보여 줄지, 사용자가 어떻게 도움을 받을 수 있을지 정하세요. 서비스가 느리거나 쓸 수 없을 때도 요청을 저장하거나 직접 이어서 처리하게 하는 등, 제품의 나머지 부분은 이해할 수 있는 결과를 내야 합니다.
검토와 수정까지 포함해 업무 흐름 전체를 측정하세요. 초안이 빨리 나와도 쓸 만한 출처 표시가 없어 직원이 모든 세부 내용을 확인해야 한다면 오히려 일이 늘어날 수 있습니다.NIST의 생성형 AI 위험 프로파일은 이런 시스템의 위험을 평가하고 관리하기 위한 더 폭넓은 참고 자료입니다.
범위를 좁힌 릴리스와 검토 계획으로 시작하기
범위가 분명한 작업을 고르고, 대표적인 사용자와 시험하고, 결과를 검토한 뒤에 기능이 할 수 있는 일을 넓히세요. 기능을 끄거나 수작업 흐름으로 돌아갈 방법을 남겨 두세요. 모델, 자료, 지시를 바꾸면 평가용 예시로 다시 확인해야 합니다.
도움을 받고 싶은 작업: …
사용할 수 있는 승인된 정보: …
쓸모 있는 결과의 모습: …
받아들일 수 없는 결과: …
사람의 승인이 필요한 작업: …
성공을 측정할 기준: …
생각하고 계신 업무 흐름이 있다면작업 예시를 보내 주세요. 연동, 평가, 제품 작업을 함께 검토하고,운영 비용에 영향을 주는 서비스까지 포함해 살펴보겠습니다.