기업에서 생성형 AI를 도입할 때 가장 우려하는 부분 중 하나는 '통제 불가능성'입니다. AI가 무심코 개인정보나 회사 기밀을 외부에 노출하거나, 법적 책임 소지가 있는 부정확한 답변(환각)을 생성할 경우, 기업의 신뢰도 하락과 법적 분쟁으로 이어질 수 있기 때문입니다. 특히 금융, 의료, 공공 분야처럼 민감 정보를 다루는 조직에서는 AI가 답변해야 할 정보와 절대 답변해서는 안 될 정보를 명확히 구분하고 관리할 체계적인 방법이 반드시 필요합니다.

AI의 답변을 통제하는 방법은 크게 세 가지 수준으로 나눌 수 있습니다. 각 방식은 통제의 정교함과 안전성 수준에서 차이가 있습니다.

선택지 비교

가장 안전하고 체계적인 방법인 '검색 증강 생성(RAG) + 사람 검수'를 기준으로 금지 정보를 통제하는 절차는 다음과 같습니다.

1단계: 정보 자산 등급 분류

먼저 조직 내 모든 정보를 민감도와 공개 범위에 따라 등급화합니다. 이는 AI가 어떤 정보를 참고하고 답변해야 할지 결정하는 기준이 됩니다.

* 공개 정보: 웹사이트, 보도자료 등 외부에 공개되어도 무방한 정보 * 내부 정보: 사내 정책, 업무 매뉴얼 등 내부 직원만 접근해야 하는 정보 * 개인정보/기밀 정보: 고객 정보, 재무 데이터, 핵심 기술 자료 등 엄격한 통제가 필요한 정보

2단계: 폐쇄형 지식베이스 구축

AI가 인터넷 전체가 아닌, 승인된 내부 자료만을 학습하고 답변의 근거로 삼도록 '폐쇄형' 환경을 구축합니다. 이때 50페이지짜리 통 문서를 그대로 올리기보다, 주제별, 부서별로 자료를 구조화하고 태그를 달아 관리 효율을 높이는 것이 중요합니다.

* AI 답변 허용: '공개 정보' 등급의 자료를 지식베이스에 등록합니다. * AI 답변 금지: '개인정보/기밀 정보'는 지식베이스에서 원천적으로 제외합니다. 해당 정보에 대한 질문이 들어오면, AI는 직접 답변하는 대신 담당 부서나 창구를 안내하도록 설정합니다.

3단계: '사람 검수 후 발행' 워크플로 정립

AI가 아무리 정확해도 최종 책임은 사람이 져야 합니다. 따라서 AI는 답변의 초안을 생성하는 역할만 맡고, 반드시 해당 분야의 담당자나 전문가가 내용을 검토하고 승인한 후에만 외부에 공개되는 워크플로를 구축해야 합니다. 이는 공공기관이나 병원처럼 답변 하나하나에 책임이 따르는 조직에 필수적입니다.

4단계: 업종별 특화 규칙 적용

산업별 규제나 특수성을 반영한 규칙을 추가로 적용합니다. 예를 들어 병원 마케팅의 경우, 의료법상 금지되는 표현('100% 안전', '최고의 효과' 등)을 '금지 표현 리스트'로 만들어 AI가 사용하지 않도록 통제하고, 의료광고 심의 규정을 준수하도록 계약 단계부터 명시합니다.

'금지어 목록'만 잘 만들어두면 되지 않나요?

단순 금지어 필터링은 한계가 명확합니다. 예를 들어 '개인정보'라는 단어를 금지해도, 사용자가 실제 고객의 이름과 전화번호를 입력하는 상황은 막지 못합니다. 또한 '비용'이라는 단어를 금지하면 정상적인 견적 문의까지 차단될 수 있습니다. 문맥을 이해하지 못하는 키워드 방식보다, 승인된 데이터 범위 내에서만 답변을 생성하는 방식이 훨씬 안전합니다.

ChatGPT 같은 범용 AI의 '학습 데이터 활용 거부' 설정만 하면 안전한가요?

해당 설정은 내가 입력한 데이터가 '미래의 AI 모델 개선'에 사용되지 않는다는 의미일 뿐, 데이터가 서비스 제공자의 서버에 임시 저장되거나 처리되는 것 자체를 막지는 못합니다. 또한 사용자의 실수로 민감 정보를 프롬프트에 입력하는 행위를 방지할 수 없으므로, 기업 환경에서는 별도의 보안 및 통제 장치가 반드시 필요합니다.

결정 후 다음 단계

* 현재 관리 중인 정보 자산을 공개, 내부, 기밀 등급으로 분류해 보세요. * AI가 답변해야 할 핵심 질문 목록과 절대 답변하면 안 되는 정보 목록을 작성해 보세요.