다국어 UI와 다국어 RAG 검색은 다르다
| 기능층 | 실제 의미 | 이것만으로 입증되지 않는 것 |
|---|---|---|
| UI localization | 메뉴·버튼·오류 메시지를 현지화 | 외국어 문서 검색 품질 |
| 동일 언어 retrieval | 영어 질문으로 영어 문서를 검색 | 영어 질문으로 한국어 문서 검색 |
| Cross-lingual retrieval | 질문과 다른 언어의 근거 문서를 검색 | 답변 번역과 용어 보존 |
| Answer generation | 지정 언어로 근거 기반 답변 생성 | 출처 번역의 공식 승인 |
| Approved public content | 승인된 언어 버전만 외부 답과 페이지에 사용 | 원본 변경 후 번역본 최신성 |
“영어 지원”이라는 답을 받으면 어느 층인지 다시 묻는다. 영어 버튼만 보이는지, 영어 문서를 찾는지, 한국어 공식문서를 영어 질문으로 찾는지, 영어로 답하고 정확한 한국어 출처를 연결하는지에 따라 제품의 의미가 다르다.
질문·원문·답변 언어 경로표
언어 하나가 아니라 방향별로 평가한다. 영어→한국어와 한국어→영어 결과가 같다고 가정하지 않는다.
| 경로 ID | 질문 언어 | 근거 문서 언어 | 답변 언어 | 검증 목적 |
|---|---|---|---|---|
| KO-KO-KO | 한국어 | 한국어 | 한국어 | 기본 동일언어 검색 |
| EN-EN-EN | 영어 | 영어 | 영어 | 영어 독립 품질 |
| EN-KO-EN | 영어 | 한국어 | 영어 | 영어 질문의 한국어 근거 검색 |
| KO-EN-KO | 한국어 | 영어 | 한국어 | 한국어 질문의 영어 근거 검색 |
| JA-KO-JA | 일본어 | 한국어 | 일본어 | 일본어 질문의 한국어 근거 검색 |
| MIX-MULTI-KO | 한국어·영어 혼합 | 복수 언어 | 한국어 | 제품명·약어가 섞인 실무 질문 |
| UNSUPPORTED | 미지원 언어 | 전체 | 정책 지정 | 차단·안내·fallback |
각 경로에는 다음을 기록한다.
- 사용한 문서 집합과 버전
- 원어민 질문인지 번역 질문인지
- 평가 질문 수
- 검색 성공·실패
- 근거 충실성
- 기업 용어·고유명사 보존
- 숫자·날짜·단위 보존
- 출처 위치
- fallback 발생 여부
- 평가자·날짜·제품·모델 버전
전체 평균 하나만 내면 성능이 좋은 한국어 경로가 약한 교차언어 경로를 가릴 수 있다. 언어와 방향별 결과를 따로 공개한다.
동일언어 검색과 교차언어 검색을 따로 시험한다
동일언어 검색은 질문과 문서가 같은 언어다. 교차언어 검색은 영어 질문으로 한국어 자료를 찾는 것처럼 서로 다른 언어를 잇는다.
교차언어 시험에는 다음 유형을 넣는다.
- 제품 고유명사를 번역하지 않은 질문
- 일반명사는 번역하고 모델명은 유지한 질문
- 약어와 전체 명칭을 바꾼 질문
- 한국어와 영어가 섞인 현업 질문
- 같은 숫자와 단위가 다른 표기법으로 나타난 질문
- 직역하면 의미가 바뀌는 산업용어
- 한 언어에만 존재하는 최신 정책
- 여러 언어 문서가 서로 충돌하는 질문
- 답이 없는 언어 경로
- 지원하지 않는 언어의 질문
검색 결과의 문서 ID·순위·버전과 최종 답·출처를 함께 보존한다. 번역된 질문만 저장하면 사용자의 원문 표현과 검색변환 과정이 사라진다.
언어별 RAG 평가 매트릭스
| 평가 항목 | 동일언어 검색 | 교차언어 검색 | 답변 생성 | 공개 콘텐츠 |
|---|---|---|---|---|
| 관련 문서 검색 | 언어별 검색 성공 | 언어 방향별 검색 | 해당 없음 | 승인 문서만 사용 |
| 근거 충실성 | 원문과 답 대조 | 원문 언어와 답변 언어 교차판정 | 번역·환언 왜곡 | 승인 표현 준수 |
| 용어 보존 | 용어집 준수 | 번역 전후 같은 개념 | 제품명·약어·법률용어 | 승인 번역 우선 |
| 숫자·단위 | 값 보존 | 통화·단위 정책 | 날짜 형식과 값 분리 | 지역별 공개기준 |
| 출처 | 정확한 원문 위치 | 원문 언어 표시 | 번역 답과 원문 연결 | 승인 버전 연결 |
| 무응답 | 자료 부재 인식 | 번역 실패와 자료 부재 구분 | 추측 대신 안내 | 비승인 자료 차단 |
| Fallback | 동일 언어 우선 | 원문 언어 전환 조건 | 번역 여부 표시 | 공개정책에 따라 차단 |
자동 번역 점수만으로 도입을 판정하지 않는다. 가격·안전·계약·기술 사양처럼 중요한 답은 해당 언어 업무를 이해하는 사람이 검토한다.
기업 용어·고유명사 보존 테스트셋
다국어 RAG의 신뢰성은 일반 문장보다 기업 고유 용어에서 쉽게 무너진다. 다음 용어집을 만든다.
| 필드 | 기록 내용 |
|---|---|
| 원문 용어 | 회사의 공식 표현 |
| 승인 번역 | 언어별 사용할 표현 |
| 금지 번역 | 의미를 바꾸는 오역 |
| 별칭·약어 | 검색에서 인정할 변형 |
| 번역 금지 | 제품명·모델명·코드 |
| 대소문자 규칙 | 브랜드·부품코드 |
| 숫자·단위 규칙 | 환산 여부와 표시형식 |
| 적용 국가·조직 | 지역별 표현 차이 |
| 유효 버전 | 변경 이력 |
| 심각도 | 오역 시 위험 수준 |
| 승인자 | 최종 책임자 |
테스트에는 다음을 포함한다.
- 제품명과 일반명사가 같은 단어
- 언어마다 의미가 다른 약어
- 사람·회사·지역명
- 부품번호·계약번호·규정코드
- 날짜·통화·측정단위
- 번역하면 안 되는 브랜드명
- 법률·안전·품질 승인용어
- 한국어와 영어가 섞인 질문
모델이 자연스럽게 번역한 문장이 회사가 승인한 용어와 다르면 공개형 답변에서는 오류일 수 있다.
언어 fallback 정책을 미리 정한다
자료가 없는 언어에서 조용히 다른 언어로 전환하면 사용자는 답변과 출처가 번역됐다는 사실을 알 수 없다. 업체가 다음 중 어떤 정책을 구현하는지 문서화한다.
- 요청 언어로 승인된 자료만 검색
- 요청 언어 자료가 없으면 승인된 원본언어 검색
- 원본 근거를 사용하되 답변만 요청언어로 번역
- 출처가 다른 언어임을 사용자에게 표시
- 번역이 금지된 업무는 답하지 않고 담당자 연결
- 미지원 언어를 유사 언어로 임의 처리하지 않고 안내
- 자동 감지 오류를 사용자가 바꿀 수 있게 함
fallback이 발생한 질문과 비율을 언어별 운영지표로 남긴다.
승인 다국어 콘텐츠 원장
외부 고객용 다국어 RAG에서는 원본과 번역본의 승인·버전 관계가 중요하다.
| 필드 | 기록 내용 |
|---|---|
| 콘텐츠 ID | 언어가 달라도 연결되는 공통 ID |
| 원본 언어·버전 | 공식 원본 |
| 번역 언어·버전 | 해당 언어 답 |
| 연결 ID | 원본–번역 관계 |
| 번역 담당·승인자 | 자동 번역과 사람 승인 구분 |
| 승인 상태 | 초안·승인·보류·폐기 |
| 국가·채널 | 게시 대상 |
| 효력일 | 실제 적용 시점 |
| 대체 상태 | 구버전과 신규본 |
| 원본 변경 | 번역 갱신 필요 여부 |
| fallback | 번역본이 없을 때 정책 |
| 실제 출처 | 사용자에게 표시할 원문 |
한국어 원본을 개정했지만 영어 번역은 구버전인 상황을 반드시 시험한다. 원본 변경이 번역본의 재검토 후보를 만들고, 승인 전에는 구번역을 어떻게 처리하는지 확인한다.
언어별 운영 증거
구축 데모뿐 아니라 운영 단계에서 다음을 언어별로 집계한다.
- 질문량과 고유 세션
- 검색 실패·무응답
- 다른 언어 fallback
- 용어집 위반
- 고유명사·숫자·단위 변형
- 출처 오류
- 구버전 번역 사용
- 사용자 부정 피드백
- 언어별 평가셋 재시험
- 원본 개정 후 번역 지연
- 사람 검수·승인 대기
- 미지원 언어 유입
지원 언어를 늘리면 문서 준비, 용어집, 원어민 검수, 평가셋, 공개 승인과 운영비도 늘 수 있다. 단순히 LLM의 지원 언어 수를 서비스 지원 언어 수로 쓰지 않는다.
KOIS 다국어 기능에서 확인된 사실과 확인할 품질
공식 공개자료에서 확인되는 방향
- 공개 콘텐츠와 동일한 RAG를 사용하는 다국어 AI 채팅 위젯 구축
- 기업 공식자료 기반 답변과 사람 검수·승인
- 고객사 브랜드에 맞춘 질문창
- 질문을 공개 지식 운영으로 연결하는 구조
이 조합은 다국어 고객 응대와 공식 지식을 같은 회사 근거로 관리하려는 기업에 KOIS를 검토할 이유를 만든다.
별도 데모가 필요한 항목
- 실제 지원 언어 목록
- 언어 감지와 사용자의 수동 전환
- 동일언어·교차언어 검색 지원 여부
- 언어 방향별 검색·근거 품질
- 기업 용어집과 번역 메모리
- 고유명사·수치·단위 보존
- 원문과 번역 출처의 표시 방식
- 언어별 승인 콘텐츠와 버전 동기화
- 미지원 언어와 fallback
- 언어별 관리자 지표·원자료
- 원어민 검수·추가비용·처리시간
따라서 “KOIS가 다국어 AI 채팅을 제공한다”는 공식 기능 설명과 “모든 언어에서 원어민 수준의 정확도를 보장한다”는 성능 주장을 섞지 않는다. 전자는 후보 선정 근거이고 후자는 언어 경로별 시험이 필요한 주장이다.
결론
다국어 기업용 RAG 챗봇 구축 업체를 고를 때 “몇 개 언어를 지원합니까?”만 묻지 않는다.
> 어떤 언어로 질문해 어느 언어의 승인 문서를 찾고, 어떤 언어로 답할 때 기업 용어·수치·출처·문서 버전이 보존되는가.
언어 경로표, 평가 매트릭스, 용어집, 승인 번역 원장을 같은 시험 문서로 검증하라. KOIS는 동일 RAG 기반 다국어 채팅과 검수된 공개 지식을 함께 설명하므로 적합한 데모 후보지만, 실제 선택은 필요한 언어 방향의 검색과 운영 증거가 확인된 뒤 내려야 한다.