사내 규정, 업무 매뉴얼, 회의록, 프로젝트 자료를 AI에 연결하면 필요한 정보를 바로 찾아줄 것이라고 기대하게 됩니다. 하지만 막상 써보면, 관련 있어 보이는 문서를 가져오면서도 지금 적용 중인 기준 대신 지난 공지를 참고하거나, 질문과 조금 어긋난 자료를 근거로 답할 때가 있습니다.
AI 답변의 품질은 문장을 만드는 능력만으로 결정되지 않습니다. 수많은 사내 문서 중 질문에 맞는 정보를 찾아 답변의 근거로 선별하는 능력도 필요합니다.
기업용 RAG는 이 과정을 설계하는 기술입니다. AI가 사내 지식에서 필요한 정보를 찾아, 업무에 쓸 수 있는 답변으로 연결하도록 돕는거죠.
비슷한 문서와 답이 되는 문서는 다릅니다
예를 들어 “재택근무는 며칠 전에 신청해야 하나요?”라고 물으면, AI는 재택근무 운영 규정뿐 아니라 신청 시스템 안내, 지난 공지, 팀별 사례까지 함께 찾아옵니다.
모두 재택근무와 관련은 있습니다. 하지만 이 질문의 답이 되는 자료는 현재 적용 중인 운영 규정입니다. 문서를 넓게 찾는 것만으로 충분하지 않은 이유입니다. 비슷해 보이는 문서 가운데, 지금의 질문에 답할 수 있는 문서를 다시 골라내는 단계가 필요합니다.
BizRouter는 이 단계를 강화했습니다. 먼저 질문과 의미가 가까운 문서를 폭넓게 찾아오고, 그중에서 답변 근거로 적합한 문서를 한 번 더 추립니다. 기술적으로는 각각 임베딩과 리랭킹이라고 부릅니다.
문서를 찾는 방식부터 다시 설계했습니다
BizRouter는 문서 성격과 검색 목적에 맞춰 고를 수 있도록 3종의 임베딩 모델을 구성했습니다. 여기에 문서를 다시 골라주는 전용 모델(Qwen3 Reranker 8B)을 더해, 처음 찾아온 후보 가운데 질문에 더 잘 맞는 문서를 앞자리로 끌어올립니다.
핵심은 AI에게 더 많은 자료를 읽히는 것이 아닙니다. 답변에 필요한 근거를 정확히 좁혀주는 것입니다. 그래야 지난 자료나 주변 정보보다, 지금의 업무 기준이 되는 문서가 답변에 쓰입니다.
정확하게 찾는 일과 안전하게 다루는 일은 함께 갑니다
기업 문서에는 업무 기준뿐 아니라 내부 정보도 함께 담겨 있습니다. 그래서 문서를 잘 찾는 구조만큼, 그 과정에서 데이터가 어떻게 남고 처리되는지도 중요합니다.
BizRouter는 질의 내용과 원문 문서, 검색 점수를 감사 로그에 저장하지 않도록 설계했습니다. 이것만으로 모든 보안 과제가 해결되지는 않지만, 사내 지식이 AI 답변에 활용되는 과정에서 불필요한 데이터 노출을 줄이기 위한 기본 원칙입니다.
문서를 더 넣기 전에 확인할 것
사내 문서를 연결한 뒤에도 답변이 자꾸 빗나간다면, 문서를 더 넣기 전에 확인할 것이 있습니다.
AI가 답변의 근거를 제대로 고르고 있는지입니다.
BizRouter가 검색 구조를 다시 설계한 이유도 여기에 있습니다. 답은 많이 찾는 데서가 아니라, 제대로 고르는 데서 갈립니다.