"AI 도입은 하고 싶은데, 사내 문서가 밖으로 나갈까 봐 겁이 나요."
보안 담당자들과 이야기하다 보면 이 말이 참 자주 나와요.
AI를 쓰면 업무는 빨라지는데, 그만큼 외부망과 닿는 접점이 넓어지거든요. 나가면 안 되는 데이터가 어디에 있고, 어떻게 걸러낼지부터가 숙제예요. 그런데 이 고민, 규모가 작은 회사만의 것도 아니에요. 오히려 큰 곳이 먼저 부딪히고 있어요.
AI를 쓸수록 커지는 비용, 큰 기업도 예외는 아니었습니다
요즘 AI 인프라 소식은 단위가 좀 비현실적이에요. 한 대형 반도체 기업은 AI 투자를 위해 상장 이후 처음으로 대규모 유상증자에 나섰고¹, 대표적인 GPU 기업은 글로벌 투자사들과 함께 매우 큰 규모의 인프라 자금을 모으고 있죠². 숫자만 보면 ‘AI는 결국 돈 있는 쪽의 게임’처럼 느껴져요.
그런데 비용 부담은 큰 기업이라고 비켜가지 않아요. 최근엔 잘 알려진 글로벌 디자인 플랫폼이 주주 설명에서 'AI 작업 한 건당 드는 비용'을 부담 요인으로 언급하며, 매출 성장 전망을 이전보다 보수적으로 잡은 것으로 전해졌어요³.
AI를 많이 쓸수록 비용이 늘어나는 구조를, 규모가 큰 기업이 먼저 체감한 셈이죠.
기업 입장에선 딜레마예요. AI를 안 쓸 수는 없어요. 그렇다고 쓰자니 '나가면 안 되는 사내 데이터를 어떻게 걸러낼까'라는 보안 문제가 붙어요. AI가 내보내면 안 되는 내용을 걸러주는 장치를 가드레일(문 앞을 지키는 문지기 같은 역할)이라고 하는데, 이걸 갖추는 데도 또 비용이 들어요.
맞춤형으로 가려니, 생각보다 많은 게 필요했습니다
문제는 시중 가드레일 대부분이 '우리 회사 문서'를 모른다는 점이에요. 오랫동안 가드레일은 금지어 목록을 대조하는 방식(블랙리스트 명단을 들고 이름을 하나씩 맞춰보는 식)이 많았어요. 문맥을 이해하는 맥락 기반 가드레일도 나오고 있지만, 이런 제품도 우리 회사 데이터를 학습한 건 아니에요. 범용 문서만 익혔죠. 그래서 정작 우리 문서를 알아보는 능력은 기대만큼 안 나올 수 있어요.
그럼 우리 문서에 맞춰 만들면 되잖아요. 맞아요. 그러려면 모델을 우리 데이터에 맞게 다시 학습시키는 파인튜닝(신입에게 회사 규정집을 처음부터 익히게 하는 것)이 필요해요.
그런데 여기서 대부분 막혀요. 문서를 AI가 읽을 수 있게 정리하는 전처리, 등급 분류, 학습, 그리고 학습한 모델을 실제로 불러 쓰는 서빙까지 전부 손이 가거든요. 무엇보다 'GPU부터 사야 한다'는 인식이 커요. 앞에서 본, 거대 기업이 수조 원씩 붓는 그 GPU 말이에요.
그러니 중소기업이나 공공기관 입장에선 맞춤형 AI 모델이 '남의 이야기'처럼 느껴지기 쉬웠어요.
그래서 접근을 조금 바꿔봤습니다
AI3가 고민한 지점도 여기였어요. 맞춤형 모델이 정말 GPU와 큰 예산이 있어야만 가능한 일일까. 이 질문에서 출발해 만든 게 서비스형 파인튜닝 튜니아(Tunia)예요.
접근은 단순해요. 회사 문서를 있는 그대로 올리면, 그다음부터는 손이 덜 가게 하자는 거였어요.
그래서 문서를 정리하고(전처리), 등급을 나누고, 학습시키는 과정을 사람이 일일이 붙잡지 않아도 이어지도록 했어요. 문서를 정리해 캐비닛에 넣는 일을 대신 해주는 셈이죠. 학습이 끝나면 그 모델이 쓸 만한지도 스스로 채점해서, 이전 모델과 비교해 어떤 걸 쓸지 고를 수 있게 했고요.
여기서 만들어지는 가드레일은 정해진 패턴을 지우는 쪽이 아니에요. 우리 회사 문서를 보고 '무엇이 민감한지'를 익혀서 판단하는 쪽이죠. 그래서 범용 제품이 놓치던 "우리 회사에선 이게 민감해"를 잡아낼 수 있어요.
(문서에서 주민번호·계좌번호처럼 정해진 형태의 정보를 미리 지워두는 일은, 문서를 읽어 들이는 앞단에서 코어핀이 맡아요 — 지난 글 「문서를 읽기 전에 AI가 확인해야 할 것」에서 다뤘어요. 튜니아는 그 위층에서 '판단'을 담당한다고 보면 돼요.)
핵심은 '그다음'이에요. 고른 모델은 GPU를 직접 장만하지 않아도 바로 불러 쓸 수 있어요.
학습부터 서빙까지 필요한 GPU는 고객사가 사는 게 아니라, AI3가 국내에 둔 인프라를 서비스로 빌려 쓰는 방식이거든요. AI를 호출하는 전용 주소(콘센트에 플러그를 꽂는 것과 비슷해요)가 제공돼서, 익숙한 방식 그대로 쓰면 되고요. 이 구조 덕분에 데이터가 국외로 나가지 않게 되고요.
공공기관이라면 결이 하나 더 있어요.
망분리에서 등급제로 넘어가는 N2SF 전환⁴ 아래에서는 '우리 기관 문서가 어떤 등급인가'를 식별하는 일부터가 큰 부담인데, 이 등급 분류를 문서 업로드 단계에서 자동으로 처리하는 방향을 지향해요. 학습이 끝난 데이터는 파기하고, 모델도 원할 때 지울 수 있어요. 기관 안에서 직접 돌리는 온프레미스(사내 서버에서 도는 방식) 버전도 있고요.
이미 들어온 AI를, 우리 문서에 맞추는 일
AI는 이제 회사 밖으로 밀어낼 수 있는 대상이 아니에요.
그래서 고민의 무게는 '쓰느냐'보다 '무엇을 믿고 맡기느냐'에 실려요.
저희가 튜니아를 만들며 놓지 않은 생각도 그거였어요. 맞춤형 모델이 예산과 장비를 갖춘 곳만의 것으로 남지 않게 하자는 것. 미뤄뒀던 맞춤형 AI가 있다면, 우리 회사 문서가 어떤 등급으로 정리되는지 튜니아에서 직접 살펴보며 첫 감을 잡아볼 수 있어요.
출처
¹ 헤럴드경제, 「Intel, AI 반도체 투자용 상장 후 첫 유상증자」
² 파이낸셜뉴스, 「엔비디아·월가, AI 인프라 자금조달 동맹」
³ Startup Daily, 「Canva cuts revenue forecast as it tackles high AI costs」
⁴ 아이티데일리, 「N2SF 시대 열린다」