"이 업무엔 어떤 모델을 쓰는 게 맞을까요?" AI 도입을 맡은 실무자에게 가장 자주 돌아오는 질문이에요. 대개는 이렇게 정리돼요.
중요한 보고서는 제일 좋은 모델, 간단한 요약은 저렴한 모델.
그런데 '제일 좋은'과 '간단한'을 나누는 기준이 뭐냐고 물으면, 명확히 답하기 어려운 경우가 많아요.
토큰을 많이 쓸수록 일을 잘하는 걸까요
한동안 기업의 AI 활용은 '얼마나 많이 쓰느냐'로 측정됐어요. 회사가 요금을 내주니 직원들은 가장 성능 좋은 모델을 망설임 없이 골랐고, 스스로 도구를 불러 작업하는 AI인 에이전트는 질문 하나에 수십 번씩 외부 시스템을 호출했죠. 사내에 '어제 팀별 토큰 사용량'을 붙여두고 독려하던 곳도 있었어요.
이 열기가 식은 건 아니에요. 사용량은 지금도 계속 늘고 있죠. 달라진 건 그걸 재는 기준이에요.
사용량은 매달 청구서로 또박또박 남는데, 성과는 같은 단위로 남지 않거든요. '많이 쓰는 건 알겠는데 그만큼 결과가 좋아졌나'라는 질문에 답하려면 별도의 기준이 필요했어요. 그래서 화두가 옮겨갔어요.
무작정 많이 쓰는 방식에서, 같은 비용으로 더 나은 결과를 얻는 방식으로요. 이 전환을 토큰맥싱에서 밸류맥싱으로 설명하는 시각이 있어요. 사용량이 아니라 '토큰당 얻은 가치'를 보자는 관점이에요.
사용량을 재는 단위인 토큰은 택시 미터기와 비슷해요. 대화가 길어지고 AI가 참고하는 자료가 늘수록 요금이 함께 올라가죠. 그런데 미터기를 관리하는 방법이 '덜 타는 것'만 있는 건 아니에요. 어디까지 어떤 차로 갈지 미리 정해두는 것도 방법이에요.
덜 쓰면서 잘 쓰려면, 어느 모델에 맡길지부터 정해야 해요
그래서 방법도 '덜 쓰기' 하나로만 모이지 않아요. 기본값을 최고급 모델에서 내리기, 요청 성격에 따라 모델을 나눠 보내는 라우팅, 참고 자료를 꼭 필요한 만큼만 넣기, 자주 쓰는 지시문을 재사용하기.
이 중 라우팅에 무게가 실리는 편이에요. 쉬운 요청을 가벼운 모델로 보내는 것만으로 결과 품질은 대체로 유지하면서 비용을 낮출 수 있다는 논의가 이어지고 있어요.
라우팅은 응급실의 중증도 분류와 닮았어요. 환자가 들어오면 증상을 보고 경증과 중증으로 나눠 다른 절차로 보내죠. AI 라우팅도 요청을 보고 '이건 가벼운 모델', '이건 추론이 필요한 모델'로 분배해요.
문제는 그 분류 기준을 감으로 만든다는 거예요. '이건 어려워 보이니 최신 모델', '이건 단순하니 저렴한 모델' 같은 식이죠. 정작 각 모델이 우리 회사의 실제 업무에서 어떤 품질을, 어느 정도의 비용과 속도로 처리하는지는 확인하지 않은 채로요.
라우팅을 제대로 하려면 그 앞에 평가가 있어야 해요.
후보 모델들을 실제 업무로 세워놓고 같은 기준으로 채점해보는 과정이에요. 채용 면접과 비슷하죠. 같은 질문을 여러 지원자에게 던지고 같은 잣대로 평가해야, 누가 이 자리에 맞는지 알 수 있으니까요. 그래서 모델 하나의 벤치마크 점수를 보는 것과, 우리 업무로 만든 평가 세트를 두고 재보는 것은 다른 일이에요.
비즈라우터의 '모델 평가'가 하는 일
이 평가 과정을 비즈라우터 안에서 할 수 있도록 '모델 평가' 기능을 더했어요.
먼저 평가 세트를 만들어요. 실제 호출 기록을 가져오거나, CSV로 올리거나, 자주 나오는 업무 질문을 직접 입력하면 돼요. 우리 조직이 실제로 하는 일이 곧 시험 문제가 되는 거예요.
그다음 후보 모델들에 같은 질문을 똑같이 보내요. 그리고 같은 기준으로 답변 품질을 채점하고, 그때 실제로 든 비용과 응답 속도를 함께 기록해요. 세 가지를 한 화면에서 나란히 보니 '품질은 비슷한데 비용이 낮은 모델', '이 업무만큼은 확실히 나은 모델'이 눈에 들어와요. 지금 운영 중인 답변과 후보 모델의 결과를 같은 잣대로 비교할 수도 있어요.
평가에서 끝나지 않아요. 결과를 요청마다 알맞은 모델로 자동 분배하는 Smart Routing 설정으로 그대로 연결해, 실제 서비스에 적용하기 전에 검토할 수 있어요. 새 모델이 나왔을 때 우리 업무에 넣어도 될지, 중요한 업무에 어떤 모델을 둘지, 라우팅 규칙을 어떻게 손볼지 같은 판단에 근거가 생기는 거예요.
효율화만으로는 비용이 잡히지 않아요
한 가지 덧붙이면, 개별 요청을 최적화하는 것만으로 전체 비용이 그만큼 줄지는 않아요. 쓰기 편해지고 단가가 낮아지면 그만큼 더 많이 쓰게 되는 경향이 있거든요. 도로를 넓히면 오히려 차가 더 몰리는 것과 비슷하죠. 앞에서 사용량이 계속 늘고 있다고 한 것도 같은 이야기예요.
그래서 중요한 건 절감 자체보다, 어디에 얼마를 쓰는지 보이게 만들고 그 위에서 고르는 일이에요.
AI3는 밸류맥싱을 덜 쓰는 기술이라기보다, 어느 자리에 어떤 모델을 앉힐지 아는 일로 봅니다. 그 판단의 근거를 만드는 것이 출발점이고, 우리 팀 업무에 어떤 모델이 맞을지는 비즈라우터의 모델 평가에서 확인해볼 수 있어요.
참고
¹ 티타임즈TV, '토큰 사용 줄이면서 품질 유지하는 4가지 방법' 대담