[아이뉴스24 최효경 기자] 직원 상위 10%가 회사 전체 생성형 인공지능(AI) 토큰의 65%를 사용했다. 11일 비즈니스인사이더가 전한 글로벌 컨설팅기업 맥킨지의 내부 AI 사용 현황이다. AI 활용이 활발하다는 증거처럼 보이지만, 회사의 대응은 달랐다. 맥킨지는 사용량이 많은 직원에게 알림을 보내고 내부 AI 게이트웨이와 캐싱 등을 도입해 비용 관리에 나섰다.
글로벌 컨설팅기업 EY는 지난 4월 업무에 적합한 AI 모델을 자동으로 골라주는 라우터와 관리 체계를 도입했다. 이후 토큰 사용량을 60% 줄였다. AI를 덜 사용한 것이 아니라 단순한 작업에는 가벼운 모델을 배정하는 등 필요한 만큼 효율적으로 사용한 결과다.
두 회사의 사례가 담고 있는 공통적 메시지는 AI 활용을 막자는 것이 아니다. 필요한 곳에는 충분히 사용하되 많이 쓰는 것과 잘 쓰는 것을 구분하자는 것이다.
생성형 AI 이용량은 입력·출력 데이터 단위인 '토큰'으로 계산된다. 기업들이 직원의 AI 활용을 독려하면서 더 많은 토큰을 사용하는 이른바 '토큰맥싱(Tokenmaxxing)'이라는 말도 등장했다.
최근 AI 업계 행사 현장을 다니다 보면 기업들이 빼놓지 않고 강조하는 숫자가 있다. 직원들의 AI 이용률과 구축한 AI 에이전트 수다. 숫자가 클수록 AI 전환에 앞선 기업처럼 소개된다. 이를 듣다 보면 한 가지 의문이 생긴다. AI를 많이 쓰는 직원은 정말 일을 잘하는 직원일까.
토큰을 많이 썼다는 사실만으로 낭비라고 단정할 수는 없다. 업무 특성상 AI 활용이 많은 직원도 있을 수 있다. 문제는 바로 그 점이다. 직무와 결과를 빼고 사용량만 비교하면 높은 수치가 적극적인 활용의 결과인지, 비효율적인 사용의 결과인지 구별할 수 없다.
국내에서도 비용 효율화는 AI 기업의 주요 과제가 됐다. 표철민 AI3 대표는 최근 링크드인에서 "고객이 토큰 비용으로 스트레스받지 않아야 장기적으로 성공한다고 생각한다"며 업무에 맞는 모델을 고르는 스마트 라우팅과 프롬프트 캐싱 등 토큰 절감 기술의 필요성을 강조했다.
토큰은 성과가 아니라 활동량이다. 같은 품질의 결과물을 만드는 데 더 많은 토큰을 소비했다면 능숙함보다 비효율에 가까울 수도 있다. 반대로 AI를 익숙하게 다루는 직원은 정확한 지시와 적절한 모델 선택으로 더 적은 비용을 들여 빠르게 업무를 끝낼 수 있다.
결국 기업이 AI 도입으로 실질적인 성과를 내려면 단순히 토큰 사용량을 늘리는 데 집중할 게 아니라, 업무에 맞는 모델을 필요한 만큼 활용해 시간과 비용을 줄이도록 효율적인 사용을 독려해야 한다는 것이다.
AI는 근무 여부를 증명하는 출석 도장이 아니다. 토큰을 가장 많이 소비한 사람이 아니라 필요한 순간 적합한 모델을 필요한 만큼 활용해 더 나은 결과를 만든 사람이 AI를 잘 쓰는 직원이다. 기업의 AI 전환도 이제 사용량이 아닌 결과로 평가받아야 한다. 직원별 이용량보다 '결과당 토큰 비용'을 따져야 한다는 매킨지 조언을 주목해야 할 이유다.
/최효경 기자(hyomirror@inews24.com)