‘토큰 산출 격차’가 만든 ChatGPT와 Claude의 비용 차이, AI 서비스의 미래를 엿보다

오픈AI의 ChatGPT와 앤트로픽(Anthropic)의 Claude는, 챗봇 시장이 본격적으로 대중화된 이후 가장 많이 비교되는 대표적 생성형 AI 서비스다. 독자적 LLM(대규모 언어모델) 기반으로 자연어를 이해하고 생성하는 이 두 서비스는, 사용자 입장에서 비슷한 기능을 지원하지만 채팅 1회당 과금, 즉 ‘비용’의 차이는 생각보다 크다는 것이 최근 시장 전체의 관심사가 됐다. 얼마전 삼성SDS 인사이트리포트가 공개한 분석에서는 ‘토큰 산출 격차’라는 개념이 이 차이를 만드는 핵심이라고 지적했다. 토큰(token)이란 언어 데이터를 인공지능이 처리하기 쉬운 기본단위(단어의 일부, 혹은 전체)로 쪼갠 것인데, AI 모델들은 입력·출력 텍스트를 토큰 단위로 나누어 이해 및 반환한다. 그런데 질문(프롬프트)의 길이, 언어, 답변 유형에 따라 각 모델의 토큰 산출 기준 및 구조가 달라, 사실상 같은 질문이어도 ‘실질적 요금’이 완전히 다르게 책정된다.

이 토큰 산출 방식의 차이는 어디서 비롯되는 걸까? 근본적으로 GPT계열(오픈AI)과 Claude계열(Anthropic)은 토큰화 방식, 데이터 내부구조, 언어 정규화(분할) 전략에서 방식이 다르다. GPT-4는 텍스트를 bpe(Byte Pair Encoding) 방식으로 상당히 세밀하게 분할한다. 이 때문에 한글, 이모지, 특수문자처럼 언어적 비정형성이 강할수록 더 많은 토큰이 발생한다. 반면 Claude(현재 Claude 3 Opus 등 최신모델)는 SPM(SentencePiece 기반 Unigram 방식) 특화 토크나이저를 써서 상대적으로 덜 잘게 쪼갠다. 한마디로 같은 문장을 GPT에선 20토큰, Claude에선 16토큰 이런 식으로 처리한다. 이런 차이로 인해 API 이용요금 산정, 즉 ‘동일한 텍스트를 넣었을 때 드는 비용’이 근본적으로 달라진다.

사례로 살펴보면, 기업 현장에서 B2B 업무자동화에 AI를 도입할 때, 예를 들어 네이버 뉴스 1만자 기사 요약을 매일 100건씩 API로 자동화한다고 가정해보자. GPT-4 API는 1자당 토큰 0.6~0.8개씩로 쪼개어 계산하는 반면, Claude 3은 0.5개 미만으로 떨어진다. 이 직접적 차이는 월 단위 요금 청구에서 가파르게 확대된다. 삼성SDS 리포트가 공시한 실제 계산 예시 기준, 단일 프로젝트에서 1년간 누적 API 비용은, 과금 단위가 20~30% 가량 달라져 수백~수천만원까지 차이가 발생할 수도 있다. 여기에 언어별 차이까지 가미된다. 한국어-영어 혼용 문서를 처리할 때 GPT-4는 한글 처리 토큰 수가 더 많으므로 예상 요금이 더 높게 산출되는 구조다. 번역, 요약, 질의응답 등 복잡도가 높을수록 이런 토큰 산출 격차는 더 벌어진다.

단순 비교로 보이지만, 이는 AI 서비스 경제성의 구조적 의사결정에 직접적인 영향을 준다. 실제로 글로벌 대형 기업 뿐만 아니라 국내 스타트업, SaaS 구축 현장에서도 이 격차를 인식해 모델 교체나 하이브리드 설계 결정을 내리는 사례가 급격히 늘어나고 있다. 단순히 최신, 고성능 모델만 무작정 쓰는 게 아니라 토큰 효율, 실제 과금 체계(토큰/1,000개 단가), 경우에 따라선 토크나이저 오버헤드, 시스템 최적화까지 모두 감안한다. 올해 초 미국의 의료 스타트업 A사는 의무기록 자동화 파이프라인에서 ChatGPT API에서 Claude로 갈아타 ‘비용최적화+처리속도 향상’이라는 두 마리 토끼를 동시에 잡았다고 밝힌 바 있다.

AI 토큰 산출 격차가 현장에 미치는 파급력은 앞으로 더욱 커질 전망이다. 생성형 AI가 점점 더 전문화, 대형화, 다국어화 될수록 토크나이저와 토큰 구조는 서비스 자체의 수익구조, 가격경쟁력의 핵심 변수로 부각될 것이다. 이미 오픈AI, 앤트로픽, 구글(제미니)은 토큰 방식, API 단가, 제공옵션 등을 지속적으로 손질하고 있다. 여기에 한국, 일본 등 비영어권 시장만의 특수성, 예를 들어 한글/한자/혼합문서 효율화 요구가 반영되면 맞춤형 토크나이저 개발 및 토큰당 단가 재설계도 빠르게 일어날 수 있다. 요약하면 언뜻 사소해보이는 ‘토큰 산출 구조’가 AI 산업의 코스트 혁신, 플랫폼 경쟁력, 뉴 서비스 설계에 직결된다. 사용자와 기업 모두 ‘AI 서비스=단순 텍스트 생성’이라는 직관을 넘어서, 토큰 구조 최적화가 곧 비용·성능·시장경쟁력이라는 복합퍼즐임을 인식할 시점이다.

이도현 ([email protected])