토큰 비용이 오를수록 Local LLM은 선택지가 아니라 운영 전략이 된다

프롤로그: AI를 많이 쓰는 회사일수록 더 빨리 불안해진다

AI를 쓰면 비용이 줄어들까.

처음에는 그렇게 보인다. 보고서를 빨리 쓰고, 자료를 요약하고, 코드를 고치고, 고객 문의를 분류한다. 그런데 사용량이 늘어나는 순간 다른 장부가 열린다. 사람의 인건비 장부가 아니라 토큰 장부다.

Palantir의 Alex Karp는 CNBC 인터뷰에서 OpenAI와 Anthropic의 토큰 기반 모델을 강하게 비판했다. 그는 기업들이 토큰에 돈을 쓰면서도 실제 가치가 충분히 돌아오지 않는다고 말했다.¹

물론 이 말을 그대로 받아들이면 곤란하다. Palantir는 기업과 정부 안쪽에 AI 시스템을 구축해 파는 회사다. Karp의 비판에는 분명한 사업적 이해관계가 있다.

그렇다고 문제 제기 자체가 틀린 것은 아니다.

AI 비용의 핵심은 모델 가격이 아니라 사용량이 폭발한 뒤에도 통제 가능한 구조를 갖췄는가에 있다.

내가 주목한 부분은 여기다. Local LLM은 “클라우드 AI를 버리자”는 구호가 아니다. 기업이 AI를 더 많이 쓰기 위해 필요한 두 번째 엔진에 가깝다.

I - 토큰은 새로운 전기요금이다

AI를 도입한 조직은 처음에 기능을 본다. 어떤 모델이 더 똑똑한가. 어느 서비스가 문장을 더 잘 쓰는가. 어느 챗봇이 더 자연스러운가.

하지만 운영 단계로 넘어가면 질문이 바뀐다.

하루에 몇 번 호출되는가. 한 번 호출할 때 프롬프트가 얼마나 긴가. 결과를 다시 검토하려고 몇 번 재시도하는가. 내부 문서, 로그, 상담 기록, 코드, 회의록이 매일 얼마나 모델로 흘러가는가.

이때 토큰은 실험비가 아니라 운영비가 된다.

Karp가 비판한 “tokenmaxxing”이라는 표현도 이 지점에서 나온다. 좋은 모델을 많이 쓰면 좋은 결과가 날 것이라는 믿음이 기업 안에 퍼졌지만, 실제로는 모든 요청을 비싼 모델에 보내는 습관이 생기기 쉽다.²

AI 비용은 단순히 “비싸다”의 문제가 아니다. 더 난감한 문제는 비용과 가치가 분리되는 순간이다.

고객 이름을 익명화하는 작업, 문서를 정해진 형식으로 분류하는 작업, 회의록에서 할 일을 뽑는 작업, 내부 정책 문서를 검색해 초안을 만드는 작업까지 모두 최고급 모델로 보낸다면 비용은 빠르게 커진다. 그러나 그 작업들이 늘 최고급 추론을 요구하지는 않는다.

모든 문제에 프론티어 모델을 쓰는 것은 모든 이동에 항공기를 부르는 것과 비슷하다.

필요한 것은 AI 사용을 줄이는 문화가 아니다. 요청의 성격에 맞게 모델을 나누는 구조다.

II - Local LLM은 싸구려 대체재가 아니다

Local LLM을 이야기할 때 가장 흔한 오해가 있다.

“그럼 ChatGPT나 Claude를 안 쓰자는 말인가?”

아니다. 복잡한 추론, 다중 문서 분석, 고난도 코딩, 멀티모달 작업에서는 여전히 프론티어 모델이 강하다. MindStudio도 2026년 기준으로 Local AI와 클라우드 AI의 격차가 줄었지만 사라진 것은 아니라고 설명한다.³

Local LLM이 빛나는 곳은 따로 있다.

반복 업무, 민감한 데이터, 대량 처리, 낮은 지연시간이 필요한 워크플로다. 문서 분류, 요약 초안, 개인정보 마스킹, 내부 지식 검색의 1차 응답, 로그 분석, 정형 출력 생성 같은 일이다.

이런 일은 기업에서 아주 많이 발생한다. 그리고 바로 이 지점에서 비용 구조가 갈린다.

업무 유형	권장 모델 계층	이유
개인정보 포함 문서 요약	Local LLM	데이터가 외부 API로 나가지 않는 구조가 유리하다
정형 분류·태깅·초안 생성	Local LLM 또는 저비용 모델	반복량이 많아 토큰 비용 누적이 크다
복잡한 전략 판단·고난도 코드 리뷰	프론티어 모델	추론 품질과 안정성이 더 중요하다
사내 문서 검색 후 답변 초안	Local LLM + RAG	내부 지식과 권한 통제가 핵심이다
최종 의사결정 보조	하이브리드	Local LLM이 초안을 만들고 고급 모델이 검증한다

Local LLM의 장점은 “공짜”가 아니다. 서버, GPU, 전력, 관리 인력이 필요하다. 온프레미스 LLM 비용 분석 논문도 로컬 배포의 손익분기점은 사용량, 모델 크기, API 가격, 전력비, 운영 역량에 따라 크게 달라진다고 본다.⁴

그래서 Local LLM은 유행처럼 들여오면 안 된다.

먼저 봐야 할 것은 모델이 아니다. 우리 회사 안에서 매일 반복되는 토큰 흐름이다.

III - AI 주권은 거창한 말이 아니라 권한 설계다

Palantir는 “AI sovereignty”를 강조한다. 데이터와 모델 가중치, 컴퓨트, 운영 스택을 외부에 넘기지 말라는 메시지다.²

이 표현은 조금 거창하다. 국가, 군사, 정부 조달의 언어처럼 들린다. 하지만 기업 실무로 내려오면 꽤 현실적인 말이 된다.

AI 주권은 이런 질문으로 바뀐다.

우리의 고객 데이터는 어디로 가는가. 내부 문서가 어떤 모델에 들어가는가. 프롬프트와 출력은 로그로 남는가. 모델 제공사가 정책을 바꾸면 우리 업무는 흔들리는가. 비용이 두 배로 늘어도 계속 쓸 수 있는가.

이 질문에 답하지 못하는 조직은 AI를 많이 쓸수록 더 취약해진다.

Local LLM은 이 취약성을 줄이는 방법 중 하나다. 모든 요청을 내부에서 처리하자는 말이 아니다. 적어도 외부로 나가면 안 되는 데이터, 반복량이 커서 비용이 폭발하는 작업, 내부 지식에 의존하는 초안 작업은 기업이 직접 통제하는 인프라에서 처리할 수 있어야 한다.

flowchart TD
    A["AI 요청 발생"] --> B{"민감한 데이터인가"}
    B -->|예| C["Local LLM 또는 사내 전용 환경"]
    B -->|아니오| D{"복잡한 추론이 필요한가"}
    D -->|예| E["프론티어 모델"]
    D -->|아니오| F{"반복량이 많은가"}
    F -->|예| C
    F -->|아니오| G["저비용 클라우드 모델"]
    C --> H["결과 검증 및 로그 관리"]
    E --> H
    G --> H

이런 라우팅은 화려하지 않다. 하지만 AX의 현실은 대개 이런 곳에서 갈린다.

AI를 잘 쓰는 회사는 멋진 데모를 많이 만든 회사가 아니다. 어떤 업무를 어느 모델에 맡길지, 어떤 데이터는 절대 외부로 보내지 않을지, 어떤 결과는 사람이 검토해야 할지 정한 회사다.

IV - 기업의 AX는 모델 쇼핑이 아니라 병목 설계다

많은 조직이 AX를 말할 때 모델 이름부터 고른다. ChatGPT, Claude, Gemini, Llama, Qwen, EXAONE. 목록은 길다.

그러나 실제 병목은 모델 선택보다 앞에 있다.

문서가 정리되어 있는가. 권한 체계가 있는가. 반복 업무가 데이터로 남는가. 업무 프로세스가 API나 자동화로 연결되는가. 비용이 부서별로 보이는가. 프롬프트와 결과가 재사용 가능한 자산으로 남는가.

DX가 충분히 되지 않은 조직에서 AX가 갑자기 완성되기 어렵다는 말은 여기서 더 선명해진다. AI는 어수선한 업무를 마법처럼 정리하지 않는다. 오히려 정리되지 않은 업무를 더 빠르게, 더 비싸게 반복하게 만들 수 있다.

Local LLM 도입도 마찬가지다. 모델을 설치하는 일이 핵심이 아니다. 어떤 병목을 로컬로 돌릴지 정해야 한다.

나는 세 가지부터 보는 편이 현실적이라고 본다.

첫째, 월간 토큰 지출이 빠르게 늘어나는 반복 업무다. 고객 문의 분류, 내부 문서 요약, 회의록 정리처럼 양이 많은 작업부터 후보가 된다.

둘째, 외부 API로 보내기 애매한 데이터다. 개인정보, 계약서, 영업 전략, 코드, 고객 로그가 들어간 업무는 비용보다 통제권이 먼저다.

셋째, 품질 기준이 명확한 업무다. 정해진 형식으로 뽑기, 특정 기준에 따라 분류하기, 사내 용어에 맞춰 초안을 쓰기처럼 결과를 평가하기 쉬운 작업이 Local LLM에 맞다.

이 세 조건이 겹치는 곳이 있다면 Local LLM은 실험이 아니라 운영 전략이 된다.

생각해볼 질문

1. 우리 조직에서 매달 가장 많은 토큰을 쓰는 업무는 무엇인가?

2. 외부 모델로 보내기 부담스러운 데이터는 어디에서 가장 자주 발생하는가?

3. 프론티어 모델이 꼭 필요한 요청과 Local LLM으로 충분한 요청을 구분하는 기준이 있는가?

결론: Local LLM은 AI를 덜 쓰기 위한 선택이 아니다

Karp의 발언은 거칠다. Palantir의 이해관계도 분명하다. 그럼에도 그가 건드린 질문은 남는다.

기업은 언제까지 모든 AI 요청을 외부 토큰 장부에 맡길 것인가.

Local LLM은 프론티어 모델을 버리자는 주장이 아니다. 더 좋은 모델을 더 중요한 일에 쓰기 위한 운영 장치다. 반복 업무는 로컬로 돌리고, 민감한 데이터는 내부에 남기고, 복잡한 판단은 고급 모델에 맡기는 구조가 필요하다.

AI 비용의 미래는 “누가 더 싼 모델을 찾는가”가 아니라 “누가 더 똑똑하게 라우팅하는가”에 가까워지고 있다.

이번 주에 할 수 있는 작은 시작은 하나다. 우리 조직의 AI 요청을 세 줄로 나눠보는 것이다.

Local로 처리할 일. 저비용 모델로 충분한 일. 최고급 모델을 써야 하는 일.

그 구분표가 없다면, AI 비용은 조용히 새어나간다.

Sources

Footnotes

1. Samantha Subin, “Palantir's Karp bashes OpenAI, Anthropic token model: 'Something has gone completely wrong',” CNBC, 2026-07-01. https://www.cnbc.com/amp/2026/07/01/palantir-karp-open-ai-anthropic-tokens.html ↩

2. Ana Maria Constantin, “Palantir’s ‘AI sovereignty’ manifesto is a war on how AI makes money,” The Next Web, 2026-07-01. https://thenextweb.com/news/palantir-ai-sovereignty-manifesto-tokenmaxxing ↩ ↩²

3. MindStudio Team, “Local AI vs Cloud AI in 2026: When to Run Models on Your Own Hardware,” 2026-05-27. https://www.mindstudio.ai/blog/local-ai-vs-cloud-ai-2026 ↩

4. Guanzhong Pan and Haibo Wang, “A Cost-Benefit Analysis of On-Premise Large Language Model Deployment: Breaking Even with Commercial LLM Services,” arXiv, 2025. https://arxiv.org/html/2509.18101v1 ↩