AI API 가격이 무너지고 있다는데, 우리 회사 LLM 비용은 얼마일까?

Opus급 성능에 가격은 15~20%? GLM 5.2가 촉발한 AI API 가격 경쟁, 그리고 정작 아무도 모르는 "우리 회사 LLM 비용" 추적법까지 정리했습니다.

---

혹시 이번 달 AI API 청구서 보고 흠칫한 적 있으신가요?

저는 있습니다. Claude Code를 서버에 올려놓고 신나게 쓰다가, API 키로 연결하면 구독이 아니라 종량제로 과금된다는 걸 뒤늦게 알았거든요. 청구 내역 보는 순간 등에서 식은땀이 났어요.

근데요, 요즘 이 AI 비용 판이 통째로 흔들리고 있습니다. 오늘은 그 얘기를 해보려고요.

Opus급 성능인데 가격은 15~20%?

최근 해외 개발자 커뮤니티에서 화제가 된 글이 하나 있어요. 인프라 비용 분석으로 유명한 엔지니어 Martin Alderson이 쓴 글인데, 요지가 이렇습니다.

중국 Z.ai의 오픈웨이트 모델 GLM 5.2를 2주간 써봤더니, Claude Opus랑 구분이 안 될 정도였다는 거예요. 에이전트 코딩 작업 기준으로요.

그런데 가격이 얼마냐. 100만 토큰당 4.4달러 수준. Opus 소매가의 20% 미만, GPT 5.5의 15% 정도라고 합니다.

한마디로 "비슷한 물건을 5분의 1 가격에 판다"는 얘기죠.

어? 그럼 다들 갈아타면 되는 거 아니냐. 여기가 진짜 무서운 부분인데요. 갈아타는 게 너무 쉽습니다. OpenAI 호환, Anthropic 호환 엔드포인트를 둘 다 제공하거든요. Claude Code에서 base URL 하나 바꾸고 API 키만 넣으면 끝이에요. 마이크로소프트나 세일즈포스처럼 몇 년 걸려 마이그레이션하는 종속(lock-in)이 아니라는 거죠.

근데 왜 다들 안 갈아탈까

물론 반전이 있습니다. 공짜 점심은 없거든요.

첫째, 느립니다. 생각(thinking)을 너무 많이 해요. 백그라운드에서 PR 리뷰 돌리는 용도면 상관없는데, 대화하듯 쓰기엔 답답하다고 합니다. 그리고 생각을 많이 한다는 건 토큰을 많이 쓴다는 뜻이라, 실제 절감 폭은 단가 차이보다 줄어들어요. 그래도 대부분의 작업에서 절반 이상 싸다는 게 글쓴이의 평가입니다.

둘째, 비전이 안 됩니다. 스크린샷이나 이미지 PDF를 못 읽어요. 요즘 에이전트 코딩에서 이거 은근 자주 쓰거든요.

셋째, 웹 검색이 약해요. 에이전트 작업이 생각보다 웹 검색을 엄청 한다는 건데, 이게 오픈웨이트 진영의 실질적인 구멍이라고 지적합니다.

넷째, 데이터 프라이버시. 중국 본토와의 연결 때문에 Z.ai 공식 API를 기업에서 쓰기는 어렵다는 거죠. 다만 오픈웨이트니까 다른 인프라 업체를 통하거나 아예 자체 서버에 올리는 선택지가 열려 있긴 합니다.

그러니까 아직 완전한 대체재는 아니에요. 근데 방향은 명확합니다. 프론티어 모델의 90%에 육박한다는 추정 마진, 이게 오래 못 버틴다는 거예요.

여기서 진짜 질문. 그래서 우리는 얼마 쓰고 있나요?

자, 가격이 떨어진다 칩시다. 좋은 일이죠.

근데 여기서 생각해볼 게 있어요. 가격이 5분의 1이 되든 10분의 1이 되든, 우리 팀이 어디에 얼마를 쓰고 있는지 모르면 아낄 수가 없습니다.

"이번 달 AI 비용 얼마 나왔어요?" 이 질문에 답할 수 있는 회사, 생각보다 없어요. "그 배치 작업 하나가 얼마 먹었어요?"까지 가면 거의 전멸입니다.

이 문제를 제대로 파고든 사례가 있어서 같이 소개할게요. 일본 패션 렌탈 서비스 airCloset의 CTO가 dev.to에 올린 회고인데, LLM 비용 관측 설계가 꽤 구체적입니다.

이 회사는 Gemini API랑 Claude Code를 둘 다 회사 차원에서 씁니다. 그런데 이 둘을 완전히 다른 방식으로 추적해요. 왜냐. 계측할 수 있는 위치가 다르거든요.

LLM cost monitoring dashboard Grafana

Gemini — 실시간으로, 직접 계산해서

Gemini는 자기들이 호출 코드를 짜니까, 모든 호출을 공통 래퍼로 감쌌습니다. 호출할 때마다 토큰 수, 요청 수, 지연 시간, 그리고 추정 비용을 메트릭으로 쏘는 거죠.

여기서 재밌는 설계 판단이 나옵니다. 비용을 누가 계산하느냐.

구글 클라우드 청구 API에서 가져오면 정확하긴 해요. 근데 반나절에서 하루씩 늦게 나오고, 결정적으로 "어느 작업이 얼마 썼는지"를 몰라요. 청구서는 SKU랑 프로젝트 단위까지만 알려주지, "그 테이블 설명 생성 작업이 얼마"인지는 안 알려주거든요.

그래서 이 팀은 클라이언트 쪽에서 토큰 수 × 단가표로 직접 계산하는 방식을 골랐습니다. 단가표는 상수로 박아두고 구글이 가격 바꾸면 손으로 고치고요. 대신 얻는 게 큽니다. 폭주하는 프롬프트나 배치가 있으면 내일 청구서가 아니라 지금 바로 보이거든요. 시간당 1달러 넘으면 슬랙으로 알림이 옵니다.

Claude Code — 장부처럼, SQL로

Claude Code는 반대예요. 외부 CLI라서 호출을 안에서 감쌀 수가 없죠. 대신 사용 기록이 나중에 남습니다. 누가, 어느 저장소에서, 토큰을 얼마나 썼는지.

이건 성격이 로그가 아니라 장부예요. "지난주 A팀 누적 사용량은?" "저 레포 수정에 한 달간 얼마 들었지?" 전부 SQL 집계 질문이잖아요. 그래서 로그 저장소가 아니라 BigQuery에 쌓았습니다.

숫자가 재밌는데요. 30일간 78B(억 단위가 아니라 십억, billion) 토큰을 썼고, 그중 96%가 캐시 읽기였답니다. 캐시 읽기 토큰은 일반 입력 단가의 10분의 1 수준이라, 캐시 없었을 때랑 비교하면 입력 비용이 실질적으로 7배가량 싸진 셈이라는 계산이에요.

이런 수치, 측정 안 하면 영영 모릅니다. "프롬프트 캐시가 좋다더라"랑 "우리 비용의 96%가 캐시로 처리되고 있다"는 완전히 다른 얘기잖아요.

Prometheus BigQuery architecture diagram

제가 겪어보니

저도 Hetzner 서버 위 도커 컨테이너에서 Claude Code를 돌리고 있는데요. 앞서 말한 과금 사고(?) 이후로는 구독 인증 정보를 서버로 복사해서 구독 요금제로 쓰고 있습니다. API 키 환경변수로 연결하면 Pro 구독자여도 종량제로 빠져나가거든요.

이 작은 경험이 위 사례랑 정확히 같은 교훈이에요. 어디서 어떤 방식으로 과금되는지 모르면, 아낄 기회 자체가 안 보인다.

결국 핵심은

정리하면 이렇습니다.

AI API 가격은 앞으로 계속 떨어질 겁니다. GLM 5.2 같은 오픈웨이트 모델이 프론티어 모델의 마진을 정면으로 때리고 있으니까요. "당신의 마진이 나의 기회다"라는 베조스의 말 그대로예요.

근데 싸진 가격의 수혜를 받으려면 순서가 있습니다. 측정 → 비교 → 전환. 지금 어디에 얼마 쓰는지 모르는 상태에서는 갈아탈 근거도, 협상 카드도 없어요.

거창한 시스템 아니어도 됩니다. API 호출 감싸는 래퍼 하나, 사용량 쌓는 테이블 하나. 거기서 시작해도 충분해요. LLM 비용 관리는 청구서가 아니라 계측에서 시작하니까요.

다음에는 실제로 소규모 팀에서 쓸 만한 LLM 비용 추적 구성을 직접 만들어보는 글로 이어가 볼게요.