AI 서비스 LLM 비용, 잘 쓰는 고객일수록 적자가 되는 이유

호출 한 번에 7원.

이게 비싸 보이시나요? 저는 안 비싸 보였습니다. 커피 한 잔이 5천 원인데 7원이면 그냥 없는 돈이잖아요. LLM 비용 얘기가 나올 때마다 "나중에 규모 커지면 그때 보자"고 미뤄뒀던 이유도 그거였고요.

근데요. 이번에 해외 개발자 한 분이 자기 서비스의 일주일치 추론 트래픽을 전부 계측해서 숫자를 공개했는데, 이게 좀 무섭습니다.

제일 열심히 쓰는 고객이, 제일 큰 적자였습니다.

---

뷔페집 사장님이 단골을 무서워하는 순간

월 3만 원짜리 무한리필 고깃집을 상상해볼게요.

한 달에 두 번 오는 손님. 남는 장사죠. 일주일에 한 번 오는 손님. 아직 괜찮아요. 근데 거의 매일 오는 손님이 생겼습니다. 이 사람은 우리 가게를 제일 사랑하는 사람이에요. 리뷰도 써주고 친구도 데려오고요.

그런데 이 손님이 올 때마다 사장님은 손해를 봅니다.

여기서 이상한 일이 벌어져요. 사장님이 손님이 좀 덜 왔으면 좋겠다고 생각하기 시작하는 거죠. 가게를 제일 좋아하는 사람이 오는 게 무서워지는 겁니다.

구독형 AI 서비스에서 지금 정확히 이 일이 벌어지고 있습니다.

---

가격표를 보지 마세요, 내 호출 모양을 보세요

먼저 이 글을 쓴 분이 발견한 게 있어요. 자기 서비스에서 호출의 77%, 비용의 97%를 프론티어 모델 하나가 먹고 있었습니다.

77%의 작업이 그 모델을 필요로 해서가 아니었어요. 그냥 기본값이었기 때문입니다. 데모는 잘 나와야 하고, 제일 센 모델 골랐다고 혼나는 사람은 없으니까요. 저도 이렇게 시작했습니다. 솔직히 다들 그러잖아요.

문제는 그다음이에요.

모델 제공사 가격표는 100만 토큰당 몇 달러로 적혀 있습니다. 이거 감이 오시나요? 저는 안 옵니다. 100만 토큰이 대체 몇 번 호출인지를 모르는데 달러가 무슨 소용이에요.

실제로 재봐야 아는 숫자는 따로 있습니다. 내 서비스의 호출 한 번당 비용.

이 분이 일주일 평균을 재보니 호출 한 번에 입력 1,657토큰, 출력 110토큰이 나왔어요.

여기서 잠깐. 비율이 이상하죠? 입력이 출력의 15배입니다.

당연한 이유가 있어요. 요즘 서비스는 사용자 질문만 던지지 않잖아요. 검색해온 문서 붙이고, 연동된 앱 데이터 붙이고, 툴 실행 결과 붙이고. 사용자가 타이핑한 건 한 줄인데 모델한테 가는 건 A4 한 장인 겁니다.

그리고 이게 포인트인데, 데이터 소스를 하나 붙일 때마다 입력은 늘어납니다. 서비스가 좋아질수록 이 비율은 더 나빠져요

주요 모델의주요 모델의 입력·출력 토큰 단가를 비교한 표 또는 표 또는 차트

 

---

0.5센트와 0.01센트

이 호출 모양으로 계산하면 이렇습니다.

• 프론티어 모델: 호출당 약 0.00524달러 (한 7~8원쯤)
• 데이터 정책 검토를 통과한 오픈 웨이트 모델: 호출당 약 0.00011달러 (0.16원쯤)

48배 차이입니다.

근데 둘 다 그냥 봐서는 티가 안 나요. 반 센트랑 100분의 1센트. 눈 감고 봐도 똑같이 0원처럼 보입니다. 아무도 초기에 이걸 안 고치는 이유가 정확히 이거예요. 호출 한 번이 비싸게 느껴지는 순간이 영원히 안 옵니다.

곱하기가 시작되기 전까지는요.

---

진짜 반전은 여기서 나옵니다

월 20달러 요금제로 계산해봅시다. 추론 비용만요.

월 500회 쓰는 라이트 유저

• 전부 프론티어: 2.62달러 → 마진 87%
• 라우팅 적용: 0.06달러 → 마진 99.7%

월 2,000회 쓰는 미들 유저

• 전부 프론티어: 10.48달러 → 마진 48%
• 라우팅 적용: 0.22달러 → 마진 98.9%

월 5,000회 쓰는 헤비 유저

• 전부 프론티어: 26.20달러 → 적자
• 라우팅 적용: 0.55달러 → 마진 97%

왼쪽 열을 위에서 아래로 읽어보세요. 87% → 48% → 적자.

쓰면 쓸수록 마진이 녹습니다. 그리고 어느 지점을 넘으면 구독료보다 원가가 커져요. 20달러 받고 26달러 쓰는 거죠.

오른쪽 열은요? 99.7% → 98.9% → 97%. 사용량이 10배 늘어나는 동안 마진은 거의 안 움직입니다.

그래서 이 글의 진짜 발견은 "비용 48배 절감"이 아니에요.

한계비용의 부호가 바뀐 겁니다.

말이 좀 어려운데 쉽게 풀면 이래요. 왼쪽 세상에서는 열심히 쓰는 유저가 쌓이는 손실입니다. 오른쪽 세상에서는 같은 유저가 쌓이는 이익이에요. 같은 사람, 같은 행동인데 부호가 반대인 거죠.

이게 왜 중요하냐면, 왼쪽 세상에서는 사장이 절대 못 하는 게 생깁니다. 사용량 제한을 못 풀어요. 넉넉하게 주고 싶어도 그게 곧 적자니까요. 오른쪽 세상에서는 그냥 풀어줘도 됩니다. 관대함이 공짜거든요.

요청 난이도를 판별해 저비용 모델과 고성능 모델로 분기시키는 라우터 구조도

---

근데 여기서 한 번 더 뒤집힙니다

여기까지 읽고 "그럼 싼 모델로 다 갈아타면 되겠네" 하셨다면, 잠깐만요.

이 글에서 제일 정직한 부분이 이 대목입니다.

세 번 재시도하는 싼 모델은 싼 게 아닙니다.

생각해보면 당연해요. 싼 모델이 작업에 실패해요. 재시도합니다. 또 실패해요. 결국 프론티어 모델로 올려서 다시 돌립니다. 그런데도 결과가 이상해서 사람이 손으로 고쳐요.

이 체인의 모든 단계에 돈을 냈습니다. 그리고 호출당 단가는 이 사실을 하나도 안 알려줘요.

그래서 진짜 봐야 할 지표는 호출당 비용이 아니라 작업 하나를 끝내는 데 드는 총비용입니다. 재시도, 상위 모델 승격, 사람 개입까지 다 포함해서요.

이 기준으로 재보면 재밌는 결론이 나옵니다. 어떤 작업에서는 비싼 모델이 오히려 싼 선택이에요. 사치가 아니라 절약인 거죠. 제대로 재봤을 때만 보이는 사실입니다.

원저자가 스스로에게 걸어둔 규칙 두 개도 인상 깊었어요.

첫째, 바꾸기 전에 실제 업무로 품질 검증을 먼저 돌리고, 비용 논리에 불리한 결과가 나와도 그대로 보고한다. 답변 품질이 떨어지는 싼 경로는 아무도 전환시키지 못하고, 잃은 신뢰는 돈으로 못 삽니다.

둘째, 사용자 데이터를 보게 될 제공사는 가격보다 약관을 먼저 검토한다. 싼 추론 제공사들은 사용자 데이터로 뭘 할 수 있는지가 천차만별이에요. 실제로 가격이 아까울 만큼 좋은 곳을 약관 때문에 영구 제외한 적도 있다고 합니다.

이 문장이 제일 좋았어요. 라우팅 레이어가 가격보다 규정을 먼저 확인하지 않으면, 개인정보 처리방침은 그냥 희망사항이다.

---

이번 주에 할 수 있는 것

거창한 리팩터링 말고, 하루면 되는 것부터요.

1. 내 호출 모양을 잽니다. 입력 토큰과 출력 토큰을 따로, 호출별로, 작업 종류별로요. 대충 짐작하지 말고 실제 로그를 봐야 합니다.

2. 그 모양으로 호출당 비용을 계산합니다. 지금 쓰는 모델 하나, 그리고 대안이 될 만한 저렴한 경로 두세 개.

3. 실제 요금제로 마진 곡선을 그립니다. 라이트, 미들, 헤비 유저 세 구간. 그리고 어느 사용량에서 적자로 뒤집히는지 그 지점을 찾으세요.

원저자 말로는 이 측정에 하루가 걸렸고, 그 이후로 가격 정책과 사용량 제한을 정하는 모든 결정의 기준이 됐다고 합니다. 재본 적 없는 건 약속하지 않는다는 거죠.

참고로 지금 시점이 나쁘지 않습니다. 저비용 고성능 오픈 웨이트 모델이 계속 쏟아지고 있거든요. 몇 달 전이면 품질 때문에 못 내렸을 작업도, 지금은 내려볼 만한 선택지가 생겼습니다.

---

마무리

LLM 비용 문제의 핵심은 절감률이 아니었습니다.

우리 서비스를 제일 사랑하는 사용자가, 우리한테 이익인지 손해인지. 이 부호를 정하는 게 라우팅이에요. 48배라는 숫자보다 이 뒤집힘이 훨씬 중요합니다.

한마디로, 가격표를 보지 말고 내 트래픽의 모양을 보세요. 그리고 그 모양으로 계산한 마진 곡선에 절벽이 있는지 확인하세요. 절벽은 보통 제일 좋은 고객이 서 있는 자리에 있습니다.

다음 글에서는 이 라우팅을 실제로 어디서 어떻게 나눌지, 그러니까 난이도 판별을 뭘로 할 거냐는 골치 아픈 문제를 다뤄볼까 합니다. 규칙 기반으로 갈지, 작은 모델한테 분류를 시킬지. 이게 또 만만치가 않거든요.