추론 비용 절감1 AI 서비스 LLM 비용, 잘 쓰는 고객일수록 적자가 되는 이유 호출 한 번에 7원.이게 비싸 보이시나요? 저는 안 비싸 보였습니다. 커피 한 잔이 5천 원인데 7원이면 그냥 없는 돈이잖아요. LLM 비용 얘기가 나올 때마다 "나중에 규모 커지면 그때 보자"고 미뤄뒀던 이유도 그거였고요.근데요. 이번에 해외 개발자 한 분이 자기 서비스의 일주일치 추론 트래픽을 전부 계측해서 숫자를 공개했는데, 이게 좀 무섭습니다.제일 열심히 쓰는 고객이, 제일 큰 적자였습니다.뷔페집 사장님이 단골을 무서워하는 순간월 3만 원짜리 무한리필 고깃집을 상상해볼게요.한 달에 두 번 오는 손님. 남는 장사죠. 일주일에 한 번 오는 손님. 아직 괜찮아요. 근데 거의 매일 오는 손님이 생겼습니다. 이 사람은 우리 가게를 제일 사랑하는 사람이에요. 리뷰도 써주고 친구도 데려오고요.그런데 이 손님이.. 2026. 8. 27. 이전 1 다음
