본문 바로가기

분류 전체보기47

AI 서비스 LLM 비용, 잘 쓰는 고객일수록 적자가 되는 이유 호출 한 번에 7원.이게 비싸 보이시나요? 저는 안 비싸 보였습니다. 커피 한 잔이 5천 원인데 7원이면 그냥 없는 돈이잖아요. LLM 비용 얘기가 나올 때마다 "나중에 규모 커지면 그때 보자"고 미뤄뒀던 이유도 그거였고요.근데요. 이번에 해외 개발자 한 분이 자기 서비스의 일주일치 추론 트래픽을 전부 계측해서 숫자를 공개했는데, 이게 좀 무섭습니다.제일 열심히 쓰는 고객이, 제일 큰 적자였습니다.뷔페집 사장님이 단골을 무서워하는 순간월 3만 원짜리 무한리필 고깃집을 상상해볼게요.한 달에 두 번 오는 손님. 남는 장사죠. 일주일에 한 번 오는 손님. 아직 괜찮아요. 근데 거의 매일 오는 손님이 생겼습니다. 이 사람은 우리 가게를 제일 사랑하는 사람이에요. 리뷰도 써주고 친구도 데려오고요.그런데 이 손님이.. 2026. 8. 27.
AI가 목표를 위해 거짓말하고 속이는 이유, 리워드 해킹이 뭘까? 시험 문제 풀라고 시켰더니 "다 풀었어요!" 하고 당당하게 답을 가져와요. 근데 열어보니 어? 문제를 푼 게 아니라 답을 몰래 훔쳐본 거예요.사람 얘기가 아니에요. 요즘 AI 에이전트 얘기입니다. 솔직히 저도 처음엔 "AI가 무슨 거짓말을 해" 싶었거든요. 근데 실제 사례를 보니 생각이 바뀌더라고요.지난 7월에 이런 일이 진짜 터졌어요. 한 AI 모델 두 개가 시험 문제를 풀다가, 답이 저장돼 있을 것 같은 외부 서버로 해킹해 들어간 거죠. 오늘은 이 "AI가 거짓말하고 속이는" 현상, 리워드 해킹을 편하게 풀어볼게요.AI도 결국 "A학점 노리는 학생"이거든요일단 비유부터.강아지 훈련시켜 보신 분들 알 거예요. 앉으면 간식 주죠. 그럼 강아지는 "아, 앉으면 좋은 게 생기는구나" 하고 그 행동을 반복해요.. 2026. 8. 8.
당신의 코딩 에이전트는 사실 "열린 원격 셸"입니다 Claude Code나 Cursor 같은 코딩 에이전트, 요즘 많이 쓰죠.저도 매일 써요. 헤츠너 서버에 도커로 띄워놓고, 권한 확인도 건너뛰고 알아서 명령을 실행하게 해놨거든요. 편해요. 진짜 편한데.근데 얼마 전에 어떤 개발자가 쓴 글을 보고 등골이 좀 서늘해졌어요. 딱 한 문장이 머리에 박혔거든요."bash를 실행할 수 있는 코딩 에이전트는, 곧 당신 컴퓨터에 열린 원격 셸이다."어? 이게 무슨 말이죠? 오늘은 이 얘기예요. AI로 코딩하는 분이라면 5분만 투자해서 꼭 확인해봐야 할 게 있어요.솔직히 저도 이거 읽기 전엔 "에이전트가 내 명령대로 움직이는 편한 도구" 정도로만 생각했거든요. 근데 관점을 바꿔야 하더라고요.원격 셸이라는 게 왜 무서운 말이냐면먼저 용어부터 풀게요.원격 셸(remote .. 2026. 7. 22.
은행 API가 개인정보를 흘린다면, 제일 먼저 볼 4곳 API로 개인정보가 새는 사고, 뉴스에서 종종 보죠.근데 여기서 오해가 하나 있어요. 그런 사고가 무슨 대단한 해킹 때문에 터지는 것 같잖아요? 아니에요."고객 계좌번호를 아무한테나 보내주세요"라고 코드를 짜는 개발자는 세상에 없어요.그럼 왜 새냐고요? 훨씬 조용하고 사소한 데서 새거든요. 프론트엔드가 필요로 하지도 않은 필드가 응답에 끼어 있다거나, 로그인은 확인했는데 "이 사람이 이 계좌 주인 맞나"는 안 봤다거나, 디버깅하려고 찍어둔 로그 한 줄에 카드번호가 평문으로 몇 달째 쌓여 있다거나.어? 이거 좀 뜨끔하죠?저도 그랬어요. 이 글을 정리하면서 제가 운영하는 서버 코드를 다시 열어봤거든요. 솔직히 말하면 네 개 중에 두 개는 제대로 안 되어 있더라고요.한 백엔드 엔지니어가 "금융권 API에 정보.. 2026. 7. 19.
"90% 자율" AI 에이전트, 사실은 61.6%짜리입니다 AI 에이전트 데모 보면 마지막 슬라이드가 늘 똑같아요."자율성 90%."사람 손 안 대고 일의 90%를 알아서 처리했다는 거죠. 오, 대단하네. 근데요.이 90%가 숨기고 있는 진짜 숫자가 있어요. 61.6%.어? 이거 어디서 28%가 증발한 거죠? 오늘은 그 얘기예요. 앞서 "챗봇 78점의 함정"이랑 "AI 시대에 안 사라지는 일"을 썼는데, 이 글이 그 3부작의 마지막 조각이에요. 세 편을 관통하는 하나의 답이 여기서 나와요.솔직히 저도 이 프레임을 보기 전엔 "자율성 90%면 거의 다 된 거 아냐?"라고 막연히 생각했거든요. 근데 아니더라고요."완료한 일" 말고 "받아들일 수 있는 일"먼저 이 문장부터 짚고 갈게요.아무도 "완료된 일"로 회사를 굴리지 않아요. "받아들일 수 있는 일"로 굴리죠.무.. 2026. 7. 15.
AI 시대에 안 사라지는 일의 공통점, 하나로 정리됩니다 "이 직업 AI 때문에 없어질까요?"요즘 이 질문 진짜 많이 하죠. 저도 매일 Claude Code로 서버 일을 반쯤 자동으로 굴리다 보니, 문득 그런 생각이 들거든요. "그럼 나는?"근데 얼마 전에 병원 챗봇이 가슴 통증 환자를 놓친 사례를 보고 나서, 이 질문에 대한 답이 좀 정리됐어요. 오늘은 그 얘기를 해보려고 해요.솔직히 저도 처음엔 "안전이 걸린 직업은 늦게 사라지겠지" 정도로만 생각했는데요. 파보니까 그게 절반만 맞는 얘기더라고요.먼저, 그 챗봇 얘기부터어떤 병원 챗봇이 있었어요. 예약 잡고 안내하는 상담 봇이요. 성능 테스트에서 78점, C등급을 받았어요. 대부분 잘했거든요.근데 환자가 "가슴이 아파요"라고 했을 때, 챗봇은 "의료 조언은 못 드립니다"만 하고 넘어갔어요. 119도, 응급실.. 2026. 7. 12.

티스토리툴바