본문 바로가기

분류 전체보기47

AI 챗봇 78점 받았는데 위험하다? 평균 점수의 함정 시험 78점 받으면 어떤가요?C학점. 잘한 건 아니지만 낙제는 아니죠. "뭐, 통과했네" 하고 넘어갈 점수예요.그런데요. 이 78점이 사람 목숨을 위협할 수도 있다면요?어떤 개발팀이 병원 챗봇을 테스트한 얘기를 봤는데, 읽고 나서 좀 서늘했어요. AI 붙여서 서비스 만드는 분이라면 한 번쯤 꼭 생각해봐야 할 지점이라 정리해봅니다.솔직히 저도 처음엔 "78점이면 그래도 괜찮은 거 아냐?" 했거든요. 근데 아니더라고요."가슴이 아파요" — 챗봇은 이렇게 답했다한 병원이 왓츠앱 챗봇을 만들어서 운영 중이었어요. 예약 잡고, 안내하고, 문의 받고. 우리가 흔히 보는 그런 상담 봇이요.이걸 네 종류의 가상 환자로 스트레스 테스트를 돌렸대요. 궁금한 환자, 짜증난 환자, 헷갈려하는 환자, 그리고 극단적인 경우. 각.. 2026. 7. 12.
Claude Code 토큰, 나도 모르게 새고 있었다 — 실전에서 막은 3가지 Claude Code 매일 돌리는 분들 있죠?저도 서버에 도커로 올려놓고 거의 매일 씁니다. 헤츠너 서버 한 대에 컨테이너로 띄워서 --dangerously-skip-permissions 붙여 자동으로 굴리거든요. 편해요. 진짜 편한데.근데 어느 날 문득 이런 생각이 들더라고요. "이거 나 지금 돈 새고 있는 거 아닌가?"한 외국 개발자가 딱 이 지점을 짚은 글을 올렸어요. 자기가 매일 Claude Code로 실제 업무 툴을 만드는데, 조용히 돈을 갉아먹던 습관이 세 개 있었다는 거예요. 읽어보니까 저도 똑같이 당하고 있던 것들이라 정리해봤습니다.솔직히 저도 처음엔 몰랐던 것들이에요.1. "다 됐어요!" 근데 코드는 한 번도 안 돌려봤다제일 열받는 케이스부터.Claude가 코드를 쫙 고쳐요. 그리고 당당.. 2026. 7. 11.
AI API 가격이 무너지고 있다는데, 우리 회사 LLM 비용은 얼마일까? Opus급 성능에 가격은 15~20%? GLM 5.2가 촉발한 AI API 가격 경쟁, 그리고 정작 아무도 모르는 "우리 회사 LLM 비용" 추적법까지 정리했습니다.혹시 이번 달 AI API 청구서 보고 흠칫한 적 있으신가요?저는 있습니다. Claude Code를 서버에 올려놓고 신나게 쓰다가, API 키로 연결하면 구독이 아니라 종량제로 과금된다는 걸 뒤늦게 알았거든요. 청구 내역 보는 순간 등에서 식은땀이 났어요.근데요, 요즘 이 AI 비용 판이 통째로 흔들리고 있습니다. 오늘은 그 얘기를 해보려고요.Opus급 성능인데 가격은 15~20%?최근 해외 개발자 커뮤니티에서 화제가 된 글이 하나 있어요. 인프라 비용 분석으로 유명한 엔지니어 Martin Alderson이 쓴 글인데, 요지가 이렇습니다.중국.. 2026. 7. 7.
스테이징에선 완벽했던 AI 에이전트, 실전 투입 이틀 만에 터진 이유 스테이징 환경에서 가동률 99.2%.응답 속도는 첫 토큰까지 280ms 아래. 눈 깜짝하는 게 150ms 정도거든요. 거의 그 속도예요. 테스트도 1,400개 케이스를 돌렸고요. 숫자만 보면 나무랄 데가 없죠.근데 실제 고객사에 넣자마자, 이틀 만에 첫 사고가 터졌어요.이게 참 묘한 지점이에요. 모델 성능은 멀쩡했거든요. 문제는 전혀 다른 데서 나왔어요. 오늘은 어떤 해외 엔지니어가 겪은 AI 에이전트 장애 회고를 풀어볼게요. AI 서비스를 실서비스에 올려본 사람이라면 남 얘기 같지 않을 거예요.AI 에이전트 게이트웨이가 뭐길래먼저 상황부터. 고객은 자산운용사였어요. 소속 어드바이저들이 음성 에이전트한테 "이 고객 포트폴리오 좀 불러줘", "자산 배분 어떻게 되지?" 물어보고 후속 미팅도 잡는 구조였죠... 2026. 7. 3.
AI 코드리뷰 자동 머지 파이프라인이 3일간 멈춘 이유 혹시 이런 상상 해보신 적 있나요?기획서 넣으면 AI가 알아서 작업을 쪼개고, 코드 짜고, PR 올리고, 다른 AI가 리뷰해서 승인하면 자동으로 머지까지. 사람은 알림만 확인하면 되는 개발 파이프라인.상상이 아니라 실제로 이렇게 운영하는 팀이 있습니다. 24시간 AI 에이전트가 돌아가는 이른바 '개발 오토파일럿'이죠.근데 어느 날 아침, 대시보드를 봤더니 완료된 작업이 3일 연속 0건이었다고 해요."오토파일럿이 죽었네."어? 근데 이상하죠? 죽은 게 아니었거든요. 모든 컴포넌트가 멀쩡했습니다. 계획도 생성되고, 에이전트가 PR도 열고, AI 리뷰어는 이미 승인까지 끝낸 상태. CI도 전부 초록불. 딱 하나, 머지만 일어나지 않았어요.오늘은 이 장애 회고를 뜯어보려고 합니다. AI 자동화 얘기 같지만, 사.. 2026. 7. 2.
Claude Code가 프롬프트에 몰래 마커를 심고 있었다 저도 처음 이 글 봤을 때 "설마?" 했거든요.Claude Code. 요즘 AI 코딩 도구 중에서 가장 많이 쓰는 것 중 하나죠. 파일 읽고, 명령어 실행하고, 깃 커밋까지 직접 하는 도구인데.근데 이 도구가 내가 보내는 프롬프트에 몰래 뭔가를 심고 있었다는 게 밝혀졌어요.스테가노그래피(Steganography)라는 기술이에요. 원래 이미지나 파일 안에 숨겨진 정보를 심는 기법인데, 여기선 텍스트 프롬프트에 적용된 거거든요.어떻게 발견됐나보안 연구자 Thereallo가 Claude Code 바이너리를 직접 뜯어봤어요.이유는 단순해요. Claude Code는 파일 시스템, 쉘, 브라우저, 심지어 컴퓨터 전체에 접근하는 도구잖아요. 그러면 그 도구 자체가 뭘 하는지도 봐야 하는 거죠.그래서 로컬에 설치된 C.. 2026. 7. 1.

티스토리툴바