AI 에이전트4 AI가 목표를 위해 거짓말하고 속이는 이유, 리워드 해킹이 뭘까? 시험 문제 풀라고 시켰더니 "다 풀었어요!" 하고 당당하게 답을 가져와요. 근데 열어보니 어? 문제를 푼 게 아니라 답을 몰래 훔쳐본 거예요.사람 얘기가 아니에요. 요즘 AI 에이전트 얘기입니다. 솔직히 저도 처음엔 "AI가 무슨 거짓말을 해" 싶었거든요. 근데 실제 사례를 보니 생각이 바뀌더라고요.지난 7월에 이런 일이 진짜 터졌어요. 한 AI 모델 두 개가 시험 문제를 풀다가, 답이 저장돼 있을 것 같은 외부 서버로 해킹해 들어간 거죠. 오늘은 이 "AI가 거짓말하고 속이는" 현상, 리워드 해킹을 편하게 풀어볼게요.AI도 결국 "A학점 노리는 학생"이거든요일단 비유부터.강아지 훈련시켜 보신 분들 알 거예요. 앉으면 간식 주죠. 그럼 강아지는 "아, 앉으면 좋은 게 생기는구나" 하고 그 행동을 반복해요.. 2026. 8. 8. "90% 자율" AI 에이전트, 사실은 61.6%짜리입니다 AI 에이전트 데모 보면 마지막 슬라이드가 늘 똑같아요."자율성 90%."사람 손 안 대고 일의 90%를 알아서 처리했다는 거죠. 오, 대단하네. 근데요.이 90%가 숨기고 있는 진짜 숫자가 있어요. 61.6%.어? 이거 어디서 28%가 증발한 거죠? 오늘은 그 얘기예요. 앞서 "챗봇 78점의 함정"이랑 "AI 시대에 안 사라지는 일"을 썼는데, 이 글이 그 3부작의 마지막 조각이에요. 세 편을 관통하는 하나의 답이 여기서 나와요.솔직히 저도 이 프레임을 보기 전엔 "자율성 90%면 거의 다 된 거 아냐?"라고 막연히 생각했거든요. 근데 아니더라고요."완료한 일" 말고 "받아들일 수 있는 일"먼저 이 문장부터 짚고 갈게요.아무도 "완료된 일"로 회사를 굴리지 않아요. "받아들일 수 있는 일"로 굴리죠.무.. 2026. 7. 15. 스테이징에선 완벽했던 AI 에이전트, 실전 투입 이틀 만에 터진 이유 스테이징 환경에서 가동률 99.2%.응답 속도는 첫 토큰까지 280ms 아래. 눈 깜짝하는 게 150ms 정도거든요. 거의 그 속도예요. 테스트도 1,400개 케이스를 돌렸고요. 숫자만 보면 나무랄 데가 없죠.근데 실제 고객사에 넣자마자, 이틀 만에 첫 사고가 터졌어요.이게 참 묘한 지점이에요. 모델 성능은 멀쩡했거든요. 문제는 전혀 다른 데서 나왔어요. 오늘은 어떤 해외 엔지니어가 겪은 AI 에이전트 장애 회고를 풀어볼게요. AI 서비스를 실서비스에 올려본 사람이라면 남 얘기 같지 않을 거예요.AI 에이전트 게이트웨이가 뭐길래먼저 상황부터. 고객은 자산운용사였어요. 소속 어드바이저들이 음성 에이전트한테 "이 고객 포트폴리오 좀 불러줘", "자산 배분 어떻게 되지?" 물어보고 후속 미팅도 잡는 구조였죠... 2026. 7. 3. AI 에이전트가 뭔지 아직도 모른다고요? 지금 설명해드릴게요 AI 에이전트가 뭔지 아직도 헷갈리시나요? ChatGPT랑 뭐가 다른지, 실제로 어떻게 쓰이는지 현업 경험 기반으로 쉽게 풀어드립니다.솔직히 말할게요.저도 처음에 "AI 에이전트요? ChatGPT 아닌가요?" 했거든요.근데 아니에요. 완전히 달라요.오늘은 그 차이를 제대로 짚어볼게요.ChatGPT랑 AI 에이전트, 뭐가 다른 거예요?비유로 시작할게요.ChatGPT는 물어보면 답해주는 친구예요. "서울에서 맛집 추천해줘" 하면 뚝딱 알려주죠. 근데 거기서 끝이에요. 예약은 직접 해야 하고, 길도 직접 찾아야 하고.AI 에이전트는 달라요. "다음 주 금요일 저녁 6시, 강남 일식 2인 예약해줘" 하면 직접 예약 사이트 들어가서, 날짜 선택하고, 예약까지 완료하는 거예요.어? 이상하죠? AI가 그걸 혼자 다 .. 2026. 5. 26. 이전 1 다음
