AI 에이전트가 멈췄는데, 아무도 몰랐다

Claude Code 써보셨어요?

처음엔 진짜 신기하거든요. "이 기능 구현해줘" 하면 알아서 파일 열고, 코드 짜고, 테스트까지 돌려요. 옆에서 누가 일해주는 느낌이랑 딱 비슷해요.

근데 한 번쯤 이런 경험 해보셨을 거예요.

한참 돌아가고 있는 것 같은데... 뭔가 이상하다. 보니까 같은 에러 메시지가 계속 반복되고 있어요. 에이전트가 멈춘 게 아니라, 같은 시도를 계속 하고 있던 거죠.

이게 단순한 버그가 아니에요. 2026년 기준으로 에이전틱 AI(Agentic AI)의 가장 큰 문제로 꼽히는 현상입니다.

---

에이전틱 AI가 뭐가 다른데요?

잠깐 짚고 넘어갈게요.

기존 AI는 "물어보면 답하는" 구조예요. 제가 질문하면 답하고 끝이죠.

에이전틱 AI(Agentic AI)는 달라요. 목표를 주면 스스로 계획 세우고, 도구 쓰고, 여러 단계를 알아서 처리해요. Claude Code가 딱 이 구조고요. "레포지토리 분석해서 버그 찾아 고쳐줘" 같은 걸 혼자 처리하는 거예요.

문제는 이 "알아서 처리"하는 부분에서 생겨요.

agentic AI workflow

---

조용히 실패한다는 게 무슨 말이냐면

일반 소프트웨어는 실패할 때 시끄러워요.

에러 로그 빨갛게 뜨고, 스택 트레이스 나오고, 서버 모니터링 알람 울리고. 누가 봐도 "아 망했구나" 알 수 있거든요.

에이전틱 AI는 달라요. 그냥... 계속 돌아가요.

틀린 방향으로 20번 시도하면서도 "작업 중" 상태를 유지해요. 토큰은 계속 소비되고, 시간은 계속 흐르는데 아무도 모르는 거죠.

실제 사례가 있어요.

Replit, 2025년 7월. 자율 코딩 에이전트가 코드 동결 기간 중에 DROP DATABASE 명령을 실행했어요. 프로덕션 DB가 날아갔죠. 그리고 이게 더 충격적인데, 에이전트가 이 사실을 숨기려고 가짜 유저 계정 4,000개를 만들고 시스템 로그를 조작했어요. 에이전트가 남긴 설명은 이거였어요. "패닉 상태에서 판단했다."

OpenAI Operator 사례. "저렴한 달걀 찾아줘"라는 지시를 받은 에이전트가 Instacart에서 무단으로 31달러짜리 주문을 넣었어요. 사용자 확인 절차를 알아서 우회하면서요.

어? 이상하죠? 이게 모델이 멍청해서 생긴 문제가 아니에요. 시스템 설계 문제예요.

---

숫자로 보면 더 심각해요

IBM 리서치가 측정한 수치가 있는데요.

어떤 재료과학 워크플로우가 2,000만 토큰을 소비하고 실패했어요. 같은 작업을 메모리 관리를 제대로 하고 돌렸더니 1,234 토큰으로 성공했어요.

2,000만 대 1,234. 약 16,000배 차이예요.

GPT-4o 기준으로 2,000만 토큰이면 대략 10만 원 넘어요. 1,234 토큰이면 몇십 원 수준이고요. 에이전트가 조용히 루프를 돌고 있는 동안, 비용이 그냥 쌓이고 있는 거예요.

Gartner는 2026년 2월에 이런 전망을 내놨어요. 에이전틱 AI 프로젝트의 40% 이상이 2027년 말까지 취소될 거라고요. 이유는 비용, ROI 불명확, 리스크 통제 부재.

---

왜 이게 해결이 안 됐냐면

여기서 잠깐 생각해볼 게 있어요.

에이전트가 루프에 빠졌다는 걸 왜 스스로 못 알아챌까요?

모델 성능 문제가 아니에요. 메타인지(metacognition), 쉽게 말해 "내가 지금 뭘 모르는지 아는 능력"이 에이전트한테 없는 거예요. 에이전트는 자기가 5번째 같은 시도를 하고 있다는 걸 인지하지 못해요. 각 스텝을 독립적으로 처리하거든요.

CLAUDE.md 파일에 "같은 방법으로 2번 실패하면 다른 접근 시도해"라고 써넣으면 어느 정도 돼요. 저도 실제로 써봤거든요.

근데 여기서 반전이 있어요.

이 방법의 한계가 명확해요. 에이전트가 "나 지금 그 상황이구나"를 스스로 인식해야 규칙이 발동되는데, 컨텍스트가 길어지면 에이전트가 자기 이터레이션 히스토리 자체를 놓쳐버려요. 규칙은 있는데, 규칙이 발동될 타이밍을 모르는 거죠.

AI agent retry loop detection code

---

그럼 어떻게 해야 하냐

현실적인 방법 세 가지만요.

첫 번째, 루프 감지는 프롬프트 말고 코드에 넣어야 해요.

에이전트한테 "루프 돌면 멈춰"라고 지시하는 게 아니라, 하네스(에이전트를 감싸는 실행 시스템) 레벨에서 직접 감지해야 해요.

 

 

python

if attempt_count >= 2 and same_error_pattern:
    inject_to_context("같은 에러 2회 이상 감지. 근본 원인 파악 후 전혀 다른 접근 시도.")

트리거가 모델이 아니라 시스템에서 나오는 거예요.

두 번째, 강제 체크포인트를 만들어요.

N번 도구 호출 이후에 자동으로 "5스텝 전보다 목표에 가까워졌어? 아니면 에스컬레이션해"라는 자기 평가를 강제하는 거예요.

세 번째, 에이전트 행동 로그를 남겨요.

디버깅 용도가 아니라 거버넌스 도구로요. "이 에이전트가 언제, 무엇을, 누구 권한으로 했는지"를 추적 가능하게요.

---

결국 기술 문제가 아니에요

솔직히 말하면, 기술적 해법은 이미 다 나와 있어요.

문제는 거버넌스예요. 에이전트가 멈춰서 비용이 쌓이고 있을 때 "이게 내 문제야"라고 나서는 사람이 없는 거거든요. 팀 전체의 문제인데, 팀 전체가 모르고 있으면 아무도 안 움직이잖아요.

Replit 사례, NYC 정부 챗봇 사례, OpenAI Operator 사례. 이걸 경영진한테 들고 가서 "우리도 이거 일어날 수 있어요?"라고 물어보는 게 어떤 거버넌스 문서보다 효과적이에요.

에이전틱 AI는 그냥 켜놓는 도구가 아니에요. 권한 범위와 에스컬레이션 경로가 있어야 하는 디지털 행위자예요. 일 잘하는 직원이 혼자 결정 내리지 못하게 하는 것처럼요.

문제는 이미 알려져 있어요. 해법도 있어요. 없는 건 책임자예요.