"90% 자율" AI 에이전트, 사실은 61.6%짜리입니다

AI 에이전트 데모 보면 마지막 슬라이드가 늘 똑같아요.

"자율성 90%."

사람 손 안 대고 일의 90%를 알아서 처리했다는 거죠. 오, 대단하네. 근데요.

이 90%가 숨기고 있는 진짜 숫자가 있어요. 61.6%.

어? 이거 어디서 28%가 증발한 거죠? 오늘은 그 얘기예요. 앞서 "챗봇 78점의 함정"이랑 "AI 시대에 안 사라지는 일"을 썼는데, 이 글이 그 3부작의 마지막 조각이에요. 세 편을 관통하는 하나의 답이 여기서 나와요.

솔직히 저도 이 프레임을 보기 전엔 "자율성 90%면 거의 다 된 거 아냐?"라고 막연히 생각했거든요. 근데 아니더라고요.

---

"완료한 일" 말고 "받아들일 수 있는 일"

먼저 이 문장부터 짚고 갈게요.

아무도 "완료된 일"로 회사를 굴리지 않아요. "받아들일 수 있는 일"로 굴리죠.

무슨 차이냐고요? 에이전트가 코드를 100개 고쳤다고 쳐요. 완료했어요. 근데 그중에 진짜로 "이거 배포해도 됩니다" 하고 도장 찍을 수 있는 게 몇 개냐, 이게 진짜 숫자예요.

한 CTO가 이걸 아예 공식으로 만들었어요. 에이전트가 끝냈다는 일이, 실제로 쓸모 있으려면 관문 네 개를 통과해야 한다는 거예요.

• A (자율): 사람 손 안 대고 실행됐나?
• C (증거): 뭘 하려 했고, 뭘 건드렸고, 뭐가 나왔는지 증거 묶음이 딸려 왔나?
• R (독립 검증): 그 증거가 독립적인 검증을 통과했나? 자기가 자기 숙제 채점하는 거 말고요.
• T (적시성): 그 검증이 배포 결정 전에 도착했나? 배포 끝나고 온 증명은 부검이지 안전장치가 아니거든요.

그리고 이 네 개를 곱해요.

여기가 포인트예요. 더하는 게 아니라 곱하는 거예요.

---

곱하기의 무서움

숫자를 실제로 넣어볼게요.

자율성 0.90, 증거 확보 0.80, 검증 통과율 0.95, 적시 도착 0.90.

0.90 × 0.80 × 0.95 × 0.90 = 0.616

61.6%.

보이세요? 각 단계는 다 90점 안팎이에요. 하나하나 보면 "괜찮은데?" 싶어요. 근데 곱하니까 확 무너져요.

이게 왜 중요하냐면, 시험 점수는 평균 내지만 이건 곱하기거든요. 관문이 4개니까 그나마 61.6%지, 관문이 많아지면 더 처참해져요.

이걸 체감시키는 예가 하나 있어요. 50단계짜리 에이전트 작업 흐름을 생각해보세요. 각 단계가 99% 신뢰도라고 쳐요. 거의 완벽하죠? 근데 50번 곱하면 깔끔하게 끝날 확률이 60.5%예요. 만약 95% 신뢰도면요? 7.7%로 떨어져요.

한마디로, 긴 작업을 하는 에이전트한테 필요한 건 "더 똑똑한 모델"이 아니에요. 각 단계마다 검증하고 바로잡는 장치예요. 신뢰도는 평균이 아니라 곱해지니까요.

단계 수가 늘어날수록 전체 성공 확률이 급격히 떨어지는 곡선

---

사라진 28%는 어디 갔을까 — 증명 부채

자, 90%에서 61.6%로 갈 때 사라진 그 28%p.

이거 증발한 게 아니에요. 어딘가에 쌓여요. 원저자는 이걸 **증명 부채(Proof Debt)**라고 불러요.

이게 무슨 말이냐면요. AI가 만들어냈는데 아직 "진짜 맞는지" 검증 안 된 모든 결과물이 다 빚이라는 거예요. 검증 안 된 가정, 없는 증거, 아무도 재현 못 하는 결정들. 이게 지금 당장은 안 보여요. 근데 사고가 터지거나, 감사를 받거나, 고객이 항의하는 날 청구서가 날아와요.

여기가 진짜 무서운 대목이에요.

AI는 겉으로 보이는 생산성을 올리면서, 동시에 증명 부채를 조용히 쌓아요.

손익계산서엔 "속도 3배" 오늘 찍혀요. 근데 그 빚은 나중에 사고 터질 때 청구돼요. "에이전트로 3배 빨리 출시했어요"라는 팀은 사실 생산량을 3배로 만든 게 아니에요. 빚을 3배로 당겨쓴 거예요.

원저자 표현이 날카로워요. "검증 안 된 AI 결과물은 자산이 아니다. 미뤄둔 부채다."

---

그래서 진짜 한계는 "검증 능력"이에요

여기서 오래된 법칙이 하나 나와요.

에이전트가 하루에 변경 100개를 만들어내는데, 내 시스템이 독립적으로 검증할 수 있는 게 30개뿐이라면요? 내 안전 처리량은 30개예요.

나머지 70개는 생산성이 아니에요. 이자 붙는 빚이에요.

이걸 공식으로 하면 이래요. 안전 처리량 = min(생성 속도, 검증 속도). 둘 중 작은 값이 실제 능력이에요.

그러니까 에이전트만 늘리고 검증을 안 늘리면, 생산량이 느는 게 아니라 빚이 늘어요. 지속 가능한 자율성은 검증 능력을 절대 못 넘어요.

이게 제가 지난 두 글에서 얘기한 것들이랑 딱 이어지는 지점이에요.

---

저도 서버에서 매일 이 부채를 관리하고 있었어요

이거 사실 제 일상 그 자체예요.

저는 헤츠너 서버에 Claude Code를 도커로 띄워놓고 웬만한 작업을 자동으로 굴려요. 권한 확인도 건너뛰고요. 편하죠.

근데 왜 중요한 배포는 꼭 제가 직접 확인하냐면, 이제 이유가 명확해졌어요. AI가 "다 됐어요"라고 말하는 건 A(자율)만 통과한 거예요. 나머지 C(증거), R(검증), T(적시성)는 제가 채워야 하는 거죠.

제가 눈으로 배포를 확인하는 그 행위가, 바로 증명 부채를 갚는 거였어요. 확인 안 하고 넘어가면? 그 순간엔 편해요. 근데 빚이 쌓여요. 그러다 어느 날 서비스가 멈추면 그때 청구서가 오는 거예요.

원저자가 재밌는 규칙을 하나 소개해요. 그 회사에선 에이전트가 절대 "고쳤습니다"라고 말하지 않는대요. 대신 증거 묶음을 내놔요. 고치기 전에 버그를 재현한 기록, 코드 변경 내역, 테스트 통과, 고친 뒤 같은 절차로 다시 확인한 결과, 옆 기능 안 깨졌는지 점검, 그리고 남은 불확실성까지. 그러면 사람은 일을 다시 뜯어보는 게 아니라 증거를 심사하기만 하면 돼요.

그리고 철칙이 하나 있어요. 에이전트는 자기 일을 자기가 검증하지 않는다. 모델이 자기 채점하면 자기 맹점이랑 똑같은 실수를 공유하거든요. 그건 검증이 아니라 "상관관계 있는 자신감"일 뿐이에요. 검증은 반드시 다른 메커니즘으로 해야 해요. 결정적인 테스트, 다른 계열의 모델, 아니면 되돌릴 수 없는 지점엔 사람.

이 대목에서 무릎을 쳤어요. 딱 방사선과 의사 얘기잖아요. 사람의 역할이 "일을 하는 것"에서 "증거를 심사하는 것"으로 옮겨간 거예요.

---

결국 핵심은, 생성은 흔해지고 증명은 귀해진다

3부작을 하나로 묶으면 이래요.

• 챗봇 78점 이야기: 평균 점수는 안전 실패를 못 잡는다.
• 안 사라지는 일 이야기: 틀렸을 때 비용이 큰 곳에서 검수·판단하는 사람은 남는다.
• 그리고 오늘: 자율성 90%는 검증까지 통과하면 61.6%다. 그 차이가 부채로 쌓인다.

셋 다 같은 얘기를 하고 있었어요. AI 시대에 값이 오르는 건 "만드는 능력"이 아니라 "이게 진짜 맞는지 증명하는 능력"이라는 것.

생성은 이제 안 귀해요. 에이전트가 한 시간에 코드 40개, 200페이지 분석을 뽑아내는 시대니까요. 귀한 건 증명이에요. 그리고 이 둘 사이의 거리에서 AI 경제의 승부가 갈려요.

한번 생각해보세요. 지금 AI한테 시키는 일 중에서, "다 됐다"는 말을 그냥 믿고 넘어가는 게 얼마나 되나요? 그중 검증 안 된 만큼이 지금 님의 증명 부채예요. 눈에 안 보일 뿐이죠.

측정할 수 있으면 관리할 수 있어요. 오늘은 딱 하나만 해보세요. AI가 만든 결과물 중에서 "내가 독립적으로 검증한 것"과 "그냥 믿고 넘어간 것"의 비율을 대충이라도 세어보는 거예요. 그게 님의 진짜 자율성 숫자예요.