파라미터는 그대로, 성능만 50% 올랐다 — 포스트 트레이닝이 바꾼 것

 

AI 성능 이야기는 지금까지 거의 크기 싸움이었습니다.

파라미터 몇 조, GPU 몇 만 장, 데이터 몇 페타바이트. 숫자를 키우면 성능이 오른다. 돈을 더 쓴 쪽이 이긴다. 대충 이런 그림이었죠.

근데 지난달에 나온 모델 하나가 이 공식을 안 따랐습니다.

베이스 모델을 하나도 안 바꿨어요. 파라미터 7,430억 개 그대로. 아키텍처도 그대로. 그런데 자체 코딩 벤치마크에서 이전 버전 대비 50% 향상을 보고했습니다.

어? 이상하죠?

교과서는 그대로, 가르치는 법만 바꿨다

중국 Z.ai가 8월 14일 공개한 GLM-5.3 이야기입니다.

회사가 발표문에 쓴 문장이 인상적이었어요. 우리가 한 건 사후 학습을 키운 것뿐이라고. 베이스는 이전 버전과 동일하고 모든 향상이 거기서 나왔다고 못 박았습니다.

여기서 용어 하나 풀고 갈게요.

**사전 학습(pre-training)**은 모델한테 인터넷에 있는 텍스트를 통째로 읽히는 단계입니다. 학생한테 도서관 책을 다 읽히는 거죠. 여기서 파라미터 수가 결정되고, 돈이 제일 많이 듭니다.

**사후 학습(post-training)**은 그다음입니다. 다 읽은 학생한테 기출문제 풀리고, 틀리면 피드백 주고, 실전 상황에 던져놓는 단계예요. 강화학습이 주로 여기 들어갑니다.

지금까지 업계 관심은 대부분 앞쪽에 쏠려 있었어요. 도서관을 더 크게 지으면 더 똑똑해진다는 논리였죠.

Z.ai가 한 건 도서관은 그대로 두고 문제집만 늘린 것입니다. 실행 가능하고 채점 가능한 훈련 환경을 더 많이, 더 다양하게, 더 오래.

사전학습 사후학습 파이프라인 다이어그램

숫자를 보면 체감이 됩니다

가장 눈에 띄는 건 긴 작업 벤치마크입니다.

터미널에서 여러 단계를 거쳐 일을 끝내는 능력을 재는 Terminal-Bench 3.0에서 4.6점이 28.3점이 됐어요. 6배가 넘습니다. 같은 베이스 모델인데요.

근데 저는 이것보다 다음 숫자가 더 중요하다고 봅니다.

토큰 효율입니다. 자체 코드 벤치마크에서 이전 버전은 작업당 9만 6천 토큰을 쓰고 23.4%를 완료했는데, 새 버전은 7만 5천 토큰으로 34.5%를 했습니다.

적게 쓰고 많이 했다는 뜻이에요.

이게 왜 중요하냐면, API 요금은 토큰으로 나가거든요. 성능이 20% 올라도 토큰을 두 배 쓰면 실무에선 손해입니다. 반대로 성능이 조금만 올라도 토큰이 절반이면 그건 큰 승리고요.

회사가 공개한 비교 중엔 이런 것도 있었습니다. 경쟁 모델이 12만 토큰을 써서 29.5%를 낸 구간에서, 자기네는 5만 토큰으로 31.4%를 냈다는 겁니다. 다만 이건 비공개 자체 벤치마크라 외부 검증이 안 됩니다. 이 점은 회사도 인정하고 있어요.

계획에 없던 능력이 튀어나왔다

여기서 이야기가 재밌어집니다.

Z.ai는 보안 취약점 데이터를 훈련에 넣으면서 "버그 하나하나에 대해 좀 더 잘 추론하겠지" 정도를 기대했다고 합니다.

근데 훈련 규모를 키울수록 능력이 계속 불어났대요. 나중엔 모델이 공격 단계 여러 개를 이어서 계획을 세우기 시작했다고 밝혔습니다.

결과적으로 취약점 발견 벤치마크 CyberGym에서 84.5%로 1위를 찍었습니다. 기존 1위 모델이 83.8%였으니 근소하게 앞선 거고요.

오픈 웨이트 모델이 이 분야 1등을 가져간 건 처음입니다.

근데 여기서 반전이 있어요

1등이라는 말만 보면 "이제 보안은 이 모델"이라고 생각하기 쉽죠.

그런데 같은 발표 자료 안에 이런 숫자도 있습니다.

실제로 공격 코드를 만들어내는 능력을 재는 ExploitBench에서는 **54.4%**입니다. 이전 버전 24.4%에서 두 배 넘게 오른 건 맞아요. 근데 이 항목 1위 모델은 78.0%입니다. 한참 뒤예요.

차이가 어디서 오냐면요.

1등을 한 벤치마크는 취약점이 뭔지 설명을 주고 재현하라는 문제입니다. 뒤처진 벤치마크는 스스로 원인을 찾고 동작하는 공격을 만들라는 문제고요.

한마디로, 명세를 주면 잘 따라가는데 스스로 길을 뚫는 건 아직이라는 겁니다.

이게 이 글에서 제일 하고 싶은 이야기예요. 벤치마크 표에서 1등 줄만 보면 완전히 다른 결론이 나옵니다. 모델을 고를 땐 점수보다 그 벤치마크가 실제로 뭘 물어봤는지를 봐야 합니다. 내 업무가 "설명 주면 처리" 쪽인지 "맨땅에서 설계" 쪽인지에 따라 답이 달라지거든요.

AI 모델 벤치마크 비교 표

오픈소스인데 제 컴퓨터에선 못 돌립니다

발표 당시엔 가중치가 안 나와 있었는데, 안전성 검토를 거쳐 8월 28일에 공개됐습니다. 약속한 2주를 지킨 셈이에요.

그래서 저도 한번 받아볼까 했습니다.

FP8 버전이 약 755GB. 파일 조각이 141개. BF16 버전은 1.5TB에 조각 282개입니다.

네, 다운로드부터 현실적이지 않고요. 제대로 돌리려면 고성능 GPU가 여러 장 필요합니다. 개인 개발자가 노트북에서 만져볼 물건은 아니에요.

라이선스도 완전한 MIT는 아닙니다. 대부분 사용자에겐 관대하지만 대형 서비스 사업자에겐 별도 조건이 붙는 형태라, 상업 배포를 고민한다면 원문을 직접 읽어보시는 게 좋습니다.

솔직히 "오픈 웨이트"라는 단어가 주는 인상과 실제 접근성 사이엔 꽤 거리가 있다고 느꼈어요. 대부분은 결국 API로 쓰게 될 겁니다.

마무리 생각

정리하면 이렇습니다.

모델을 키우지 않고도 성능은 오를 수 있다. 이게 증명됐다는 게 이번 건의 핵심이에요. 파라미터 경쟁만 보고 있으면 놓치는 게 생긴다는 뜻이기도 하고요.

동시에 배운 게 하나 더 있습니다. 벤치마크 1등은 어떤 문제에서 1등인지를 확인하기 전까지는 정보가 아니라는 것. 이번 건에선 같은 표 안에 1등과 한참 뒤처진 항목이 나란히 있었잖아요.

당장 해볼 만한 건, 지금 쓰고 계신 모델의 작업당 토큰 사용량을 한 번 재보는 겁니다. 성능 체감은 애매해도 토큰은 숫자로 나오거든요. 비용 이야기가 나올 때 이 숫자 하나가 제일 강합니다.

다음 글에서는 API 사용량을 실제로 로깅하고 모델별로 비교하는 방법을 정리해볼게요.