사진 출처: beehiiv-images-production.s3.amazonaws.com
GLM-5.3 벤치마크, 결론부터 말하면
GLM-5.3 벤치마크를 한 줄로 줄이면 “코딩·보안에서 미국 최상위 모델과 한 뼘 차, 대신 토큰은 절반만 쓴다”예요. Z.ai(즈푸AI)가 2026년 8월 14일 공개했고, 보안 결함 탐지 시험인 CyberGym에서 84.5%를 기록해 Anthropic Mythos 5(83.8%), OpenAI GPT-5.6 Sol(83.6%)을 앞섰습니다. 반면 찾은 결함을 실제로 공략하는 ExploitBench는 54.4%로, Mythos 5의 78%에 한참 못 미쳤어요.
숫자 하나만 들고 판단하면 어느 쪽으로든 틀립니다. 항목마다 순위가 뒤집히거든요. 게다가 공개된 점수는 대부분 회사가 직접 낸 수치이고, 아직 독립 검증을 거치지 않았습니다.
어떤 항목이 얼마나 올랐나
GLM-5.3의 진짜 뉴스는 절대 점수가 아니라 상승 폭이에요. 베이스 모델은 GLM-5.2와 똑같은 743B 규모 MoE이고, 포스트트레이닝만 더 돌려서 올린 결과거든요. 아키텍처를 새로 짜지 않고 후처리 학습만으로 이만큼 움직였다는 게 이번 발표의 핵심이라고 봐요.
| 벤치마크 | 재는 것 | GLM-5.2 | GLM-5.3 |
|---|---|---|---|
| Terminal-Bench 3.0 | 터미널에서 긴 호흡의 작업 수행 | 4.6 | 28.3 |
| DeepSWE v1.1 | 실제 소프트웨어 이슈 해결 | 46.2 | 66.9 |
| Agents’ Last Exam (CLI) | 자율 에이전트 종합 과제 | 23.8 | 28.5 |
| CyberGym | 소스코드에서 보안 결함 찾기 | 77.2% | 84.5% |
| ExploitBench | 찾은 결함을 실제로 공략 | 24.4% | 54.4% |
| ExploitGym (2시간/6시간) | 제한 시간 내 완수한 과제 수 | 29 / 39 | 105 / 130 |
크게 오른 자리가 전부 ‘오래 끌고 가는 작업’이라는 점이 눈에 띕니다. Terminal-Bench 3.0은 4.6에서 28.3으로 여섯 배 넘게 뛰었어요. 한 번 묻고 한 번 답하는 능력이 아니라, 툴을 반복 호출하며 버티는 능력을 집중적으로 훈련했다는 뜻이죠.
토큰 효율도 같이 보면 그림이 선명해져요. Z.ai 자체 Code Bench 기준으로 GLM-5.3은 약 5만 토큰을 써서 31.4%, Claude Opus 4.8은 약 12만 토큰을 써서 29.5%를 냈습니다. 절반도 안 되는 토큰으로 비슷한 자리에 도달한 거예요. 다만 같은 시험에서 Claude Fable 5는 최대 노력 설정에서 39.5%라, 천장은 여전히 위쪽에 있습니다.
미국 모델이랑 붙이면 어디쯤인가요
코딩 핵심 지표에서는 아직 GPT-5.6 Sol이 앞섭니다. 다만 격차가 세대 차이는 아니에요.
| 벤치마크 | GLM-5.3 | 비교 모델 |
|---|---|---|
| Terminal-Bench 3.0 | 28.3 | GPT-5.6 Sol 34.6 / Fable 5 33.7 / Kimi K3 17.4 |
| DeepSWE v1.1 | 66.9 | GPT-5.6 Sol 72.7 / Fable 5 69.7 / Kimi K3 67.5 |
| CyberGym | 84.5% | Mythos 5 83.8% / GPT-5.6 Sol 83.6% |
| ExploitBench | 54.4% | Mythos 5 78% / GPT-5.6 Sol 76.5% |
DeepSWE에서 GLM-5.3과 Kimi K3의 차이는 0.6점입니다. 사실상 같은 자리라고 봐도 무리가 없어요. 반대로 Terminal-Bench 3.0에서는 GLM-5.3이 28.3, Kimi K3가 17.4로 벌어집니다. 오픈모델끼리도 잘하는 결이 갈린다는 얘기죠.
점수 차는 몇 점인데 가격 차는 몇 배라는 게 지금 구도의 핵심이에요. Claude Opus 5의 공식 단가는 출력 100만 토큰당 25달러, Fable 5는 50달러입니다. 직전 세대인 GLM-5.2는 오픈라우터 기준 출력 100만 토큰당 3.15달러였고요(제공 업체마다 편차는 있습니다).
40년 묵은 취약점까지 찾아냈다는 게 무슨 말인가요
이번 발표에서 가장 화제가 된 건 벤치마크가 아니라 실제 취약점 실적이에요. Z.ai는 중국 보안팀들과 함께 GLM-5.2 이후 오픈소스 프로젝트 269개에서 취약점 2,436개를 찾아냈고, 그중 1,097개가 심각·높음 등급으로 분류됐다고 밝혔습니다. 커널, 브라우저 엔진, 네트워크 프로토콜까지 폭이 넓어요.
숫자보다 인상적인 건 결함의 나이입니다. 가장 오래된 취약점은 1981년에 심어진 것이고, 발견된 결함의 평균 수명은 26.6년이었어요. DNS 프로토콜에서는 40년 넘게 잠들어 있던 결함이 나왔는데, 증폭 계수가 8만 배 수준으로 추정된다고 합니다. 공개 시점 기준으로 CVE가 부여된 건 53건, 나머지 2,383건은 조율 공개 절차상 아직 엠바고 상태예요(SCMP 보도).
점수는 좋은데, 써 보면 그만큼인가요
벤치마크와 체감이 갈리는 이유는 대개 세 가지예요.
- 자체 발표 수치라 독립 검증이 없습니다. 잘 나온 조건에서 잰 값일 가능성을 감안하는 편이 안전해요.
- 한국어 처리 능력은 이 표 어디에도 없습니다. 코드 벤치가 아무리 올라도 한글 문서 정리·요약 품질은 별개예요.
- 긴 세션에서 무너지는 건 점수로 안 잡힙니다. 30분짜리 에이전트 작업에서 40분째 앞 지시를 잊는 현상은 시험 문항이 아니거든요.
저는 맥미니 M4 32GB로 큰 모델을 굴려보면서 이 간극을 여러 번 겪었어요. 순위표에서 인상적이던 오픈모델이 정작 파일 여러 개를 오가는 작업에서는 앞 단계 결정을 놓치더라고요. 메모리에 맞추려고 양자화를 낮추면 코드 정확도보다 지시 따르기가 먼저 망가지는 것도 반복해서 봤습니다. 그래서 새 모델이 나오면 점수표보다 제 실제 작업 하나를 그대로 던져보는 쪽을 택해요.
실무적으로 걸리는 변경도 하나 있어요. GLM-5.3은 사고(thinking) 기능을 끌 수 없게 바뀌었고, low·high·max 세 단계로만 조절합니다. 짧은 호출을 대량으로 돌리는 파이프라인이라면 비용과 지연에 영향이 갈 수 있는 부분이에요.
돈은 얼마나 들고, 내 컴퓨터에서도 되나요
2026년 8월 19일 기준으로 GLM-5.3의 토큰당 공식 단가는 아직 공개되지 않았습니다. 대신 월 구독형 GLM Coding Plan으로 쓸 수 있고, 라이트 요금제가 월 18달러대(연간 결제 시 실질 12.6달러) 수준이에요. ZCode뿐 아니라 Claude Code나 OpenCode 같은 도구에도 붙습니다.
가중치는 발표 시점에 함께 풀리지 않았어요. 안전성 평가와 보강을 이유로 약 2주 뒤인 8월 말경 공개할 예정입니다. 예상보다 빠르게 오른 공격 보안 능력 때문에 가중치 공개를 미룬 첫 GLM 릴리스라는 점이 이번 발표에서 가장 이례적인 대목이에요(the decoder 보도).
내 PC에서 돌리는 건 현실적으로 어렵습니다. 743B급 MoE라 4비트로 양자화해도 파라미터만 350GB를 훌쩍 넘겨요. 맥미니 32GB급 장비에서 ‘맥미니 m4 32gb로 큰 모델 돌리기’를 떠올렸다면, 이 크기는 그 선을 한참 넘어갑니다. 서버급 GPU 여러 장이나 클라우드가 전제예요.
그래서 지금 써 볼 만한가요
상황별로 나눠보면 이래요.
- 에이전트로 코드 작업을 반복 호출한다 → 토큰 효율만으로도 후보에 넣을 만합니다.
- 한국어 문서 작업이 주 업무다 → 벤치에 답이 없으니 본인 문서로 짧게 비교해 보는 편이 빨라요.
- 사내망이라 데이터 반출이 막혀 있다 → 8월 말 가중치 공개를 확인하고 판단하면 됩니다.
- 정확도 한 끗이 매출로 이어진다 → DeepSWE 6점, Terminal-Bench 6점 차이가 그대로 손실이 될 수 있으니 상위 모델을 유지하는 게 마음 편해요.
- 개인 장비에서 로컬로 돌리고 싶다 → 이번 모델은 대상이 아닙니다.
작년만 해도 중국산 오픈모델은 ‘싼 대체재’ 자리에 있었어요. 지금은 항목에 따라 순위표 맨 윗줄에 이름을 올립니다. 격차가 줄어든 속도가, 남은 격차의 크기보다 더 인상적인 지점이에요.