Kimi K3의 가중치 파일 하나가 약 1.4TB예요. M1 맥북의 통합 메모리는 기본 8GB, 옵션을 다 넣어도 16GB고요. 숫자를 나란히 놓으면 답이 먼저 나와 버립니다.
M1 맥북에서 Kimi K3 원본을 로컬로 돌리는 건 안 됩니다. GPU가 느려서가 아니라 가중치가 메모리에 애초에 안 들어가서요. 맥미니 M4 32GB도 사정은 똑같아요. 32GB로 1.4TB를 감당할 방법은 없습니다. 그래서 이 글은 32GB짜리 맥으로 지금 뭘 돌릴 수 있는지, 그리고 Kimi 계열이 로컬 후보가 되려면 무슨 조건이 채워져야 하는지를 정리했어요.
M1 맥에서 Kimi K3 로컬 구동, 왜 안 되나요
로컬 구동 가능 여부를 가르는 건 칩 성능이 아니라 통합 메모리 총량이에요. 모델 가중치가 메모리에 통째로 올라가야 추론이 시작되거든요. M1 맥북 에어(2020)는 8GB가 기본, 16GB가 최대 옵션입니다. 여기 들어가는 건 4bit 양자화 기준 대략 7B~9B급까지고요.
Kimi K3는 2026년 7월 16일 공개된 총 2.8조 파라미터 MoE 모델이에요. 896개 전문가 중 토큰당 16개를 쓰고, 컨텍스트는 100만 토큰입니다. 가중치는 MXFP4로 양자화 인식 학습을 거쳤는데, 그 상태에서도 약 1.49TB고요. Moonshot이 권장하는 구성은 가속기 64개 이상의 슈퍼노드예요. 스펙은 Tom’s Hardware의 K3 보도에 정리돼 있습니다.
1.4TB를 체감으로 바꾸면 이렇습니다. 맥미니 M4 32GB를 45대 묶어야 가중치만 겨우 올라가는 크기예요. KV 캐시와 활성화 값은 아직 계산에 넣지도 않았고요. M1 맥북 8GB 기준이면 180대가 넘습니다.
통합 메모리 몇 GB면 몇 B 모델이 들어가나요
계산은 의외로 간단해요. 파라미터 수 × 양자화 비트 ÷ 8 = 가중치 최소 용량입니다. 4bit라면 파라미터 수(B)의 대략 절반이 GB 숫자가 돼요. 30B 모델을 4bit로 누르면 약 15GB. 여기에 KV 캐시와 macOS 점유분을 더해야 실제 필요량이 나옵니다.
놓치기 쉬운 게 macOS의 GPU 메모리 상한이에요. Metal이 노출하는 작업 세트 상한이 통합 메모리의 약 75%라, 32GB 맥미니에서 모델에 쓸 수 있는 건 실질 24GB 안팎이에요. sysctl iogpu.wired_limit_mb 값이 0이면 이 기본 상한이 걸려 있다는 뜻이고요. 상한을 올릴 수는 있지만 OS 몫으로 8GB 정도는 남겨 두는 편이 안전합니다.
| 통합 메모리 | 모델에 쓸 수 있는 실질 용량 | 현실적인 모델 급(4bit 기준) |
|---|---|---|
| 8GB | 약 6GB | 3B~7B, 컨텍스트 4K |
| 16GB | 약 12GB | 9B~14B, 컨텍스트 8K |
| 24GB | 약 18GB | 24B급, 컨텍스트 8K~16K |
| 32GB | 약 24GB | 27B~31B 또는 30B급 MoE, 16K~32K |
| 64GB | 약 48GB | 70B급까지 |
‘맥미니 32gb’를 검색해서 들어오시는 분들이 가장 자주 오해하는 지점이 이 표의 두 번째 칸이에요. 32GB를 샀으니 32GB를 다 쓴다고 생각하지만, 실제로 손에 쥐는 건 24GB 남짓입니다. 8GB는 시스템이 가져가요.
MoE 모델이 로컬에서 애매한 이유
“활성 파라미터가 50B니까 64GB면 되겠네”라는 계산이 MoE에서는 틀려요. 활성 파라미터는 연산량 얘기지 메모리 얘기가 아니거든요. 토큰마다 라우터가 고르는 전문가가 바뀌기 때문에, 896개 전문가 전부가 메모리에 상주해 있어야 합니다.
그래서 MoE는 속도는 작은 모델처럼, 메모리는 큰 모델 그대로 요구해요. Kimi 계열이 맥 로컬에서 번번이 걸리는 지점이 정확히 여기입니다. 반면 활성 3B 정도의 소형 MoE는 32GB 안에 들어오면서 속도 이점만 챙길 수 있어요. 맥미니와 궁합이 좋은 쪽은 이런 모델입니다.
맥미니 M4 32GB에서 실제로 부딪히는 벽
맥미니 M4의 진짜 병목은 메모리 대역폭이에요. 기본 M4는 120GB/s, M4 Pro는 273GB/s입니다. 두 배 넘게 차이 나요. 로컬 추론은 메모리 바운드 작업이라 이 숫자가 토큰 속도에 거의 그대로 반영됩니다. 32GB 기본형이 “모델은 들어가는데 느리다”는 말을 듣는 이유고요.
런타임 선택도 생각보다 크게 갈립니다. 공개 벤치마크에서 M4 Pro 64GB에 Qwen3-Coder-30B-A3B를 올렸을 때 MLX가 약 130 tok/s, llama.cpp 백엔드의 Ollama가 43 tok/s를 냈어요. 3배 차이입니다. Ollama가 2026년 3월 30일 0.19 버전에서 MLX로 갈아탄 것도 이 격차 때문이고요. 같은 모델의 메모리 점유도 MLX 34.7GB, GGUF 40GB로 13%쯤 벌어집니다.
다만 MLX가 항상 이기는 건 아니에요. 컨텍스트가 30K를 넘어가면 역전되는 사례가 보고돼 있습니다. M3 Ultra 기준 긴 컨텍스트에서 MLX 생성 속도가 절반 수준으로 떨어졌다는 측정도 있고요. 32GB에서 컨텍스트를 욕심내면 KV 캐시가 남은 메모리를 먹고 스왑이 시작되는데, 이때는 느려지는 게 아니라 사실상 멈춰요. 답이 안 나오는 것처럼 보입니다.
맥미니 M4 32GB의 다음 실험 후보를 고르는 기준
후보를 고를 때 저는 세 가지만 봅니다.
- 4bit로 눌렀을 때 18GB 안에 들어오는가 (컨텍스트 몫 6GB를 남겨야 해서요)
- MLX 변환본이 이미 올라와 있는가
- 코딩이나 에이전트 실전 용도로 품질이 버티는가
이 기준을 통과하는 건 27B~31B급 밀집 모델, 그리고 활성 파라미터가 3B 안팎인 30B급 MoE예요. 밀집 모델은 품질이 안정적이고, 소형 MoE는 같은 메모리에서 속도가 몇 배 납니다. 32GB 기본형 맥미니라면 저는 후자 쪽에 무게를 두는 편이에요. 대역폭이 120GB/s밖에 안 되니, 활성 파라미터를 줄이는 게 가장 확실한 대책이거든요.
Kimi K3 계열이 후보에 들어오는 조건은 명확합니다. 14B~30B 규모의 증류판이나 전문가 수를 줄인 축소 변형이 나와야 해요. 커뮤니티에서 그런 파생 모델을 기대하는 분위기는 있지만, 2026년 7월 29일 기준으로 Moonshot이 공식 경량판을 내놓은 건 확인되지 않았습니다. 원본 가중치가 그대로인 한 32GB 맥에서는 선택지가 아니에요.
로컬을 고집할까요, API를 쓸까요
Kimi K3의 API 가격은 OpenRouter 기준 100만 토큰당 입력 $3, 출력 $15예요. 하루에 출력 토큰 10만 개를 쓴다고 잡으면 하루 $1.5, 한 달이면 $45 남짓입니다. 개인이 코딩 보조로 쓰는 양치고는 넉넉하게 잡은 계산이에요.
판단은 이렇게 갈립니다. 데이터가 밖으로 나가면 안 되거나, 요청을 24시간 상시로 때리거나, 오프라인이 필요하면 로컬이 유리해요. 반대로 2.8조 파라미터급 품질이 꼭 필요한 작업이라면 API가 답입니다. 32GB 맥미니로 그 품질을 흉내 낼 방법은 없으니까요. 맥미니 32GB 구입비를 API 사용료로 환산하면 대략 2년 치가 나오는데, 이 계산만 놓고 보면 로컬이 늘 이기는 선택은 아니에요.
마무리
맥미니 M4 32GB는 큰 모델을 돌리는 기계가 아니라, 적당한 모델을 24시간 켜 두는 기계에 가깝다고 봐요. 전기 20W대로 30B급 MoE를 상시 대기시켜 두는 용도라면 이만한 물건이 드뭅니다. 다만 프런티어 모델을 로컬로 끌어오는 상상은 32GB에서는 접는 편이 마음이 편해요.
다음 실험은 MLX 변환본이 나온 소형 MoE를 24GB 예산 안에서 컨텍스트별로 재보는 쪽으로 잡고 있어요. 어디서 스왑이 시작되는지, 그 직전 컨텍스트 길이가 몇인지가 실사용에서는 토큰 속도보다 중요하더라고요.