아무도 말 안 해주는 맥 로컬 LLM의 함정, 4bit 계산법 한 줄이면 끝
Kimi K3의 가중치 파일 하나가 약 1.4TB예요. M1 맥북의 통합 메모리는 기본 8GB, 옵션을 다 넣어도 16GB고요. 숫자를 나란히 놓으면 답이 먼저 나와 버립니다. M1 맥북에서 Kimi K3 원본을 로컬로 돌리는 건 안 됩니다. GPU가 느려서가 아니라 가중치가 메모리에 애초에 안 들어가서요. 맥미니 M4 32GB도 사정은 똑같아요. 32GB로 1.4TB를 감당할 방법은 없습니다. 그래서 이 글은 … 더 읽기