사진 출처: www.vizensoft.com
로컬에서 70B 모델을 올려 보려다 메모리 부족 메시지를 본 적 있으신가요. 128GB 로컬 메모리를 갖춘 AI 워크스테이션을 찾는 사람은 대개 여기서 출발합니다. 답부터 말하면 선택지는 세 갈래입니다. 애플 Max 등급 실리콘(128GB 통합 메모리), 애플 Ultra 등급 맥 스튜디오(그 위의 용량과 대역폭), 그리고 AMD Ryzen AI MAX+ 395를 얹은 윈도우 진영입니다. 세 번째 칸의 대표 주자가 회사 동료가 얼마 전 들여온 ASUS ProArt GoPro Edition PX13이고요.
여기서 가장 흔한 오해를 먼저 걷어내야 합니다. 애플 실리콘은 세대 번호가 올라간다고 메모리 상한이 따라 올라가지 않습니다. 기본형 M칩은 24~32GB, Pro는 48~64GB, Max에서 비로소 128GB가 열립니다. 최신 세대 기본 칩보다 한 세대 전 Max 칩이 대형 모델 구동에서는 훨씬 유리합니다. 이 구조를 모르고 “신형이니까 낫겠지”로 결정하면 돈을 쓰고도 원하던 모델을 못 올립니다.
목차
- 128GB 통합 메모리, 어느 칩부터 열리나
- 애플과 AMD, 128GB급 스펙 비교
- 회사 동료가 들인 ProArt GoPro Edition PX13
- 통합 메모리가 로컬 LLM에서 유리한 이유
- 128GB로 실제 돌아가는 모델 체급
- 추론용인가 학습용인가, 갈리는 지점
- 64GB로 충분한 경우는 언제인가
- 사기 전에 확인할 것
- 함께 읽으면 좋은 글
128GB 통합 메모리, 어느 칩부터 열리나
사진 출처: www.vizensoft.com
애플 실리콘에서 128GB의 경계선은 Max 등급입니다. M4 Max가 최대 128GB 통합 메모리에 546GB/s 대역폭을 제공하고, 같은 세대 M4 Pro는 최대 48GB·273GB/s에서 멈춥니다. 이 한 칸 차이가 70B급 모델을 상주시킬 수 있느냐 없느냐를 가릅니다. 용량뿐 아니라 대역폭도 두 배 차이라 체감 속도까지 갈리고요.
Ultra 등급은 성격이 또 다릅니다. 애플이 2025년 3월 공개한 M3 Ultra 맥 스튜디오는 최대 512GB 통합 메모리와 819GB/s 대역폭을 지원합니다. 애플은 발표 당시 6,000억 파라미터급 대형 언어 모델을 기기에서 돌릴 수 있다는 점을 내세웠습니다. 용량이 절대적으로 필요하면 Ultra, 가격과 성능의 균형이 필요하면 Max라는 구도가 여기서 정리됩니다. (애플 뉴스룸 M3 Ultra 발표자료)
M5 이후 세대는 조심스럽게 말씀드립니다. 이 글 작성 시점에 M5 Max·M5 Ultra·M6 계열의 메모리 상한과 대역폭은 애플 공식 발표로 확인되지 않았습니다. 확인되지 않은 스펙을 기다리며 결정을 미루기보다, 지금 실물로 살 수 있는 구성으로 계산하시는 편이 안전합니다. 애플 실리콘의 등급 구조 자체는 M1부터 일관됐으니, 새 세대가 나와도 “Max부터 128GB”라는 기준선은 참고할 만하다고 봐요.
애플과 AMD, 128GB급 스펙 비교
사진 출처: www.vizensoft.com
| 구분 | 최대 통합 메모리 | 메모리 대역폭 | 성격 |
|---|---|---|---|
| M4 (기본) | 32GB | 120GB/s | 8B급 소형 모델 전용 |
| M4 Pro | 48GB | 273GB/s | 30B급 MoE까지 |
| M4 Max | 128GB | 546GB/s | 70B 덴스 상주 가능 |
| M3 Ultra | 512GB | 819GB/s | 초대형 모델·다중 적재 |
| Ryzen AI MAX+ 395 | 128GB | 256GB/s(이론치) | 윈도우·이동성 |
표에서 눈여겨볼 칸은 대역폭입니다. M4 Max의 546GB/s와 Ryzen AI MAX+ 395의 256GB/s는 두 배 넘게 벌어집니다. 같은 128GB라도 모델을 담는 능력은 비슷하지만, 토큰을 뱉는 속도는 두 배 이상 차이가 난다는 뜻입니다. 용량 숫자만 보고 두 기기를 같은 급으로 묶으면 곤란한 이유예요.
회사 동료가 들인 ProArt GoPro Edition PX13
ASUS ProArt GoPro Edition PX13은 13.3인치 컨버터블 노트북에 128GB LPDDR5X를 통째로 넣은 제품입니다. CPU는 AMD Ryzen AI MAX+ 395(Strix Halo 계열), 그래픽은 내장 Radeon 8060S, 화면은 3K OLED 터치입니다. 무게는 1.4kg 안팎으로 일반 13인치 울트라북 평균 수준이고요.
동료 자리에서 실물을 처음 봤을 때 든 생각은 “이 크기에서 128GB가 되네”였습니다. 13.3인치 컨버터블은 보통 32GB에서 끝나거든요. 메모리는 온보드 납땜이라 나중에 늘릴 수 없습니다. 애플과 마찬가지로 살 때의 선택이 끝입니다.
128GB는 모델을 빠르게 돌리라고 주는 용량이 아니라, 애초에 올릴 수 있게 해 주는 용량입니다.
실사용에서 걸리는 부분도 분명합니다. 모델을 로딩하고 추론이 돌기 시작하면 팬 소리가 확실히 들립니다. 13.3인치 섀시에 이 급의 APU를 밀어 넣었으니 예상 가능한 결과예요. 배터리도 추론 중에는 눈에 띄게 빠집니다. 반대로 문서 작업만 할 때는 조용하고 오래 갑니다. 워크로드에 따라 체감이 극단적으로 갈리는 기기라고 봐요.
통합 메모리가 로컬 LLM에서 유리한 이유
통합 메모리는 CPU와 GPU가 같은 메모리 풀을 나눠 쓰는 구조입니다. 그래픽 전용 메모리(VRAM)를 따로 두지 않으니, 시스템 메모리 상당 부분을 모델 가중치 적재에 그대로 쓸 수 있습니다. Strix Halo 계열도 시스템 메모리 상당량을 그래픽 메모리로 할당할 수 있어서, 내장 그래픽인데도 대형 모델을 통째로 담습니다.
이 구조의 가치는 dGPU와 비교할 때 드러납니다. 노트북용 최상위 dGPU조차 VRAM이 24GB 안팎입니다. 모델이 VRAM을 조금이라도 넘기면 시스템 메모리로 넘어가면서 속도가 급격히 떨어집니다. 반면 통합 메모리는 그 벽 자체가 없습니다. 대신 대역폭이 dGPU 전용 메모리보다 낮아 속도 상한이 미리 정해집니다. 담는 능력은 통합 메모리, 뽑아내는 속도는 dGPU 쪽이 앞선다는 구도입니다.
128GB로 실제 돌아가는 모델 체급
4비트 양자화(모델 가중치를 4비트로 압축해 용량을 줄이는 기법)를 기준으로 잡으면 계산이 단순해집니다. 파라미터 10억 개당 약 0.5GB로 어림하고, 컨텍스트와 KV 캐시 몫을 20~30% 더 얹으면 대체로 맞습니다.
- 8B급 Q4 — 약 5GB. 32GB 기기로도 충분합니다
- 30B급 MoE Q4 — 약 18~20GB. 64GB면 여유롭습니다
- 70B 덴스 Q4 — 약 40~45GB. 여기서부터 128GB가 의미를 갖습니다
- 120B급 MoE Q4 — 약 60~70GB. 큰 폭의 메모리 할당이 필요한 구간입니다
- 70B Q8 — 약 75~80GB. 품질을 포기하기 싫을 때의 선택지
속도는 대역폭이 결정합니다. 덴스 모델의 이론 상한은 대략 ‘대역폭 ÷ 모델 용량’입니다. 40GB짜리 70B Q4라면 546GB/s에서 13토큰/초 안팎, 250GB/s대에서는 6토큰/초 남짓이 계산상 한계선이에요. 실제로는 이보다 더 낮게 나옵니다. 사람이 편하게 읽는 속도가 대략 10토큰/초 언저리라는 점을 기준으로 삼으면 체감이 잡히실 겁니다. 30B급 MoE는 양쪽 다 무난하지만, 덴스 70B는 노트북 쪽에서 답답할 수 있습니다.
추론용인가 학습용인가, 갈리는 지점
판단 기준은 세 가지로 좁혀집니다.
- 추론 속도가 우선이고 데스크톱이 가능하면 Max 등급 맥 스튜디오가 128GB 구간에서 가장 합리적입니다. 대역폭이 두 배 앞섭니다
- 윈도우 소프트웨어가 필요하면 ProArt GoPro Edition PX13 같은 x86 기기가 맞습니다. 다만 내장 그래픽이라 CUDA는 쓸 수 없습니다. ROCm이나 Vulkan 백엔드 기준으로 계획을 세우는 편이 좋아요
- 파인튜닝이나 학습이 목적이면 통합 메모리 기기 어느 쪽도 최선이 아닙니다. dGPU 데스크톱이나 클라우드 GPU가 여전히 빠릅니다
이동성을 넣으면 계산이 또 바뀝니다. 1.4kg 몸체에 128GB를 담고 다니는 조합은 지금 시장에서 흔치 않습니다. 어댑터 무게가 따로 붙는 건 감수해야 하고요.
64GB로 충분한 경우는 언제인가
솔직히 말하면 상당수 사용자에게 128GB는 과합니다. 코딩 보조와 문서 요약 위주라면 30B급 MoE 모델로 충분하고, 그 정도는 64GB에서 넉넉하게 돌아갑니다. 128GB가 제 몫을 하는 자리는 세 가지로 좁혀져요. 컨텍스트를 128K 이상 길게 쓸 때, 70B 이상 덴스 모델을 상주시킬 때, 모델 두세 개를 동시에 띄워야 할 때입니다.
동기가 무엇인지도 짚어 보시면 좋습니다. 로컬 구동의 이유가 데이터를 외부에 보내지 않는 것이라면 용량보다 그 조건이 먼저입니다. 반대로 속도 때문이라면 클라우드 API가 여전히 더 빠릅니다. 이 구분을 먼저 하면 예산이 절반으로 줄어드는 경우도 있어요.
사기 전에 확인할 것
128GB 로컬 AI 워크스테이션의 현실적인 답은 이렇습니다. 데스크톱이면 Max 등급 이상 맥 스튜디오, 들고 다녀야 하면 Ryzen AI MAX+ 395 계열입니다. 기본형 M칩은 세대가 아무리 새로워도 이 구간의 후보가 아닙니다. 그리고 메모리는 어느 쪽이든 사후 증설이 불가능하니, 구매 시점의 판단이 그대로 몇 년을 갑니다.
앞으로의 흐름은 통합 메모리 쪽에 유리해 보입니다. 애플은 Ultra 등급에서 512GB까지 열었고, AMD도 Strix Halo로 대용량 iGPU 메모리 할당이라는 카드를 꺼냈습니다. 다만 두 진영 모두 대역폭 확장 속도가 용량 확장 속도를 따라가지 못하는 상태라, 당분간 “큰 모델은 올라가지만 느리다”는 상황은 이어질 것 같습니다. 대형 모델을 빠르게 돌리는 일이 목적이라면 한 세대 더 지켜보는 것도 방법이라고 봐요.
지금 로컬에서 몇 B 모델까지 상주시켜 쓰고 계신가요? 실제로 쓰는 모델 체급과 기기 조합을 댓글로 공유해 주시면 다른 분들 선택에도 큰 참고가 될 것 같습니다.
참고 출처
– 애플 뉴스룸, M3 Ultra 발표자료 — https://www.apple.com/newsroom/2025/03/apple-reveals-m3-ultra-taking-apple-silicon-to-a-new-extreme/
– ASUS ProArt 공식 제품 페이지 — https://www.asus.com/laptops/for-creators/proart/