로컬 AI 성능 계산기 · LLM·이미지·비디오·음성·OCR VRAM·속도 (2026)

1. 속도는 연산이 아니라 메모리 대역폭이 결정

토큰 생성(decode)은 매 토큰마다 모델 가중치를 한 번씩 읽습니다. 그래서 tok/s ≈ 메모리 대역폭 ÷ 토큰당 읽는 가중치 크기 × 효율(η). 예: RTX 4090(1008GB/s)로 27B Q4(약 15.7GB) → ~50 tok/s. GPU 코어가 빨라도 대역폭이 낮으면 느립니다(llama.cpp 실측: 같은 CPU에서 메모리 채널만 2배 늘려도 속도 ~2.7배).

2. 양자화 — 크기와 품질의 교환

가중치를 낮은 비트로 압축해 VRAM을 줄입니다. Q4_K_M(파라미터당 ~0.58GB)이 표준 균형점. QAT(양자화인식학습·Gemma 공식 int4·Kimi K2 네이티브 INT4·MiMo FP4)는 양자화 오차를 학습으로 보정해 같은 4비트에서 품질이 ≈Q6_K(BF16 대비 1% 미만)까지 올라갑니다. 핵심은 같은 4비트 PTQ 대비는 크기·속도가 같고 품질만 우위지만, Q6/Q8/FP16 같은 고정밀 대비는 메모리·속도 이득(int4라서) — 즉 "Q6급 품질을 int4 크기·속도로". 양자화 선택에서 QAT를 고르면 이 int4 메모리/속도가 반영됩니다(공식 QAT 체크포인트 보유 모델 한정).

3. VRAM = 가중치 + KV 캐시 + 오버헤드 · 긴 컨텍스트는 속도도 떨어뜨린다

KV 캐시는 컨텍스트 길이에 비례(레이어·KV헤드·head_dim×토큰수). 긴 컨텍스트는 KV가 VRAM을 크게 먹으므로 KV 양자화(Q8/Q4)로 절약. 또한 decode는 매 토큰 가중치 + 지금까지의 KV 전체를 읽으므로, 컨텍스트가 길어질수록 토큰당 읽는 양이 늘어 생성속도(tok/s)도 느려집니다(이 계산기는 컨텍스트 슬라이더에 따라 속도를 재계산). GQA 비율이 큰 모델·MLA(DeepSeek·Kimi K2·GLM-5.2, 토큰당 ~68KB로 동급 GQA의 1/10)·하이브리드(Qwen3.6·Nemotron-H의 Mamba, 일부 층만 KV)는 KV가 작아 긴 컨텍스트에서도 속도 저하가 적습니다 — 그래서 1M 컨텍스트도 가능.

4. MoE — 크지만 빠르다

전문가 혼합(MoE)은 전체 가중치를 VRAM에 올리되 토큰당 일부 전문가(활성 파라미터)만 계산 → VRAM은 크게 쓰지만 속도는 활성 크기 기준(예: 235B-A22B는 22B급 속도).

5. MTP — 투기적 디코딩 가속 (속도) vs QAT (품질)

MTP(멀티토큰예측·Qwen3.6/Gemma4/DeepSeek/GLM/Ling 등 내장)는 한 번에 여러 토큰을 예측·검증해 디코드 속도를 올립니다 — 이 계산기는 "MTP 가속" 체크 시 ×1.45(채택률에 따라 ~1.3~1.8x)를 적용합니다. 단, MTP를 켜면 드래프트 모듈(≈디코더 1개 층, 임베딩·헤드는 본체와 공유)이 VRAM에 함께 적재됩니다 — 작은 모델은 미미하지만 대형 MoE는 무시 못 합니다(예: DeepSeek-V3 Q4 약 +6.4GB, GLM-5.2 약 +5.6GB). 계산기는 이 모듈 VRAM을 더해 적재 여부·최대 컨텍스트를 판정합니다. 반면 QAT(양자화인식학습)는 속도·VRAM이 아니라 품질 기능 — 같은 Q4 크기에서 품질이 높아, 비QAT 모델이 Q6/Q8로 얻을 품질을 Q4로 얻습니다(그래서 QAT는 토큰 수가 바뀌지 않는 게 정상).

6. VRAM을 넘으면? — 오프로드는 시스템 RAM 대역폭에 묶인다

모델이 VRAM보다 크면 일부 층을 CPU가 시스템 RAM에서 계산합니다. 이 부분 속도는 PCIe가 아니라 메인보드 RAM 대역폭이 좌우 — 데스크탑 듀얼채널 ~90 · 워크스테이션 옥타채널 ~300 · 서버 12채널 ~460GB/s. 그래서 같은 GPU라도 플랫폼에 따라 오프로드 속도가 3~5배 차이납니다(PCIe는 가중치를 스트리밍하지 않고 층 경계 활성값만 전달).

7. 다중 GPU — 병렬 방식(텐서 vs 파이프라인)이 속도를 가른다

여러 장을 쓰면 VRAM이 합산돼 더 큰 모델이 올라갑니다. 속도는 병렬 방식에 달렸습니다. 파이프라인 병렬(레이어 분할)은 카드가 순차 동작이라 VRAM만 합산되고 속도는 거의 그대로(용량 확장용) — llama.cpp 기본. 텐서 병렬은 매 레이어를 쪼개 모든 카드가 동시에 계산해 속도가 오릅니다. 다만 매 레이어 all-reduce 통신이 필요해 인터커넥트 대역폭이 확장 효율을 좌우합니다: NVLink(SXM)·OAM(수백 GB/s~1.8TB/s)은 거의 장수에 비례(효율 NVLink ~90%·OAM ~85%), PCIe는 통신부하가 커 확장이 제한적(2장 ~1.2~1.5배 수준, 세대·레인이 높을수록↑). 이 계산기의 병렬 방식 드롭다운에서 직접 선택해 비교할 수 있습니다(자동=인터커넥트 기준). 데스크탑 보드는 CPU 레인 한계로 2장이 현실 상한(2장 시 x8/x8).

근거: 커뮤니티 실측(r/LocalLLaMA·llama.cpp·HuggingFace) + 모델 아키텍처 config + 하드웨어 스펙 교차검증. 추정은 ±30%, 실측이 있으면 실측을 우선 표시합니다.