홈 › 칼럼 › 양자화만 다른 짝을 모아 보면 규칙이 보인다
양자화만 다른 짝을 모아 보면 규칙이 보인다
같은 모델인데 왜 속도가 다른가라는 질문은 그래픽카드 성능 탓으로 돌리기 쉽지만 실제 데이터는 조금 더 복잡한 그림을 보여준다. 공개된 실측 272건을 모아 보면 같은 카드에서 양자화만 바꾸면 속도가 갈리고 같은 양자화에서 카드를 바꾸면 또 다른 비율로 갈린다. 이 글은 그 두 갈림의 크기를 나란히 놓고 견준다.
양자화는 모델의 정밀도를 낮추는 과정으로 메모리 사용량과 연산 속도에 직접적인 영향을 미친다. 카드가 아무리 빨라도 모델이 메모리에 안 들어가면 병목이 생기고, 반대로 가벼운 양자화라면 카드 성능이 충분히 발휘될 수 있다. 두 변수가 동시에 작용하기 때문에 어느 쪽이 더 큰 변수인지 구분하는 것이 중요하다.
평균만 놓고 보면 카드를 바꾸는 쪽이 더 크게 갈린다. 양자화 짝의 평균 비는 1.51배인데 카드 짝은 7.91배다. 다섯 배가 넘는 차이다. 속도를 크게 올리려면 카드부터 보는 것이 대개 맞다는 뜻이다.
그런데 평균이 전부는 아니다. 양자화만 바꿔 4.15배가 갈린 조합이 이 자료 안에 있다. 카드 한 등급을 올리는 것보다 큰 폭이다. 어느 쪽을 먼저 볼지는 평균이 아니라 내가 쓰는 모델이 어느 자리에 있는지가 정한다.
양자화 짝은 41개, gpu 짝은 40개
공개된 실측 자료를 모아 보면 양자화 짝은 41개, gpu 짝은 40개다. 양자화 짝의 평균 tps 비는 1.51배이고 gpu 짝의 평균 tps 비는 7.91배다. 평균만 놓고 보면 gpu 변경이 양자화 변경보다 약 5배 큰 차이를 만든다. 하지만 최대 비를 보면 이야기가 달라진다. 양자화 짝의 최대 비는 4.15배로 Qwen3.6-35B-A3B 모델에서 RTX 3090 카드를 사용했을 때 나왔다. gpu 짝의 최대 비는 101.94배로 gpt-oss-120B 모델에서 MXFP4 양자화를 적용했을 때 나왔다. 같은 모델이라도 양자화 방식에 따라 처리량이 크게 달라지는 것을 알 수 있다. gpu 변경이 평균적으로 더 큰 영향을 미치지만 특정 조합에서는 양자화 변경이 훨씬 더 큰 차이를 만든다. 카드 선택 전에 양자화 전략을 먼저 정해야 하는 이유가 여기에 있다.
갈림이 몰린 fam은 정해져 있다
공개된 실측 자료를 모아 보면 양자화 방식에 따른 조합의 분포가 gpu 조합과 뚜렷하게 갈린다. 양자화 짝 41개 가운데 13개가 Qwen3 fam에 몰려 있고, 그 뒤를 Qwen3.6이 6개, Gemma4와 Llama가 각각 5개씩 차지한다. gpt-oss는 4개로 양자화 변화에 따른 처리량 차이를 확인하기 위한 샘플이 적다. gpu 짝 40개를 보면 Qwen3가 9개로 가장 많고, Llama와 DeepSeek가 5개씩, gpt-oss와 Gemma4가 3개씩이다. 같은 Qwen3 fam이라도 양자화 조합은 13개, gpu 조합은 9개로 양자화 쪽이 더 넓게 퍼져 있다. 이는 fam이 커질수록 지원되는 양자화 형식이 다양해지지만, gpu 종류는 상대적으로 제한적이기 때문이다. 양자화 방식은 모델 구조에 맞춰 정밀도를 조절하는 도구이므로 모델이 크면 적용 가능한 형식도 늘어난다. 반면 gpu는 물리적 아키텍처와 드라이버 지원 범위가 정해져 있어 모델이 크다고 해서 gpu 조합이 무한정 늘지는 않는다. Qwen3.6은 양자화 짝이 6개지만 gpu 짝 목록에 이름이 없어 gpu 변경에 따른 차이를 직접 비교하기 어렵다. Gemma4는 양자화 5개, gpu 3개로 양쪽 모두 중간 수준이다. Llama는 양자화 5개, gpu 5개로 균형이 잡혀 있어 양쪽 변수를 동시에 고려해야 한다. gpt-oss는 양자화 4개, gpu 3개로 조합 수가 적어 특정 양자화나 gpu에 편향된 결과가 나올 가능성이 있다. DeepSeek는 gpu 짝 5개지만 양자화 짝 목록에 없어 양자화 변화에 따른 영향을 이 자료로는 판단할 수 없다. 양자화 짝이 몰린 fam은 모델 자체의 크기와 구조가 양자화 형식 수용 범위를 넓게 만들었기 때문이다. gpu 짝이 몰린 fam은 해당 모델이 다양한 gpu 아키텍처에서 검증되었거나, gpu별 최적화 경로가 더 많이 개발되었기 때문이다. 두 분포를 대조하면 양자화 전략은 모델 선택에 따라, gpu 선택은 모델과 gpu 생태계 양쪽에 따라 달라진다.
양자화는 메모리, gpu 는 대역폭
양자화는 모델의 메모리 크기를 바꾼다. 같은 gpu 에서 메모리가 줄면 속도가 올라간다. gpu 는 대역폭과 메모리 대역폭을 바꾼다. 같은 양자화에서 gpu 가 바뀌면 속도가 갈린다. 두 갈림의 크기가 다른 까닭은 이 구조 차이에서 온다. 공개된 실측을 모아 보면 양자화 짝의 tps 비 분포는 1.0~1.2 배가 20개, 1.2~1.5 배가 9개, 2.0배 이상이 8개, 1.5~2.0 배가 4개다. gpu 짝의 tps 비 분포는 2.0배 이상이 22개, 1.2~1.5 배가 7개, 1.0~1.2 배가 6개, 1.5~2.0 배가 5개다. 양자화 짝 중 1.5배 이상인 것은 12개, gpu 짝 중 1.5배 이상인 것은 27개다. 양자화는 모델이 gpu 메모리에 얼마나 들어가는지를 정한다. 메모리가 줄면 gpu 가 데이터를 읽는 횟수가 줄어 속도가 빨라진다. gpu 는 데이터를 얼마나 빨리 옮기는지를 정한다. 대역폭이 넓으면 같은 양자화에서도 처리 속도가 달라진다. 양자화 짝은 같은 gpu 안에서 메모리 용량만 바뀌므로 속도 차이는 제한적이다. gpu 짝은 gpu 자체의 대역폭과 아키텍처가 바뀌므로 속도 차이가 크다. 1.5배 이상 차이가 나는 gpu 짝이 27개인 반면 양자화 짝은 12개다. 우리는 tps 만 잰 것이므로 다른 성능 지표는 확인하지 않았다. 메모리 용량과 대역폭이 속도에 미치는 영향은 구조적으로 다르다. 양자화는 메모리 크기를, gpu 는 대역폭을 바꾼다.
이 셈을 그대로 믿으면 안 되는 자리
짝을 이룬 두 값이 같은 조건에서 나온 것은 아니다. 양자화 짝 41개 가운데 30개는 두 값의 실행 엔진이 서로 다르고, 카드 짝 40개 가운데 21개가 그렇다. 엔진이 다르면 같은 카드·같은 양자화라도 값이 갈린다. 그러니 여기서 잰 비에는 엔진 차이가 섞여 있다.
컨텍스트 길이도 절반만 적혀 있다. 양자화 짝 41개 중 22개, 카드 짝 40개 중 20개에만 길이가 남아 있다. 긴 문맥에서는 메모리 압박이 달라지므로 짧은 문맥에서 잰 값과 같이 놓기 어렵다.
마지막으로 두 짝은 애초에 서로 다른 변수를 바꾼 것이다. 양자화 짝은 모델이 메모리에 얼마나 들어가는지를 바꾸고, 카드 짝은 그 메모리를 얼마나 빨리 읽는지를 바꾼다. 두 비를 나란히 놓는 것은 크기를 견주려는 것이지 같은 저울에 올린 것이 아니다.
그래서 무엇을 물어야 하나
손님이 자리에 앉으면 먼저 어떤 모델을 돌릴 것인지 묻는다. 모델이 정해지지 않으면 그다음이 전부 짐작이 된다. 이름과 크기만 알아도 필요한 메모리의 자릿수가 잡힌다.
그다음 그 모델을 어느 형식으로 받을 수 있는지 본다. 형식이 하나뿐인 모델도 있고 여럿인 모델도 있는데, 여럿이면 그 안에서 고를 여지가 생긴다. 여기서 갈리는 폭은 평균 1.51배지만 크게 벌어진 자리에서는 4.15배까지 간다. 카드 한 등급을 올리는 것보다 큰 폭이다.
마지막으로 그 형식이 후보 카드의 메모리에 들어가는지 확인한다. 들어가지 않으면 카드가 아무리 빨라도 그 속도가 안 나온다. 들어간다면 그때부터는 카드 쪽 차이가 크게 작용한다 — 카드를 바꿔 갈린 폭은 평균 7.91배였다.
순서를 뒤집지 마라. 카드부터 고르고 모델을 맞추면 둘 다 어긋난다.