홈 › 칼럼 › AI 로 소리와 그림을 만드는 도구는 얼마나 무거운가
AI 로 소리와 그림을 만드는 도구는 얼마나 무거운가
AI로 소리나 그림을 만들려면 GPU가 얼마나 필요할까. 이 질문은 단순히 하드웨어 사양을 나열하는 것으로 답할 수 없다. 공개된 실측 자료를 모아 도구 66개를 다섯 갈래로 나누어 VRAM 사용량을 살펴봤다. 결과적으로 가장 무거운 갈래는 영상 생성이고 가장 가벼운 것은 음성 인식이다. 같은 AI 작업이라도 어떤 데이터를 다루느냐에 따라 필요한 메모리가 크게 달라진다.
영상 생성은 프레임마다 픽셀 단위로 계산량이 폭발하기 때문에 VRAM을 가장 많이 잡아먹는다. 반면 음성 인식은 텍스트로 변환하는 과정이므로 메모리 부담이 상대적으로 적다. 이 차이는 단순한 수치 차이가 아니라 작업의 본질에서 비롯된다. 영상은 시간축과 공간축을 동시에 처리해야 하지만 음성 인식은 1차원 시계열 데이터를 다루기 때문이다.
따라서 PC를 조립할 때 특정 작업에 집중해야 한다. 영상 생성을 주로 한다면 VRAM 용량을 우선시해야 하고 음성 처리 위주라면 그보다 낮은 사양으로도 충분하다. 모든 작업을 동일한 수준으로 처리하려는 욕심은 하드웨어 비용만 늘릴 뿐이다. 각 갈래의 특성을 이해하고 그에 맞는 구성을 선택하는 것이 합리적이다.
갈래마다 무게가 다르다
공개된 실측 자료를 모아 보면 음성 인식은 3.4GB, 텍스트 음성 변환은 3.9GB, 광학 문자 인식은 4.0GB의 VRAM 중앙값을 보인다. 이미지 생성은 16.0GB, 영상 생성은 24.0GB로 집계된다. 이 수치는 각 작업이 요구하는 최소 사양이 아니라 실제 사용 환경에서 관측된 중앙값이다.
영상 생성과 음성 인식의 격차는 20.6GB다. 같은 AI 도구라고 해도 사용하는 메모리 양이 7배 가까이 벌어진다. 「모든 AI 도구가 비슷한 무게다」라는 통념은 여기서 어긋난다. 영상 생성이 차지하는 VRAM은 음성 인식의 7배에 달하며, 이 차이는 단순한 수치 차이가 아니라 하드웨어 구성의 방향을 정하는 기준이 된다.
24GB와 3.4GB의 차이는 그래픽카드 선택에서 직접적으로 드러난다. 영상 생성을 위해 24GB VRAM 카드를 선택했다면, 음성 인식 작업만으로는 그 용량의 대부분을 사용하지 못한다. 반대로 3.4GB 수준의 VRAM으로 영상 생성을 시도하면 작업 자체가 불가능하거나 극도로 느려진다.
이 격차는 PC 조립 시 특정 작업에 집중해야 한다는 점을 수치로 보여준다. 영상 생성과 음성 인식을 동시에 높은 성능으로 처리하려면 VRAM 용량이 가장 큰 작업에 맞춰 하드웨어를 구성해야 한다. 그렇지 않으면 한 작업은 성능이 떨어지고 다른 작업은 용량이 부족해지는 상황이 발생한다.
각 갈래의 VRAM 요구량이 다르므로, 모든 작업을 동일한 수준으로 처리하려는 욕심은 하드웨어 비용만 늘린다. 영상 생성이 24GB, 음성 인식이 3.4GB인 것처럼, 작업 종류에 따라 필요한 메모리 양이 크게 달라진다.
무게가 몰려 있는 자리
영상 생성 도구가 11개, 이미지 생성 도구가 23개로 가장 많다. 하지만 도구가 많다고 무거운 것은 아니다. 이미지 생성의 VRAM 중앙값은 16.0GB로 영상 생성의 24.0GB보다 낮다. 도구 개수와 메모리 요구량은 별개의 문제다.
음성 합성과 음성 인식은 각각 10개와 11개의 도구가 있다. VRAM 중앙값은 3.9GB와 3.4GB로 영상 생성의 1/6 수준이다. OCR 도구는 11개이며 VRAM 중앙값은 4.0GB다. 영상 생성이 24.0GB를 요구하는 동안, 음성 관련 작업은 4GB 안팎에서 끝난다.
영상 생성은 단일 작업으로 가장 무겁다. 24.0GB의 VRAM이 필요하며, 이는 이미지 생성의 16.0GB보다 8.0GB 더 많다. 도구 개수가 11개로 이미지 생성보다 적지만, 메모리 부담은 가장 크다. 영상 생성을 돌릴 때 다른 작업을 동시에 처리하면 메모리 부족이 발생한다.
음성 합성과 인식은 경량이다. 3.9GB와 3.4GB의 VRAM으로 동작하며, 영상 생성의 1/7 수준이다. OCR도 4.0GB로 유사한 수준이다. 영상 생성이 24.0GB를 쓸 때, 음성 작업은 4GB 미만으로 처리된다. 같은 하드웨어에서 영상 생성과 음성 작업을 동시에 돌리면 메모리 경쟁이 일어난다.
도구 개수가 많은 갈래가 무거운 것은 아니다. 이미지 생성은 23개로 가장 많지만 VRAM은 16.0GB다. 영상 생성은 11개로 적지만 24.0GB를 쓴다. 음성 합성은 10개로 3.9GB, 인식은 11개로 3.4GB다. 도구 수와 메모리 요구량은 비례하지 않는다. 영상 생성이 무거운 것은 도구 개수가 아니라 작업 자체의 특성 때문이다.
최적화 효과가 갈리는 까닭
최적화 전후의 차이를 보면 영상 생성이 12.0GB로 가장 크다. 이미지 생성은 9.0GB, 음성 합성은 3.4GB, 인식은 1.9GB, 문자 인식은 3.0GB다. 숫자만 보면 영상 생성이 압도적으로 크지만, 이 차이가 어디서 오는지는 자료에 적힌 값만으로는 단정할 수 없다. 각 갈래가 어떤 작업을 수행하는지, 그 과정에서 메모리가 어떻게 쓰이는지까지 함께 봐야 한다.
영상 생성은 프레임 단위로 처리해야 하는 작업이다. 한 장의 이미지가 아니라 시간축을 따라 이어지는 여러 장을 동시에 다루어야 하므로, 중간 결과물들이 쌓이는 양이 다르다. 이미지 생성은 한 장을 만드는 작업이라 중간 단계가 상대적으로 적다. 음성 합성은 텍스트를 소리로 바꾸는 과정이라 메모리 사용 패턴이 또 다르다. 인식은 입력을 받아 출력을 내는 구조라, 생성 작업과 메모리 점유 방식이 달라진다.
이 차이는 단순한 크기의 문제가 아니다. 12.0GB와 1.9GB의 차이는 6배 이상이다. 같은 하드웨어 위에서 돌릴 때, 영상 생성은 다른 작업이 메모리를 쓸 공간을 거의 남기지 않는다. 이미지 생성은 9.0GB를 쓰지만, 영상 생성만큼은 아니다. 음성 합성과 인식은 3GB 안팎으로, 다른 작업과 함께 돌릴 여지가 있다. 최적화 효과가 큰 갈레일수록, 그 효과를 체감하는 방식도 다르다.
자료에 적힌 값은 최적화 전후의 차이만 보여 준다. 왜 그런 차이가 나는지는 각 갈래의 작업 구조를 알아야 알 수 있다. 영상 생성이 무거운 것은 당연한 결과다. 프레임 수, 해상도, 시간 길이 같은 변수가 메모리 사용에 직접 영향을 미치기 때문이다. 이미지 생성은 한 장의 해상도와 품질이 변수다. 음성 합성은 텍스트 길이와 샘플링 레이트가 변수다. 각자 다른 변수가 다른 크기의 메모리를 요구한다.
최적화 효과의 차이는 작업의 본질에서 온다. 영상은 시간축을 다루고, 이미지는 공간축을 다룬다. 음성은 시간축을 다루지만, 프레임이 아니라 샘플 단위로 나뉜다. 인식은 입력을 분석하는 작업이라, 생성 작업과 메모리 사용 패턴이 다르다. 이 차이는 하드웨어 성능의 문제가 아니다. 작업 자체가 요구하는 메모리 양이 다르다. 최적화는 그 차이를 줄여 주는 것이지만, 줄여 준 정도가 갈래마다 다른 것은 작업의 특성 때문이다.
이 셈을 그대로 믿으면 안 되는 자리
VRAM 사용량은 모델 크기와 배치 크기에 따라 달라진다. fp16 기준이라 해도 배치 크기가 커지면 메모리 점유량이 비례해서 늘어난다. 같은 모델이라도 배치 크기를 어떻게 잡느냐에 따라 필요한 VRAM이 달라지므로, 고정된 숫자로 보지 않아야 한다.
최적화 효과는 구현 방식과 하드웨어에 따라 갈린다. 특정 최적화 기법이 모든 환경에서 동일한 성능을 내는 것이 아니라, 어떤 코드로 어떻게 적용했는지에 따라 결과가 바뀐다. 공개된 실측은 특정 하드웨어 기준이므로, 다른 환경에서는 다를 수 있다.
이 셈을 그대로 믿으면 안 되는 자리는, VRAM이 고정된 값이 아니라 배치 크기에 따라 변하고, 최적화 효과가 구현에 따라 달라지며, 실측이 특정 하드웨어 기준이라는 점이다.
그래서 무엇을 물어야 하나
손님이 고를 갈래를 먼저 정해야 한다. 음성 합성, 음성 인식, 이미지 생성, 영상 생성, 문자 인식 중 무엇을 쓸지 정하면 그 갈래의 VRAM 중앙값을 확인한다. 자료에 적힌 66개 도구를 5개 갈래로 나누어 보면, 영상 생성이 가장 무겁고 음성 인식이 가장 가볍다. 이 순서를 알면 필요한 VRAM 용량을 가늠할 수 있다.
VRAM 중앙값을 확인했다면 최적화 효과를 본다. 같은 모델이라도 양자화나 배치 처리 방식에 따라 실제 점유량이 달라진다. 중앙값은 평균적인 상태를 말하지만, 최적화를 거치면 그 값보다 적게 쓰거나 더 많이 쓰는 경우가 있다. 따라서 중앙값만 보고 카드를 고르면 안 되고, 해당 도구가 어떤 최적화를 거쳤는지도 함께 봐야 한다.
마지막으로 이 세 가지를 순서대로 확인한다. 쓸 갈래를 정하고, 그 갈래의 VRAM 중앙값을 보고, 최적화 효과를 본다. 이 순서를 거치면 필요한 하드웨어 규모를 대략적으로 잡을 수 있다.