티스토리 뷰
목차
솔직히 말하면, 저는 GPU 성능만 높으면 AI 모델은 다 잘 돌아간다고 생각했습니다. 직접 로컬 AI를 써보기 전까지는요. 엔비디아가 내놓은 DGX 스파크는 미국 출시가 3,999달러, 국내 예판가 750만 원짜리 초소형 AI 전용 컴퓨터입니다. 처음 이 제품을 접했을 때 제가 가장 먼저 든 의문은 "도대체 누가 이걸 쓰는 거지?"였습니다. 두 달 가까이 관련 정보를 뜯어보고, 제 컴퓨터에서 직접 로컬 LLM을 돌려본 뒤에야 그 답을 찾을 수 있었습니다.
로컬 LLM을 직접 돌려보니, GPU보다 메모리가 문제였습니다
제가 처음 로컬 LLM(Large Language Model)을 설치했을 때 이야기를 먼저 꺼내야 할 것 같습니다. LLM이란 챗GPT나 제미나이처럼 텍스트를 이해하고 생성하는 대규모 언어 모델을 말합니다. 저는 업무에서 Java 백엔드 코드를 짜다 보면 사내 소스 코드를 외부 서버에 붙여 넣는 게 늘 찜찜했습니다. 그래서 Ollama를 설치하고 오픈소스 모델을 제 컴퓨터에서 직접 구동해 봤는데, 20B(20억 파라미터) 정도의 작은 모델은 SQL 작성이나 간단한 코드 설명에 꽤 쓸 만했습니다.
문제는 더 똑똑한 120B 모델을 올렸을 때 터졌습니다. 답변 속도가 눈에 띄게 느려지더니, 결국 프로그램이 그냥 멈춰버렸습니다. 처음에는 GPU 연산 성능이 부족한 줄 알았는데, 알고 보니 원인은 VRAM 부족이었습니다. 여기서 VRAM이란 그래픽카드 안에 내장된 전용 메모리로, AI 모델이 연산할 때 이 공간 안에 모델 전체를 올려야 제 속도가 납니다. 제 그래픽카드의 VRAM은 이미 한계를 넘어섰고, 넘친 데이터가 시스템 메모리로 밀려나면서 속도가 급격히 망가진 겁니다.
DGX 스파크가 바로 이 문제를 정면으로 겨냥한 제품입니다. 얘가 특별한 이유는 128GB의 통합 메모리(Unified Memory) 구조에 있습니다. 통합 메모리란 CPU와 GPU가 메모리 공간을 따로 나눠 갖지 않고 하나의 풀(pool)을 공유하는 방식을 말합니다. 애플 실리콘이 같은 구조를 쓰고 있어 이미 익숙한 분들도 있을 겁니다. 오픈AI가 공개한 오픈소스 모델 GPT-4o mini 계열 기준으로 120B 모델의 권장 메모리는 80GB인데, RTX 5090의 VRAM이 32GB인 것과 비교하면 스파크의 128GB가 얼마나 여유 있는 수치인지 실감이 옵니다.
실제 비교 테스트 결과도 이걸 그대로 보여줍니다. 20B 소형 모델에서는 RTX 5090이 탑재된 비교 컴퓨터가 답변을 적어내는 토큰 속도에서 약 4배 더 빨랐습니다. 그런데 120B 대형 모델로 바꾸자 결과가 뒤집혔습니다. 스파크의 답변 시작 시간은 0.25초였고, 비교 컴퓨터는 0.49초가 걸렸습니다. 답변 생성 속도도 스파크가 세 배 이상 앞섰습니다. 메모리 대역폭(Memory Bandwidth)은 스파크가 273GB/s로 RTX 6000 워크스테이션 GPU보다 6.5배 낮지만, VRAM을 초과하는 순간 발생하는 메모리 스왑 지연이 훨씬 치명적이라는 점을 이 결과가 잘 보여줍니다. 메모리 대역폭이란 메모리에서 데이터를 읽고 쓰는 속도를 의미하며, 이 수치가 낮으면 AI가 답변을 작성하는 속도가 느려집니다.
- 20B 소형 모델: RTX 5090 비교 컴퓨터가 답변 생성 속도 약 4배 우세
- 120B 대형 모델: DGX 스파크가 답변 시작 0.25초로 약 2배 빠르고, 생성 속도도 3배 이상 우세
- 역전의 핵심 원인: 통합 메모리 128GB vs RTX 5090 VRAM 32GB 차이
- 소비 전력: 240W로 데이터센터 GPU 대비 상대적 저전력 구현
"슈퍼컴퓨터인데 왜 5090보다 느리냐"는 말이 나올 수 있습니다. 그런데 제가 직접 경험해보니, 이 제품의 가치는 속도 경쟁보다 대용량 모델을 VRAM 초과 없이 안정적으로 올릴 수 있다는 데 있습니다. 엔비디아 공식 사양 페이지(출처: NVIDIA DGX 스파크 공식 페이지)에서도 이 제품의 포지션을 "개인용 AI 슈퍼컴퓨터"로 명확히 정의하고 있습니다. 스포츠카에 짐을 가득 실으면 느려지듯, VRAM을 초과하는 순간 고성능 GPU도 결국 트레일러를 끌게 됩니다.
파인튜닝에 도전했다가 과적합으로 실패한 이유
DGX 스파크에는 DGX OS라는 리눅스 기반 운영체제가 기본 탑재되어 있고, DGX 대시보드에서 실시간 GPU 사용량과 메모리 점유율을 한눈에 확인할 수 있습니다. 처음 써보는 분들을 위해 플레이북이라는 단계별 가이드도 제공하는데, Ollama 설치나 원격 제어 설정 같은 항목이 15~30분 안에 따라 할 수 있도록 구성되어 있습니다. 제가 직접 써본 환경과 비교하면, 환경 설정 부분만큼은 꽤 잘 다듬어졌다는 느낌입니다.
그런데 저도 이걸 보면서 결국 한 번 부딪혀봤고 싶었던 게 파인튜닝(Fine-tuning)이었습니다. 파인튜닝이란 이미 학습된 AI 모델을 내가 원하는 목적에 맞게 추가 학습시켜 조정하는 과정입니다. 예를 들어 한국어 법률 문서에 특화된 답변을 하도록 모델을 조정하는 게 여기에 해당합니다. 관련 실험에서 PyTorch 라이브러리를 활용해 파인튜닝을 시도했다는 내용을 접했습니다. PyTorch란 메타가 개발한 딥러닝 프레임워크로, AI 모델을 학습시키기 위한 핵심 도구입니다. 테슬라 FSD 자율주행 시스템도 이를 기반으로 학습했다고 알려져 있습니다(출처: PyTorch 공식 사이트).
결과는 실패였습니다. 모델이 이상한 답변을 쏟아냈고, 원인을 파악하기도 어려웠습니다. AI에게 물어보니 과적합(Overfitting) 가능성이 높다고 했습니다. 과적합이란 학습 데이터가 적은데 같은 데이터를 반복 학습시키면 모델이 그 패턴에만 지나치게 맞춰져 실제 상황에서는 엉뚱한 답을 내는 현상입니다. 수험생이 모의고사 한 회분만 달달 외웠다가 실전에서 낭패를 보는 것과 비슷합니다. 이게 제가 직접 경험은 못 했지만, 로컬 LLM을 다루면서 항상 뒤통수를 때리는 문제라는 걸 간접적으로 확인한 셈입니다.
이 지점에서 저는 한 가지를 분명히 느꼈습니다. DGX 스파크처럼 좋은 장비를 가졌다고 해서 바로 원하는 AI가 나오는 게 아니라는 겁니다. 모델 구조, 데이터셋 구성, 양자화(Quantization) 방식, 과적합 방지 전략까지 공부해야 할 것들이 생각보다 훨씬 많습니다. 여기서 양자화란 AI 모델의 정밀도를 낮춰 메모리 사용량을 줄이는 기술로, 예를 들어 120B 모델도 양자화를 적용하면 더 적은 메모리로 구동할 수 있습니다. 장비가 먼저냐, 공부가 먼저냐를 따진다면 저는 개인적으로 공부가 먼저라고 생각합니다.
그렇다면 이 제품이 정말 가치 있는 곳은 어디일까요? 로컬 환경에서 이미지 생성, 음성 복제, 영상 자막 자동 생성 같은 작업을 인터넷 연결 없이 처리할 수 있다는 점, 그리고 여러 모델을 동시에 메모리에 올려 병렬로 운용할 수 있다는 점은 보안이 중요한 개발팀이나 소규모 연구팀에게 실질적인 장점입니다. 고객 정보나 사내 문서를 외부 클라우드 서버에 올리지 않고 처리해야 하는 환경이라면, 클라우드 반복 비용과 비교해볼 만한 선택지가 됩니다. 다만 AI 활용 빈도가 낮거나 소형 모델로 충분한 개인이라면, 750만 원짜리 장비를 구매하는 것보다 필요할 때만 클라우드 API를 사용하는 편이 훨씬 경제적일 수 있다는 점도 솔직히 말씀드리고 싶습니다.
자주 묻는 질문
Q. DGX 스파크는 RTX 5090보다 무조건 빠른가요?
A. 그렇지 않습니다. 소형 모델(20B 이하)에서는 메모리 대역폭과 연산 성능이 높은 RTX 5090 쪽이 더 빠릅니다. 다만 120B 이상의 대형 모델에서는 128GB 통합 메모리 덕분에 VRAM 초과 없이 구동이 가능해 오히려 DGX 스파크가 속도 면에서 앞서는 역전 현상이 나타납니다. 어떤 크기의 모델을 주로 쓰느냐에 따라 판단이 달라집니다.
Q. 로컬 LLM은 보안에 정말 안전한가요?
A. 네트워크에 연결하지 않고 내부 서버에서만 모델을 구동하기 때문에, 입력한 데이터가 외부 서버로 전송되지 않습니다. 고객 정보나 소스 코드처럼 외부 전송이 부담스러운 데이터를 다루는 경우라면 로컬 AI가 클라우드 서비스보다 훨씬 유리한 선택입니다. 다만 장비 자체의 물리적 보안 관리는 사용자 책임입니다.
Q. 파인튜닝은 초보자도 할 수 있나요?
A. DGX 스파크에 포함된 플레이북 가이드를 따라가면 설치와 기본 실행까지는 초보자도 접근할 수 있습니다. 그러나 파인튜닝은 데이터셋 구성, 과적합 방지, 하이퍼파라미터 조정 등 별도의 머신러닝 지식이 필요합니다. 장비가 있다고 바로 결과가 나오는 것은 아니며, 관련 개념을 먼저 공부하는 것이 훨씬 효율적입니다.
Q. 클라우드 AI 서비스 대신 DGX 스파크를 사는 게 경제적인가요?
A. AI를 하루 종일 빈번하게 사용하거나, 데이터 보안상 클라우드를 쓰기 어려운 팀이라면 장기적으로 클라우드 비용을 절감할 수 있습니다. 반면 사용 빈도가 낮거나 소형 모델로도 충분한 개인이라면 750만 원 초기 비용 회수가 쉽지 않습니다. 월 클라우드 사용 비용과 예상 사용량을 먼저 계산해보는 것이 합리적입니다.
결론
DGX 스파크는 일반 사용자를 위한 만능 AI 컴퓨터가 아닙니다. 로컬 LLM을 직접 실험하고, 대형 모델을 안정적으로 운용하고, 보안이 중요한 데이터를 내부에서 처리해야 하는 개발자와 소규모 팀을 위한 장비입니다. 제가 직접 경험해본 VRAM 부족의 답답함을 생각하면, 128GB 통합 메모리라는 구성이 단순한 스펙 과시가 아니라는 걸 이제는 이해합니다.
다만 장비를 사기 전에 먼저 물어봐야 할 게 있습니다. 저는 정말 120B 이상의 모델이 필요한가? 파인튜닝을 직접 할 만큼 준비가 되어 있는가? 이 두 가지 질문에 자신 있게 답할 수 없다면, 지금 당장 750만 원을 투자하는 것보다 먼저 로컬 LLM 환경을 손에 있는 장비로 경험해보는 쪽이 훨씬 나은 출발점일 것입니다.