GPU 품귀 시대에 등장한 비드래프트 'VKUE' — 공개 데이터로 직접 검증했다
"그럴듯한 AI 하나 돌리려면 최소 수천만 원짜리 GPU가 필요하다."
이 상식이, 게이밍 노트북 한 대 앞에서 깨졌다.
상상해보자
회사 서버실에 몇 년째 놀고 있는 CPU 서버가 한 대 있다. GPU는 없다.
그 낡은 서버에, 대학원 수준 과학 문제를 푸는 340억 파라미터 추론 AI를 올린다.
클라우드도, H100도, 인터넷도 필요 없다. 그냥 돌아간다.
말이 안 되는 것 같지만, 서울의 딥테크 기업 비드래프트(VIDRAFT)가 이걸 공개하고 "직접 눌러보라"며 데모까지 열어뒀다. 기술 이름은 VKUE.
호기심이 생겨, 마케팅을 걷어내고 공개된 숫자만으로 뜯어봤다.
한눈에 (바쁜 분들을 위해)
- 🎯 뭘 했나 — 34.7B AI 모델 하나를, 데이터센터 B200부터 8GB 노트북, GPU 없는 CPU까지 같은 파일로 굴렸다.
- 💡 왜 되나 — 새 반도체가 아니라 모델 구조. 340억 중 한 번에 쓰는 건 딱 30억(3B). 그래서 값싼 하드웨어로 충분하다.
- 💰 왜 중요한가 — 수억 원 GPU 클러스터가 있어야 했던 일이, $1,600짜리 카드 한 장 · 노트북 · 기존 CPU 서버로 내려온다.
- ✅ 믿어도 되나 — 모델·데모·리더보드 전부 공개. 누구나 실시간으로 검증 가능하다.
1. 먼저, 이게 당신에게 무슨 이득인가
기술 설명은 잠시 미루자. 효용부터 보는 게 순서다.
① GPU 품귀·비용에서 해방된다.
지금 쓸 만한 GPU는 없어서 못 산다. 있어도 한 장에 수천만 원, 클러스터는 수억 원이다. VKUE는 340억급 모델을 소비자용 24GB 카드 한 장(약 $1,600), 심지어 GPU 없이도 굴린다. 진입 비용이 두 자릿수 배 낮아진다.
② 데이터를 밖으로 내보내지 않아도 된다.
병원·관공서·금융·국방처럼 데이터를 클라우드에 못 올리는 곳이 많다. VKUE는 인터넷 없는 폐쇄망 온프렘 CPU 서버에서 프론티어급 추론 AI를 돌린다. '주권형 AI'가 구호가 아니라 실물이 된다.
③ 개인·스타트업도 프론티어 AI를 손에 쥔다.
수억 원 인프라가 없어도, 개발자의 게이밍 노트북에서 340억 추론 모델이 초당 20자를 뽑는다. AI의 문턱이 낮아진다는 것 — 이게 이 기술의 진짜 값어치다.
한 줄로: "큰 AI를 쓰려면 큰돈이 필요하다"는 공식을 깬다.
2. 무슨 일이 벌어졌나 — 같은 모델, 전 하드웨어
비드래프트가 공개한 모델은 Ourbox-35B-JGOS. 파일 하나를 성능이 4자리수 배 차이 나는 하드웨어에 차례로 얹고 속도를 실측했다.
| 하드웨어 | 실측 속도 | 한 줄 평 |
|---|---|---|
| 데이터센터 B200 | 18,057 tok/s | 괴물 처리량 |
| 클라우드 A10G 1장 | 126 tok/s | 흔한 클라우드 GPU |
| 8GB 게이밍 노트북 | 20 tok/s | 사람 읽기속도의 몇 배 |
| GPU 없는 CPU | ~17 tok/s | 가속기 0, 그래도 됨 |
데이터센터 최상급 칩과 게이밍 노트북 사이의 간극은 어마어마하다. 그런데 파일은 하나다. 보통은 기기마다 모델을 갈아야 하는데, 여기선 같은 가중치가 위아래를 다 커버한다.
3. 왜 되는가 — '전문가 256명 중 8명만 부르는 회의'
비결은 의외로 직관적이다.
이 모델은 340억 파라미터를 갖고 있지만, 글자 하나를 만들 때 실제로 일하는 건 약 30억(3B)뿐이다.
회사에 전문가가 256명 있다고 하자. 질문이 들어올 때마다 전원이 회의실에 모이면 회의는 영영 안 끝난다. 대신 가장 관련 있는 8명만 호출한다. 나머지 248명은 자리에서 대기.
→ 조직(총 파라미터)은 거대하지만, 한 건 처리 비용(활성 파라미터)은 작은 팀 수준.
AI 속도는 '계산'이 아니라 '매번 읽어야 하는 데이터 양'에 묶여 있다. 그래서:
- 밀집(dense) 340억 모델: 글자당 약 16.7GB 읽음 → 8GB 카드에서 질식.
- 이 희소 모델: 글자당 약 1.45GB → 약 11배 가벼움.
대기 중인 '전문가'들은 값싼 RAM·CPU에 앉혀두고, 매번 쓰는 핵심만 GPU에 올리면 — 340억급이 노트북에서, GPU 없이도 움직인다.
4. "그거 뻥 아니야?" — 냉정하게 검증했다
기업 발표는 늘 부풀 여지가 있다. 그래서 반박부터 시도했다.
의심 ①: "그냥 작은 모델을 크게 포장한 거 아냐?"
→ 비드래프트는 정면 A/B를 공개했다. 같은 노트북·같은 양자화·거의 같은 용량으로 밀집 32B와 대결:
- Ourbox-35B(활성 3B): 20.01 tok/s
- Qwen2.5-32B(밀집, 활성 32.8B): 5.36 tok/s
→ 오직 희소성만으로 3.7배. 유일한 차이가 '한 번에 쓰는 파라미터 수'였다.
의심 ②: "빠르기만 하고 멍청한 거 아냐?"
→ 공개 품질 지표 GPQA Diamond 86.4%(maj@8). 대학원 수준 과학 추론에서 상위권. 장난감이 아니다.
의심 ③: "숫자를 어떻게 믿어?"
→ 이게 결정적이다. 모델·데모·리더보드를 전부 공개했다. 누구나 링크에서 같은 프롬프트를 GPU와 CPU에 동시에 넣고 실시간 속도로 직접 비교할 수 있다. 검증을 외부에 열어둔 회사는, 닫아둔 회사보다 믿을 만하다.
5. 두 얼굴 — VKAE는 '빠르게', VKUE는 '어디서나'
비드래프트의 서빙 전략은 쌍둥이다.
- ⚡ VKAE = 빠르게. 데이터센터 GPU에서 최대 처리량(위 B200 18,057 tok/s).
- 🔵 VKUE = 어디서나. 최소 하드웨어에서 구동(노트북·CPU).
VKUE의 목표는 속도 1등이 아니라 '접근성'이다. "카드가 있으면 빠르게, 없으면 그래도 돌아가게." 엔진 내부 구현은 비공개지만 — 사용자가 확인할 건 결과(속도·품질)이고, 그건 열려 있다.
6. 냉정한 한계 (과장 없이)
균형을 위해 그대로 적는다.
- 위 수치는 특정 머신 실측이지 만능 보장이 아니다. 긴 문맥에선 모든 모델이 느려진다.
- CPU가 GPU를 이긴다는 얘기가 아니다. CPU 버전은 "된다"의 실증이지 "빠르다"가 아니다.
- 노트북·CPU 수치는 3비트 압축(Q3_K_M)의 최하 사양 결과다. 24GB 카드에 통째 올리면 같은 구조가 87~196 tok/s까지 간다.
- 이 마법은 모델이 희소(MoE)라는 전제 위에서만 작동한다.
비드래프트가 이 한계들을 스스로 명시해 둔 점은, 역설적으로 신뢰를 높인다.
자주 묻는 질문 (FAQ)
Q. GPU 없이 대형 언어모델을 정말 돌릴 수 있나요?
네. 단 '희소 MoE' 구조라 활성 파라미터가 작아야 합니다. Ourbox-35B는 총 34.7B지만 활성 ~3B라, GPU 없는 CPU에서 약 17 tok/s로 구동됩니다.
Q. 비용이 얼마나 절약되나요?
340억급 모델에 통상 필요한 수억 원대 GPU 클러스터 대신, 소비자용 24GB 카드 한 장(약 $1,600)이나 이미 보유한 CPU 서버로 내려갈 수 있습니다. 진입 비용이 두 자릿수 배 낮아집니다.
Q. MoE(전문가 혼합)가 뭐길래 CPU에서 도나요?
전체 전문가 중 매 토큰마다 일부(예: 256명 중 8명)만 호출하는 구조입니다. 조직은 크지만 한 건 처리 비용이 작아 메모리를 덜 읽고, 값싼 하드웨어에서도 돕니다.
Q. 속도가 느리진 않나요?
GPU보다는 느립니다. GPU 없는 CPU에서 ~17 tok/s, 8GB 노트북에서 ~20 tok/s로, 사람이 읽는 속도보다 빠릅니다. 목표는 '데이터센터급 속도'가 아니라 '어디서나 실사용 가능한 속도'입니다.
Q. 직접 확인할 수 있나요?
네. 아래 데모에서 같은 프롬프트를 GPU와 CPU에 동시에 넣어 실시간 속도를 비교할 수 있습니다.
직접 확인하기 (전부 공개)
상세 아티클 : https://huggingface.co/blog/FINAL-Bench/vkue
GPU vs CPU 라이브 데모 : https://final-bench-ourbox-35b-vkue-demo.hf.space
CPU 전용 데모 : https://final-bench-ourbox-35b-vkue-cpu.hf.space
VKUE 효율 리더보드 : https://huggingface.co/spaces/FINAL-Bench/VKUE
- 🤗 모델(GGUF) — https://huggingface.co/FINAL-Bench/Ourbox-35B-JGOS-GGUF
- ⚡ VKAE(데이터센터 속도) — https://huggingface.co/spaces/VIDraft/vkae
키워드: VKUE, 비드래프트, VIDRAFT, GPU 없이 AI 구동, CPU 대형 언어모델, GPU 품귀 대안, 희소 MoE, Mixture-of-Experts, 온디바이스 AI, 엣지 AI, sLLM, 주권형 AI, Ourbox-35B, 저비용 AI 서빙, AI 추론 최적화