한 줄 요약 — 우리가 그동안 "오픈소스 LLM"이라 불러온 것들은 대부분 오픈소스가 아니었다. 가중치(weights)만 던져준 '오픈 웨이트'였을 뿐이다. 그런데 한국의 한 스타트업 '비드래프트'가, 데이터 레시피부터 학습 코드·하이퍼파라미터·전체 로그까지 전부 아파치 2.0으로 풀어버린 파운데이션 모델을 허깅페이스에 올렸다. 이름은 Aether-7B-5Attn.
1. "오픈"이라는 단어가 훔쳐간 것
수년간 우리는 이상한 언어 습관에 길들여졌다. 어떤 회사가 모델 가중치 파일 하나를 공개하면, 우리는 그것을 "오픈소스 AI"라고 불렀다. 라마(Llama)가 그랬고, 수많은 파생 모델이 그랬다. 다운로드 버튼이 있으니 열려 있는 것처럼 보였다.
하지만 소프트웨어 세계에서 '오픈소스'라는 말은 원래 그런 뜻이 아니었다. 오픈소스란 소스를 열었다는 뜻이다. 결과물(binary)만 주는 게 아니라, 그것을 만든 레시피 전부를 공개해서, 누구든 처음부터 다시 만들 수 있게 하는 것. 컴파일된 실행 파일만 주고 "이건 오픈소스야"라고 말하면 아무도 인정하지 않는다.
그런데 LLM 시대가 되자 이 기준이 조용히 무너졌다. 학습 데이터는 비밀이고, 학습 코드도 비밀이고, 하이퍼파라미터도 로그도 비밀인데, 가중치 하나만 던져주면 "오픈소스"라는 훈장을 달았다. 가중치는 LLM의 '컴파일된 바이너리'에 해당한다. 즉, 지금까지의 대부분 오픈 LLM은 바이너리만 공개한 클로즈드 소프트웨어와 구조적으로 똑같았다.
이 차이를 진지하게 다뤄온 진영이 있다. Allen AI의 OLMo가 대표적이다. 이들은 "open weights(열린 가중치)"와 "fully open(완전한 오픈)"을 엄격히 구분한다. 가중치·데이터·코드·로그까지 전부 재현 가능하게 열어야 비로소 '완전한 오픈'이라고 부른다.
그리고 2026년 7월, 이 '완전한 오픈'의 명단에 한국 이름이 하나 올라왔다.
2. Aether-7B-5Attn, 무엇을 공개했나
Aether-7B-5Attn은 한국의 AI 스타트업 **VIDRAFT(주식회사 비드래프트)**가 밑바닥부터(from scratch) 직접 학습시킨 65.9억 파라미터급 파운데이션 모델이다. 남의 모델을 파인튜닝한 것도, 이어붙인(merge) 것도 아니다. 토크나이저 학습부터 사전학습, 어닐링, SFT까지 전 과정을 직접 밟았다.
핵심은 '무엇을 얼마나 공개했느냐'다. 모델 카드에 적힌 공개 목록은 이렇다.
# 공개 항목 상태
| 1 | 모델 가중치 (어닐링 base + SFT -it) | ✅ Apache-2.0 |
| 2 | 전체 아키텍처 소스 (어텐션 + MoE + 라틴 스퀘어) | ✅ |
| 3 | 학습 데이터 레시피 (바이트 단위 재현 가능) | ✅ |
| 4 | 토큰화 스크립트 | ✅ |
| 5 | 학습 코드 (FSDP 런처, 학습 루프, 노드 스크립트) | ✅ |
| 6 | 모든 학습 하이퍼파라미터 | ✅ |
| 7 | 전체 학습 로그 | ✅ |
| 8 | 평가(evaluation) 코드 | ✅ |
| 9 | 중간 체크포인트 | ✅ |
| 10 | 라이선스 | ✅ Apache-2.0 |
여기서 가장 급진적인 항목은 3번이다. 데이터 '레시피'라고 했지만, 실제 의미는 더 강하다. 모든 출처가 공개 저장소이고, 공개된 레시피(소스 저장소·설정·토큰 수·혼합 비율·토크나이저·EOS)를 그대로 돌리면 학습에 쓰인 바이너리가 바이트 단위로 똑같이 재현된다. 즉 "우리가 좋은 데이터로 학습했다"는 신뢰를 요구하는 대신, "직접 다시 만들어서 확인해봐라"라고 말하는 것이다.
이것이 이 글의 제목이 말하는 '프롬 스크래치(from-scratch) 오픈소스'의 진짜 의미다. 결과물이 아니라 제조 공정 전체를 연 것.
3. 왜 '주권(Sovereign) AI'인가
VIDRAFT는 이 모델을 **소버린 AI(Sovereign AI)**라고 부른다. 처음엔 마케팅 수사처럼 들리지만, 모델 카드의 논리는 꽤 단단하다.
"남이 만든 가중치를 다운로드하는 것은 주권이 아니다. 학습 데이터가 비밀인 모델은, 검증할 수도 재구축할 수도 없는 블랙박스다."
주권이라는 단어의 핵심은 '의존하지 않을 자유'다. 어떤 나라나 기업이 특정 빅테크의 가중치에 의존한다면, 그 모델이 내일 라이선스를 바꾸거나 내려버리면 끝이다. 반면 데이터·코드·로그까지 전부 손에 있다면, 그 저장소 하나만으로 자기만의 파운데이션 모델을 처음부터 다시 세울 수 있다. VIDRAFT의 주장은 명확하다. 그게 바로 진짜 주권 AI라는 것.
이 관점에서 보면 세계의 '완전한 오픈' 파운데이션 모델들은 대부분 국가 단위 프로젝트였다.
모델 출신 주체
| OLMo | 미국 | Allen AI (비영리 연구소) |
| Apertus | 스위스 | 대학·연구 컨소시엄 |
| Soofi | 독일 | 연구 이니셔티브 |
| LLM-jp | 일본 | 국가 연구 컨소시엄 |
| Viking | 핀란드 | 대학·기업 연합 |
| Aether | 한국 | 단일 스타트업 (VIDRAFT) |
Aether가 특별한 건 여기다. 다른 나라들은 국가 연구소·정부 컨소시엄·대학 연합이 국력을 모아 만들었는데, Aether는 단 하나의 스타트업이 같은 수준의 '완전한 오픈'을 해냈다. 한국이 이 명단에 이름을 올린 방식이 유독 흥미로운 이유다.
4. 아키텍처 — 다섯 개의 어텐션을 '라틴 스퀘어'에 배열하다
Aether가 단순한 '오픈소스 정치 선언'에 그치지 않는 건, 아키텍처 자체가 실험적이기 때문이다. 모델 클래스 이름부터 aether_v2_7way다.
핵심 아이디어는 이종(heterogeneous) 어텐션이다. 보통의 트랜스포머는 모든 층이 똑같은 어텐션 메커니즘을 쓴다. Aether는 다르다. 다섯 가지 서로 다른 어텐션 메커니즘을 한 모델 안에 섞어 넣었다.
- Full attention — 표준 전역 어텐션
- Differential attention — 노이즈를 상쇄하는 차분 어텐션
- Sliding window — 지역(local) 슬라이딩 윈도우
- NSA(Native Sparse Attention) 계열 — 네이티브 희소 어텐션
- Hybrid — 위 방식들을 결합한 혼합형
문제는 "이걸 어느 층에 배치하느냐"다. 아무렇게나 쌓으면, 성능 차이가 어텐션 종류 때문인지 아니면 그 어텐션이 우연히 얕은 층/깊은 층에 몰린 '깊이 편향(depth bias)' 때문인지 구분할 수 없다.
VIDRAFT의 답이 **7×7 라틴 스퀘어(Latin square)**다. 라틴 스퀘어는 각 기호가 모든 행과 모든 열에 정확히 한 번씩만 등장하도록 배열한 격자다(스도쿠의 기반이 되는 그 구조). 49개 층(7×7)에 어텐션 라벨(7종)을 라틴 스퀘어로 깔면, 각 어텐션 메커니즘이 모든 깊이에 정확히 한 번씩 나타난다.
즉 라틴 스퀘어는 단순한 디자인 장식이 아니라 실험 통제 장치다. 깊이 편향을 제거했기 때문에, "이종 어텐션 배치가 실제로 어떤 효과를 내는가"를 편향 없이 연구할 수 있다. 오픈소스로 공개했으니, 이 가설을 누구나 검증하고 반박할 수 있다는 점까지 포함해서 말이다.
5. 스펙 요약
항목 값
| 총 파라미터 | 6.59B |
| 토큰당 활성 파라미터 | 약 2.98B (MoE) |
| 레이어 | 49층 (7×7 라틴 스퀘어) |
| 전문가(Experts) | 25개, top-7 + 공유 전문가 1개 |
| 컨텍스트 길이 | 4,096 |
| 학습 토큰 | 144.2B |
| 학습 하드웨어 | NVIDIA B200 GPU × 16 |
| 데이터 구성 | 수학 ≈37.8% · 한국어 21.6% · 영어 웹/합성 21.6% · 코드 13.5% |
| 아키텍처 | aether_v2_7way (이종 어텐션 MoE) |
| 언어 | 한국어(ko), 영어(en) |
| 라이선스 | Apache-2.0 |
MoE(Mixture-of-Experts) 구조 덕분에 총 65.9억 파라미터를 담고 있으면서도, 토큰 하나를 처리할 때는 약 29.8억 파라미터만 활성화된다. 큰 지식 용량과 낮은 추론 비용을 동시에 노린 설계다.
데이터 구성에서 눈에 띄는 건 수학 비중이 37.8%로 가장 높다는 점, 그리고 **한국어가 영어와 동일한 21.6%**를 차지한다는 점이다. 사용한 공개 데이터셋도 모두 밝혀져 있다 — FineWeb-Edu, SmolLM-corpus, FineMath, OpenWebMath, OpenCoder(opc-fineweb-code), 그리고 한국어는 HAERAE-HUB의 KOREAN-WEBTEXT와 KOREAN-SyntheticText-1.5B. 어느 것 하나 '비공개 사내 데이터'가 없다.
6. 직접 써보려면 (그리고 주의할 점)
모델은 두 종류로 공개됐다.
- 베이스 모델: FINAL-Bench/Aether-7B-5Attn (어닐링된 사전학습 모델)
- 인스트럭션 튜닝 모델: FINAL-Bench/Aether-7B-5Attn-it (SFT, 대화용)
라이브 데모도 있다 → 허깅페이스 Space FINAL-Bench/Aether-Sovereign-AI. 웹에서 바로 프롬프트를 넣어 생성 결과를 볼 수 있다.
한 가지 중요한 실전 주의사항이 모델 카드에 못 박혀 있다.
추론은 반드시 batch_size = 1로 돌려라. 일부 어텐션 분기(NSA 계열)는 패딩 마스크를 소비하지 않기 때문에, 패딩된 시퀀스를 배치로 묶으면 결과가 조용히 오염될 수 있다.
이종 어텐션이라는 실험적 설계가 실사용에 남긴 흔적이다. 배치 추론을 함부로 하면 안 된다는 뜻이니, 서빙 코드를 짤 때 반드시 기억해두자. (공개된 데모 Space의 백엔드 코드도 실제로 batch_size=1을 강제하고 있다.)
[관련 링크]
-베이스 모델 링크: https://huggingface.co/FINAL-Bench/Aether-7B-5Attn
-인스트럭션 모델 링크: https://huggingface.co/FINAL-Bench/Aether-7B-5Attn-it
-모델 적용 서비스 데모 링크: https://huggingface.co/spaces/FINAL-Bench/Aether-Sovereign-AI
-Aether 모델 관련 콜렉션 링크: https://huggingface.co/collections/FINAL-Bench/aether-foundation-model
- 홈페이지: https://www.vidraft.net
7. 그래서, 이게 왜 중요한가
Aether-7B-5Attn의 성능이 최상위 폐쇄형 모델을 이겼는지는 이 글의 요점이 아니다. 65.9억 파라미터급 모델에 그런 걸 기대하는 사람도 없다. 중요한 건 공개의 방식이다.
세상엔 두 종류의 "오픈"이 있다. 하나는 결과물을 던져주고 "믿어라"라고 말하는 오픈이고, 다른 하나는 공정 전체를 열고 "직접 확인하고, 원하면 처음부터 다시 만들어라"라고 말하는 오픈이다. 앞의 것은 편의를 주지만, 뒤의 것만이 주권을 준다.
그동안 이 뒤쪽 진영은 미국·스위스·일본·핀란드·독일 같은 나라의 연구소와 대학 연합이 국력으로 채워왔다. 이제 그 명단에 한국의 스타트업 하나가, 그것도 자기가 설계한 이종 어텐션 아키텍처까지 통째로 얹어서 들어섰다.
"오픈 LLM은 오픈소스가 아니다"라는 문장은 냉소가 아니다. 그건 기준을 되찾자는 요구다. 그리고 그 기준을 실제 코드와 데이터와 로그로 증명해 보인 사례가, 지금 한국에서 나왔다.
모델: FINAL-Bench/Aether-7B-5Attn · 인스트럭트: Aether-7B-5Attn-it · 데모: Aether-Sovereign-AI 제작: VIDRAFT(주식회사 비드래프트) · 라이선스: Apache-2.0 · 문의: ArXivGPT@gmail.com