12GB GPU로 DeepSeek v4.1 Flash 전체 모델 실행하기

DeepSeek 전체 모델이 12GB 그래픽카드에서 돌아간다는 주장을 계기로, 모델 품질 논쟁을 토큰 하나를 만들 때 읽어야 하는 데이터량이라는 단위로 다시 살펴봅니다. 원본 모델이 이미 4비트로 배포된다는 점, 전문가 호출 구조, 실측 속도와 초안 헤드 기법, 그리고 정확도 측정의 한계를 차례로 정리합니다.

⏱ 00:00발표자는 최근 등장한 Promethes 엔진이 DeepSeek v4.1 Flash 전체 모델을 12GB 그래픽카드에서 돌린다고 주장한 소식으로 이야기를 시작합니다. 발표자 본인도 과거에 압축된 로컬 모델을 써 보며 답변이 어딘가 어색하다고 느꼈던 경험을 공유합니다.

핵심 질문을 이 모델이 진짜인가에서, 토큰 하나를 생성할 때 PC가 얼마나 많은 데이터를 읽어야 하는가로 바꾸자고 제안합니다.

⏱ 02:03논쟁의 계기가 된 Daz Lab의 발표와 Strata 설치 경험을 되짚습니다. 실제로 써 보니 대체로 자연스러웠지만, 간혹 농담의 요점을 놓치는 듯한 미묘한 차이가 느껴졌다고 합니다.

댓글에서 나온 2비트 압축은 정보를 절반쯤 버린다는 주장이 의심을 키웠고, 그래서 논쟁의 단위는 완전한지 가짜인지가 아니라 단어당 바이트 수여야 한다는 결론으로 이어집니다.

⏱ 03:30흔히 원본은 16비트 부동소수점이고 압축본은 그 흐릿한 복사본이라고 생각하기 쉽습니다. 하지만 DeepSeek 공식 설정 파일을 보면 밀집 가중치는 FP8, 비중이 가장 큰 전문가 가중치는 FP4로 배포됩니다.

따라서 전체 모델도 이미 4비트 수준이며, 실제 논점은 16비트 대비 2비트가 아니라 4비트 대비 2비트의 차이입니다. 전문가 가중치는 약 288.8GB, Engram 조회 구조는 약 196GB, 나머지는 25GB 안팎으로 합계가 약 510GB가 됩니다.

⏱ 05:12모델은 40개 층에 각 384개의 전문가를 두고, 단어를 만들 때 층마다 6개씩 골라 씁니다. 그래서 단어 하나마다 240개의 전문가가 호출되고, 전문가 하나가 18.8MB이니 단어 하나에 약 4.5GB의 가중치를 읽어야 합니다.

12GB 그래픽카드는 가장 빠른 저장 공간이지만 전체 모델의 극히 일부만 담을 수 있습니다. Promethes는 2비트 복사본으로 단어당 약 2.8GB, Strata는 약 2.1GB 수준으로 줄여 같은 계산의 비용을 낮춥니다.

⏱ 07:00Ryan의 참고 기계에서 측정한 원본 가중치 속도는 초당 2.14토큰이었고, NVMe 읽기 속도와 단어당 데이터량으로 계산한 이론값과 거의 일치합니다. 다른 사용자들의 실측은 대체로 더 느려 초당 1~5토큰 수준이 많았고, 한 코딩 질문에 11분 넘게 걸린 사례도 소개됩니다.

Strata의 2비트 파일은 약 4.7토큰으로 두 배 이상 빨랐는데, 이 역시 단어당 바이트 수가 줄어든 만큼 설명된다고 봅니다. 다만 문서에만 있고 설명되지 않은 고속 수치는 참고하지 말라고 주의를 줍니다.

⏱ 09:30Promethes는 먼저 2비트 복사본으로 빠르게 단어를 계산한 뒤, 상위 두 후보의 확률 차이가 0.45보다 작으면 불확실한 단어로 표시합니다. 표시된 단어에 한해 보정 데이터로 FP4 전문가를 복원해 다시 계산하며, 이때 단어당 2.6~3.2초가 추가됩니다.

속도를 끌어올린 핵심은 DeepSeek 모델에 내장된 초안 헤드입니다. 다음 네 단어를 한꺼번에 예측하고 한 번의 전문가 조회로 검증하는 방식이며, 로그에서는 129개 중 122개가 수락되어 수락률 94.6%, 라운드당 평균 4.13단어가 확정되었습니다. 그 결과 단어당 비용이 약 1.1GB로 줄어 초당 7토큰이 가능해졌다고 설명합니다.

⏱ 11:33Promethes의 감사 결과에 따르면 2비트 복사본만으로 전체 모델과 같은 단어를 고른 비율은 97.4%였고, 보정 후에는 98.33%로 올랐습니다. 하지만 실제 생성은 한 단어가 달라지면 이후 문맥이 달라져 차이가 누적되므로, 같은 설정에서도 중간에 갈라지는 사례가 나타났습니다.

그렇다고 답이 나빠졌다는 뜻은 아니지만, 원본의 답을 텍스트로 정확히 재현했다고 확인하기는 어렵다고 짚습니다. Strata 측정에서는 최상위 단어 일치율이 83.7%(2.25비트 87.2%)였고, 블라인드 평가에서 클라우드 응답 10점, 로컬 2비트 응답 2점을 받은 사례도 소개하며 한 번의 테스트이므로 참고만 하라고 덧붙입니다.