2TB RAM은 과잉일까? AI 에이전트로 확인한 메모리 실험

AMD의 2TB 워크스테이션 발표를 계기로, 로컬 AI 에이전트 실행에서 시스템 RAM과 VRAM이 각각 무엇을 결정하는지 실험합니다. 모델을 실행할 수 있는지는 RAM이, 동시에 돌릴 수 있는 에이전트 수는 VRAM이 좌우하며, RAM을 128GB에서 256GB로 늘리자 실패 없이 16개 에이전트가 완료되었습니다.

⏱ 00:00발표자는 AMD가 최대 2TB 시스템 RAM을 탑재한 워크스테이션을 발표한 것을 보고, 대부분의 사람에게 과해 보이는 용량이 로컬 AI에 실제로 필요한지 확인하기로 합니다. 실험 장비는 RTX Pro 6000 두 장을 장착한 스레드리퍼 기반 시스템이며, 시스템 RAM 용량만 바꿔 작업량 차이를 측정하는 것이 목표입니다.

⏱ 01:12로컬 AI에서는 보통 GPU 내부의 VRAM을 가장 중시합니다. VRAM이 시스템 메모리보다 빠르기 때문에 사양표도 VRAM을 앞세우지만, 발표자는 고속 메모리가 많은 장비에 저속 메모리를 네 배 가까이 더 붙인 설계 의도를 궁금해합니다.

처음에는 RAM이 GPU 메모리가 부족할 때 넘쳐나는 완충 공간이라고 생각했지만, 실제 동작은 그렇지 않다고 설명합니다.

⏱ 02:21모델 가중치는 GPU에 올라가지만, 에이전트의 오케스트레이션, 도구 호출 기록, 점점 늘어나는 문맥과 지금까지 처리한 내용의 캐시는 시스템 RAM에 머뭅니다. 단순한 채팅이나 이미지 생성과 달리 여러 작업을 동시에 수행하는 에이전트 작업에서는 동시 실행 가능한 에이전트 수의 상한이 시스템 RAM으로 정해진다고 봅니다.

벤치마크도 처음에는 GPU에 치우쳐 CPU 영향이 섞여 버려서, 이를 폐기하고 다시 설계했습니다.

⏱ 04:50이번에는 RTX Pro 6000 두 장을 AMD Radeon R9700 32GB로 바꿔 같은 시스템에서 테스트합니다. 두 카드는 소프트웨어 스택이 달라 단순 비교가 아니라 새로운 기준선으로 봐야 합니다.

약 1,240억 파라미터 모델을 올리면 GPU에는 5.5GB 정도만 올라가고 나머지 약 90GB는 시스템 RAM에 남습니다. 그럼에도 전문가 혼합(MoE) 구조 덕분에 초당 약 38토큰으로 실사용이 가능한 수준이 나왔다고 설명합니다.

⏱ 08:09여덟 개 에이전트까지는 두 구성의 차이가 크지 않았지만, 열두 개에서는 RTX 구성이 버티는 반면 R9700은 여덟 개가 한계였습니다. 이 구간에서 병목은 RAM이 아니라 GPU VRAM이 동시에 수용할 수 있는 실행 슬롯 수로 옮겨갑니다.

단일 에이전트 속도는 초당 약 28~29토큰 대 63토큰으로, 저가 카드가 절반 이하입니다. 발표자는 RAM은 실행 가능 여부를, VRAM은 동시 처리량을 결정한다고 정리합니다.

⏱ 10:07128GB를 256GB로 늘리기 위해 ECC DDR5 모듈 여덟 장을 장착하고, RAM 외에는 아무것도 바꾸지 않은 채 같은 테스트를 반복합니다. 기존 128GB에서는 12개 에이전트 중 10개가 실패했고, 대화가 메모리에서 밀려나 처음부터 다시 만들어야 하는 재구성이 30회 발생했습니다.

256GB에서는 재구성이 한 번도 없었고 12개가 모두 완료되었으며, 16개도 모두 끝났습니다. 피크 RAM 사용량은 약 150GB였습니다.

⏱ 12:00개별 에이전트의 속도는 크게 빨라지지 않았지만, 같은 작업 묶음을 끝까지 완료하는 능력이 크게 달라졌다고 정리합니다. 고성능 카드는 128GB에서 12개, 저가 카드는 128GB에서 8개, 256GB에서 16개를 처리해 RAM 증설이 동시 작업 한계를 바꿨음을 보여줍니다.

고성능 카드는 256GB로 테스트하지 않았으므로 그 결과는 가설로 남겨둡니다. 128GB 환경에서 같은 12개 작업이 85분 걸렸고 두 개만 완료되었다는 결과가 제시되며, 256GB 쪽 비교는 이어서 공개됩니다.