멀티 에이전트 쓰지 마세요, 실제 테스트 결과

AI 에이전트 여러 개를 팀으로 운영하는 방식과 단독 에이전트를 같은 개발 과제로 비교한 실험을 다룹니다. 단독 세션이 시간과 비용에서 유리했고, 독립 검수나 병렬 작업이 필요한 순간에만 에이전트를 나눠 쓰라고 권합니다.

⏱ 00:00요즘 클릭 한 번으로 AI 에이전트 팀을 고용해 업무를 굴린다는 콘텐츠가 SNS에 많이 퍼져 있습니다. 감독, 개발자, 기획자처럼 업무별 에이전트를 여럿 만들어 돌리는 방식이 더 효율적이라는 주장입니다. 발표자는 실제로는 단독 에이전트 한 대가 더 나은 경우가 많았다며 이 주장에 의문을 제기합니다.

앤트로픽 공식 문서도 작업 규모가 크지 않다면 에이전트 팀이 오히려 비효율적이고, 순차적인 작업은 메인 클로드가 혼자 처리하는 편이 낫다고 밝혔다고 소개합니다. 작은 작업까지 역할을 나누면 정보를 주고받는 과정에서 전달 오류가 쌓이는 전화 게임 현상이 생길 수 있다는 설명입니다.

⏱ 00:33발표자는 이 주장을 직접 검증하기 위해 세 가지 설정을 비교했습니다. 단독 에이전트, 계획부터 보안 리뷰까지 다섯 역할을 둔 에이전트 팀, 그리고 검수자 한 명을 추가한 2인 체제입니다. 에이전트 팀 구성은 임의로 만들지 않고 앤트로픽 해커톤 우승자가 만든 ECC 저장소에서 가져왔으며, 세 설정 모두 같은 모델을 사용했습니다.

과제는 실무에서 자주 쓰이는 두 가지입니다. 첫째는 로그인과 카드 관리, 데이터 영구 저장, 암호화된 비밀번호를 갖춘 미니 칸반보드 만들기이고, 둘째는 실제 운영 중인 MCP 서버의 2주치 개발 물량 14개 작업을 처음부터 구현하는 과제입니다.

⏱ 02:11칸반보드 테스트에서는 세 설정 모두 요구 기능을 완성하고 보안 장치까지 갖췄습니다. 여기에 공유, 댓글 등 추가 기능 네 개를 이어서 요청하자 차이가 드러났습니다. 다섯 역할 에이전트 팀 세션은 40분 가까이 걸려, 단독 세션이 6분 만에 끝낸 것에 비해 일곱 배 가까이 오래 걸렸습니다. 비용과 시간 모두 단독 세션이 가장 적었고, 리뷰만 붙인 2인 체제가 2위, 에이전트 팀이 3위였습니다.

다만 이 정도는 클로드 혼자도 할 수 있는 작은 작업이라는 반론이 나올 수 있어, 발표자는 더 큰 실전 테스트를 준비했다고 밝힙니다.

⏱ 03:41실전 테스트에서는 14개 작업을 정답 테스트로 검증했습니다. 에이전트 팀 세션은 80분이 걸려 단독 세션보다 40분 이상 오래 걸렸고, 구현 담당 서브 에이전트를 아홉 차례 호출했음에도 정답 테스트 점수가 가장 낮았습니다. 토큰 사용량도 다른 세션의 약 두 배였습니다. 단독 세션은 시간과 토큰이 가장 적었지만 자체 검수가 부족해 자잘한 버그가 남았습니다.

2인 체제는 리뷰어가 버그 다섯 개를 정확히 찾아냈습니다. 단독 세션에서도 코드 리뷰 슬래시 명령을 따로 호출하면 비슷하게 버그를 잡았지만, 추가 검토로 시간과 토큰이 2인 체제와 비슷한 수준으로 늘어났습니다. 결과적으로 리뷰 기능을 붙인 단독 세션과 2인 체제가 공동 1위, 에이전트 팀이 시간과 비용 면에서 2위로 평가되었습니다.

⏱ 05:28같은 과제를 더 높은 성능의 오퍼스 모델로 바꿔 단독 세션과 에이전트 팀만 비교했습니다. 단독 세션은 약 40분 만에 끝났지만 에이전트 팀은 약 한 시간이 걸렸습니다. 핵심 기능 테스트 점수는 64점대로 큰 차이가 없었고, 출력과 토큰 소모는 단독 세션이 에이전트 팀의 절반 수준이었습니다. 단독 세션은 따로 요청하지 않아도 계획 단계에서 탐색 에이전트를 스스로 호출해 코드를 나눠 파악했습니다.

모든 실험을 종합하면 단독 클로드 세션이 1위, 에이전트 팀은 3위에 머물렀습니다. 단계마다 문서를 따로 쓰고 같은 코드를 반복해서 읽은 탓에 출력 토큰과 시간이 크게 늘었다고 분석합니다.

⏱ 07:01에이전트를 무조건 쓰지 말라는 뜻은 아닙니다. 중요한 것은 얼마나 많이 쓰느냐가 아니라 언제 쓰느냐라는 것입니다. 발표자는 구현이 끝난 뒤 새로운 시각으로 보는 독립 코드 리뷰, 넓은 코드베이스를 먼저 조사해야 할 때, 독립된 기능을 각자 구현하거나 여러 관점의 리뷰를 동시에 돌리는 병렬 작업을 에이전트가 유용한 순간으로 꼽습니다. 다만 에이전트가 늘수록 토큰 사용량도 함께 늘어나므로 미리 고려해야 합니다.

반대로 계획부터 구현, 테스트까지 하나의 맥락을 이어가야 하는 작업, 작고 빠른 수정이 필요한 상황, 대화하듯 주고받으며 코드를 다듬는 과정에서는 단일 클로드 세션이 더 빠르고 저렴하다고 설명합니다.

⏱ 08:48ECC 같은 플러그인을 설치할 때도 에이전트 규칙을 무조건 켜 두기보다, 필요한 순간에만 원하는 에이전트를 프롬프트로 직접 부르는 방식을 권합니다. 예를 들어 구현을 마친 뒤 코드 리뷰어 같은 검증용 에이전트만 골라 부르는 식입니다.

결론적으로 무작정 복잡한 에이전트 파이프라인을 짜기보다 단일 세션의 속도를 기본으로 두고, 꼭 필요한 검증 역할의 에이전트만 조합하라는 것입니다. 발표자는 뉴스레터에서도 관련 활용법을 공유하고 있다고 덧붙입니다.