AI 비전으로 매장 절도를 탐지하는 시스템 구축기

인도 식료품 체인을 위해 구축한 AI 비전 기반 매장 관리 시스템을 직접 시연하는 영상이다. 발표자는 근태 관리와 실시간 절도 탐지를 하나로 묶은 'Night Watch Shop OS' 구조를 설명하며, 낮은 운영 비용과 얼굴 블러 등 개인정보 보호 방식을 강조한다. 경량 포즈 추정과 추적 알고리즘으로 1차 탐지를 하고, 비전 언어 모델로 소수 프레임만 검증하는 방식이 핵심이다.

⏱ 00:00발표자는 인도 전역에 중형 식료품 체인을 운영하는 고객사를 위해 구축한 통합 비즈니스 관리 시스템을 소개하며 영상을 시작합니다. 이 시스템에는 CRM과 재고 관리, 직원 근태 관리 기능이 포함되어 있습니다.

카메라 영상으로 직원의 근무 시간과 휴식 시간을 계산하는 것이 특징이며, 얼굴이나 복장을 인식해 매장 내 근무 상태를 확인하는 방식입니다. 여기에 실시간 절도 탐지 기능을 더한 부분이 이 빌드에서 가장 핵심적이라고 설명합니다.

⏱ 00:55절도 탐지 시연에서는 한 사람이 물건을 집어 가방에 넣는 장면을 예로 듭니다. 발표자는 주변을 둘러보는 사람을 바로 도둑으로 단정하지 않도록 설계했다고 강조합니다. 시스템은 자세 맵으로 손의 위치와 시선 방향을 파악하고, 행동이 의심 상황으로 판단되면 화면 표시가 빨간색으로 바뀝니다.

또한 인도의 DPDP 법과 GDPR 규정을 고려해 얼굴은 블러 처리된다고 밝힙니다. 시연용 데이터는 실제 고객 매장이 아니라 발표자가 만든 샘플 데이터셋이며, 절도 장면에는 연기를 하는 사람들이 등장합니다.

⏱ 02:06고객사에 배포한 시스템의 성과로, 최근 3개월 동안 분실과 도난을 10만 달러 이상 막았다고 발표자는 주장합니다. 대시보드에서는 절도 장면, 신체 움직임, 도난 물품을 확인할 수 있으며, 15~18달러짜리 전기 주전자 예시를 통해 도난 물품의 가치를 파악하는 기능도 보여 줍니다.

운영 비용이 저렴하고 운영이 쉽다는 점도 장점으로 꼽습니다. 이 시스템의 도움은 크게 두 가지로 정리됩니다. 첫째는 절도 증거를 확보하는 것이고, 둘째는 과거에 절도 이력이 있는 사람이 다시 매장에 들어오면 즉시 알림을 주는 것입니다.

⏱ 03:23발표자는 개인의 얼굴이나 생체 정보를 컴퓨터에 저장하지 않으며, 저장되는 모든 정보는 암호화되어 있다고 설명합니다. 사람들의 얼굴 데이터를 보관하는 것은 허용되지 않기 때문에 데이터셋에서도 얼굴은 보여 줄 수 없고, 이를 확인하고 판단하는 역할은 보안 담당자에게 있다고 말합니다.

절도가 발생하면 보안 팀에 알림이 전달되며, 발생한 절도 사건의 목록도 대시보드에서 확인할 수 있습니다. 다만 이 목록에 등장하는 인물은 데이터 수집을 위해 연기하는 사람들이라고 덧붙입니다.

⏱ 04:01발표자는 카메라에서 절도 알림까지 이어지는 전체 구조를 'Night Watch Shop OS'라고 소개합니다. 가장 가벼운 모델은 YOLO11n-pose이며, 사람과 신체 주요 지점을 감지해 자세 맵을 만들고 머리 위치 블러 처리도 지원합니다. 작은 GPU에서도 실행할 수 있다는 점이 장점으로 꼽힙니다.

다음 단계는 4초 단위의 윈도우로 의심스러운 움직임을 판단하는 구성입니다. 여기서는 사람마다 17개의 신체 포인트를 모두 활용해 절도 점수를 산출하는 방식으로 설명합니다. ByteTrack은 별도의 AI 모델이 아니라 사람마다 일관된 ID를 유지하는 추적 알고리즘입니다. 필요하면 얼굴을 점으로 표시하는 가벼운 얼굴 추적 모델도 함께 쓸 수 있다고 합니다.

⏱ 06:13발표자는 이 시스템의 가장 큰 장점으로 낮은 운영 비용을 꼽으며, 그 핵심을 VLM 검증 단계로 설명합니다. 예를 들어 20시간짜리 영상 전체를 Gemini 2.5 Flash 같은 대형 모델에 넣으면 비용이 너무 커지므로, 먼저 절도 관련 패턴을 찾는 경량 모델 조합으로 걸러냅니다. 이후 사건 전후의 클립을 생성합니다.

클립에서 10~20개 정도의 프레임만 추출해 VLM에 보내면, VLM이 물건을 실제로 가져갔는지 단순한 오해였는지를 판별합니다. 오작동으로 확인된 클립은 모델 재학습에 활용하고, 실제 절도로 판단된 경우에는 사람이 검토해 개입할지, 물건을 가져가게 둘지를 결정합니다.

⏱ 08:30발표자는 화면의 추론이 미리 렌더링된 것이 아니라 실시간으로 이루어지고 있다고 강조합니다. 로컬 M1 Max 환경(32GB RAM)에서 구동 중이며, 프레임 처리 속도는 초당 20~30프레임 수준입니다. VPS에서는 성능에 따라 속도가 낮아질 수 있다고 덧붙입니다.

이런 기술은 이미 대기업에서도 쓰이고 있지만, 지금이 도입하기 좋은 시기라고 주장합니다. 과거에는 구축 비용이 수만 달러였고 정확도도 70~80%에 그쳤으나, AI의 도움으로 구축이 쉬워지고 비용이 낮아졌다고 설명합니다. 프로젝트의 GitHub 저장소는 커뮤니티에 공개할 예정이라고 안내하며, 영상 후반의 교육과 상담 안내는 홍보성 내용으로 자막에서 구체적인 수익 근거는 제시되지 않습니다.