Ultralytics YOLO와 Google LiteRT: 한 번 내보내고 어디서나 배포하기

Ultralytics와 Google LiteRT 담당자가 YOLO 모델을 한 번 내보내 여러 기기에서 실행하는 방법을 소개한다. LiteRT의 변화, 기기 내 실시간 AI 사례, GPU와 NPU 지원 확대가 주요 내용이다.

⏱ 00:00이번 세션은 Ultralytics 팀과 파트너가 최근 출시 소식, 협업, 진행 상황을 함께 나누는 라이브 방송이다. 진행자 Glenn은 Ultralytics 창업자로, 입자물리 연구에서 출발해 객체 탐지를 실제 응용과 오픈소스로 넓혀 온 배경을 설명했다.

게스트 Chintan Periq은 Google의 온디바이스 AI 런타임 LiteRT의 리드 프로덕트 매니저다. 그는 이전에 Google Tensor 칩의 제품 전략을 맡아 하드웨어 관점의 경험도 갖고 있다고 소개되었다.

⏱ 03:01발표는 LiteRT의 배경과 TF Lite에서 이어진 역사, 다양한 기기에서 가속 런타임을 쓰는 이점을 다루는 것으로 시작한다. 이어서 최신 YOLO 모델을 학습해 안드로이드 기기에 몇 분 안에 배포하는 라이브 데모가 진행된다.

Glenn은 라이브 데모가 위험 부담이 큰 시도라고 미리 밝혔다. 마지막으로 실제 사용 사례를 살펴보고 시청자 질의응답으로 마무리하기로 했다.

⏱ 04:12모델을 노트북에서 잘 돌렸더라도 브라우저, IoT 기기, 자동차, AI PC의 NPU로 옮기려면 플랫폼마다 다른 툴체인을 다뤄야 한다. 이 세션에서는 YOLO를 LiteRT 형식의 파일 하나로 한 번의 명령으로 내보내 여러 플랫폼에서 실행하는 방식을 강조했다.

TF Lite는 CPU 중심의 레거시 런타임이었지만, LiteRT는 생성형 AI 대응, NPU와 GPU 가속 강화, PyTorch와 JAX 등 여러 프레임워크 모델 변환을 지원하도록 확장되었다. 기존 interpreter API와 .tflite 파일 형식도 그대로 쓸 수 있어 단계적으로 옮겨 갈 수 있다.

⏱ 07:00YouTube Shorts의 실시간 효과, Google Meet의 배경 흐림과 가상 배경, Photos의 사진 편집 모델이 모두 기기 안에서 실행되는 사례로 소개되었다. 배경 분할처럼 초당 30프레임 수준의 반응성이 필요한 기능은 서버를 거치지 않는 것이 지연을 줄이는 데 유리하다.

기업 입장에서도 연산을 서버에서 사용자 기기로 옮기면 서버 비용을 늘리지 않고 서비스를 확장할 수 있다. 네트워크로 데이터를 보내지 않아 개인정보 측면의 이점도 있다고 강조되었다.

⏱ 09:20LiteRT의 새 GPU 엔진은 ML Drift라는 이름으로 오픈소스가 되었고, OpenCL, OpenGL, Metal, WebGPU를 지원한다. 개발자가 커스텀 연산을 추가하거나 특정 GPU에 맞게 최적화하기 쉬워졌다고 설명되었다.

Ultralytics도 저장소에 풀 리퀘스트를 제출하는 등 양쪽이 서로 기여하는 구조를 소개했다. 새 하드웨어가 출시되면 런타임이 빠르게 대응해 앱이 새 GPU 기능을 바로 활용할 수 있다는 점도 강조되었다.

NPU 지원은 모바일의 Qualcomm, MediaTek, Google Tensor, Exynos와 PC의 Intel까지 확대되었다.