ROS2·Gazebo·MoveIt2·OpenCV 기반 로봇 픽 앤 플레이스 구현

ROS2 Jazzy, Gazebo, MoveIt2, OpenCV를 결합해 카메라 기반으로 물체를 인식하고 집어 옮기는 시뮬레이션을 C++로 구현하는 강의입니다. 카메라 모델링, 핀홀 모델 유도, 형상과 방향 인식, MoveIt2 경로 계획 순으로 진행되며 설치와 그리퍼 모델링까지 단계별로 다룹니다.

⏱ 00:00강의는 ROS2 환경에서 컴퓨터 비전으로 물체를 인식해 집어 옮기는(pick and place) 작업을 C++로 처음부터 구현하는 과정을 다룹니다. 시뮬레이터는 Gazebo이며, 영상 처리에는 OpenCV, 경로 계획에는 MoveIt2를 사용합니다.

시연에서는 카메라가 특정 자세로 이동해 장면을 촬영하고, 인식된 물체의 위치와 방향 정보를 MoveIt2에 넘겨 로봇이 물체를 집어 지정된 위치에 내려놓는 흐름을 보여줍니다. 대상 물체를 큐브에서 원기둥으로 바꾸는 것도 코드를 조금 수정하면 가능하다고 설명합니다.

⏱ 00:34로봇 팔은 UR 시리즈 모델을 사용하고, 손끝에는 직접 설계한 그리퍼를 결합합니다. 카메라는 보라색 객체로 모델링되어 장면 영상을 제공합니다.

전체 흐름은 카메라가 영상을 찍고, 컴퓨터 비전 알고리즘이 물체를 인식한 뒤 위치와 방향을 계산해 MoveIt2로 전달하고, MoveIt2가 경로를 계획해 실행하는 구조입니다.

⏱ 01:47멀리 있던 카메라가 로봇이 다가가면서 물체의 형상과 방향을 인식하는 장면이 이어집니다. OpenCV는 윤곽선(contour) 검출과 이진 마스크를 기반으로 상자와 원기둥 같은 형상을 구분하고, 윤곽선을 그린 뒤 질량 중심을 찾습니다.

이어서 주성분 축(principal axis)을 구해 물체의 방향을 추정하며, 이 값이 MoveIt2 쪽 동작 명령으로 전달됩니다.

⏱ 03:07강의는 로봇과 그리퍼를 합친 모델을 ROS2에서 시뮬레이션하고, MoveIt2 플래너와 제어 그룹을 설정하는 단계부터 시작합니다. 이후 Gazebo에서 MoveIt2로 로봇을 제어하고, 카메라를 모델링해 영상을 기록하고 시각화하는 과정을 거칩니다.

또한 핀홀 카메라 모델을 처음부터 유도해 영상 좌표를 실제 장면 좌표로 바꾸는 원리를 설명합니다. 이를 바탕으로 OpenCV 인식, 중심과 방향 계산, MoveIt2 기반 pick and place 노드를 C++로 작성해 Gazebo에서 전체 시뮬레이션을 실행합니다.

⏱ 06:40Ubuntu 24.04와 ROS2 Jazzy 설치를 전제로 하며, 시스템을 업데이트한 뒤 충돌을 막기 위해 기존 UR 설명 패키지를 제거하고 직접 클론합니다. robot_state_publisher, joint_state_publisher, xacro, MoveIt2 설정과 시각화 패키지, ros2_control, Gazebo 연동 패키지, cv_bridge와 image_transport, OpenCV 라이브러리 등을 차례로 설치합니다.

워크스페이스의 src 폴더에 UR 저장소를 Jazzy 브랜치로 내려받고, 그 아래에 robot_gripper 패키지를 cmake 빌드 타입으로 만들어 xacro와 UR 설명 패키지에 의존하도록 설정합니다. 이후 URDF 폴더에 그리퍼 xacro 파일을 작성해 로봇과 그리퍼를 결합한 모델을 만듭니다.