핀홀 카메라 모델 유도 - 로보틱스를 위한 컴퓨터 비전

카메라 픽셀을 로봇 베이스 기준 장면 좌표로 되돌리는 핀홀 모델을 처음부터 유도한다. 이미지 중심 기준 투영 관계, 광선 벡터, 물체 높이를 이용한 깊이 복원, 좌표 변환 순으로 정리된다.

⏱ 00:02강의는 카메라 이미지의 픽셀을 장면 좌표로 매핑하는 가장 단순한 방법인 핀홀 카메라 모델을 처음부터 유도한다고 밝힌다. 이 모델은 ROS 2 기반 픽 앤 플레이스 튜토리얼의 기초이며, 물체 위치를 계산하는 데 쓰인다고 설명한다.

⏱ 01:32Gazebo 시뮬레이션에서 UR 로봇과 카메라, 분홍색 물체를 보여준다. 카메라 영상에서 상자와 원통을 인식하고, 핀홀 모델로 중심점과 집기 방향을 계산해 MoveIt C++ 플래너로 보내는 흐름을 소개한다.

강연자는 이 픽 앤 플레이스 작업이 핀홀 모델 없이는 불가능했을 것이라고 말하며, 이 모델이 컴퓨터 비전의 여러 알고리즘에서 기초가 된다고 강조한다.

⏱ 03:06목표는 관찰된 픽셀로부터 로봇 베이스 기준 장면 좌표의 X, Y를 계산하는 것이다. 이미지는 픽셀 격자로 표현되며, 각 픽셀은 카메라 좌표계의 좌표를 가진다.

카메라가 깊이를 직접 측정할 수 없다고 가정하고, 테이블 높이와 물체 윗면의 Z 좌표는 알고 있다고 둔다. 로봇은 설명을 위해 두 링크와 두 관절로 단순화한다.

⏱ 07:27카메라 중심 C, 물체 점 P, 이미지 평면의 점 S를 기준으로 투영 관계를 그린다. 핀홀을 통과하는 빛의 입사각과 출사각이 같다는 점을 이용해 두 삼각형을 만든다.

이미지 중심을 원점으로 하는 좌표계와 오른쪽 상단을 원점으로 하는 픽셀 좌표계를 구분한다. 초점 거리 F는 카메라 고유 특성이며, 이 값이 투영 비례 관계의 핵심이라고 설명한다.

⏱ 13:04한 삼각형에서는 탄젠트 값이 ZCP를 XCP로 나눈 값이고, 다른 삼각형에서는 이미지 좌표 차이를 F로 나눈 값이다. 좌표 방향 때문에 한 식에 마이너스 부호가 붙는다.

두 식을 결합하면 ZCP와 YCP를 이미지 픽셀 차이와 F로 표현할 수 있다. 그러나 XCP, 즉 깊이는 카메라로 얻을 수 없어 미지수로 남는다는 점을 짚는다.

⏱ 17:59XCP를 1로 두면 이미지에서 얻은 값만으로 구성되는 광선 벡터 D를 정의할 수 있다. 이 벡터는 이상적인 핀홀 가정에서 물체가 놓인 방향을 나타낸다.

카메라 프레임의 D를 동차 변환의 회전 부분 행렬로 베이스 프레임에 옮긴다. 강연자는 이 행렬이 벡터를 회전시키는 것이 아니라 같은 벡터를 다른 좌표계에서 표현하는 변환이라고 구분한다.

⏱ 22:12점 P를 카메라 중심 Q와 광선 방향 벡터의 합으로 쓰고, 광선 방향이 D와 같은 직선에 있으므로 스칼라 T를 곱해 P = Q + T·DB 형태를 얻는다. 물체 높이로 P의 Z 성분을 알면 이 식의 Z 성분에서 T를 구할 수 있다.

T를 구하면 P의 X, Y 성분을 추출해 물체의 장면 위치를 얻는다. 강연 마지막에는 영상 촬영, 광선 벡터 계산, 좌표 변환, 위치 계산의 순서로 전체 과정을 요약하고 다음 강의에서 ROS 2와 C++ 구현을 다룬다고 예고한다.