[Depth camera] 이론
우리가 아는 Depth camera에는 크게 3가지 방식이 있다.
첫째, Streo 방식
둘째, ToF 방식
셋째, Lidar 방식
오늘은 위 세가지 방식들의 원리 및 장단점에 대해 공부하고 정리하려한다.
정리에 앞서 카메라 좌표계 시스템을 먼저 정의해야 할 것 같아서 정리하고 넘어가려 한다.
영상 geometry는 카메라 캘리브레이션, 스테레오 매칭 등 다양한 분야에 있어서 가장 기본이 되는 요소로서 geometry에 대한 이해 없이는 카메라의 동작방식을 제대로 이해할 수 없다.
0. 좌표계
영상 geometry에는 크게 4가지 좌표계가 존재한다.
- 월드좌표계
- 카메라좌표계
- 정규좌표계
- 픽셀좌표계
월드좌표계와 카메라 좌표계는 3차원 좌표계이고
정규좌표계와 픽셀좌표계는 2차원 좌표계이다.
0.1 월드 좌표계(World Coordinate System)
월드 좌표계는 우리가 물체의 위치를 표현할 때 기준으로 삼는 좌표계인데 우리가 임의로 잡아서 사용하는 좌표계이다.
예를들어, 방 한쪽 모서리를 (0,0,0) 원점으로 잡으면 한쪽 벽면을 x축 다른쪽 벽면을 y축 천장 방향을 z축으로 잡을 수 있다.
1. Streo 방식
인간의 눈은 동일한 물체를 바라보더라도 왼쪽눈과 오른쪽눈에 맺히는 물체의 상의 위치가 차이가 난다. 이를 양안시차라고 하는데 인간의 뇌는 이런 양안시차를 이용해 깊이를 인지합니다.
유사하게, Streo방식 깊이 카메라는 이러한 양안시차의 원리를 이용합니다. streo 깊이 카메라에서 이를 streo disparity라고 하는데 앞으로 streo disparity라는 용어로 통일하겠습니다. 사람의 눈과 같이 수평으로 배치된 두개의 렌즈를 이용하여 동일한 물체를 촬영하면 위 그림 1과 같이 왼쪽 렌즈에서 촬영한 물체와 오른쪽 렌즈에서 촬영한 물체의 상은 이미지 상에서 다른 픽셀에 투영되게 됩니다.
그림1과 같이
카메라의 Disparity는
streo 정합을 위한 두 이미지(left, right image)에서 객체의 위치 상의 차이를 말한다.
camera의 disparity는 왼쪽 이미지에서 물체 상의 위치와 오른쪽 이미지에서 물체 상의 위치 차이를 이용해 disparity를 계산한다.