APPARATUS AND METHOD FOR ESTIMATING HAND POSITION UTILIZING HEAD MOUNTED COLOR DEPTH CAMERA, AND BARE HAND INTERACTION SYSTEM USING SAME

이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.

본 발명에 따른 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치는 도 1에 도시된 바와 같이, 사용자의 머리에 착용되어, 전방을 영상 촬영하는 컬러-깊이 카메라를 장착하고, 공간 정합된 증강현실 영상을 사용자에 제공하는 착용형 디스플레이(10), 컬러-깊이 카메라에서 획득한 깊이맵 영상으로부터, 손 객체를 분리하는 손 객체 분리부(20), 현실 공간에서의 손 위치를 계산하여 가상 손 모델을 사용자 손 위치에 정합하여 손 위치를 획득하는 손 위치 획득부(30) 및 사용자의 손의 동작에 따라 가상 3D 객체를 선택하고 조작하는 객체 조작부(40)를 포함한다.

도 2는 사용자 착용형 카메라 이외에 별도의 추가적인 센서 장치 없이, 손 위치를 추적하여, 착용형 AR 환경에서 맨손으로 가상 3D 개체를 선택하고 조작할 수 있도록 하는 본 발명에 따른 손 위치 추정 장치의 주요 특징을 나타내는 도면으로, (a) 사용자는 근/원거리의 컬러-깊이 카메라 (RGB-Depth camera) 가 장착된 착용형 디스플레이(10)를 착용하고 있다. (b) 카메라 좌표계를 기준으로 손의 3D 특징을 추출한다. (C) 가상 손이 AR 공간의 기준 좌표계를 기준으로 렌더링한다. (d) 손으로 가상 3D 객체를 선택하고 조작할 수 있다.

도 3은 본 발명에 따른 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치를 이용한 손 위치 추정 방법의 흐름을 나타내는 것으로 착용형 디스플레이(10)에 장착된 RGB-D 카메라(11, 12)의 쌍이 색상 및 깊이 맵 이미지를 획득한 후, 카메라 좌표계를 기준으로 손 객체를 분리한다. 그리고 AR 공간의 로컬 참조 좌표계 (Local reference coordinates) 를 기준으로 가상 손 모델을 사용자의 손 위치에 정합한다. 주먹을 쥐거나 펴는 제스처를 인식하여 가상 객체를 선택하고 해제하는 등의 이벤트를 발생시킨다.

도 4에 도시된 일실시예와 같이, 상기 착용형 디스플레이(10)에는 근거리 깊이 카메라(11) 및 장거리 깊이 카메라(12)가 결합되어 있으며, 상기 근거리 깊이 카메라(11)는 손을 감지하고, 장거리 카메라는 환경으로부터 카메라 쌍의 위치를 알아내고, 물리적인 세계와 가상세계 사이의 스케일 정보를 보정하는데 사용된다. 다양한 거리로 깊이 측정이 가능한 카메라가 개발된다면, 본 발명에서 사용하는 2개의 카메라 시스템은 1개로 단일화될 수 있다.

상기 근거리 깊이 카메라(11)는 손 트래킹에 사용되며, 상기 원거리 깊이카메라(12)는 환경으로부터 카메라 쌍의 위치를 획득하고, 현실과-가상 공간내의 스케일 파라미터를 보정하기 위해서 사용된다.

상기 손 객체 분리부(20)는 도 5에 도시된 바와 같이, 상기 컬러-깊이 카메라에서 획득한 깊이맵 영상으로부터 손 객체를 분리하며, 분리된 손 객체 영상의 노이즈를 제거하고, 최대 크기의 윤곽 (Contour)을 획득하는 윤곽 획득부 및 거리 변환 (Distance transform)를 수행하여, 가장 높은 강도를 가지는 화소의 픽셀 좌표를 손바닥의 중심 위치로 정의하는 거리 변환부를 포함한다.

즉, 상기 손 객체 분리부(20)는 도 6에 도시된 개념도와 같이, 상기 컬러-깊이 카메라(11, 12)에서 획득한 깊이맵 영상으로부터, 손 객체를 분리할 때, 영상의 노이즈 (Jitter)를 감소시키기 위한 이미지 침식 등을 작업을 수행한 후, 최대 크기의 윤곽 (Contour)을 얻는다. 그리고 거리 변환 (Distance transform)를 수행 하여, 가장 높은 강도를 가지는 화소의 픽셀 좌표를 손바닥의 중심 위치로 정의한다.

그 다음, 상기 손 위치 획득부(30)으로 사용자 손의 위치를 획득하며, 본 발명에 따른 손 위치 획득부(30)는 이미지 좌표계로부터 카메라 좌표계로 손의 픽셀 좌표를 역투영(Back projection)하여 카메라 좌표계를 기준으로 손의 3차원 위치를 계산하고, SLAM 기반의 카메라 추적 방법으로 손 위치를 추적하는 손 좌표 획득부 및 로컬 좌표계에 대한, SLAM(Scanning Laser Acoustic Microscope) 기반의 가상 카메라의 거리와 깊이 카메라의 거리의 비율을 계산하여 현실 공간에서의 손 위치를 계산하여 가상 손 모델을 사용자 손 위치에 정합하는 손 정합부를 포함한다.

이를 보다 자세히 설명하면 도 6에 도시된 바와 같이, 카메라 좌표계를 기준으로 손의 3차원 위치 P_c=[X_c, Y_c, Z_c]를 계산한다. 이를 위해서 이미지 좌표계로부터 카메라 좌표계로 손의 픽셀 좌표를 역투영 (Back projection) 한다 ( 수학식 1 및 수학식 2 ). 여기서, K는 카메라 보정 (Camera calibration)를 통해 사전에 알고 있다. 그리고 이미지 좌표계에서의 손의 픽셀 좌표는 앞서 수행했던 손 객체 인식으로부터 알 수 있다. 깊이 정보인 Z_c는 깊이 맵 이미지의 픽셀 값으로 알 수 있다.

수학식 1

수학식 2

그 다음 수학식 3 과 같이, P_c을 SLAM 기반의 카메라 추적 방법으로 얻은 카메라 자세 행렬을 역으로 곱하여, 환경의 로컬 참조 좌표계로 손의 좌표를 이동시킬 수 있다. 그러나 그 좌표의 스케일은 SLAM의 스케일에 의존하고 있어, 깊이 카메라를 기준으로 획득한 손 좌표의 스케일(mm 단위)과는 다르다.

수학식 3

따라서 두 공간의 스케일을 일치시키기 위해서 스케일 비율 λ를 계산한다. 도 7에 도시된 바와 같이 로컬 좌표계 (T_Origin)에 대한, SLAM 기반의 가상 카메라의 거리와 깊이 카메라의 거리 (mm 단위)의 비율을 다음 수학식 4로 계산한다.

수학식 4

그 결과 환경(현실 공간)에서 손 위치 P_w를 계산할 수 있고, 도 8 및 도 9에 도시된 바와 같이, 환경에 정합된 가상 객체들을 손으로 조작할 수 있다. 그리고 사용자의 손은 수학식 5와 같이 다양한 가상 손 맵핑 방법에 의해 다양한 위치 P_v로 확장될 수 있다.

수학식 5

이러한 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치를 이용한 맨 손 상호작용 시스템을 설명하면 다음과 같다.

머리 착용형 컬러 깊이 카메라를 활용한 맨 손 상호작용 시스템은 컬러-깊이 카메라를 통해 촬영된 영상에서 카메라 좌표계를 기준으로 손의 3D 특징을 추출하고 AR 공간의 로컬 참조 좌표계를 기준으로 가상 손 모델을 사용자의 손 위치에 정합하여 제공하는 손 위치 추정 장치부 및 상기 손 위치 추정 장치부와 연결되어, 사용자의 시각적 거리를 인지하여 상호작용 피드백을 제공하는 거리 인지 피드백부를 포함한다.

상기 손 위치 추정 장치부의 구성은 상기에서 설명하였으므로 추가적인 설명은 생략하도록 한다.

다만 본 발명에 따른 맨 손 상호 작용 시스템에 있어서, 상기 착용형 디스플레이(10)에 장착된 컬러-깊이 카메라(11, 12) 중 상기 근거리 카메라(11)는 손의 3D 점 군들을 획득하여, 가림효과나 반투명 렌더링을 하는데 사용되며, 상기 원거리 깊이 카메라(12)는 환경의 3D 점 군들을 획득하여, 그림자나 가림 효과를 생성하는데 사용된다.

본 발명에 따른 맨 손 상호 작용 시스템에 있어서, 시각적 피드백은 단일 시점 (monocular) 디스플레이에서 정확한 깊이 인식을 하는데 중요하다, 예를 들어, 도 10의 왼쪽처럼 아무런 시각 피드백을 제공하지 않으면, 손 뒤에 있는 가상 객체가 손 위에 있는 것처럼 보이기 때문에 깊이 인식에 어려움이 있다. 이러한 문제를 해결하기 위해서 손 깊이 맵으로부터 획득한 3D 점군들을 투명하게 렌더링하여 손 뒤에 있는 가상 객체를 가릴 수 있다. 하지만, 도 10의 오른쪽처럼 가상 객체들이 가려져서 위치를 확인하기 어렵다.

따라서, 본 발명은 상기 거리 인지 피드백부(60)를 통해 깊이 인식을 향상하기 위해서 손의 시각적 표현을 개선하고, 환경에 대한 시각적 피드백을 추가하였다.

상기 거리 인지 피드백부(60)는 도 11에 도시된 바와 같이, 사용자의 손 뒤의 대상 객체를 표시하는 반투명 복셀 렌더링부(61), 투명한 복셀 렌더링을 통해, 벽 또는 물리 객체 뒤에 가상 물체를 가리는 투명 복셀 렌더링부(62) 및 회색의 복셀 렌더링을 통해 그림자 효과를 제공하는 회색 복셀 렌더링부(63)를 포함한다.

즉, 손 시각화와 관련하여, 가상 객체가 손의 위치 근처에 있다면, 깊이 테스트에 따라 손 가림 효과가 자연스럽게 이뤄지도록 하였다.

그러나 가상 객체가 원거리에 있는 경우, 사용자가 가상객체를 선택하였을 때, 상기 반투명 복셀 렌더링부(61)을 통해 손을 반투명하게 시각화하여 손에 의해 가려지는 객체의 영역이 약간 어둡게 보일 수 있도록 하였다. 이렇게 하면 가상 객체가 손 뒤에 있는지 앞에 있는지 알 수 있으며, 손에 의해 가려지는 객체의 위치도 확인할 수 있다.

도 12는 본 발명의 일 실시 예에 따른 머리 착용형 디스플레이 기반 증강현실 환경에서 맨 손 상호작용 시 사용자의 시각적 거리 인지 향상 방법에 있어서, 깊이 인지 향상을 위한 시각적 피드백 관련 화면 예시도이다.

도 12에 도시된 바와 같이, 상기 투명 복셀 렌더링부(62)는 환경의 가림효과를 생성하기 위해 원거리 깊이 카메라에서 얻은 3 차원 점 군을 이용한다. 환경에 투명한 복셀 렌더링을 통해, 벽 또는 물리 객체 뒤에 가상 물체를 자연스럽게 가릴 수 있다.

본 발명에 있어서, 상기 회색 복셀 렌더링부(63)의 환경의 그림자 효과는 앞선 투명 복셀의 색상을 변경하는 방법으로 생성하며, 이것은 조작 객체의 형태를 5 개의 면 (정면, 위, 아래, 왼쪽, 오른쪽) 에 투영하여 실시간으로 생성한다.

또한 정밀한 조작을 위해 가상의 가이드라인 선들이 조작 객체의 위치를 기준으로 렌더링한다. 가이드 라인들 역시 착용형 AR 공간의 5개의 면에 수평 방향과 수직 방향으로 연결한다.

도 13은 본 발명의 일 실시 예에 따른 머리 착용형 디스플레이 기반 증강현실 환경에서 맨 손 상호작용 시 사용자의 시각적 거리 인지 향상 방법에 있어서, 반 투명 회색 그림자 및 가이드 라인 관련 화면 예시도이다.

본 발명은 사용자가 가상 객체를 선택하였을 때, 손을 반투명하게 시각화하여 손에 의해 가려지는 객체의 영역의 색상을 변화시킨다.

이로 인해, 가상 객체가 손 뒤에 있는지 앞에 있는지 알 수 있으며, 손에 의해 가려지는 객체의 위치도 확인할 수 있다.

도 14은 본 발명의 일 실시 예에 따른 머리 착용형 디스플레이 기반 증강현실 환경에서 맨 손 상호작용 시 사용자의 시각적 거리 인지 향상 방법에 있어서, 환경 가림 효과 관련 반투명한 손 렌더링에 관한 예시도이다.

이처럼 본 발명은 사용자가 머리 착용형 디스플레이를 착용한 증강 현실 환경에서 맨손으로 가상 3D 객체를 조작할 때, 거리 인지 향상을 위한 시각적 피드백을 제안한다. 손 뒤의 대상 객체를 자연스럽게 보여주기 위해 사용자의 손을 반 투명한 복셀로 렌더링하는 방법, 환경의 자연스러운 가림효과를 위한 투명한 복셀 렌더링, 그리고 그림자 효과를 위한 회색의 복셀 렌더링을 제안한다.

상기와 같이 본 발명에 따른 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템에 관한 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.