METHOD AND APPARATUS FOR RESTORING MOTION-BLURRED IMAGE

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

이하, 본 발명의 바람직한 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.

도 1은 일반적인 모션 궤도 생성 과정(Motion trajectory generation process)을 도시한 도면이다.

도 1에 도시된 바와 같이, 카메라의 노출 기간 동안, 내장 센서가 카메라의 흔들림에 의한 K개의 다른 자세(x_k, y_k, k=1,...,K)를 샘플링하는 경우, 3축 객체 공간상에서 객체 포인트는 2차원 상의 K개의 다른 위치로 투사된다.

보다 상세하게, 다음의 수학식 1과 같이 이미지 평면(Image plane)상에서 이미지 포인트는 Homogeneous 벡터에 의해 객체 포인트와 연관된다.

수학식 1

여기서, 는 k번째 카메라의 투사 매트릭스를 나타낸다.

만일 모션 궤도가 공간불변 방식으로 생성된다면, 이미지 평면에서 K 포인트들은 다음과 같이 이에 상응하는 모션 블러의 점확산함수(point-spread-function: PSF)를 생성한다.

수학식 2

임의의 좌표 m,n에 대하여 점확산함수 h(m,n)은 x_k, y_k만큼 이동된 임펄스 함수(impulse function) 의 합으로 정의된다.

주어진 공간불변 점확산함수에서, 모션 블러의 이미지 열화 모델(image degradation model)은 다음과 벡터-매트릭스 형태로 주어진다.

수학식 3

여기서, g는 모션 블러 이미지, H는 열화 매트릭스, f는 모션 블러가 없는 이상적인 이미지이고, 은 가산 노이즈이다.

이미지 사이즈가 이라 할 때, g, f 및 은 사전식(lexicographically) 차수 벡터로 표현되고, H는 점확산함수에 의해 정의되는 의 블록 순환 매트릭스(block circulant matrix)이다.

본 발명의 일 실시예에서는 내장 센서를 이용하여 모션 궤도를 분석하고, 투사 매트릭스를 계산한다.

모션 점확산함수를 추정하기 위해, 각 장면(scene)의 포인트들은 투사 매트릭스에 따라 이미지 평면으로 투사된다.

이하에서는 카메라 모션 추적을 이용한 점확산함수의 추정을 설명한다.

모션 점확산함수의 사이즈 및 모양을 추정함에 있어 단지 카메라의 상대적인 위치만이 필요하다.

이는 상기한 수학식 2에 나타난 바와 같이, 점확산함수가 카메라의 움직임에 따른 첫 번째 위치에서 마지막 위치까지의 반사된 밝기(reflected intensities)의 총합이기 때문이다.

각 카메라의 위치는 이미지 평면에 투사되고, planar homography를 이용하여 다음과 같이 표현될 수 있다.

수학식 4

여기서, C는 카메라의 고유(intrinsic) 매트릭스, R은 회전(rotation) 매트릭스, d는 장면 뎁스(scene depth), t는 변환 벡터(translation vector), n_v는 이미지 평면에서 정규 벡터이다.

모션 궤도 및 카메라 이동(translation) 사이의 관계가 도 2에 도시되고, 이미지 평면에서 모션 궤도 는 수학식 5에 의해 계산된다.

수학식 5

여기서, 및 는 각각 초점 거리(focal length) 및 카메라의 이동을 나타낸다.

만일, 장면 뎁스가 초점 거리보다 충분히 큰 것으로 가정할 때, 모션 궤도는 무시될 수 있다. 이러한 이유 때문에, 카메라 이동은 장면 뎁스가 큰 조건 하에서는 모션 점확산함수에 영향을 미치지 않는다. 따라서 수학식 4는 아래와 같이 간략화된다.

수학식 6

카메라 좌표는 카메라의 광학 축에 놓여진 글로벌 좌표에서 정렬된 것으로 가정된다.

이러한 상황에서, 카메라 매트릭스 C는 아래의 식과 같이 초점 거리에 의해 결정된다.

수학식 7

작은 각도 근사(small-angle approximation) 및 공간불변 모션 블러를 이용한 회전 매트릭스는 다음 식을 통해 계산된다.

수학식 8

여기서, 및 는 x축 및 y축 주변의 i번째 각속도를 나타낸다.

여기서, 작은 에 대해 이므로 투사 매트릭스는 다음과 같이 표현될 수 있다.

수학식 9

본 발명의 일 실시예에 따르면, 도 3에 도시된 바와 같이, 카메라의 모션에 따른 각속도 추정을 위해 자이로 데이터를 이용하고, 이미지 평면 상에서 이에 상응하게 투사된 위치(투사 궤도)를 계산한다.

이상적인 조건 하에서, 투사된 궤도는 카메라 모션의 점확산함수와 같다.

그러나, 자이로 데이터는 실제 환경에서는 노이즈를 포함한다. 보다 상세하게, 노이즈가 있는 자이로 데이터는 이미지 평면 상에서 투사된 위치와 실제 점확산함수 샘플 사이에 잘못된 매칭을 초래한다.

노이즈를 포함하는 자이로 데이터를 이용하여 점확산함수의 강인한 추정을 위해, 본 실시예에서는 투사된 궤도가 가우시안 분포를 따르는 것으로 가정한다.

그 결과, 투사된 궤도는 가우시안 분포의 합으로 구성된다.

수학식 10

도 4a에 도시된 바와 같이, 결과적으로 카메라 모션의 점확산함수는 가우시안 분포를 이용하여 재가중화된(reweighted) 궤도의 누적이 된다.

도 4b에 도시된 바와 같이, 가우시안 분포는 고정된 카메라의 자이로 데이터의 분석에 의해 추정된다.

본 발명에서, 블러 프레임과 동기화된 자이로 데이터를 얻기 위해, C. Jia and B. Evans, “Probabilistic 3-D motion estimation for rolling shutter video rectification from visual and inertial measurements,” in Proceedings of the IEEE 14th International Workshop onMultimedia Signal Processing(MMSP ’12), pp. 203-208, September 2012.에서 제안된 Sensor Data Logger를 사용한다.

자이로 데이터 및 이에 상응하는 블러 프레임은 타임스탬프되고, 셔터의 열림 및 닫힘 시간 모두는 지연을 분석하기 위해 기록된다.

이하에서는 국부 통계를 이용하여 공간 적응적(가변적)으로 이미지를 복원하는 과정을 설명한다.

모션 점확산함수가 추정되면, 모션 블러가 있는 이미지의 복원이 간단해 진다.

최근 많은 이미지 복원 방법이 이미지 열화 변수의 다양한 타입을 제거하기 위해 제안되고 있다 이미지 복원은 불량조건문제이기 때문에 규격화된 솔루션은 종종 복잡한 계산을 요구한다.

원하지 않는 아티팩트 없이 모션 블러를 제거하기 위해, 본 실시예에 따른 이미지 복원 방법은 아래의 식으로 정의되는 에너지 함수를 최소화하는 국부 통계를 이용하여 표현된다.

수학식 11

여기서, 은 유클리디언 놈(norm)이고, ""은 element-wise multiplication 연산자이고, 은 공간 가변 액티비티 맵이고, C는 하이패스필터이고, 는 각각 수평 및 수직 정규화(regularization) 변수이고, D₁ 및 D₂는 각각 수평 및 수직 미분 연산자이다.

만일 추정된 f가 링잉(ringing) 또는 노이즈 증폭과 같은 아티팩트를 가진다면, D₁f는 뚜렷한 전이(sharp transition)를 가지고, 이에 따라 는 커지게 된다.

최소화 문제의 해는 아래와 같이 수학식 11의 미분을 0으로 만드는 식을 풀어서 얻어진다.

수학식 12

수학식 13

수학식 14

링잉 아티팩트는 엣지 및 경계 근처에서 나타나기 때문에, 엣지가 유지되는 동안 공간 적응적 액티비티 맵이 링잉 아티팩트를 제거하기 위해 사용된다.

수학식 15

여기서, 은 입력 이미지에서 (x,y) 이웃의 국부적 분산을 나타내고, p_t는 액티비티 맵이 가능한 [0,1]에 분포되도록 조절 가능한 변수이다.

본 실시예에서는 국부적 분산을 위해 5×5 블록에 대해 가장 좋은 p_t=1500이 경험적으로 사용되었다.

매트릭스 T는 수학식 13에서와 같이 공간 불변 모션 점확산함수를 위한 블록-순환(block circulant)이기 때문에, 수학식 12에서 선형식은 2차원 이산 퓨리에 변환을 이용하여 풀어질 수 있다.

여기서,, , , 및 은 추정된 이미지, 관측 이미지, 점확산함수, 미분 필터, 액티비티 맵 및 하이패스 필터의 이산 퓨리에 변환들이다. 따라서, 복원 문제는 다음과 같이 주어진다.

수학식 16

여기서 복원 이미지 은 의 역 이산 퓨리에 변환이다.

한편, 본 발명의 실시예에 따른 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현될 수 있다.

본 발명의 일 실시예에 따른 모션 블러 이미지 복원 장치는 프로세서 및 메모리를 포함할 수 있다.

프로세서는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다.

메모리는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리(502)는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.

이와 같은 메모리(502)에는 프로세서(500)에 의해 실행 가능한 프로그램 명령어들이 저장된다.

메모리에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.