APPARATUS AND METHOD FOR SETTING FEATURE POINTS, AND APPARATUS AND METHOD FOR OBJECT TRACKING USING SAME
본 발명은 사용자가 객체의 초기 위치에 해당하는 특징점을 지정한 경우, 입력 영상에서 상기 지정된 특징점을 중심으로 미리 정해진 크기의 블록을 형성하고, 기 설정된 이동범위 내에서 상기 형성된 블록의 크기에 해당하는 블록들을 정의한 후, 상기 이동범위 내에서 정의된 각 블록을 각각 주파수 변환하여 변화도 대표값을 각각 구하고, 상기 이동범위 내에서 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 재지정하는 것에 관한 것이다. 또한, 본 발명은 입력 영상의 프레임을 미리 정해진 일정 개수의 블록으로 나누고, 각각의 블록에 대해 현재 프레임과 인접 프레임간의 SAD(sum of absolute difference)를 각각 구한 후, 각 프레임별로 인접 프레임간의 SAD들을 모두 합하여 SAD 총합을 구하고, 상기 각 프레임별 SAD 총합을 이용하여 프레임별 추적 오류값을 구한 후, 상기 추적 오류값이 가장 작은 프레임을 키 프레임으로 선정하는 것에 관한 것이다. 비디오 영상에서 특정 객체를 검출하고 이를 추적하는 기술은 보안 분야, 얼굴 인식 분야를 중심으로 발전해 왔다. 보안 시스템의 경우, 감시 구역 내에 들어오는 사람을 자동적으로 감시하기 위해서 감시 구역 내로 진입한 객체를 검출하고, 객체의 움직임을 추적하는 것이 필요하다. 일반적인 객체추적 기술로는 통상적으로 특징점을 추출하고 다음 영상에서 이러한 특징점을 추적하는 방식으로 수행된다. 특징점의 추출은 영상의 강한 edge 성분이나 corner 성분이 되는데 이런 부분은 움직임이 있더라도 그 위치가 유지되고 또한 점수화가 가능하기 때문이다. 그리고 각 특징점들은 이런 성분의 특징 때문에 모두 특징점으로의 가치를 표현하는 점수화로 표현이 된다. 자동으로 특징점을 찾는다고 하면 바로 이런 점수를 기준으로 높은 점수를 가지는 특징점을 선정하는 것이 가능하지만 수동으로 특징점을 선택한다면 이런 점수화와 무관하게 사용자에 의해 특징점이 선정이 될 수 있고, 사용자에 의해 지정된 특징점을 추적할 경우에는 오류 발생 가능성이 높아진다. 한편, 개인적으로 소장이 가능한 다양한 비디오 캠코더, 녹화기 및 비디오 재생기로부터 전문적인 기능을 담당하는 디지털 비디오 검색, 인식, 추적, 모니터링, 차단 시스템 등에서도 비디오의 대표 프레임(key frame) 추출, 하이라이트 기능 및 인덱싱 기능 등을 지원하려면 장면 전환 검출을 수행해야만 한다. 연속적인 동영상에서 특정 객체가 주어지거나 검출하였을 경우 이 객체를 연속적인 영상 내에서 최대한 동일한 객체의 형태를 찾으면서 그 형태 또는 방향 등을 추적하여 유지해 나가고자 하는 것이 객체 추적 기술이다. 일반적으로 영상내의 객체는 형태를 유지하거나 또는 변형되면서 이동 또는 움직일 수 있다. 통상적으로 카메라내 사람의 움직임 추적 등과 같은 응용분야는 그 객체의 움직임과 관련된 움직임 검출이나 움직임의 방향을 추적하며 그 형태는 중요하지 않지만 입체변환을 위한 객체의 추적은 해당 객체의 형태를 최대한 유지하여야 해당 객체를 표현하는 정확한 외곽 또는 형태를 얻을 수 있다. 따라서 일반 객체 추적 기능과는 다르게 입체 변환을 위해 특정 객체의 형태를 추적하기 위해서는 객체를 표현하는 외곽의 형태에 대해서 그 오류가 최소화되어야 한다. 일반적으로 연속적인 영상에서 객체의 움직임이 증가할수록 각 장면마다의 추적과정에서의 외곽의 형태에 대한 오류는 점점 커진다. 이하, 도 1 및 도 2를 참조하여 입체 변환을 위한 추적 오류 누적 관계를 설명하기로 한다. 도 1과 같이 단방향의 객체 움직임에 대한 추적을 고려한다면, 각 장면마다의 오류가 누적되면서 전체적인 오류의 합은 점점 증가하고, 일정 이상의 오류가 생성되면 더 이상 입체변환을 위한 추적을 할 수가 없다. 그러나, 일반적인 객체의 방향을 추적하기 위한 분야는 이런 오류와 무관하게 방향의 유무만을 알면 되기 때문에 객체의 추적에 영향을 받지 않는다. 그리고 오류를 좀 더 최소화시키기 위해서 양방향의 객체 추적을 고려하여, 도 2와 같이 7번 프레임에서 특정 객체를 추적하면서 발생되는 누적오류와 9번 프레임에서 특정 객체를 추적하면서 발생되는 누적 오류를 비교해 보면 양 방향의 총 오류의 합, 즉 그래프에서 곡선 밑면 면적의 총합은 9번 프레임이 더 작다. 즉, 일반적인 카메라의 객체 추적과 같은 경우는 어떤 경우든 객체를 찾아내고 방향의 위치를 추적하였다면 7번 프레임이나 9번 프레임에서 특정 객체를 지정하고 이를 추적하는 결과에 대해서는 같지만, 입체변환을 위한 객체의 추적에서는 9번 장면을 시작점으로 객체를 추적하는 것이 입체변환에 필요한 깊이 맵의 생성에서 오류를 줄일 수 있음으로 9번 프레임을 추적의 시작점에 해당하는 "key Frame"으로 선정하여야만 가장 합리적이다. 그러나, 상기와 같이 선정된 장면(Scene) 내에서 각 프레임마다 매번 좌, 우를 전체적으로 추적(tracking)해 보고 이렇게 해서 얻어진 오류의 총합이 작은 것을 키 프레임으로 선정하는 경우는 모든 가능한 조합을 수행하는 것으로 현실적으로 불가능한 단점이 있다. 본 발명은 전술한 단점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 수동으로 사용자가 특징점을 지정할 경우에 사용자에 의해 지정된 특징점의 주변 화소 매트릭스를 고려하여 각 블록별 변화도 대표값을 구하고, 그 변화도 대표값을 근거로 사용자에 의해 지정된 특징점을 재설정하며, 입체 변환의 관점에서 객체의 외곽선에 대한 특징점 추적의 정확도를 높일 수 있는 특징점 설정 장치 및 방법과 이를 이용한 객체 추적 장치 및 방법을 제공하는데 있다. 또한, 본 발명의 다른 목적은 각 프레임마다 추적(tracking)을 수행하지 않고 간단한 연산만으로 오류의 총합이 가장 작은 프레임을 찾아서 손쉽게 key frame을 선정할 수 있고, 객체의 움직임으로 발생하는 SAD를 오류를 추정하는 인자로 사용하여 누적오류를 최소화하는 키 프레임을 선정할 수 있는 특징점 설정 장치 및 방법을 제공하는데 있다. 전술한 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 입력 영상에 대해 사용자로부터 객체의 초기 위치에 해당하는 특징점을 지정받아 저장하는 특징점 정의부; 상기 지정된 특징점을 중심으로 미리 정해진 크기의 블록을 형성하고, 기 설정된 이동범위 내에서 상기 형성된 블록의 크기에 해당하는 블록들을 정의하는 블록 형성부; 상기 이동범위 내에서 정의된 각 블록을 각각 주파수 변환하여 변화도 대표값을 각각 구하는 변화도 대표값 계산부; 및 상기 이동범위 내에서 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 재지정하는 특징점 결정부를 포함하는 특징점 설정 장치가 제공된다. 여기서, 상기 입력 영상의 프레임을 미리 정해진 일정 개수의 블록으로 나눈 후, 각각의 블록에 대해 현재 프레임과 인접 프레임간의 SAD(sum of absolute difference)를 각각 구하는 SAD 계산부; 상기 인접 프레임간의 SAD를 모두 합하여 각 프레임별 SAD 총합을 구하는 SAD 총합 계산부; 상기 각 프레임별 SAD 총합을 이용하여 프레임별 추적 오류값을 구하는 추적 오류 계산부; 및 상기 추적 오류값이 가장 작은 프레임을 키 프레임(Key Frame)으로 선정하는 키 프레임 선정부를 더 포함할 수 있다. 한편, 전술한 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, 입력 영상에 대해 사용자에 의해 지정된 객체의 초기 위치에 해당하는 특징점의 타당 여부를 검사하여 객체의 특징점을 설정하는 특징점 설정부; 상기 입력 영상에서 각 프레임의 움직임 벡터 정보 및 잔차 신호 정보를 추출하는 영상 분석부; 및 상기 추출된 움직임 벡터 정보로부터 각 단위 블록에 대한 순방향 움직임 벡터 정보를 생성하고, 상기 추출된 잔차 신호로부터 일정 블록에 대한 픽셀 정보를 복원한 후, 상기 설정된 특징점의 위치정보, 상기 순방향 움직임 벡터 정보 및 상기 복원된 픽셀 정보로부터 각 프레임에서의 객체의 최적위치정보를 생성하는 객체 추적부를 포함하는 특징점을 이용한 객체 추적 장치가 제공된다. 한편, 전술한 목적을 달성하기 위한 본 발명의 또 다른 측면에 따르면, (a)입력영상에 대해 사용자로부터 객체의 초기 위치에 해당하는 특징점을 지정받아 저장하는 단계; (b)상기 입력영상에서 상기 지정된 특징점을 중심으로 미리 정해진 크기의 블록을 형성하고, 기 설정된 이동범위 내에서 상기 형성된 블록의 크기에 해당하는 블록들을 정의하는 단계; (c)상기 이동범위 내에서 정의된 각 블록을 각각 주파수 변환하여 변화도 대표값을 각각 구하는 단계; 및 (d)상기 이동범위 내에서 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 재지정하는 단계를 포함하는 특징점 설정 장치의 특징점 설정 방법이 제공된다. 또한, 상기 특징점 설정 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체를 제공한다. 한편, 전술한 목적을 달성하기 위한 본 발명의 또 다른 측면에 따르면, (a) 입력영상의 프레임을 미리 정해진 일정 개수의 블록으로 나누는 단계; (b) 상기 일정 개수의 각각의 블록에 대해 현재 프레임과 인접 프레임간의 SAD를 각각 구하는 단계; (c) 상기 인접 프레임간의 SAD들을 모두 합하여 각 프레임별 SAD 총합을 구하는 단계; (d) 상기 각 프레임별 SAD 총합을 이용하여 프레임별 추적 오류값을 구하는 단계; 및 (e) 상기 추적 오류값이 가장 작은 프레임을 키 프레임으로 선정하는 단계를 포함하는 특징점 설정 장치의 키 프레임 선정 방법이 제공된다. 또한, 상기 키 프레임 선정 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체를 제공한다. 한편, 전술한 목적을 달성하기 위한 본 발명의 또 다른 측면에 따르면, (a) 입력영상에 대해 사용자에 의해 지정된 객체의 초기 위치에 해당하는 특징점의 타당 여부를 검사하여 객체의 특징점을 설정하는 단계; (b) 상기 입력영상에서 각 프레임의 움직임 벡터 정보 및 잔차 신호 정보를 추출하는 단계; 및 (c) 상기 추출된 움직임 벡터 정보로부터 각 단위 블록에 대한 순방향 움직임 벡터 정보를 생성하고, 상기 추출된 잔차 신호로부터 일정 블록에 대한 픽셀 정보를 복원한 후, 상기 설정된 특징점의 위치정보, 상기 순방향 움직임 벡터 정보 및 상기 복원된 픽셀 정보로부터 각 프레임에서의 객체의 최적위치정보를 생성하는 단계를 포함하는 객체 추적 장치의 특징점을 이용한 객체 추적 방법이 제공된다. 그리고, 상기 특징점을 이용한 객체 추적 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체를 제공한다. 본 발명에 따르면, 수동으로 사용자가 특징점을 지정할 경우에 사용자에 의해 지정된 특징점의 주변 화소 매트릭스를 고려하여 각 블록별 변화도 대표값을 구하고, 그 변화도 대표값을 근거로 사용자에 의해 지정된 특징점을 재설정할 수 있다. 또한, 입체 변환의 관점에서 객체의 외곽선에 대한 특징점 추적의 정확도를 높일 수 있다. 또한, 각 프레임마다 추적(tracking)을 수행하지 않고 간단한 연산만으로 오류의 총합이 가장 작은 프레임을 찾아서 손쉽게 key frame을 선정할 수 있다. 그리고, 객체의 움직임으로 발생하는 SAD를 오류를 추정하는 인자로 사용하여 누적오류를 최소화하는 키 프레임을 선정할 수 있다. 도 1 및 도 2는 종래의 입체 변환을 위한 추적 오류 누적 관계를 설명하기 위한 도면, 도 3은 본 발명에 따른 특징점 설정 장치의 구성을 개략적으로 나타낸 블록도, 도 4는 본 발명에 따른 블록을 형성하는 방법을 설명하기 위한 도면, 도 5는 본 발명에 따른 주파수 변환된 블록을 나타낸 도면, 도 6은 본 발명에 따른 프레임간 SAD를 구하는 방법을 설명하기 위한 예시도, 도 7은 본 발명에 따른 추적하고자 하는 장면(Scene)내의 각 프레임의 SAD 총합을 나타낸 그래프, 도 8은 본 발명에 따른 프레임별 추적 오류값을 그래프로 표현한 도면, 이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다. 첨부 도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 도 3은 본 발명에 따른 특징점 설정 장치의 구성을 개략적으로 나타낸 블록도, 도 4는 본 발명에 따른 블록을 형성하는 방법을 설명하기 위한 도면, 도 5는 본 발명에 따른 주파수 변환된 블록을 나타낸 도면이다. 도 3을 참조하면, 특징점 설정 장치(300)는 특징점 정의부(310), 블록 형성부(320), 변화도 대표값 계산부(330), 특징점 결정부(340), SAD(sum of absolute difference) 계산부(350), SAD 총합 계산부(360), 추적 오류 계산부(370), 키 프레임(Key Frame) 선정부(380)를 포함한다. 특징점 정의부(310)는 입력 영상에 대해 사용자로부터 객체의 초기 위치에 해당하는 특징점을 지정받아 저장한다. 즉, 사용자는 입력 영상에서 객체의 초기 위치에 해당하는 특징점을 지정하고, 특징점 정의부(310)는 사용자에 의해 지정된 특징점을 저장한다. 여기서, 특징점은 에지 또는 코너 등을 말한다. 블록 형성부(320)는 특징점 정의부(310)에서 지정된 특징점을 중심으로 미리 정해진 크기의 블록을 형성하고, 기 설정된 이동범위 내에서 상기 형성된 블록의 크기에 해당하는 블록들을 정의한다. 즉, 블록 형성부(320)는 입력영상에서 상기 지정된 특징점을 중심으로 주변 화소들을 포함하는 임의의 블록을 형성하고, 상기 형성된 블록이 전, 후, 좌, 우로 이동 가능한 이동 범위를 설정한다. 여기서, 상기 블록의 이동 범위는 사전에 사용자에 의해 정의된 범위일 수 있다. 상기 이동범위의 설정에 의해 상기 이동범위 내에서 형성될 수 있는 블록들이 정의된다. 블록 형성부(320)가 블록을 형성하는 방법에 대해 도 4를 참조하면, 영상 내에서 특징점 (i,j)(400)가 주어지면, 블록 형성부(420)는 특징점을 중심으로 임의의 블록 block(n)(410)을 형성한다. block(n)(410)은 특징점 n에 해당하는 주변 화소를 포함하는 임의의 block이다. block(n)(410)의 특징점 좌표(i,j)(400)는 사용자가 정의한 좌표로, 이것은 사전에 정의된 움직일 수 있는 크기인 d(x), d(y)만큼 전,후, 좌, 우로 이동이 가능하다. 따라서, 최좌상단 블록(420) 및 최우하단 블록(430)은 block(n)(410)이 전후좌우로 이동 가능한 이동범위를 말한다. 결과적으로 block(n)은 (2*dx + 2*dy)만큼 움직일 수 있는 공간상의 좌표 즉, 블록의 이동범위가 정해지고, 상기 이동범위 내에는 총 (2*dx + 2*dy)개의 block(n)이 정의될 수 있다. 변화도 대표값 계산부(330)는 블록 형성부(320)에서 설정된 이동범위에서 정의된 모든 블록을 각각 주파수 변환하여 각 블록의 변화도 대표값을 각각 구한다. 상기 이동범위에 (2*dx + 2*dy)개의 블록이 정의된다면, 변화도 대표값 계산부(330)는 (2*dx + 2*dy)개의 블록 각각을 주파수 변환하고 변화도 대표값을 각각 구한다. 즉, 변화도 대표값 계산부(330)는 상기 각 블록에 대해 주파수 변환을 수행하고, 상기 주파수 변환된 블록에서 고주파 영역에 해당하는 픽셀 값들을 합하여 각 블록의 변화도 대표값을 구한다. 사용자가 지정한 (i,j)좌표의 특징점을 기준으로 움직일 수 있는 공간상에서 특징점의 가치를 부여하는 점수, 즉 특징점의 신뢰성은 해당 block(n)의 주파수 특성을 표현하는 FFT 또는 DFT 변환을 이용한다. 즉 공간상에서의 2차원 FFT(Fast Fourier Transform) 또는 DFT(Discrete Fourier Transform)는 해당 block(n)의 영상 화소의 특징에 따라서 밋밋한 단순한 영상의 경우는 도 3과 같이 왼쪽 상단의 저주파 영역에 해당하는 값들이 커지고, 변화도가 큰 경우(즉, 화소간의 변화가 큰 경우)는 오른쪽 하단의 고주파 영역에 해당하는 값들이 커진다. 주파수 영역으로 변환된 FFT 또는 DFT표에서 변화도의 강도를 표현할 수 있는 고주파 영역의 값을 이용하면 결과적으로 영상의 변화도와 비례하는 대표값을 얻을 수 있으므로, 고주파 영역에 해당하는 화소 값들의 총합을 해당 block(n)의 변화도 대표값으로 구한다. 즉, 변화도 대표값 계산부(330)는 임의 block(n)이 공간상으로 움직일 수 있는 2*dx + 2*dy 공간 즉, 이동범위 내에 정의된 각각의 블록에 대해서 변화도 대표값을 각각 구한다. 특징점 결정부(340)는 상기 이동범위 내에서 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 재지정한다. 영상간의 특징점 추적을 위한 중요한 요소는 특징점의 주변이 얼마나 다른 부분들과 차별화되어 있느냐에 큰 영향을 받는다. 즉 특징점으로 선정된 주변이 단순하게 밋밋한 영상이거나 변화가 크지 않다면(즉 변화도가 크지 않으면), 통상적으로 다음 영상에서 추적하여 구별하기가 쉽지 않고, 차별화가 가능한 특징이 있으면(즉, 화소간의 변화가 크다면) 다음 영상에서 이러한 변화된 부분과의 비교가 쉽다. 즉 변화도가 큰 부분은 그만큼 추적이 용이하고 추적 오류도 작아진다. 이러한 근거를 이유로 사용자의 의도에 따라서 특정 부분을 특징점으로 선정을 하였다면, 특징점 설정 장치(300)는 이 특징점을 사전에 설정된 이동 범위 내에서 좀더 추적이 용이한 특징점으로 재선정할 수 있다. SAD 계산부(350)는 입력 영상의 프레임을 미리 정해진 일정 개수의 블록(block)으로 나눈 후, 각각의 블록에 대해 현재 프레임과 이전 프레임간, 현재 프레임과 이후 프레임간의 SAD를 각각 구한다. 이때, 상기 블록은 N x N 크기의 블록으로, 예를 들면, 16 x 16 크기의 블록, 8 x 8 크기의 블록, 4 x 4 크기의 블록 중 어떠한 크기의 블록도 될 수 있다. 각각의 블록을 Macro Block이라고 부르며 전체 영상의 크기에 따라서 적절한 크기의 작은 블록으로 나누는데, 통상적으로 16x16 ~ 32x32 정도의 크기로 구분한다. SAD(sum of absolute difference)는 블록내의 모든 pixel의 절대 차이의 합으로, 결과적으로 프레임 간 같은 위치의 블록의 차이점을 표현한다. 따라서, SAD 값이 크다는 의미는 영상의 변화가 크다는 것을 의미한다. SAD 계산부(350)는 수학식 1을 이용하여 각 블록에 대해 현재 프레임과 인접 프레임 간의 SAD를 각각 구한다. 여기서, 인접 프레임은 현재 프레임의 이전 프레임과 현재 프레임의 이후 프레임을 말한다. 수학식 1 여기서, fn은 프레임의 number, bm은 해당 프레임의 m번째 블록, i는 해당 블록의 pixel의 순서, abs는 절대치를 의미한다. 따라서, SAD 계산부(350)는 각각의 블록에 대해 현재 프레임과 이전 프레임 간의 SAD, 현재 프레임과 이후 프레임 간의 SAD를 각각 구한다. SAD 계산부(350)가 SAD를 구하는 방법에 대해 도 6을 참조하면, 현재 프레임이 Frame(fn)이고, 이전 프레임이 Frame(fn-1), 이후 프레임이 Frame(fn+1)인 경우, SAD 계산부(350)는 각 프레임에서 동일한 위치의 블록(bm)간의 SAD 즉, 현재프레임 블럭 bm과 이전 프레임 블럭 bm간의 SAD(fn-1,bm), 현재 프레임과 이후 프레임 블록 bm간의 SAD(fn,bm)을 각각 구한다. SAD 총합 계산부(350)는 각 프레임별로 각 블록의 SAD를 모두 합하여 SAD 총합을 구한다. 즉, SAD 총합 계산부(360)는 현재 프레임과 이전 프레임간 모든 블록들에 대한 SAD들을 합하여 제1 SAD합을 구하고, 현재 프레임과 이후 프레임간 모든 블록들에 대한 SAD들을 합하여 제2 SAD합을 구한 후, 상기 제1 SAD합과 상기 제2 SAD합을 합하여 프레임별 SAD 총합을 구한다. 다시 말하면, SAD 총합 계산부(360)는 수학식 2와 같이 현재 프레임과 이후 프레임간 모든 블록들의 SAD를 합하여 제2 SAD합(SAD(fn))을 구한다. 수학식 2 여기서, 상기 j는 Block number의 index를 의미한다. 수학식 2에서 구한 SAD(fn)는 현재 프레임과 이후 프레임간의 SAD들을 합한 것으로, SAD 총합 계산부(360)는 이후 프레임뿐만 아니라 이전 프레임도 함께 고려하여 현재 프레임에서의 SAD총합을 구하여야 한다. 따라서, SAD 총합 계산부(360)는 수학식 3을 이용하여 프레임별 SAD 총합(t SAD(fn))을 구한다. 수학식 3 여기서, SAD(fn-1)는 현재 프레임과 이전 프레임간 모든 블록들에 대한 SAD들을 합하여 구한 제1 SAD합, SAD(fn)는 현재 프레임과 이후 프레임간 모든 블록들에 대한 SAD들을 합하여 구한 제2 SAD합을 의미한다. SAD 총합 계산부(360)에서 구해진 SAD 총합은 프레임간의 변동성의 크기, 즉 추적의 어려움을 표현하는 대표값이 된다. SAD 총합 계산부(360)가 프레임별로 구한 SAD 총합을 그래프로 표현하면 도 7과 같다. 도 7을 참조하면, 추적하고자 하는 장면(Scene)내의 각 프레임의 SAD 총합(tSAD(fn))를 나타낸다. 추적 오류 계산부(370)는 SAD 총합 계산부(360)에서 구해진 각 프레임별 SAD 총합을 이용하여 프레임별 추적 오류값을 구한다. 즉, 추적 오류 계산부(370)는 추적하고자 하는 장면의 각 프레임에 대해 이전 프레임까지 구해진 SAD총합과 자신의 SAD총합을 누적하여 추적 오류값을 구한다. 예를 들어, fn이 key frame이라고 가정하면, 현재의 frame(fn)에서 이후 프레임(frame(fn+1))간의 추적 오류값은 수학식 3을 이용하여 구하면 되지만, frame(fn+1)에서 다음 frame(fn+2) 사이의 연속적인 오류의 총합은 이전 프레임에서 반영된 오류를 고려하여야 함으로 결과적으로 frame(fn+1)에서 frame(fn+2)로의 추적 오류값은 이전 추적 오류값과의 합이 된다. 즉, 프레임 fn에서의 추적 오류값은 tSAD(fn)가 된다. 그러면, 프레임 fn+1, 프레임 fn+2, 프레임 fn+N에서의 추적 오류값은 수학식 4와 같다. 수학식 4 추적 오류 계산부(370)에서 구해진 프레임별 추적 오류값은 도 8과 같은 그래프로 표현된다. 도 8을 참조하면, 프레임 fn이 키 프레임인 경우로, 프레임 f(n+1)의 추적 오류값은 프레임 fn의 추적 오류값에 자신의 SAD 총합을 누적한 결과가 된다. 또한, 프레임 f(n+2)의 추적 오류값은 f(n+1)의 추적 오류값에 자신의 SAD 총합을 누적한 결과임을 알 수 있다. 키 프레임 선정부(380)는 추적 오류 계산부(370)에서 구해진 추적 오류값 중에서 추적 오류값이 가장 작은 프레임을 키 프레임으로 선정한다. 예를 들어, 도 8을 참조하면, 특정 프레임 fn에서의 추적 오적 오류값이 가장 작음을 알 수 있다. 그러므로 키프레임 선정부(380)는 fn을 해당 장면의 키 프레임으로 선정한다. 결과적으로 각 프레임마다 도 8과 같은 그래프를 도출한 후에 각 밑면적, 즉 각 오류곡선의 합이 최소가 되는 프레임을 키 프레임으로 선정한다. 상기와 같이 구성된 특징점 설정 장치(300)가 SAD를 이용하여 키 프레임을 선정하게 된 전제조건은 하나의 영상에서 움직임이 포함된 다른 영상으로의 특정 객체의 추적(tracking)은 영상의 움직임이 많을수록 상대적으로 영상의 추적오류가 커진다. 물론 매번 움직임이 많다고 추적 오류가 커지는 것은 아니지만 평균적으로 움직임이 많다는 것은 그만큼 추적하고자 하는 특정 객체의 변동성이 많이 생긴 것이고 이것은 추적을 어렵게 만들기 때문이다. 따라서, 특징점 설정 장치(300)는 프레임간의 SAD를 구하고, 그 SAD를 이용하여 키 프레임을 선정하게 된 것이다. 도 9는 본 발명의 실시예에 따른 특징점을 이용한 객체 추적 장치의 구성을 개략적으로 나타낸 블록도이다. 도 9를 참조하면, 특징점을 이용한 객체 추적 장치(900)는 특징점 설정부(910), 영상 분석부(920), 객체 추적부(930)를 포함한다. 특징점 설정부(910)는 사용자에 의해 지정된 객체의 초기 위치에 해당하는 특징점의 타당 여부를 검사하여 객체의 특징점을 설정한다. 즉, 특징점 설정부(910)는 입력영상에서 사용자가 지정한 특징점을 중심으로 임의의 블록을 형성하고, 상기 형성된 블록의 이동범위를 설정한 후, 상기 블록의 이동범위 내에서 각 블록을 주파수 변환하여 각 블록별로 변화도 대표값을 구한다. 그런 다음 특징점 설정부(910)는 상기 이동범위 내에서 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 설정한다. 특징점 설정부(910)가 특징점을 설정하는 방법에 대한 설명은 도 3에서 특징점 설정 장치의 동작과 같으므로 그 상세한 설명은 생략하기로 한다. 영상 분석부(920)는 입력 영상에서 각 프레임의 움직임 벡터 정보 및 잔차 신호 정보를 추출한다. 객체 추적부(930)는 상기 추출된 움직임 벡터 정보로부터 각 단위 블록에 대한 순방향 움직임 벡터 정보를 생성하고, 상기 추출된 잔차 신호(Residual Signal)로부터 일정 블록에 대한 픽셀 정보를 복원한 후, 상기 특징점 설정부(910)에서 설정된 특징점의 위치정보, 상기 순방향 움직임 벡터 정보 및 상기 복원된 픽셀 정보로부터 각 프레임에서의 객체의 최적위치정보를 생성한다. 본 발명의 다른 실시예에 따르면, 객체 추적부(930)는 현재 프레임과 이전프레임 간의 화소값 차이를 이용하여 현재 프레임의 객체 특징점 후보를 결정하고, 상기 특징점 설정부(910)에서 설정된 특징점을 포함하는 소정의 템플릿과 유사한 템플릿을 현재 프레임의 상기 객체 특징점 후보를 둘러싼 소정의 영역에서 검색하여 현재 프레임의 객체 특징점을 결정한다. 즉, 객체 추적부(930)는 이전 프레임과 현재 프레임간의 화소값 차이를 이용하여 상기 특징점 설정부(910)에서 설정된 객체 특징점에 따른 광류(optical flow)를 계산하고, 상기 계산된 광류를 이용하여 상기 현재 프레임에서 객체 특징점 후보를 결정한다. 그런 다음 상기 객체 추적부(930)는 템플릿 정합(template matching)을 이용하여 상기 특징점 설정부(910)에서 설정된 객체 특징점을 포함하는 템플릿과 유사한 템플릿을 현재 프레임의 상기 결정된 객체 특징점 후보를 둘러싼 소정의 영역에서 검색한다. 상기에서는 객체 추적부(930)가 특징점을 이용하여 객체를 추적하는 방법에 대해 두 가지로 나누어 설명하였으나, 이는 기존의 다양한 방법을 이용할 수 있다. 도 10은 본 발명에 따른 특징점 설정 장치가 사용자에 의해 지정된 특징점을 재설정하는 방법을 나타낸 흐름도, 도 11은 본 발명에 따른 특징점을 재지정한 경우를 설명하기 위한 예시도이다. 도 10을 참조하면, 특징점 설정 장치(300)는 입력 영상에 대해 사용자로부터 객체의 초기 위치에 해당하는 특징점을 지정받아 저장한다(S1002). 상기 S1002의 수행 후, 특징점 설정 장치(300)는 상기 입력영상에서 상기 지정된 특징점을 중심으로 임의의 블록을 형성하고(S1004), 상기 형성된 블록의 이동범위를 설정한다(S1006). 특징점 설정 장치(300)가 이동범위를 설정한다는 것은 상기 형성된 블록이 상기 이동범위내를 이동하여 다수개의 블록이 정의됨을 의미한다. 예를 들어, 이동범위가 (2*dx + 2*dy)로 정의된 경우, 상기 이동범위에는 (2*dx + 2*dy)개의 블록이 정의될 수 있다. 상기 S1006의 수행 후, 특징점 설정 장치(300)는 상기 이동범위내에 정의된 각 블록을 주파수 변환하여 각 블록의 변화도 대표값을 각각 구한다(S1008). 즉, 상기 특징점 설정 장치(300)는 각 블록을 주파수 변환하고, 상기 주파수 변환된 영상에서 고주파 영역의 값들을 합하여 블록별 변화도 대표값을 구한다. 상기 S1008의 수행 후, 특징점 설정 장치(300)는 상기 이동범위내에 정의된 블록들 중에서 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 재지정한다(S1010). 특징점 설정 장치(300)가 사용자에 의해 설정된 특징점을 재설정하는 방법에 대해 도 11을 참조하여 설명하기로 한다. 도 11을 참조하면, a와 같이 사용자가 수작업으로 외곽선 및 특징점을 선정한 경우, 추적의 정확도를 높이기 위해 특징점 설정 장치가 b와 같이 주변을 탐색하여 보다 좋은 점수를 가지는 특징점을 재지정한 예이다. 이와 같이 재지정된 특징점을 이용하여 객체를 추적한다면, 연속적인 객체 추적의 오류를 최소화할 수 있다. 물론 재지정된 특징점이 사용자의 의도와 다른 위치라고 판단되면 해당 특징점은 원래의 지정된 위치를 사용하도록 하는 설정도 가능하다. 그러나 통상적으로 FULL HD 또는 HD 영상의 경우 해상도가 1920x1080 또는 1280x720 이기 때문에 주변의 3x3, 5x5 화소 근방의 특징점 재지정은 사실상 사용자의 입장에서도 구별하기 어렵기 때문에 현실적으로도 타당성이 있다. 도 12는 본 발명에 따른 객체 추적 장치가 특징점을 이용하여 객체를 추적하는 방법을 나타낸 흐름도이다. 도 12를 참조하면, 객체 추적 장치(900)는 사용자에 의해 지정된 객체의 초기 위치에 해당하는 특징점의 타당 여부를 검사하여 객체의 특징점을 설정한다(S1202). 즉, 객체 추적 장치(900)는 입력영상에서 사용자가 지정한 특징점을 중심으로 임의의 블록을 형성하고, 상기 형성된 블록의 이동범위를 설정한 후, 상기 이동범위 내에서 정의된 각 블록을 주파수 변환하여 각 블록별로 변화도 대표값을 구한다. 그런 다음 객체 추적 장치(900)는 상기 이동범위내 에서 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 설정한다. 상기 S1202의 수행 후, 객체 추적 장치(900)는 입력 영상에서 각 프레임의 움직임 벡터 정보 및 잔차 신호 정보를 추출한다(S1204). 상기 S1204의 수행 후, 객체 추적 장치(900)는 상기 설정된 특징점의 위치정보, 상기 움직임 벡터 정보 및 잔차 신호 정보를 이용하여 각 프레임에서의 객체의 최적 위치정보를 생성한다(S1206). 즉, 객체 추적 장치(900)는 상기 추출된 움직임 벡터 정보로부터 각 단위 블록에 대한 순방향 움직임 벡터 정보를 생성하고, 상기 추출된 잔차 신호로부터 일정 블록에 대한 픽셀 정보를 복원한 후, 상기 설정된 특징점의 위치정보, 상기 순방향 움직임 벡터 정보 및 상기 복원된 픽셀 정보로부터 각 프레임에서의 객체의 최적위치정보를 생성한다. 다시 말하면, 객체 추적 장치(900)는 이전 프레임의 특징점 초기위치정보 및 순방향 움직임 벡터정보로부터 다음 프레임에서 각 특징점이 이동한 위치좌표를 예측한다. 이때, 객체 추적 장치(900)는 보다 정확한 특징점의 위치좌표를 찾기 위해 예측된 특징점의 위치좌표로부터 적어도 하나 이상의 후보위치좌표를 추출한다. 즉, 객체 추적 장치(900)는 예측된 특징점의 위치좌표를 중심으로 일정 범위 내에서 후보위치좌표를 선택하여 추출한다. 그런 다음 객체 추적 장치(900)는 각 특징점 후보위치좌표의 텍스쳐 유사성 에너지, 형태 유사성 에너지 및 움직임 유사성 에너지를 각각 측정한다. 한편 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 도 13은 본 발명에 따른 특징점 설정 장치가 키 프레임을 선정하는 방법을 나타낸 흐름도이다. 도 13을 참조하면, 특징점 설정 장치(300)는 입력 영상의 프레임을 미리 정해진 일정 개수의 블록으로 나눈다(S1302). 그런 다음 특징점 설정 장치(300)는 각각의 블록에 대해 현재 프레임과 인접 프레임간의 SAD를 각각 구한다(S1304). 즉, 특징점 설정 장치(300)는 각각의 블록에 대해 현재 프레임과 이전 프레임간의 SAD, 현재 프레임과 이후 프레임간의 SAD를 각각 구한다. 상기 SAD는 블록내의 모든 pixel의 절대 차이의 합으로, 결과적으로 프레임 간 같은 위치의 블록의 차이점을 표현한다. 상기 S1304의 수행 후 특징점 설정 장치(300)는 각 프레임별로 각 블록의 SAD를 모두 합하여 SAD 총합을 구한다(S1306). 즉, 특징점 설정 장치(300)는 현재 프레임과 이전 프레임간 모든 블록의 SAD들을 합하여 제1 SAD합을 구하고, 상기 현재 프레임과 이후 프레임간 모든 블록의 SAD들을 합하여 제2 SAD합을 구한 후, 상기 제1 SAD합과 상기 제2 SAD합을 합하여 프레임별 SAD 총합을 구한다. 상기 S1306의 수행 후, 특징점 설정 장치(300)는 상기 각 프레임별 SAD 총합을 이용하여 프레임별 추적 오류값을 구한다(S1308). 즉, 특징점 설정 장치(300)는 추적하고자 하는 장면의 각 프레임에 대해 이전 프레임까지 구해진 SAD총합과 자신의 SAD총합을 누적하여 추적 오류값을 구한다. 다시 말하면, 특징점 설정 장치(300)는 도 3에서 설명한 수학식 4를 이용하여 추적하고자 하는 장면의 각 프레임에 대해 추적 오류값을 구하게 된다. 상기 S1308의 수행 후, 특징점 설정 장치(300)는 상기 구해진 추적 오류값이 가장 작은 프레임을 키 프레임으로 선정한다(S1310). 특징점 설정 장치(300)는 상기와 같은 과정을 통해 키 프레임을 선정하게 되는데, 상기와 같은 과정은 복잡해 보이지만 단순한 sum 연산이고 객체의 추적을 위한 연산과 비교하면 극히 작은 연산량에 해당하기 때문에 추적을 하기 전에 가장 최적의 key frame을 예측할 수 있다. 또한, 특징점 설정 장치(300)는 상기와 같은 과정을 통해 각 프레임마다 추적(tracking)을 수행하지 않고 간단한 검사, 연산만으로 손쉽게 key frame을 선정할 수 있다. 상기에서 설명된 특징점 설정 장치(300)의 키 프레임 선정 방법은 프로그램으로 작성 가능하며, 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 특징점 설정 장치(300)의 키 프레임 선정 방법에 관한 프로그램은 전자장치가 읽을 수 있는 정보저장매체(Readable Media)에 저장되고, 전자장치에 의하여 읽혀지고 실행됨으로써 키 프레임 선정 장치로 추적하고자 하는 장면내 프레임들 중에서 키 프레임을 선정할 수 있다. 이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다. 본 발명은 수동으로 사용자가 특징점을 지정할 경우에 사용자에 의해 지정된 특징점의 주변 화소 매트릭스를 고려하여 각 블록별 변화도 대표값을 구하고, 그 변화도 대표값을 근거로 사용자에 의해 지정된 특징점을 재설정할 수 있는 특징점 설정 장치 및 방법과 이를 이용한 객체 추적 장치 및 방법에 적용될 수 있다. 또한, 본 발명은 각 프레임마다 추적(tracking)을 수행하지 않고 간단한 연산만으로 오류의 총합이 가장 작은 프레임을 찾아서 손쉽게 key frame을 선정할 수 있고, 객체의 움직임으로 발생하는 SAD를 오류를 추정하는 인자로 사용하여 누적오류를 최소화하는 키 프레임을 선정할 수 있는 특징점 설정 장치 및 방법에 적용될 수 있다. The present invention relates to an apparatus and method for setting feature points, and to an apparatus and method for object tracking using same. According to the present invention, when a user designates feature points, a representative value of variability for each block is obtained in consideration of the pixel matrix surrounding the user-designated feature points, and the user-designated feature points are reset on the basis of the representative value of the variability. Accordingly, in terms of a stereoscopic conversion, the accuracy of feature point tracking for the outer contour of the object may be increased. In addition, a key frame whose total sum of errors is at the minimum can be easily found and selected through only simple calculation without having to track each frame. 입력 영상에 대해 사용자로부터 객체의 초기 위치에 해당하는 특징점을 지정받아 저장하는 특징점 정의부; 상기 지정된 특징점을 중심으로 미리 정해진 크기의 블록을 형성하고, 기 설정된 이동범위 내에서 상기 형성된 블록의 크기에 해당하는 블록들을 정의하는 블록 형성부; 상기 이동범위 내에서 정의된 각 블록을 각각 주파수 변환하여 변화도 대표값을 각각 구하는 변화도 대표값 계산부; 및 상기 이동범위 내에서 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 재지정하는 특징점 결정부; 를 포함하는 특징점 설정 장치. 제1항에 있어서, 상기 블록 형성부는 상기 지정된 특징점을 중심으로 주변 화소들을 포함하는 임의의 블록을 형성하고, 상기 형성된 블록이 전, 후, 좌, 우로 이동 가능한 이동 범위를 설정하여 상기 이동범위 내에서 가능한 블록들을 정의하는 것을 특징으로 하는 특징점 설정 장치. 제1항에 있어서, 상기 변화도 대표값 계산부는 상기 각 블록에 대해 주파수 변환을 각각 수행하고, 상기 주파수 변환된 블록에서 고주파 영역에 해당하는 픽셀 값들을 합하여 각 블록의 변화도 대표값을 구하는 것을 특징으로 하는 특징점 설정 장치. 제1항에 있어서, 상기 입력 영상의 프레임을 미리 정해진 일정 개수의 블록으로 나눈 후, 각각의 블록에 대해 현재 프레임과 인접 프레임간의 SAD(sum of absolute difference)를 각각 구하는 SAD 계산부; 상기 인접 프레임간의 SAD를 모두 합하여 각 프레임별 SAD 총합을 구하는 SAD 총합 계산부; 상기 각 프레임별 SAD 총합을 이용하여 프레임별 추적 오류값을 구하는 추적 오류 계산부; 및 상기 추적 오류값이 가장 작은 프레임을 키 프레임(Key Frame)으로 선정하는 키 프레임 선정부; 를 더 포함하는 것을 특징으로 하는 특징점 설정 장치. 제4항에 있어서, 상기 SAD 계산부는 하기의 수학식을 이용하여 현재 프레임과 이전 프레임 간 또는 현재 프레임과 이후 프레임 간의 SAD를 각각 구하는 것을 특징으로 하는 특징점 설정 장치. [수학식] SAD(fn,bm)=Σabs( Frame(fn,bm) pixel(i) - Frame(fn+1,bm) pixel(i)) 여기서, fn은 프레임의 number, bm은 해당 프레임의 m번째 블록, i는 해당 블록의 pixel의 순서, abs는 절대치를 의미함. 제4항에 있어서, 상기 SAD 총합 계산부는 현재 프레임과 이전 프레임간 모든 블록들에 대한 SAD들을 합하여 제1 SAD합을 구하고, 상기 현재 프레임과 이후 프레임간 모든 블록들에 대한 SAD들을 합하여 제2 SAD합을 구한 후, 상기 제1 SAD합과 상기 제2 SAD합을 합하여 프레임별 SAD 총합을 구하는 것을 특징으로 하는 특징점 설정 장치. 제4항에 있어서, 상기 추적 오류 계산부는 하기의 수학식에 따라 추적하고자 하는 장면의 각 프레임에 대해 이전 프레임까지 구해진 SAD총합의 누적값과 자신의 SAD총합을 누적하여 추적 오류값을 구하는 것을 특징으로 하는 특징점 설정 장치. [수학식] 프레임별 추적 오류값= Σ tSAD(fn+k), k = 0~N 여기서, tSAD(fn)= SAD(fn-1)+SAD(fn)이고, SAD(fn-1)는 제1SAD합, SAD(fn)는 제2SAD합, tSAD(fn)는 프레임 fn에서의 SAD총합을 의미함. 입력 영상에 대해 사용자에 의해 지정된 객체의 초기 위치에 해당하는 특징점의 타당 여부를 검사하여 객체의 특징점을 설정하는 특징점 설정부; 상기 입력 영상에서 각 프레임의 움직임 벡터 정보 및 잔차 신호 정보를 추출하는 영상 분석부; 및 상기 추출된 움직임 벡터 정보로부터 각 단위 블록에 대한 순방향 움직임 벡터 정보를 생성하고, 상기 추출된 잔차 신호로부터 일정 블록에 대한 픽셀 정보를 복원한 후, 상기 설정된 특징점의 위치정보, 상기 순방향 움직임 벡터 정보 및 상기 복원된 픽셀 정보로부터 각 프레임에서의 객체의 최적위치정보를 생성하는 객체 추적부; 를 포함하는 특징점을 이용한 객체 추적 장치. 제8항에 있어서, 상기 특징점 설정부는 상기 입력 영상에서 사용자가 지정한 특징점을 중심으로 미리 정해진 크기의 블록을 형성하고, 기 설정된 이동범위 내에서 상기 형성된 블록의 크기에 해당하는 블록들을 정의한 후, 상기 이동범위 내에서 정의된 각 블록을 주파수 변환하여 각 블록별로 변화도 대표값을 구하고, 상기 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 설정하는 것을 특징으로 하는 특징점을 이용한 객체 추적 장치. (a)입력영상에 대해 사용자로부터 객체의 초기 위치에 해당하는 특징점을 지정받아 저장하는 단계; (b)상기 입력영상에서 상기 지정된 특징점을 중심으로 미리 정해진 크기의 블록을 형성하고, 기 설정된 이동범위 내에서 상기 형성된 블록의 크기에 해당하는 블록들을 정의하는 단계; (c)상기 이동범위 내에서 정의된 각 블록을 각각 주파수 변환하여 변화도 대표값을 각각 구하는 단계; 및 (d)상기 이동범위 내에서 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 재지정하는 단계; 를 포함하는 특징점 설정 장치의 특징점 설정 방법. 제10항에 있어서, 상기 (b) 단계는, 상기 입력영상에서 상기 지정된 특징점을 중심으로 주변 화소들을 포함하는 임의의 블록을 형성하고, 상기 형성된 블록이 전, 후, 좌, 우로 이동 가능한 이동 범위를 설정하여 상기 이동범위 내에서 가능한 블록들을 정의하는 것을 특징으로 하는 특징점 설정 장치의 특징점 설정 방법. 제10항에 있어서, 상기 (c) 단계는, 상기 각 블록에 대해 주파수 변환을 각각 수행하고, 상기 주파수 변환된 블록에서 고주파 영역에 해당하는 픽셀 값들을 합하여 각 블록의 변화도 대표값을 구하는 것을 특징으로 하는 특징점 설정 장치의 특징점 설정 방법. 입력영상에 대해 사용자로부터 객체의 초기 위치에 해당하는 특징점을 지정받아 저장하는 단계; 상기 입력영상에서 상기 지정된 특징점을 중심으로 미리 정해진 크기의 블록을 형성하고, 기 설정된 이동범위 내에서 상기 형성된 블록의 크기에 해당하는 블록들을 정의하는 단계; 상기 이동범위 내에서 정의된 각 블록을 각각 주파수 변환하여 변화도 대표값을 각각 구하는 단계; 및 상기 이동범위 내에서 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 재지정하는 단계를 포함하는 특징점 설정 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체. (a) 입력영상의 프레임을 미리 정해진 일정 개수의 블록으로 나누는 단계; (b) 상기 일정 개수의 각각의 블록에 대해 현재 프레임과 인접 프레임간의 SAD를 각각 구하는 단계; (c) 상기 인접 프레임간의 SAD들을 모두 합하여 각 프레임별 SAD 총합을 구하는 단계; (d) 상기 각 프레임별 SAD 총합을 이용하여 프레임별 추적 오류값을 구하는 단계; 및 (e) 상기 추적 오류값이 가장 작은 프레임을 키 프레임으로 선정하는 단계; 를 포함하는 특징점 설정 장치의 키 프레임 선정 방법. 제14항에 있어서, 상기 (b) 단계는, 상기 각각의 블록에 대해 현재 프레임과 이전 프레임간의 SAD, 현재 프레임과 이후 프레임간의 SAD를 각각 구하는 것을 특징으로 하는 특징점 설정 장치의 키 프레임 선정 방법. 제14항에 있어서, 상기 (c) 단계는, 현재 프레임과 이전 프레임간 모든 블록들에 대한 SAD들을 합하여 제1 SAD합을 구하고, 상기 현재 프레임과 이후 프레임간 모든 블록들에 대한 SAD들을 합하여 제2 SAD합을 구한 후, 상기 제1 SAD합과 상기 제2 SAD합을 합하여 프레임별 SAD 총합을 구하는 것을 특징으로 하는 특징점 설정 장치의 키 프레임 선정 방법. 제14항에 있어서, 상기 (d) 단계는, 추적하고자 하는 장면의 각 프레임에 대해 이전 프레임까지 구해진 SAD총합의 누적값과 자신의 SAD총합을 누적하여 추적 오류값을 구하는 것을 특징으로 하는 특징점 설정 장치의 키 프레임 선정 방법. 입력영상의 프레임을 미리 정해진 일정 개수의 블록으로 나누는 단계; 상기 일정 개수의 각각의 블록에 대해 현재 프레임과 인접 프레임간의 SAD를 각각 구하는 단계; 상기 인접 프레임간의 SAD들을 모두 합하여 각 프레임별 SAD 총합을 구하는 단계; 상기 각 프레임별 SAD 총합을 이용하여 프레임별 추적 오류값을 구하는 단계; 및 상기 추적 오류값이 가장 작은 프레임을 키 프레임으로 선정하는 단계;를 포함하는 키 프레임 선정 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체. (a) 입력영상에 대해 사용자에 의해 지정된 객체의 초기 위치에 해당하는 특징점의 타당 여부를 검사하여 객체의 특징점을 설정하는 단계; (b) 상기 입력영상에서 각 프레임의 움직임 벡터 정보 및 잔차 신호 정보를 추출하는 단계; 및 (c) 상기 추출된 움직임 벡터 정보로부터 각 단위 블록에 대한 순방향 움직임 벡터 정보를 생성하고, 상기 추출된 잔차 신호로부터 일정 블록에 대한 픽셀 정보를 복원한 후, 상기 설정된 특징점의 위치정보, 상기 순방향 움직임 벡터 정보 및 상기 복원된 픽셀 정보로부터 각 프레임에서의 객체의 최적위치정보를 생성하는 단계; 를 포함하는 객체 추적 장치의 특징점을 이용한 객체 추적 방법. 제19항에 있어서, 상기 (a) 단계는, 상기 입력영상에서 상기 지정된 특징점을 중심으로 미리 정해진 크기의 블록을 형성하고, 기 설정된 이동범위 내에서 상기 형성된 블록의 크기에 해당하는 블록들을 정의하는 과정; 상기 이동범위 내에서 정의된 각 블록을 각각 주파수 변환하여 변화도 대표값을 각각 구하는 과정; 및 상기 이동범위 내에서 변화도 대표값이 가장 큰 블록의 중심점을 최종 특징점으로 재지정하는 과정을 포함하는 것을 특징으로 하는 객체 추적 장치의 특징점을 이용한 객체 추적 방법. 입력영상에 대해 사용자에 의해 지정된 객체의 초기 위치에 해당하는 특징점의 타당 여부를 검사하여 객체의 특징점을 설정하는 단계; 상기 입력영상에서 각 프레임의 움직임 벡터 정보 및 잔차 신호 정보를 추출하는 단계; 및 상기 추출된 움직임 벡터 정보로부터 각 단위 블록에 대한 순방향 움직임 벡터 정보를 생성하고, 상기 추출된 잔차 신호로부터 일정 블록에 대한 픽셀 정보를 복원한 후, 상기 설정된 특징점의 위치정보, 상기 순방향 움직임 벡터 정보 및 상기 복원된 픽셀 정보로부터 각 프레임에서의 객체의 최적위치정보를 생성하는 단계를 포함하는 특징점을 이용한 객체 추적 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체.