특징점 포지셔닝 방법 및 장치

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

과학기술의 발전에 따라, 기존의 모바일 디바이스, 특히 핸드폰, 태블릿 PC등은 모두 전방 카메라가 장착되어 있다. 하드웨어적으로, 전방 카메라를 통하여 사람 얼굴의 특징점을 포지셔닝을 편리하게 할 수 있다. 동시에 기존의 핸드폰, 태블릿 PC는 높은 계산능력을 갖고 있고, 이는 복잡한 영상처리 알고리즘을 하드웨어적으로 가능하게 할 수 있다.

본원은 모바일 플랫폼에 대하여 모델 파일의 크기가 작고, 정밀도가 높으며 속도가 빠른 특징점 포지셔닝 알고리즘을 제안한다. 그 기본 아이디어는 먼저 오프라인으로 하나의 통계 형태 모델을 트레이닝 하고, 검출할 영상의 비선형특징을 추출하고 트레이닝 하여 획득한 회귀인자 행렬과 상기 비선형 특징에 근거하여 형태 계수에 대하여 반복적인 업데이트를 하고, 업데이트 후의 형태 계수와 트레이닝 하여 획득한 통계형태 모델에 근거하여 상기 검출할 영상의 특징점 위치를 검출한다. 본원은 미리 통계형태 모델을 서로 다른 형태의 모델으로 트레이닝 할 수 있고, 대응 형태의 특징점을 검출할 수 있으므로, 본원이 제공한 기술방안은 사람 얼굴의 특징점 검출에 한정되지 않고, 동물 얼굴, 동물 신체부위, 초음파 영상 등 의 특징점 포지셔닝 등을 포함한다. 본원에서는, 사람 얼굴의 특징점 포지셔닝만을 예로 들어 설명한다.

사람 얼굴의 특징점을 예로 들면, 트레이닝 한 통계형태 모델은 열 개의 좌우의 형태 계수만으로 모든 정상적인 사람 얼굴의 형태를 표현할 수 있다. 복잡한 모델에 비해, 비교적 적은 계수를 통해 차원을 감소시켜 사람 얼굴의 형태에 대한 간단한 묘사가 가능하게 한다. 이로써, 사람 얼굴 특징점 포지셔닝은 최적의 형태 계수를 구하는 것으로 귀결된다. 비선형 특징을 선형 회귀로 추출하는 방식을 이용해 형태 계수에 대한 반복적 업데이트를 통하여 최적의 형태 계수를 획득하고, 오프라인으로 트레이닝 하여 획득한 통계형태 모델에 근거하여 각 특징점의 위치를 획득할 수 있다. 이 과정에서, 회귀인자 행렬의 행의 개수는 통계형태 모델의 계수 개수와 같고, 특징점의 수량과는 연관이 없다. 본원의 회귀인자 행렬의 행의 개수는 전통적인 SDM알고리즘의 9분의 1 이하이다. 이로써, 모델 파일의 크기는 크게 감소되고, 속도도 향상되며, 그러면서도 포지셔닝 정밀도가 감소되지 않도록 한다.

도 1은 일실시예에 따른 특징점 포지셔닝 장치의 조성도이다.

도 1과 같이, 상기 시스템은 특징 추출부(120), 업데이트부(130) 및 위치 검출부(140)를 포함하고, 트레이닝부(150), 저장부(160)와 영상수집부(110)를 추가적으로 더 포함할 수 있으며 이는 도면에서 점선으로 표시한다. 그 중에서, 상기 시스템은 검출할 영상의 비선형 특징을 추출하는 특징 추출부(120), 트레이닝 하여 획득한 회귀인자 행렬과 상기 비선형 특징에 기초하여 형태 계수에 대하여 반복 업데이트를 하는 업데이트부(130), 업데이트 후의 형태 계수와 트레이닝 하여 획득한 통계 형태 모델에 근거하여 상기 검출할 영상의 특징점 위치를 검출하는 위치 검출부(140)를 포함할 수 있다. 트레이닝부(150)는 표기한 특징점 위치의 영상을 트레이닝 샘플로 하여 통계형태 모듈을 학습하고, 트레이닝 샘플의 비션형 특징의 확정은 트레이닝 샘플의 최적화 형태 계수의 업데이트량과 상기 비선형 특징에 기초하여 회귀인자 행렬을 확정하며, 저장부(160)는 트레이닝 하여 획득한 통계형태 모듈 및 기타 필요 정보를 저장하고, 영상수집부(110)는 비디오 및/또는 영상의 포함을 수집할 수 있다.

도 1의 장치와 대응하여 본원은 특징점 포지셔닝 방법을 제공하며, 검출할 영상의 비선형 특징을 추출하는 단계; 트레이닝 하여 획득한 회귀인자 행렬과 상기 비선형 특징에 기초하여 형태 계수에 대하여 반복 업데이트하는 단계; 업데이트 후의 형태 계수와 트레이닝 하여 획득한 통계형태 모델에 기초하여 상기 검출할 영상의 특징점 위치를 검출하는 단계를 포함한다.

도 2a는 본 발명의 사람얼굴 특징점 포지셔닝 방법의 전체 흐름도이고, 오프라인 트레이닝 부분과 온라인 정렬 부분을 포함한다. 그 중에서, 오프라인 트레이닝 부분은 아래 단계를 포함한다.

단계(211)에서는 표기한 특징점이 위치하는 사람 얼굴 영상을 입력한다. 단계(212)에서는 상기 표기한 특징점이 위치하는 사람얼굴 영상을 트레이닝 샘플로 하여 통계 형태 모델을 트레이닝 한다. 단계(213)에서는 상기 표기한 특징점이 위치하는 얼굴 영상을 트레이닝 샘플로 하여 통계 텍스처 모델을 트레이닝 하며 단계 211 내지 단계 213는 선택적으로 수행 가능하다. 단계(214)에서는 각 샘플에 대해 적어도 두 개의 초기 값을 생성하여 트레이닝 샘플을 증가시키며, 단계(215)에서는 업데이트의 제1차 반복 여부를 판단하고, 업데이트가 제1차 반복이면 직접 현재 특징점 주위에서 비선형 특징을 추출하여 단계(216)으로 전달하고, 그렇지 않으면, 이전에 업데이트한 중간형태와 평균형태를 정렬하고 아핀변환(affine transformation)을 수행하며, 아핀변환이 수행된 특징점 주위에서 비선형 특징을 추출(217)한다. 단계(218)에서는, 현재 형태 및 실제 형태에 대한 통계형태모듈 계수 업데이트 량을 계산한다. 단계(219)에서는, 형태모델 계수 업데이트 량과 비선형 특징에 근거하여 선형형태 계수 회귀인자 행렬을 계산하고 전 단계에서 획득한 선형형태 계수 회귀인자 행렬 및 비선형 특징에 근거하여 형태 계수 업데이트 량을 계산하고, 이 업데이트 량을 이용하여 현재의 형태 계수를 업데이트 하여 현재 형태를 업데이트 한다. 단계(215) 내지 단계(219)를 반복하여 지정차수를 수렴 또는 순환될 때까지 한 후 종료하고, 회귀인자 행렬, 형태모델, 평균텍스처 등을 출력하는 단계(220)를 수행한다.

도 2a중의 온라인 포지셔닝 부분은 아래 단계들을 수행한다.

단계(231)에서는, 한 폭의 사람얼굴을 포함하는 영상, 사람얼굴 포위 프레임 및 오프라인 모델을 입력하고, 단계(232)에서는, 영상으로부터 사람의 얼굴 영역을 도려내고 크기를 축소하며 사람 얼굴의 형태를 초기화 한다. 단계(233)에서는, 업데이트의 제1차 반복 여부를 판단하고, 제1차 반복이면 현재 특징점 주위에서 비선형 특징을 추출하여 단계(235)로 전달하고 그렇지 않으면, 업데이트 이전의 중간 형태와 평균형태를 정렬(234)하고 영상을 아핀 변환 하며, 다음 현재 특징점 주위에서 비선형 특징을 추출한다. 단계(235)에서는, 오프라인 트레이닝으로 획득한 선형 형태 계수 회귀인자 행렬 및 비선형 특징에 근거하여 형태 계수 업데이트 량을 계산(236)하고, 이 형태 계수 업데이트 량으로 형태 계수를 업데이트 하여 현재 형태를 업데이트(237)한다. 단계(233) 내지 단계(237)를 반복하여, 현재 형태가 원래의 입력 영상 좌표계로 변환되면 최종의 사람얼굴 특징점 위치를 획득할 수 있다.

도 2b는 본 발명의 사람얼굴 특징점 포지셔닝 방법의 핵심단계 설명도이고, 동일하게 오프라인 트레이닝 부분과 온라인 포지셔닝 부분을 포함한다. 그 중에서, 오프라인 트레이닝 부분은 아래 단계를 포함한다.

단계1: 아래 식에 따라 통계 형태 모델을 학습한다.

여기서, 은 평균형태, 는 국부형태 계수, 는 기초벡터를 의미한다.

단계2: 아래 식을 최소화 하는 것을 통하여 학습한다.

여기서, 는 최적형태 모델 계수의 업데이트 량이고; 는 표기한 진실형태가 대응하는 형태 계수며; 는 k차 반복 후의 형태 계수고, 는 영상I의 현재 형태 에서 추출한 비선형 특징이다.

단계3: 아래 식에 따라 형태 계수를 업데이트 한다.

단계4: 단계2~3을 반복하여 수렴 또는 반복 차수가 지정된 차수에 도달될 때까지 수행한 후 종료한다.

도 2b가 도시한 온라인 정렬부분은 아래 단계를 포함한다.

단계 1: 원시 영상에서 사람 얼굴의 영역을 도려내어 얼굴 영역의 형태를 초기화한다. 예를 들면, 단계 1에서 도면(201)은 원시 영상이고, 우측에 위치한 도면(202)은 초기화 후의 사람 얼굴의 형태이다.

단계2: 아래 식에 따라 도면(203) 내지 도면(206)고 같이 형태 계수를 수렴될 때까지 반복적으로 업데이트 한다.

단계3: 아래 식에 따라 사람얼굴 형태를 합성하고 입력 영상 좌표계에 역변환하여 최종적으로 도2b의 도면(207)을 획득한다.

이상 알고리즘의 전체 흐름을 소개하였고, 아래에 그 중의 일부에 대한 세부 내용에 대해 기술하기로 한다.

1. 통계형태 모델의 트레이닝

정상적인 사람얼굴 형태에 대하여 회전, 축소, 평행이동과 같은 전체적 유사성 변환요소를 제거하고 나면, 사람얼굴 형태의 변환은 실제적으로 유한하고, 주요한 변화 패턴은 많지 않게 된다. 본 발명은 더욱 정밀한 방식을 이용하여 사람 얼굴 형태를 표시하고, 다시 말해서, 더 적은 계수의 사용으로 각종 사람 얼굴의 형태를 표시할 수 있다. 본 발명이 통계 형태 모델의 트레이닝을 요구하는 원인이다.

정밀한 통계 형태 모델을 트레이닝 하기 위하여, 우선 입력한 사람얼굴 형태에 대한 표준화 처리가 필요하다. 즉 프로크루스테스 분석(Procrustes Analysis), 회전, 축소 등 전체적 유사성 변환의 영향을 제거하도록 하며, 그 구체적인 실시단계는 관련문헌: T.F. Cootes and C.J.Taylor, Statistical Models of Appearance for Computer Vision, 2004를 참고할 수 있다.

표준화 처리 후, 다시 주성분 분석(PCA)를 통하여 평균형태 과 한 개 조의 기본 벡터를 획득하고, 동시에 전체적 유사성 변환을 실현하기 위하여 추가적인 4개의 기본 벡터의 부가가 필요할 수 있다. 평균 형태에서 서로 다른 가중치의 겹침을 통하여 하나의 특정된 사람얼굴 형태를 생성할 수 있고, 전체적 유사성 변환을 추가할 수 있으며, 이는 아래의 공식으로 표시할 수 있다.

여기서, 는 국부형태 계수고, 는 전체적 유사성 변환 계수며, N(,)은 한 개 점(x, y)에 대한 전체적 유사성 변환을 나타낸다.

특히, 평균형태에 대한 전체적 유사성 변환은 아래 식과 같이 표현 가능하다.

여기서, 4개의 기본벡터 는 각각 , , , 이다.

도 3은 일실시예에 따른 하나의 통계형태 모델의 예시이다. 입력(301)은 표준화를 마친 후의 몇 개의 사람얼굴 형태를 함께 겹친 영상이고, 여기서 볼 수 있듯이, 포인트의 분포는 가우스 분포에 근접하다. 좌측에서부터 두 번째 도면, 즉 에 대응되는 도면(302)은 평균적인 형태이고 도면(303)은 앞 세 개의 기본 벡터를 각각 평균 형태에 겹쳐 표시한 영상(도에서 화살표를 가진 작은 선단은 기본 벡터를 표시함)이다. 첫 번째 기본 벡터(303)는 사람 얼굴이 좌우로 회전 할 때의 형태 변화를 묘사하였고, 두 번째 기본 벡터(304)는 사람 얼굴이 상하로 운동할 때의 형태 변화이며, 세 번째 기본 벡터(305)는 살찐 얼굴과 마른 얼굴 사이의 형태 차이를 묘사하였다. 도 3이 도시한 예시는 단지 기본 벡터가 묘사할 수 있는 정보를 예를 들어 설명하였고, 실제응용에서, 기본 벡터가 묘사할 수 있는 정보는 상기 예제에 한정되지 않는다.

하나의 사람 얼굴 형태를 지정할 때, 아래의 공식을 통하여 국부적인 형태 계수와 전체적 유사성 변환 계수를 구할 수 있다.

여기서, 은 고정형태에 대하여 전체적 유사성 변환을 하는 역변환을 나타내고, 이는 형태 표준화의 조작과 유사하다.

2. 통계형태 모델 계수 회귀에 기초한 사람얼굴 정렬방법

통계형태 모델 계수 회귀에 기초한 사람 얼굴 정렬 방법의 기본 아이디어는 현재 각각의 특징점 주위에서 비선형 특징을 추출하고, 상기 비선형 특징을 하나의 벡터로 조합하며 이런 비선형 특징을 이용하여 통계형태 모델 계수의 업데이트 량을 회귀하는 것이다.

여기서, 는 현재 형태(k번째 반복 후의 형태)가 대응하는 형태 계수고, 는 현재 형태에서 추출한 비선형 특징이며, 는 k번째 반복 업데이트 후에 사용한 회귀인자이다. 설명의 편의를 위하여 국부 형태 계수와 전체적 유사성 변환계수를 합친 것을 로 표기한다.

정확한 작업을 위하여, 데이터 학습을 통하여 매 반복에 사용되는 회귀인자 이 획득될 것이 요구된다. 본 발명에서, 는 아래 타겟 함수의 최소화를 통하여 획득할 수 있다.

식에서 N은 트레이닝 샘플의 총수를 의미하고, 는 k번째 반복 때, i번째 샘플의 최적 형태 계수 업데이트 량(즉 실제의 형태 계수와 현재 형태 계수의 차)이고, 는 k번째 반복 때, i번째 샘플의 비선형 특징이다. 상기 식은 아래의 최소 제곱법이 있다.

여기서 제기한 타겟 함수와 해법공식 외에, 기타 타겟 함수와 해법공식을 사용할 수 있고, 예시적으로, 리지 회귀(ridge regression)를 채용하여 선형 회귀를 대체하고, 비선형 특징을 텍스처 모델의 공간 등에 투영할 수 있다. 구체적인 방법은 표 1을 참고한다.

SMCR 알고리즘의 타겟 함수와 해법공식

동일한 코드 프레임에 기초하여, 우리는 감독하강법 알고리즘과도 비교할 수 있으며 결과는 표2와 같다. 비교결과에서 보면, 통계 모델 계수 회귀 알고리즘이 갖는 LFPW와 iBUG 두 개의 데이터 베이스 상에서의 정밀도는 모두 감독하강법 알고리즘보다 높다.

통계 모델 계수 회귀 알고리즘과 감독하강법의 알고리즘 비교

통계 모델 계수 회귀 알고리즘

감독 하강법 알고리즘: 통계 모델 계수 회귀 알고리즘과 매우 유사하나, p만 x로 치환함.

3. 중간결과의 재정렬

실제 트레이닝과 테스트 중에서 발견한 것은, 최초 1~2번의 반복을 통하여 획득한 형태는 이미 실제 형태와 근사하다는 것이다. 도4a와 도4b를 살펴보면, 도4a는 초기형태이고 도4b는 제1차 반복 한 후의 형태이다. 영상의 사람 얼굴에 일정한 회전이 있으면, 현재 형태가 이미 상기 회전을 탐지하여도 후속 반복에서 비선형 특징을 추출할 때, 얼굴 영상을 바로 잡지 못하게 될 수 있다.

중간 결과를 추가하여 재정렬한 사람 얼굴 정렬 알고리즘의 흐름도는 도 5와 같다.

상기 관찰에 기초하여 본 발명은 매번 반복 업데이트를 진행할 때, 현재의 얼굴 형태와 평균 얼굴 형태를 정렬하고, 하나의 전체적 유사성 변형행렬 를 찾아서, 하기 타겟 함수를 최소화하도록 한다.

여기서, 는 제k차 반복 후 i번째 샘플의 형태이다. 전체적 유사성 변환행렬을 획득한 후, 현재 형태와 영상에 대하여 전체적 유사성 변환을 하고, 이에 기초하여 다음 번 반복을 수행한다(511~515). 이로써 회전과 축소로 생기는 불리한 영향을 제거할 수 있어, 추출된 비선형 특징이 특징점 위치 편이를 더 잘 반영할 수 있다.

4. 다 해상도 확장

도 6은 일실시예에 따른 다해상도에 대한 확장에 대한 예시적인 도면이다.

다 해상도 프레임은 정밀도와 속도의 평형을 위하여 다시각 알고리즘에서 통상적인 수단으로 사용된다. 본 발명이 연관된 사람얼굴 알고리즘에서, 동일하게 다 해상도 프레임을 채용할 수 있다. 우선 하나의 해상도가 비교적 낮은 영상에서 사람얼굴 특징점 포지셔닝을 하고(601), 그 결과를 고해상도 영상에 매핑하여 계속하여 반복 정밀 포지셔닝을 수행(602)할 수 있다.

마지막으로, 도7은 중간결과의 재정렬을 포함한 다 해상도 SMCR알고리즘의 흐름도이다. 도 7의 711 내지 715의 도면은 앞서 자세히 설명한 단해상도에 있어서의 반복적인 업데이트 수행을 나타내며, 721 내지 722에서는 다해상도에 있어서의 반복적인 포지셔닝을 수행을 나타낸다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 저장부 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.