METHOD AND APPARATUS FOR ENCODING/DECODING IMAGE FOR PERFORMING INTRA-PREDICTION USING PIXEL VALUE FILTERED ACCORDING TO PREDICTION MODE

이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 등과 같은 사용자 단말기이거나 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 부호화 또는 복호화를 위해 인터 또는 인트라 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.

또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.

통상적으로 동영상은 일련의 픽처(Picture)로 구성될 수 있으며, 각 픽처들은 프레임 또는 블록(Block)과 같은 소정의 영역으로 분할될 수 있다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block), 인터 블록(Inter Block)으로 분류될 수 있다. 인트라 블록은 인트라 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 인트라 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임(Reference Frame)이라고 한다.

도 1은 영상 부호화 장치의 한 예를 간략하게 나타낸 블록 구성도이다.

영상 부호화 장치(100)는 영상을 부호화하는 장치로서, 예측부(110), 감산부(120), 변환부(130), 양자화부(140), 스캔부(150), 부호화부(160), 역양자화부(170), 역변환부(180), 가산부(190) 및 메모리(192)를 포함하여 구성될 수 있다.

부호화하고자 하는 입력 영상은 블록(Block) 단위로 입력이 되는데, 본 발명에서, 블록은 M×N 형태이며 M과 N은 다양한 크기를 가질 수 있으며, M과 N이 동일하거나 다를 수 있다.

예측부(110)는 영상에서 현재 부호화하고자 하는 대상 블록을 예측하여 예측 블록을 생성한다. 즉, 예측부(110)는 영상에서 부호화하고자 하는 대상 블록의 각 화소의 화소값(Pixel Value)을 결정된 최적의 예측 모드(Prediction Mode)에 따라 예측하여 예측된 각 화소의 예측 화소값(Predicted Pixel Value)을 갖는 예측 블록(Predicted Block)을 생성한다. 또한, 예측부(110)는 예측모드에 대한 정보를 부호화부(160)로 전달하여 부호화부(160)로 하여금 예측모드에 대한 정보를 부호화하도록 할 수 있다. 여기서, 최적의 예측 모드란 인트라 예측을 위한 다양한 인트라 예측 모드(예를 들어, H.264/AVC에서는 인트라 8×8 예측과 인트라 4 X 4 예측 각각에서의 9 가지의 예측 모드와 인트라 16 X 16 예측에서의 4 가지의 예측 모드) 중 부호화 비용이 최소인 예측 모드가 결정될 수 있다.

도 2 및 도 3은 H. 264/AVC의 인트라 예측 모드를 나타낸 예시도이다. 도 2를 참조하면, 인트라 4×4 예측에는, 수직(Vertical) 모드, 수평(Horizontal) 모드, DC(Direct Current)모드, 대각선 왼쪽(Diagonal down-left) 모드, 대각선 오른쪽(Diagonal down-right), 수직 오른쪽(Vertical-right)모드, 수평 아래쪽(Horizontal-down) 모드, 수직 왼쪽(Vertical-left) 및 수평 위쪽(Horizontal-up) 모드를 포함하는 9 가지의 예측 모드가 있다. 인트라 8×8 예측도 인트라 4×4 예측과 유사하게 9 가지의 예측 모드가 있다. 또한, 도 3을 참조하면, 인트라 16×16 예측에는, 수직(Vertical) 모드, 수평(Horizontal) 모드, DC 모드 및 플래인(Plane) 모드를 포함하는 4 가지의 예측 모드가 있다. 예측부(110)는 대상 블록의 블록 모드 또는 블록 크기에 따라 각 예측 모드의 부호화 비용을 계산하고 부호화 비용이 최소인 예측 모드를 최적의 예측 모드로서 결정할 수 있다.

감산부(120)는 부호화할 대상 블록(즉, 현재 블록)에서 예측 블록을 감산하여 잔차 블록(Residual Block)을 생성한다. 즉, 감산부(120)는 부호화하고자 하는 대상 블록의 각 화소의 화소값과 예측부(110)에서 예측한 예측 블록의 각 화소의 예측 화소값의 차이를 계산하여 블록 형태의 잔차 신호(Residual Signal)인 잔차 블록을 생성한다.

변환부(130)는 잔차 블록을 주파수 영역으로 변환하여 잔차 블록의 각 화소값을 주파수 계수로 변환한다. 여기서, 변환부(130)는 하다마드 변환(Hadamard Transform), 이산 코사인 변환 기반 변환(DCT based Transform: Discrete Cosine Transform Based Transform) 등과 같은 공간축의 화상 신호를 주파수축으로 변환하는 다양한 변환 기법을 이용하여 잔차 신호를 주파수 영역으로 변환할 수 있는데, 주파수 영역으로 변환된 잔차 신호가 주파수 계수가 된다.

양자화부(140)는 변환부(130)에 의해 주파수 영역으로 변환된 주파수 계수 블록을 양자화(Quantization)한다. 여기서, 양자화부(140)는 변환된 주파수 계수 블록을 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization, 이하 'DZUTQ'라 칭함), 양자화 가중치 매트릭스(Quantization Weighted Matrix) 또는 이를 개량한 양자화 기법 등을 사용하여 양자화할 수 있다.

스캔부(150)는 양자화부(140)에 의해 양자화된 잔차 블록의 양자화 주파수 계수를 지그재그 스캔과 같은 다양한 스캔 방식에 따라 스캔하여 양자화 주파수 계수열을 생성한다.

부호화부(160)는 스캔부(150)에 의해 생성된 양자화 주파수 계수열을 엔트로피 부호화(Entropy Coding) 기법 등을 이용하여 부호화함으로써 비트스트림을 출력한다. 또한, 부호화부(160)는 예측부(110)에서 대상 블록을 예측한 예측 모드에 대한 정보를 함께 부호화할 수 있다. 한편 스캔부(150)는 그 기능이 부호화부(160)에 통합되어 구현될 수도 있다.

이러한 부호화 기술로서는 엔트로피 부호화(Entropy Encoding) 기술이 사용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술을 사용할 수 있을 것이다.

또한, 부호화부(160)는 양자화 주파수 계수들을 부호화한 비트열뿐만 아니라 부호화된 비트열을 복호화하는 데 필요한 다양한 정보들을 부호화 데이터에 포함시킬 수 있다. 즉, 부호화 데이터는 부호화된 블록 형태(CBP: Coded Block Pattern), 델타 양자화 계수(Delta Quantization Parameter) 및 양자화 주파수계수가 부호화 된 비트열 및 예측에 필요한 정보(예를 들어, 인트라 예측의 경우 인트라 예측 모드 또는 인터 예측의 경우 움직임 벡터 등)를 위한 비트열 등을 포함할 수 있다.

역양자화부(170)는 양자화부(140)에 의해 양자화된 주파수 계수 블록을 역양자화(Inverse Quantization)한다. 즉, 역양자화부(170)는 앙자화된 주파수 계수 블록의 양자화 주파수 계수들을 역양자화하여 주파수 계수 블록을 생성한다.

역변환부(180)는 역양자화부(170)에 의해 역양자화된 주파수 계수 블록을 역변환(Inverse Transform)한다. 즉, 역변환부(180)는 역양자화된 주파수 계수 블록의 주파수 계수들을 역변환하여 화소값을 갖는 잔차 블록 즉, 복원된 잔차 블록을 생성한다. 여기서, 역변환부(180)는 변환부(130)에서 사용한 변환한 방식을 역으로 사용하여 역변환할 수 있다.

가산부(190)는 예측부(110)에서 예측된 예측 블록과 역변환부(180)에 의해 복원된 잔차 블록을 가산하여 대상 블록을 복원한다. 복원된 대상 블록은 메모리(192)에 저장되어 대상 블록의 다음 블록이나 향후 다른 블록을 부호화할 때 참조 픽처로서 사용될 수 있다.

도 1에서는 도시하지 않았지만, 메모리(192)와 가산부(190) 사이에는 디블로킹 필터부(미도시)가 추가로 연결될 수 있다. 디블로킹 필터부는 가산부(190)에 의해 복원된 대상 블록을 디블로킹 필터링(Deblocking Filtering)한다. 여기서, 디블로킹 필터링이란 영상을 블록 단위로 부호화하면서 발생하는 블록 왜곡을 감소시키는 작업을 말하며, 블록 경계와 매크로블록 경계에 디블로킹 필터를 적용하거나 매크로블록 경계에만 디블로킹 필터를 적용하거나 디블로킹 필터를 사용하지 않는 방법 중 하나를 선택적으로 사용할 수 있다.

도 4는 양자화 에러가 포함되어 있을 때의 상황을 예시한 도면이다.

예측부(110)에서 현재 부호화하고자 하는 대상 블록을 예측할 때 주변 블록의 화소를 이용하여 예측 모드에 따라 예측 블록을 생성할 수 있다. 이는 대상 블록의 경계에 위치한 주변 블록의 화소가 대상 블록의 화소들과 연관성이 있을 확률이 높기 때문에 이미 부호화가 된 주변 블록의 경계에 놓여진 화소들을 이용하여 대상 블록을 예측할 수 있다. 도 4에 도시한 4A와 같이, 영상의 일반적인 영역에서는 대상 블록의 경계에 위치한 주변 블록의 화소를 사용하여 대상 블록을 예측하였을 경우에 해당 블록의 특성에 따라 예측 모드를 잘 선택하면 비교적 정확하게 예측이 된다.

하지만 영상의 특정한 영역, 즉 복잡도가 높거나 대상 블록의 경계에 있는 주변 블록의 화소에 양자화 에러가 많이 포함되어 대상 블록의 화소를 잘 예측할 수 없는 경우에는 예측의 정확도가 저하된다. 도 4에 도시한 블록은 대각선 왼쪽(Diagonal down-left) 모드의 방향성을 갖고 있다. 도 4A의 가운데 위치한 화소를 이용해서 대각선 왼쪽(Diagonal down-left) 모드방향으로 현재 블록을 예측할 때 만약 도 4A의 가운데 화소에 양자화 에러가 많이 포함되어 있는 경우 효율적으로 현재 블록을 예측할 수 없다. 양자화 에러를 줄이기 위해 저역 통과 필터(Low pass filter)를 적용하여 생성한 화소를 이용하여 현재 블록을 예측할 수 있다. 4A에 있는 3개의 화소를 이용하여 저역 통과 필터를 사용할 수도 있고, 4B의 화소를 이용해서 저역 통과 필터를 사용하여 양자화 에러를 줄일 수 있다. 그러나 도시한 4에서는 4A의 화소를 이용하는 것보다 4B에 있는 화소를 이용하는 것이 양자화 에러를 줄이는데 더 효율적일 수 있다. 4A에 있는 화소들은 화소들간의 상관성이 낮아서 양자화 에러를 줄이는 데 효율적이지 않기 때문에 이런 상황에서는 4B의 화소를 사용하여 양자화 에러를 줄이는 데 더 효율적일 수 있다.

*즉, 영상의 일반적인 영역에서 대상의 블록의 경계에 위치한 주변 블록의 화소를 사용하여 예측하였을 경우에는 해당 블록의 특성에 따라 예측 모드를 잘 선택하면 비교적 적은 차분치를 갖는 잔차 신호가 발생함에 따라 비트스트림의 데이터 크기를 줄일 수 있지만, 복잡한 영역이거나 대상 블록의 경계에 있는 주변 블록의 화소에 양자화 에러가 많이 포함되어 있을 경우에는 해당 블록의 특성에 따라 예측 모드를 잘 선택해도 예측이 되지 않은 경우에는 부호화된 비트스트림의 데이터 량이 증가하고 그에 따른 압축의 효율이 저하될 수 있다. 따라서, 이런 경우에는 기존의 주변 블록 화소가 아닌 어떤 특정한 과정을 거쳐서 생성된 주변 블록의 화소를 생성하여 효율적으로 부호화할 수 있다.

본 발명은 실시예는 대상 블록이 복잡한 영역이거나 주변 블록의 화소에 양자화 에러가 많이 포함되어 있어서 예측성능이 만족스럽지 않을 경우, 효율적으로 예측하여 부호화하기 위한 영상 부호화/복호화 방법과 장치를 제공한다.

여기서, 임의의 크기의 블록은 사용자에 의해 그 크기가 NxM 크기로 지정될 수 있으며, 임의의 크기의 블록 내의 임의의 크기의 서브 블록도 사용자에 의해 그 크기가 QxP 크기(단, Q≤N, P≤M)로 지정될 수 있다.

도 1에서는 현재 부호화하고자 하는 임의의 크기의 블록이 16x16 블록이고 서브 블록이 4x4 또는 8x8 블록인 경우를 나타내었다. 이하의 실시 예에서는 도시한 바와 같은 예를 통해 본 발명을 설명한다. 하지만, 이러한 블록의 크기, 서브 블록의 크기 등은 예시적인 것으로서 다양한 블록 크기가 사용될 수 있다.

도 5는 본 발명의 제 1 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 것이다.

본 발명의 제 1 실시예에 따른 영상 부호화 장치(500)는 예측부(510), 감산부(520), 변환부(530), 양자화부(540), 스캔부(550), 부호화부(560), 역양자화부(570), 역변환부(580), 가산부(590) 및 메모리(592)를 포함하여 구성될 수 있다.

여기서, 감산부(520), 변환부(530), 양자화부(540), 스캔부(550), 부호화부(560), 역양자화부(570), 역변환부(580), 가산부(590) 및 메모리(592)의 동작은 도 1에서 설명한 감산부(120), 변환부(130), 양자화부(140), 스캔부(150), 부호화부(160), 역양자화부(170), 역변환부(180), 가산부(190) 및 메모리(192)의 동작과 각각 동일 또는 유사한 기능을 수행할 수 있으므로 상세한 설명은 생략한다.

한편, 예측부(510)는 현재 블록에 인접한 주변 블록의 화소, 또는 상기 주변 블록의 화소들을 현재블록의 인트라 예측모드에 따라 필터링하여 생성한 참조화소를 선택적으로 이용하여 예측 블록을 생성할 수 있으며, 예측모드 선택부(512), 참조화소 구성부(516), 인트라예측부(518)를 포함한다.

예측모드 선택부(512)는 대상 블록(즉, 현재 블록)의 블록 모드 또는 블록 크기에 따라 인트라예측모드에 대하여(예를 들면, 도 2 및 도 3에 도시한 H.264/AVC에서 9 개의 예측 모드 또는 4 개의 인트라예측모드), 현재 블록의 인접화소를 참조화소로 이용하는 인트라예측모드와 인트라예측모드의 방향성을 고려하여 인접화소들을 필터링하여 생성한 참조화소를 이용하는 인트라예측모드를 포함하는 예측모드들 중에서 부호화 비용을 비교하여 최적의 예측모드를 결정한다.

참조화소 구성부(516)는 예측모드 선택부(512)로부터 결정되어 전달되는 인트라 예측모드에 따라서 대상 블록의 경계에 위치한 화소만을 사용하여 참조화소를 구성하거나 인트라예측모드의 방향성을 고려하여 상기 인접화소들에 필터링을 적용하여 생성한 화소를 인트라예측의 참조화소로 구성한다.

여기서 필터링은 현재블록의 예측모드의 방향에 따라 주변 블록의 화소에 놓여져 있는 화소들에 적용되어 새로운 화소를 생성하는데 사용된다. 예측 모드의 방향에 놓여 있는 주변 블록의 화소들은 해당 방향에 대해 연관성이 높을 가능성이 있기 때문에, 필터링을 적용하였을 경우에 생성된 화소값은 대상 블록의 예측 모드 방향으로 화소를 대표할 가능성이 커져 더 정확하게 예측될 가능성이 있다.

도 6은 현재블록의 예측 모드의 방향에 따라 필터링을 적용하여 새로운 화소를 생성하는 예시도이다. 도 6은 대상 블록의 크기가 4x4인 블록이고 예측 모드는 수직(Vertical) 모드로 예측하는 예를 보여주고 있다. 이 경우, 종래에는 대상 블록의 경계에 인접한 화소를 사용하여 결정된 예측모드에 따라서 예측을 수행하였지만(즉, 수직 모드인 경우 A₀, B₀, C₀, D₀를 이용하여 예측을 수행), 도 6에서는 주변 블록의 화소들을 예측모드의 방향성에 따라 필터를 사용하여 생성된 화소를 사용하여 예측을 수행하는 모습을 예시한 것이다.

참조화소 구성부(516)는, 예측모드 선택부(512)에 의해 선택된 예측모드가 대상 블록의 경계에 위치한 화소만을 사용하여 예측을 수행하는 것을 의미하면 대상 블록의 경계에 위치한 화소를 참조화소로 생성하고, 예측모드의 방향성을 고려하여 주변 블록의 화소들에 필터링을 적용하여 예측을 수행하는 것을 의미하면 예측모드의 방향성을 고려하여 주변 블록의 화소들에 필터링을 적용하여 참조화소를 생성한다.

참조화소 구성부(516)가 전술한 바와 같이 예측모드의 방향성에 따라 필터를 사용하여 예측 블록에 사용될 참조 화소를 생성하는 역할을 수행하는 경우에, 사용되는 필터로는 여러 종류의 필터가 사용될 수 있다. 하나의 예로, 가중치 평균을 필터의 수식으로 사용할 수 있으며, 이 경우 수학식 1과 같이 계산될 수 있다.

수학식 1

수학식 1에서 A₀와 A₁은 수직 모드(Vertical)의 방향에 놓여 있는 주변 블록의 첫째 줄, 둘째 줄의 화소이고 α와 β베타는 A₀와 A₁에 곱해질 각각의 가중치를 의미한다. A_N은 수학식 1과 같은 가중치 평균을 사용하여 예측에 사용되기 위해 생성된 참조 화소를 의미한다. 수학식 1에서는 가중치 평균에 사용되는 화소는 2개이다. 하지만, 이러한 화소의 개수는 예시적인 것으로서 다수의 화소가 대상 블록의 예측을 위해 참조 화소를 만들 때 사용될 수 있다. 또한, 필터링을 위하여 적용되는 수학식도 예측모드에 따라 달라질 수 있으며, 필터링 방법도 예측 모드별로 한가지가 아닌 여러가지 방법 중에서 최적의 부호화효율을 나타내는 필터링 방법을 사용할 수도 있다.

한편, 예측모드 선택부(512)는 참조 화소 구성 방법이 결정되면, 블록마다 어떤 참조화소를 사용하여 부호화에 사용했는지를 구분하기 위한 참조화소 식별 정보(즉, 참조화소를 필터링해서 참조화소를 생성하는지 여부를 나타내는 정보일 수 있음), 사용하는 필터가 여러 개일 경우에 어떤 필터를 사용했는지에 대한 필터정보, 필터에 사용되는 가중치에 대한 가중치정보 중 하나 이상을 포함하는 정보를 예측모드 정보에 포함하여 부호화부(560)로 전달할 수 있다.

인트라예측부(518)는 참조화소 구성부(516)로부터 참조화소에 대한 정보를 수신하여 수신된 참조화소 정보를 이용하여 예측모드 선택부(512)에 의해 선택된 예측모드에 따라 예측블록을 생성한다.

한편, 영상 부호화 장치(500)에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 통신 인터페이스를 통해 후술할 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.

한편, 예측모드 선택부(512)는 최적의 예측모드를 매크로블록 단위로 결정할 수 있다. 예측모드 선택부(512)는 해당 매크로블록의 전체 서브블록이 현재 블록의 인접화소를 인트라예측의 참조화소로 이용하는지 여부 또는 인트라예측모드의 방향성을 고려하여 상기 인접화소들에 필터링을 적용하여 생성한 화소를 인트라예측의 참조화소로 이용하는지 여부를 나타내는 참조화소 식별 플래그를 매크로블록 단위로 생성할 수 있다.

또한, 예측모드 선택부(512)는 최적의 예측모드를 서브블록 단위로 결정하고, 현재 블록의 인접화소를 참조화소로 이용하는지 여부 또는 인트라예측모드의 방향성을 고려하여 상기 인접화소를 필터링하여 생성한 화소를 참조화소로 이용하는지 여부를 나타내는 참조화소 식별 플래그를 서브블록 단위로 생성할 수 있다.

현재 블록의 인접화소로 구성된 제1참조화소와 인트라예측모드의 방향성을 고려하여 상기 인접화소에 필터링을 적용하여 생성된 제2참조화소의 차이가 소정값 이하인 경우, 예측모드 선택부(512)는 참조화소 식별 플래그의 생성을 생략하고, 이때, 참조화소 구성부(516)는 제1참조화소 또는 상기 제2참조화소를 참조화소로 생성할 수 있다. 즉, 예측모드 선택부(512)는 예측모드 방향에 따라 방향성을 고려하여 주변 블록의 화소들에 필터를 적용하는 예측모드를 선택하여 참조화소 구성부(516)로 필터를 적용하는 예측모드임을 나타내는 정보를 전송하기 전에, 예측모드 선택부(512)에서 선택된 인트라예측모드를 바탕으로 필터링하여 참조 화소를 추출할 주변 블록의 특성을 고려할 수 있다. 즉, 해당 주변 블록의 화소가 대상블록의 경계에 위치한 인접화소와 비슷하여 필터를 적용한 후 생성된 화소와 큰 차이가 없을 경우에 어떤 부호화를 사용했는지를 구분하기 위한 참조화소 식별 정보를 생략할 수 있다.

도 7은 부호화 식별 정보를 생략하는 경우의 필터링 결과를 예시한 도면이다.

도 7에서 예측 모드가 수직 모드(Vertical)일 때 첫째 줄의 화소와 둘째 줄의 화소에 각각 가중치를 곱해서 생성된 화소값이 기존의 대상 블록의 경계에 있는 화소값과 차이가 없거나 혹은 소정의 문턱값(Threshold)보다 작을 경우 참조화소 식별 정보를 보낼 필요 없이 주변 블록의 경계화소를 이용한 기존의 방법으로 부호화를 진행, 또는, 새로운 방법으로 부호화를 진행할 수 있다. 이는 영상 부호화 장치와 영상 복호화 장치에 어떤 방법으로 진행할지에 대한 정보를 공유하고 있거나 시퀀스 또는 픽쳐 또는 슬라이스 또는 블록 단위로 정보를 보내어 부호화 식별 정보를 생략하는 경우에 어떤 방법으로 진행할지를 알 수 있다. 이때 전술한 두 경우의 값의 차이가 없거나 문턱값보다 작을 경우에 해당하는 화소(문턱값조건을 만족하는 화소)의 개수는 1개 이상일 수 있으며, 문턱값조건을 만족하는 화소의 갯수가 기설정된 갯수 이상인 경우에 참조화소 식별 정보를 보낼 필요 없이 주변 블록의 경계화소를 이용한 기존의 방법으로 부호화를 진행할 수 있으며, 문턱값조건을 만족하는 화소의 개수는 실시예에 따라 다를 수 있다. 이러한 문턱값조건을 만족하는 화소의 개수는 부호화 초기에 설정 가능할 수도 있고, 매 부호화되는 픽쳐 마다 결정되어 전송될 수도 있다.

전술한 두 경우의 화소값 차이를 결정짓는 문턱값(Threshold) 또한 다양하게 설정할 수 있다. 문턱값은 블록 크기에 따라 달라질 수 있고 주변 블록의 특성에 따라 달라질 수 있다. 이 또한 부호화 초기에 설정 가능할 수도 있고, 매 부호화되는 픽쳐 마다 결정되어 전송될 수도 있다. 참조화소 구성부(516)는 문턱값에 대한 정보를 부호화부(560)으로 전송할 수 있으며, 부호화부(560)는 이를 비트스트림으로 변환하여 영상 복호화 장치로 전송할 수 있다.

예측모드 선택부(512)는 현재 블록의 인트라예측모드의 방향에 위치하는 주변블록의 인트라예측모드가 현재 블록의 인트라예측모드와 일치하는 경우, 참조화소 식별 플래그의 생성을 생략할 수 있으며, 이때, 참조화소 구성부(516)는 현재 블록의 인접화소로 구성된 제1참조화소 또는 인트라예측모드의 방향성을 고려하여 인접화소에 필터링을 적용하여 생성된 제2참조화소를 참조화소로 생성할 수 있다. 예를 들어 현재블록의 인트라예측모드가 수직모드이고, 현재블록의 상부에 위치하는 참조블록의 인트라예측모드가 수직모드인 경우에는 주변블록의 인트라예측모드가 현재 블록의 인트라예측모드와 일치하므로 참조화소 식별 플래그의 생성을 생략할 수 있다. 여기서 수직모드인 경우만 예로 들었으나 본 발명이 이에 한정되지는 않으며 인트라예측 모드의 경우(단, 방향성이 없는 DC모드는 제외)마다 주변블록의 인트라예측모드가 현재 블록의 인트라예측모드와 일치 여부의 판단이 달라질 수 있다.

다른 실시예로서, 예측부(510)는 매크로블록 단위로 소정조건에 따라, 현재 블록에 인접한 주변 블록의 화소들을 이용하여 예측 블록을 생성하거나 현재 블록에 인접한 주변 블록의 화소 또는 주변 블록의 화소들을 예측모드의 방향에 따라 필터링하여 생성한 참조화소를 선택적으로 이용하여 예측 블록을 생성할 수도 있다. 여기서 소정조건이란 영상 복호화 장치와 약속된 것으로서 외부로부터 소정조건에 대하여 입력받을 수 있다.

이 경우, 예측부(510)는 상기 소정조건이 "기존방법 사용"을 의미하면 현재 블록의 인접화소를 참조 화소로 이용하는 인트라예측모드를 포함하는 예측모드들 중에서 부호화 비용을 비교하여 최적의 예측모드를 결정하고, 소정조건이 "적응적방법 사용"을 의미하면 현재 블록의 인접화소를 참조 화소로 이용하는 인트라예측모드와 인트라예측모드의 방향성을 고려하여 상기 인접화소들에 필터링을 적용하여 생성한 화소를 참조화소로 이용하는 인트라예측모드를 포함하는 예측모드들 중에서 부호화 비용을 비교하여 최적의 예측모드를 결정하고, 상기 소정조건에 해당하는 필터링조건 플래그를 생성하는 예측모드 선택부(512), 상기의 예측모드에 따라 참조화소를 생성하는 참조화소 구성부(516) 및 참조화소 구성부(516)로부터 참조화소를 수신하여 수신한 참조화소를 이용하여 예측모드에 따라 예측블록을 생성할 수 있다.

다른 실시예의 경우에도, 예측모드 선택부(512)는 최적의 예측모드를 서브블록 단위로 결정하고, 현재 블록의 인접화소를 참조화소로 이용하는지 여부 또는 인트라예측모드의 방향성을 고려하여 상기 인접화소를 필터링하여 생성한 화소를 참조화소로 이용하는지 여부를 나타내는 참조화소 식별 플래그를 서브블록 단위로 생성할 수 있다. 또한, 현재 블록의 인접화소로 구성된 제1참조화소와 인트라예측모드의 방향성을 고려하여 상기 인접화소에 필터링을 적용하여 생성된 제2참조화소의 차이가 소정값 이하인 경우, 예측모드 선택부(512)는 참조화소 식별 플래그의 생성을 생략하고, 이때, 참조화소 구성부(516)는 제1참조화소 또는 제2참조화소를 참조화소로 생성할 수 있다. 그리고, 현재 블록의 인트라예측모드의 방향에 위치하는 주변블록의 인트라예측모드가 현재 블록의 인트라예측모드와 일치하는 경우, 예측모드 선택부(512)는 참조화소 식별 플래그의 생성을 생략하고, 참조화소 구성부(516)는 현재 블록의 인접화소로 구성된 제1참조화소 또는 인트라예측모드의 방향성을 고려하여 상기 인접화소에 필터링을 적용하여 생성된 제2참조화소를 참조화소로 생성할 수 있다.

도 8은 본 발명의 일 실시예에 따른 영상 복호화 장치(800)의 구성을 간략하게 나타낸 블록 구성도이다.

본 발명의 일 실시예에 따른 영상 복호화 장치(800)는 복호화부(810), 역스캔부(820), 역양자화부(830), 역변환부(840), 예측부(850), 메모리(860) 및 가산부(880)를 포함하여 구성될 수 있다.

복호화부(810)는 비트스트림을 복호화 하여 인트라예측모드를 복원하고 양자화 주파수 계수열을 추출하여 역스캔부(820)로 전달하고 역스캔부(820)는 모드 정보에 따라 양자화 주파수 계수열을 역 스캐닝하여 양자화 주파수 계수를 갖는 잔차 블록을 생성할 수 있다. 모드 정보에 따라 역 스캐닝을 수행하여 각 잔차 블록이 생성되면, 역스캔부(820)는 생성된 잔차 블록을 역양자화부(830)로 전달한다. 한편 역스캔부(820)의 기능은 복호화부(810)에 통합되어 구현될 수도 있다.

역양자화부(830)는 복호화부(810)에서 복호된 양자화 주파수 계수를 역양자화하여 주파수계수 블록을 복원한다.

역변환부(840)는 역양자화부(830)에서 복원된 주파수계수 블록을 역변환하여 잔차블록을 복원한다.

역양자화부(830)는 복호와 역변환부(840)는 도 1을 통해 전술한 역양자화부(170)와 역변환부(180)와 각각 동일 또는 유사한 기능을 수행하므로 상세한 설명은 생략한다.

예측부(850)는 현재 블록에 인접한 주변 블록의 화소 또는 인트라예측모드의 방향에 따라 현재블록의 주변 블록의 화소를 필터링하여 생성한 참조화소를 선택적으로 이용하여 예측 블록을 생성한다.

가산부(880)는 예측부(850)에서 예측된 예측 블록과 역변환부(840)에 의해 복원된 잔차 블록을 가산하여 대상 블록을 복원한다. 복원된 대상 블록은 메모리(860)에 저장되어 대상 블록의 다음 블록이나 향후 다른 블록을 복원할 때 참조 픽처로서 사용될 수 있다.

도 8에서는 도시하지 않았지만, 메모리(860)와 가산부(880) 사이에는 디블로킹 필터부(미도시)가 추가로 연결될 수 있다. 디블로킹 필터부는 가산부(880)에 의해 복원된 대상 블록을 디블로킹 필터링(Deblocking Filtering)한다. 여기서, 디블로킹 필터링이란 영상을 블록 단위로 부호화하면서 발생하는 블록 왜곡을 감소시키는 작업을 말하며, 블록 경계와 매크로블록 경계에 디블로킹 필터를 적용하거나 매크로블록 경계에만 디블로킹 필터를 적용하거나 디블로킹 필터를 사용하지 않는 방법 중 하나를 선택적으로 사용할 수 있다.

예측부(850)는 참조화소 구성부(856), 인트라예측부(858)를 포함할 수 있다.

만일, 복호화부(810)가 인트라예측모드 및 복원되는 참조화소 식별 플래그를 이용하여 참조화소를 생성하는 것으로 판단하면, 참조화소 구성부(856)는 참조화소 식별 플래그의 값에 따라 현재 블록에 인접한 주변 블록의 화소 또는 인트라예측모드의 방향에 따라 주변 블록의 화소를 필터링하여 참조화소를 생성한다. 만일, 복호화부(810)가 참조화소 식별 플래그를 이용하지 않고 인트라예측모드를 이용하여 참조화소를 생성하는 것으로 판단하면, 참조화소 구성부(856)는 현재 블록에 인접한 주변 블록의 화소 또는 인트라예측모드의 방향에 따라 주변 블록의 화소를 필터링한 참조화소 중에서 영상 부호화 장치와 약속된 참조화소를 예측블록 생성에 사용될 참조화소로 생성한다.

인트라예측부(858)는 참조화소 구성부(856)로부터 참조화소에 대한 정보를 수신하여 수신된 참조화소 정보를 이용하여 수신된 예측모드에 따라 예측블록을 생성한다.

복호화부(810)는 부호화 데이터로부터 매크로블록 단위의 참조화소 식별 플래그를 복원할 수 있다. 이때, 예측부(850)는 해당 매크로블록의 전체 서브블록에 대하여 참조화소 식별 플래그의 값에 따라 현재 블록에 인접한 주변 블록의 화소 또는 인트라예측모드의 방향에 따라 현재 블록의 주변 블록의 화소를 필터링하여 생성한 참조화소를 선택적으로 이용하여 예측 블록을 생성할 수 있다.

또한, 복호화부(810)는 부호화 데이터로부터 서브블록 단위의 참조화소 식별 플래그를 복원할 수 있다. 이때, 예측부(850)는 해당 서브블록에 대하여 복원한 참조화소 식별 플래그의 값에 따라 현재 블록에 인접한 주변 블록의 화소 또는 인트라예측모드의 방향에 따라 현재 블록의 주변 블록의 화소를 필터링하여 생성한 참조화소를 선택적으로 이용하여 예측 블록을 생성할 수도 있다.

한편, 복호화부(810)는 현재 블록의 인접화소로 구성된 제1참조화소와 인트라예측모드의 방향성을 고려하여 인접화소들에 필터링을 적용하여 구성된 제2참조화소의 차이가 문턱값보다 큰 경우, 부호화 데이터로부터 서브블록 단위의 참조화소 식별 플래그를 복원하고, 이 경우 예측부(850)는 해당 서브블록에 대하여 참조화소 식별 플래그의 값에 따라 현재 블록에 인접한 주변 블록의 화소 또는 현재 블록의 주변 블록의 화소들의 인트라예측모드의 방향에 따라 필터링하여 생성한 참조화소를 선택적으로 이용하여 예측 블록을 생성할 수도 있다.

한편, 복호화부(810)는 제1참조화소와 상기 제2참조화소의 차이가 문턱값 이하인 경우 부호화 데이터로부터 서브블록 단위의 참조화소 식별 플래그를 복원하는 동작은 생략되며, 이때 예측부(850)는 제1참조화소 또는 제2참조화소를 이용하여 예측 블록을 생성할 수 있다. 여기서, 제1참조화소를 이용할지 또는 제2참조화소를 이용할지 여부는 영상 부호화 장치와 약속한 것으로 사용될 수도 있고, 시퀀스, 픽쳐, 슬라이스, 블록 단위로 정보를 보내어 부호화 식별 정보를 생략하는 경우에 어떤 방법으로 진행할지 여부를 알 수 있다.

만일, 현재 블록의 인트라예측모드의 방향에 위치하는 주변블록의 인트라예측모드가 현재 블록의 인트라예측모드와 일치하는 경우, 예측부(850)는 현재 블록의 인접화소로 구성된 제1참조화소 또는 인트라예측모드의 방향성을 고려하여 주변 블록의 화소들에 필터링을 적용하여 구성된 제2참조화소를 이용하여 예측 블록을 생성할 수 있다. 여기서도, 제1참조화소를 이용할지 또는 제2참조화소를 이용할지여부는 영상 부호화 장치와 약속한 것으로 사용될 수 있다.

한편, 현재 블록의 인트라예측모드의 방향에 위치하는 주변블록의 인트라예측모드가 현재 블록의 인트라예측모드와 일치하지 않는 경우, 복호화부(810)는 부호화 데이터로부터 서브블록 단위의 참조화소 식별 플래그를 복원하고, 이때, 예측부(850)는 복원된 참조화소 식별 플래그의 값에 따라 제1참조화소 또는 제2참조화소를 이용하여 예측 블록을 생성할 수 있다.

한편, 부호화 데이터에는 필터링조건 플래그가 포함되어 있을 수 있으며, 복호화부(810)는 부호화 데이터를 수신하여 필터링조건 플래그를 포함하여 인트라예측모드 및 잔여블록을 복원할 수도 있다.

이때, 예측부(850)는 필터링조건 플래그의 값에 따라, 인트라예측모드로 현재 블록에 인접한 주변 블록의 화소들을 이용하여 예측 블록을 생성하거나 현재블록의 주변 블록의 화소 또는 현재블록의 주변 블록의 화소들을 인트라예측모드의 방향에 따라 필터링하여 생성한 참조화소를 선택적으로 이용하여 예측 블록을 생성할 수도 있다.

이 경우, 예측부(850)는 필터링조건 플래그가 "기존방법 사용"을 의미하면, 인트라예측모드로 현재 블록에 인접한 주변 블록의 화소들을 이용하여 예측 블록을 생성하고, 필터링조건 플래그가 "적응적방법 사용"을 의미하면, 인트라예측모드로 현재 블록에 인접한 주변 블록의 화소 또는 주변 블록의 화소들을 인트라예측모드의 방향에 따라 필터링하여 생성한 참조화소를 선택적으로 이용하여 예측 블록을 생성할 수도 있다.

또한, 필터링조건 플래그가 "적응적방법 사용"을 의미하면, 복호화부(810)는 부호화 데이터로부터 매크로블록 단위의 참조화소 식별 플래그를 복원하고, 예측부(850)는 해당 매크로블록의 전체 서브블록에 대하여 참조화소 식별 플래그의 값에 따라 상기 예측 블록을 생성할 수 있다.

또한, 필터링조건 플래그가 "적응적방법 사용"을 의미하면, 복호화부(810)는 부호화 데이터로부터 서브블록 단위의 참조화소 식별 플래그를 복원하고, 예측부(850)는 해당 서브블록에 대하여 참조화소 식별 플래그의 값에 따라 예측 블록을 생성할 수 있다.

복호화부(810)는, 만일 필터링조건 플래그가 "적응적방법 사용"을 의미하는 경우, 현재 블록의 인접화소로 구성된 제1참조화소와 인트라예측모드의 방향성을 고려하여 현재블록의 인접화소들에 필터링을 적용하여 구성된 제2참조화소의 차이가 문턱값보다 큰 경우, 부호화 데이터로부터 서브블록 단위의 참조화소 식별 플래그를 복원하고, 이때 예측부(850)는 해당 서브블록에 대하여 참조화소 식별 플래그의 값에 따라 현재 블록에 인접한 주변 블록의 화소 또는 주변 블록의 화소들의 인트라예측모드의 방향에 따라 필터링하여 생성한 참조화소를 선택적으로 이용하여 예측 블록을 생성할 수 있다. 복호화부(810)는, 만일 제1참조화소와 상기 제2참조화소의 차이가 문턱값 이하인 경우 부호화 데이터로부터 서브블록 단위의 참조화소 식별 플래그를 복원하지 않으며, 이때 예측부(850)는 제1참조화소 또는 제2참조화소를 이용하여 예측 블록을 생성할 수 있다. 여기서도, 제1참조화소를 이용할지 또는 제2참조화소를 이용할지 여부는 영상 부호화 장치와 약속한 것으로 사용될 수 있다.

또한, 필터링조건 플래그가 "적응적방법 사용"을 의미하는 경우, 현재 블록의 인트라예측모드의 방향에 위치하는 주변블록의 인트라예측모드가 현재 블록의 인트라예측모드와 일치하는 경우, 예측부(850)는 현재 블록의 인접화소로 구성된 제1참조화소 또는 인트라예측모드의 방향성을 고려하여 주변 블록의 화소들에 필터링을 적용하여 구성된 제2참조화소를 이용하여 예측 블록을 생성할 수 있다. 하지만 현재 블록의 인트라예측모드의 방향에 위치하는 주변블록의 인트라예측모드가 현재 블록의 인트라예측모드와 일치하지 않는 경우, 복호화부는 부호화 데이터로부터 서브블록 단위의 참조화소 식별 플래그를 복원할 수 있으며, 이때 예측부(850)는 참조화소 식별 플래그의 값에 따라 제1참조화소 또는 제2참조화소를 이용하여 예측 블록을 생성할 수 있다. 여기서도, 제1참조화소를 이용할지 또는 제2참조화소를 이용할지 여부는 영상 부호화 장치와 약속한 것으로 사용될 수 있다.

도 9는 현재 블록의 주변 블록의 인트라예측모드를 예시한 도면이다.

도 5에서, 예측부(510)는 현재 블록에 인접한 주변 블록의 인트라 예측모드 방향성에 따라 주변 블록의 화소들을 필터링하여 생성한 참조화소를 이용하여 예측 블록을 생성할 수 있다.

도 9와 같이 현재 블록의 좌측블록의 인트라 예측모드가 수직-오른쪽 모드이고, 상측 블록의 인트라 예측모드가 대각선-오른쪽 모드인 경우, 현재 블록에 인접하는 좌측블록의 화소는 수직-오른쪽방향으로 필터링을 수행하고, 현재 블록에 인접하는 상측블록의 화소는 대각선-오른쪽방향으로 필터링을 수행하여 참조화소를 생성한다.

이 경우에, 예측모드 선택부(512)는 현재 블록에 인접한 주변 블록의 인트라 예측모드 방향성에 따라 주변 블록의 화소들을 필터링하여 생성한 참조화소를 이용하여 현재블록의 인트라예측모드들 중에서 부호화 비용을 비교하여 최적의 예측모드를 결정한다.

이때, 참조화소 구성부(516)는 결정된 최적의 예측모드에 따라 참조화소를 생성하고, 인트라예측부(518)는 참조화소 구성부(516)로부터 생성된 참조화소를 수신하여 최적의 예측모드에 따라 예측블록을 생성한다. 만일, 주변 블록의 인트라 예측모드가 DC인 경우에는 필터링을 하지 않고 종래의 방법으로 참조화소를 생성한다.

한편, 도 8에서의 본 발명의 일 실시예에 따른 영상 복호화 장치(800)의 예측부(850)는 주변 블록의 인트라 예측모드 방향성에 따라 주변 블록의 화소들을 필터링하여 생성한 참조화소를 이용하여 복호화부(810)에서 복원된 인트라예측모드에 따라 예측 블록을 생성할 수도 있다. 즉, 도 9와 같이 현재 블록의 좌측블록의 인트라 예측모드가 수직-오른쪽 모드이고, 상측 블록의 인트라 예측모드가 대각선-오른쪽 모드인 경우, 현재 블록에 인접하는 좌측블록의 화소는 수직-오른쪽방향으로 필터링을 수행하고, 현재 블록에 인접하는 상측블록의 화소는 대각선-오른쪽방향으로 필터링을 수행하여 참조화소를 생성한다.

본 발명의 실시예에서, 주변 블록의 인트라 예측모드가 DC인 경우에는 필터링을 하지 않고 종래의 방법으로 참조화소를 생성한다.

본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는 도 5의 영상 부호화 장치(500)의 비트스트림 출력단을 도 8의 영상 복호화 장치(800)의 비트스트림 입력단에 연결함으로써 구현할 수 있다.

본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는, 현재 블록에 인접한 주변 블록의 화소, 또는 상기 주변 블록의 화소들을 예측모드에 따라 필터링하여 생성한 참조화소를 선택적으로 이용하거나 현재 블록에 인접한 주변 블록의 인트라 예측모드 방향성에 따라 상기 주변 블록의 화소들을 필터링하여 생성한 참조화소를 이용하여 예측 블록을 생성하고 상기 현재 블록에서 상기 예측블록을 감산하여 잔여블록을 생성하고 상기 잔여블록을 변환하고 양자화하여 부호화하는 영상 부호화기 및 부호화 데이터를 수신하여 인트라예측모드 및 잔여블록을 복원하고 상기 잔여블록을 역양자화 및 역변환하여 복원하고, 현재 블록에 인접한 주변 블록의 화소 또는 상기 인트라예측모드에 따라 상기 주변 블록의 화소를 필터링하여 생성한 참조화소를 선택적으로 이용하거나 현재 블록에 인접한 주변 블록의 인트라 예측모드 방향성에 따라 상기 주변 블록의 화소들을 필터링하여 생성한 참조화소를 이용하여 예측 블록을 생성하고 상기 복원된 잔여 블록과 상기 예측블록을 가산하여 상기 현재 블록을 복원하는 영상 복호화기를 포함한다.

여기서 영상 부호화기는 본 발명의 일 실시예에 따른 영상 부호화 장치(500)로 구현 가능하며, 영상 복호화기는 본 발명의 일 실시예에 따른 영상 복호화 장치(800)로 구현 가능하다.

본 발명의 일 실시예에 따른 영상 부호화 방법은, 현재 블록에 인접한 주변 블록의 화소 또는 상기 주변 블록의 화소들을 예측모드의 방향에 따라 필터링하여 생성한 참조화소를 선택적으로 이용하여 예측 블록을 생성하는 예측단계(S910), 상기 현재 블록에서 상기 예측블록을 감산하여 잔여블록을 생성하는 감산단계(S920), 상기 잔여블록을 변환하는 변환단계(S930), 상기 변환된 잔여블록을 양자화하여 양자화된 잔여블록을 생성하는 양자화단계(S940) 및 상기 양자화된 잔여블록을 부호화하는 부호화단계(S950)를 포함한다.

여기서 예측단계(S910)는 예측부(510)의 동작에, 감산단계(S920)는 감산부(520)의 동작에, 변환단계(S930)는 변환부(530)의 동작에, 양자화단계(S940)는 양자화부(540)의 동작에, 부호화단계(S950)는 부호화부(560)의 동작에 각각 대응될 수 있으므로 상세한 설명은 생략한다.

본 발명의 다른 실시예에 따른 영상 부호화 방법은, 매크로블록 단위로 소정조건에 따라, 현재 블록에 인접한 주변 블록의 화소들을 이용하여 예측 블록을 생성하거나 현재 블록에 인접한 주변 블록의 화소 또는 상기 주변 블록의 화소들을 예측모드의 방향에 따라 필터링하여 생성한 참조화소를 선택적으로 이용하여 예측 블록을 생성하는 예측단계(S1010), 상기 현재 블록에서 상기 예측블록을 감산하여 잔여블록을 생성하는 감산단계(S1020), 잔여블록을 변환하는 변환단계(S1030), 상기 변환된 잔여블록을 양자화하여 양자화된 잔여블록을 생성하는 양자화단계(S1040) 및 상기 양자화된 잔여블록을 부호화하는 부호화단계(S1050)를 포함한다.

여기서 예측단계(S1010)는 예측부(510)의 동작에, 감산단계(S1020)는 감산부(520)의 동작에, 변환단계(S1030)는 변환부(530)의 동작에, 양자화단계(S1040)는 양자화부(540)의 동작에, 부호화단계(S1050)는 부호화부(560)의 동작에 각각 대응될 수 있으므로 상세한 설명은 생략한다.

본 발명의 다른 실시예에 따른 영상 부호화 방법은, 현재 블록에 인접한 주변 블록의 인트라 예측모드 방향성에 따라 상기 주변 블록의 화소들을 필터링하여 생성한 참조화소를 이용하여 예측 블록을 생성하는 예측단계(S1310), 상기 현재 블록에서 상기 예측블록을 감산하여 잔여블록을 생성하는 감산단계(S1320), 상기 잔여블록을 변환하는 변환단계(S1330), 상기 변환된 잔여블록을 양자화하여 양자화된 잔여블록을 생성하는 양자화단계(S1340) 및 상기 양자화된 잔여블록을 부호화하는 부호화단계(S1350)를 포함한다.

여기서 예측단계(S1310)는 예측부(510)의 동작에, 감산단계(S1320)는 감산부(520)의 동작에, 변환단계(S1330)는 변환부(530)의 동작에, 양자화단계(S1340)는 양자화부(540)의 동작에, 부호화단계(S1350)는 부호화부(560)의 동작에 각각 대응될 수 있으므로 상세한 설명은 생략한다.

본 발명의 일 실시예에 따른 영상 복호화 방법은, 부호화 데이터를 수신하여 인트라예측모드 및 잔여블록을 복원하는 복호화단계(S1110), 상기 잔여블록을 역양자화하는 역양자화단계(S1120), 상기 역양자화된 잔여블록을 역변환하여 복원하는 역변환단계(S1130), 현재 블록에 인접한 주변 블록의 화소 또는 상기 인트라예측모드의 방향에 따라 상기 주변 블록의 화소를 필터링하여 생성한 참조화소를 선택적으로 이용하여 예측 블록을 생성하는 예측단계(S1140) 및 상기 복원된 잔여 블록과 상기 예측블록을 가산하여 상기 현재 블록을 복원하는 가산단계(S1150)를 포함한다.

여기서, 복호화단계(S1110), 역양자화단계(S1120), 역변환단계(S1130), 예측단계(S1140) 및 가산단계(S1150)는 복호화부(810), 역양자화부(830), 역변환부840), 예측부(850) 및 가산부(880)의 동작에 각각 대응될 수 있으므로 상세한 설명은 생략한다.

본 발명의 다른 실시예에 따른 영상 복호화 방법은, 부호화 데이터를 수신하여 인트라예측모드, 필터링조건 플래그 및 잔여블록을 복원하는 복호화단계(S1210), 상기 잔여블록을 역양자화하는 역양자화단계(S1220), 상기 역양자화된 잔여블록을 역변환하여 복원하는 역변환단계(S1230), 상기 필터링조건 플래그의 값에 따라, 상기 인트라예측모드로 현재 블록에 인접한 주변 블록의 화소들을 이용하여 예측 블록을 생성하거나 상기 주변 블록의 화소 또는 상기 주변 블록의 화소들을 상기 인트라예측모드의 방향에 따라 필터링하여 생성한 참조화소를 선택적으로 이용하여 예측 블록을 생성하는 예측단계(S1240) 및 상기 복원된 잔여 블록과 상기 예측블록을 가산하여 상기 현재 블록을 복원하는 가산단계(S1250)을 포함한다.

여기서, 복호화단계(S1210), 역양자화단계(S1220), 역변환단계(S1230), 예측단계(S1240) 및 가산단계(S1250)는 복호화부(810), 역양자화부(830), 역변환부840), 예측부(850) 및 가산부(880)의 동작에 각각 대응될 수 있으므로 상세한 설명은 생략한다.

본 발명의 다른 실시예에 따른 영상 복호화 방법은, 부호화 데이터를 수신하여 인트라예측모드 및 잔여블록을 복원하는 복호화단계(S1410), 상기 잔여블록을 역양자화하는 역양자화단계(S1420), 상기 역양자화된 잔여블록을 역변환하여 복원하는 역변환단계(S1430), 현재 블록에 인접한 주변 블록의 화소 또는 상기 인트라예측모드에 따라 상기 주변 블록의 인트라 예측모드 방향성에 따라 상기 주변 블록의 화소들을 필터링하여 생성한 참조화소를 이용하여 상기 복원된 인트라예측모드에 따라 예측 블록을 생성하는 예측단계(S1440) 및 상기 복원된 잔여 블록과 상기 예측블록을 가산하여 상기 현재 블록을 복원하는 가산단계(S1450)를 포함한다.

여기서, 복호화단계(S1410), 역양자화단계(S1420), 역변환단계(S1430), 예측단계(S1440) 및 가산단계(S1450)는 복호화부(810), 역양자화부(830), 역변환부840), 예측부(850) 및 가산부(880)의 동작에 각각 대응될 수 있으므로 상세한 설명은 생략한다.

본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 본 발명의 일 실시예에 따른 영상 부호화 방법과 본 발명의 일 실시예에 따른 영상 복호화 방법을 결합하여 구현함으로써 실현할 수 있다.

본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은, 현재 블록에 인접한 주변 블록의 화소, 또는 상기 주변 블록의 화소들을 예측모드에 따라 필터링하여 생성한 참조화소를 선택적으로 이용하거나 현재 블록에 인접한 주변 블록의 인트라 예측모드 방향성에 따라 상기 주변 블록의 화소들을 필터링하여 생성한 참조화소를 이용하여 예측 블록을 생성하고 상기 현재 블록에서 상기 예측블록을 감산하여 잔여블록을 생성하고 상기 잔여블록을 변환하고 양자화하여 부호화하는 영상 부호화단계 및 부호화 데이터를 수신하여 인트라예측모드 및 잔여블록을 복원하고 상기 잔여블록을 역양자화 및 역변환하여 복원하고, 현재 블록에 인접한 주변 블록의 화소 또는 상기 인트라예측모드에 따라 상기 주변 블록의 화소를 필터링하여 생성한 참조화소를 선택적으로 이용하거나 현재 블록에 인접한 주변 블록의 인트라 예측모드 방향성에 따라 상기 주변 블록의 화소들을 필터링하여 생성한 참조화소를 이용하여 예측 블록을 생성하고 상기 복원된 잔여 블록과 상기 예측블록을 가산하여 상기 현재 블록을 복원하는 영상 복호화단계를 포함한다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있으며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.