2.1 MPEG-4 SVC
본 절에서는 MPEG-4 SVC에 대하여 간략히 살펴본다. 다양한 전송환경에 적응적인 비디오 부호화 기술 가운데 하나인 MPEG-4 SVC는 부호화 효율 저하를 최소로 하면서, 공간과 시간 그리고 SNR(화질에 대한 SNR) 측면에서 스케일러블 부호화 기능을 지원한다[1-3]. 다양한 화질을 제공하는 기본적인 SVC 구조는 그림 1과 같다. 그림 1에서와 같이, SVC 복호기는 네트워크와 디스플레이 장치의 능력에 따라 부호화된 비트스트림의 일부분만을 선택적으로 복호화함으로써 하나의 비트스트림에서 다양한 공간적, 시간적, 화질적 해상도를 가지는 비디오로 복호화할 수 있는 방법이다.
그림 1. 기본적인 SVC 구조
SVC에서 제공하는 스케일러빌리티의 종류로는 공간, 시간, SNR, 복합(hybrid) 스케일러빌리티 및 FGS(fine granularity scalability) 등이 있다. 이러한 스케일러빌리티를 제공하는 MPEG-4 SVC 구조를 그림 2에 나타내었다.
그림 2. MPEG-4 SVC 구조
2.1.1 공간 스케일러빌리티
공간적 SVC는 기본 계층(base layer) 및 연속되는 상위 계층(enhancement layer)에 해당하는 다양한 해상도의 프레임들을 부호화하여 전송함으로써, SVC 복호기로부터 단말장치에 적합하게 선택된 해상도의 비디오를 제공할 수 있게 한다[6-7]. 공간적 SVC의 코덱 블록도를 그림 3에 나타내었다. 그림 3에서와 같이 부호기에서는 서비스 하고자 하는 다양한 해상도의 비디오를 생성하며, 해상도에 따라 기본 계층과 다수의 상위계층으로 나누어 부호화한다. 그림 3 (a)에서 기본 계층 생성을 위하여 원본 비디오를 전송하고자 하는 기본 계층의 해상도로 다운 샘플링(down-sampling)한 후, 이 기본 계층에 대하여 일반적인 MPEG-4 비디오 코덱과 동일한 방법으로 부호화한다. 또한 상위 계층 생성을 위하여 기본 계층의 비디오 프레임은 DCT와 양자화가 수행되며, 이후 역 DCT와 역 양자화 과정을 거쳐 재구성한 후, 업 샘플링(up-sampling) 된다. 업 샘플링 된 기본 계층 프레임과 원본 프레임간의 차(residual)를 구하고, 그 차에 대해 부호화한다. 그림 3 (b)에서는 부호화된 각 계층의 비트스트림을 가변 길이 복호화(variable length decoding, VLD)하여 역 양자화와 역 DCT를 수행함으로써 비디오를 복호화한다. 그 후 복원된 기본 계층의 프레임은 업 샘플링 되며, 상위 계층의 복원된 비디오를 생성하기 위해 상위계층의 비트스트림을 복호화하여 업 샘플링 된 기본 계층과 더하게 된다.
(a) 공간적 SVC 부호기
(b) 공간적 SVC 복호기
그림 3. 공간적 SVC의 코덱 블록도
2.1.2 시간 스케일러빌리티
시간적 SVC는 GOP(group of picture) 단위로 계층적인 B 픽쳐(hierarchical B picture) 삭제 혹은 MCTF(motion compensated temporal filtering) 기법을 이용한다. 이는 매 프레임마다 구별된 시간적 레벨을 지정해 줌으로써 비디오 콘텐츠의 다양한 프레임율을 제공한다[6,8].
그림 4에서와 같이 시간 SVC는 시간 축 상에서 다운 샘플링과 업 샘플링을 사용한다는 것을 제외하고 공간 스케일러빌리티 코덱과 유사하게 동작된다. 시간 축 상의 다운 샘플링은 프레임 삭제(skipping)를 사용하고, 업 샘플링은 프레임 복사를 사용한다.
그림 4. 시간적 SVC의 블록도
2.1.3 FGS
FGS는 향상된 SNR SVC로서 양자화 파라미터(quantization parameter: QP)로 양자화된 DCT 계수 값들에 대한 비트플레인을 이용하여 화질 열화 정도를 가변 함으로서 세밀한 비트량 조절 및 화질에 대한 스케일러빌리티를 제공한다 [6,9]. 여기서 Granularity는 스케일러블 부호화 시 상위 계층이 얼마나 밀집하여 존재하는가를 나타낸다. FGS 코덱 블록도를 그림 5에서 나타내었으며, 기본 계층에 대하여 FGS 코덱은 일반적인 비디오 코덱과 동일하게 동작한다. 그림 5 (a)에서와 같이 FGS에서는 상위 계층의 입력으로 원본 영상과 기본 계층에서 재구성된 영상과의 차 영상을 구한 후, 이 차 영상에 대한 DCT를 수행한다. 그리고 이 DCT 계수의 절대치가 가장 큰 계수를 구해 비트 평면의 개수를 정한 후, 비트플레인 부호화(bit-plane coding)를 수행한다. 이와 같이 FGS의 상위 계층은 비트플레인을 선택하여 채널 상황에 적합하게 비트스트림을 발생시켜 사용 가능한 대역폭만큼 데이터를 선택하여 전송한다. 그림 5 (b)는 FGS 복호기 블록도를 나타내었다. 상위 계층과 기본 계층은 서로 독립적으로 복호화하는 과정을 거친 후 더해져서, 상위 계층의 복원된 비디오를 얻게 된다.
(a) FGS 부호기
(b) FGS 복호기
그림 5. FGS의 코덱 블록도
'스크랩' 카테고리의 다른 글
Prayer for bobby (0) | 2015.09.21 |
---|