《深入多媒体晶片系统技术发展.ppt》由会员分享，可在线阅读，更多相关《深入多媒体晶片系统技术发展.ppt（110页珍藏版）》请在三一办公上搜索。
1、深入多媒體晶片系統技術發展,影像媒體視訊媒體Appendix,Outline,視訊媒體,視訊原理簡介視訊檔案格式MPEG-2視訊壓縮標準簡介MPEG-4編解碼技術意義,視訊媒體,視訊原理簡介視訊檔案格式MPEG-2視訊壓縮標準簡介MPEG-4編解碼技術意義,視訊原理簡介(1/3),視訊媒體的基本原理是透過人類眼睛的視覺暫留，將一連串的靜態影像做快速而連續的播放。只要播放的速度夠快，肉眼便難以察覺影像與影像之間的變化，而把它視為是連續的視訊訊息。對於傳統的視訊資料，它是用類比的方式紀錄每張影像的內容(底片)再利用放映機做快速的播放。因此若要利用數位技術處理視訊資料，首先必須要考慮的是視訊資料的數
2、位化，將視訊資料由傳統的類比式資料來源如攝影機經由視訊擷取設備將它轉換成數位化的方式加以儲存。而對於數位化之後的視訊資料而言，我們首先會面臨到的問題在於資料量過大。由於視訊的原理在於利用肉眼的視覺暫留，因此影像連續播放速度大約需要達到每秒鐘三十張影像。換言之，短短一分鐘長度的影片，轉換成為數位化的視訊資料之後需要儲存30 x60=1800張影像。若以每張影像大小為352x240畫素，每一個畫素用3個bytes來儲存其顏色資訊(高彩)，那麼這一分鐘的影片需要(1800 x352x240 x3)共435MBytes的儲存空間。,視訊原理簡介(2/3),觀察到上述對於一分鐘視訊短片的儲存空間計算，我
3、們可以發現影響視訊資料儲存空間的主要因素有下列兩點:第一、單一影像的儲存空間第二、儲存影像的張數因此，要以較少的儲存空間來處理視訊資料首先必須要減少單一影像的儲存空間。我們可以套用在上一章當中所介紹的關於影像壓縮的部分，利用影像壓縮的技術可以用比較簡潔的方式來儲存每一張單一的影像。其次，要減少儲存的影像張數，我們可以觀察視訊資料中連續影像之間的關係。,視訊原理簡介(3/3),由於每秒鐘需要播放連續的30張影像，每一張影像之間的物體移動變化並不曾太大，如此方能利用視覺暫留的原理來達到動態播放的效果而不會造成不連續的現象。因此，利用這樣的特性，我們不需要將每張影像都紀錄下來，只需要從影像序列當中挑
4、出一些關鍵畫格(Keyframe)利用影像壓縮的方式加以儲存。而介於關鍵畫格之間的其他畫格，則只需儲存與關鍵畫格影像之間變化的資訊即可。相對於整張影像而言，關鍵畫格問的變化較小，只需少許的儲存空間。因此原先需要儲存大量的影像資訊，現在只需儲存部分關鍵畫格的影像以及期間各影像的變化即可，如此一來將可以大量的減少資料的儲存量。舉例而言，像是電視新聞的片段，當主播在播報新聞的時候，往往只有其臉部的表情會有所變化，大部分的背景甚至其上半身都是保持固定不變的狀態，因此對於非關鍵畫格的部分，我們只需紀錄臉部的表情的變化，而保留其它像是背景以及主播上半身的資訊即可，不需紀錄整張影像完整的資訊。,視訊媒體,視
5、訊原理簡介視訊檔案格式MPEG-2視訊壓縮標準簡介MPEG-4編解碼技術意義,視訊檔案格式,MPEG系列AVIQuickTime常見的串流視訊視訊播放規格,MPEG系列,MPEG系列的壓縮標準當中，依照其目的不同，大致可以區分成下列幾種規格。以壓縮為主的MPEG-1、MPEG-2以互動及編輯為目的的MPEG-4以多媒體資料描述與檢索為目的的MPEG-7等標準當然 MPEG系列中的不同規格，在壓縮後會產生不同的資料量。,MPEG-1(1/6),在MPEG-1的標準當中，主要是以儲存為其應用範疇，因此其位元率訂在大約15Mbps。MPEG-1對於書面的解析度以及播放速度的標準分別是NTSC系統：3
6、52x240、30FPS(Frame Per Second)PAL系統：352x288、25FPS其中 NTSC(National Television System Committee)是美國國家電視畫面播放標準，PAL(Phase Alternation by Line)則是歐洲電視畫面播放標準。,MPEG-1(2/6),在MPEG的標準之中是採用較為符合人類感官知覺的YCrCb色彩模型，因此在視訊資料當中的每一張影像的色彩要先從RGB的色彩模型轉換成利用YCrCb的方式來加以表示。對於單一影像的壓縮而言，它是採用類似於JPEG的壓縮方式，首先將影像區分成較小的8x8區塊，按著對每一個區塊
7、內的所有畫素進行離散餘弦轉換DCT(Discrete Cosine Transform)，將原本畫素的色彩值依照其分布的情形轉換成DCT係數。我們可借由量子化(Quantization)的方式可以將一些人類視覺上較不敏感的細微變化加以濾除，按著以Zig-Zag的方式將原先約二維資料轉換成一維的序列同時加以編碼儲存。,MPEG-1(3/6),在影像的壓縮部分，MPEG-1採用的色差比例為4：2：0，也就是說在畫面上中每四個Y值，對應到一個Cr值以及一個Cb值(相當於縱軸與橫軸的資訊均減半，如圖1所示)，這是因為人類的感官知覺對於亮度(Y)的敏感度較高。也因此，它只保留了亮度完整的資訊，而以較少的
8、資訊來儲存其他兩種彩色的色差，藉以產生較大的壓縮比率。,圖1：色差比例圖示(4：2：0),MPEG-1(4/6),而對於影像序列(image sequence)的儲存方面，由於相鄰的影像多半具有相似內容，因此 在MPEG-1的壓縮標準當中只需在影像序列當中選擇一些I畫格(Intra Picture)。對於這些畫格的內容採用前述影像壓縮方式加以儲存，而對於兩張I畫格之間的影像，則是採用動態補償(Motion Compensation)的 方式來預測以及插入其它的畫格。換言之，在兩張I畫格當中，它會依照比例在相關的位置當中置入一定數量的P畫格(Predicted Frame)以及B畫格(Bi-di
9、rectional Frame)。所謂的P畫格是利用前一個I畫格再加上位移向量(Motion Vector)來加以預測P畫格本身的內容(如圖2下方的Forward Prediction)。而B畫格則是利用前後的I畫格以及P畫格，以內插法的方式加以產生B畫格本身的內容(如圖2上方的Backward Prediction與Forward Prediction)。,MPEG-1(5/6),也就是說，P畫格以及B畫格並不需要紀錄畫格內的全部資訊，只需紀錄與前後I畫格或P畫格內容的差異性，藉著紀錄的資訊可以預測或插入該畫格本身的內容。一般而言，一段播放的影像序列GOP(Group of Picture)
10、可以表示成IBBPBBPBBPBBPBBI這樣的晝格順序(如圖2)。大約在每12到15張影像之中插入一張I畫格，只有這張畫格需要藉由其內容進行影像壓縮儲存，其餘的畫格(B或P)都可以利用預測或是內差的方式加以產生，因此它可以保持很高的壓縮比率。,MPEG-1(6/6),圖2：GOP的圖示,MPEG-2(1/2),MPEG-2沿用了MPEG-1的標準，並且加以擴充，它的解析度擴增成NTSC系統：720 x480，PAL系統：720 x576，而其色差比例則由原先的4：2：0擴增了4：2：2(橫軸減半，如圖3所示)以及4：4：4兩種模式。其中4：2：2的色差比例是將橫向的色彩資訊加以減半儲存，也就
11、是說每兩個亮度資訊(Y)對應到單一的一個色彩資訊，而4：4：4則是保留了所有的色彩資訊。由此可以發現，在MPEG-2的標準之下，除了解析度的增高之外，對於色彩的儲存也將會較MPEG-1標準來得豐富許多。,圖3：色差比例圖示(4：2：2),MPEG-2(2/2),而它的畫面掃描方式，除了原先MPEG-1所使用的逐列掃描方式之外，也增加了交錯式(Interlace)的掃描方式。至於對單一畫格的壓縮方式則是沿用MPEG-1當中以DCT轉換配合量子化的方式來對單一畫格進行壓縮，而影像序列的壓縮及表示方法也是利用I、P、B(image sequences)畫格配合動態補償(Motion Compensa
12、tion)的方式來加以完成。MPEG-2對於視訊的解析度以及畫質有所加強，但相對的所需要的儲存空間也較大，適逢DVD新規格的制定可以在相同大小的光碟片當中儲存更高容量的資料。也因此提供了MPEG-2一個合適的應用範疇。目前所見的DVD光碟其視訊壓縮格式採用了MPEG-2的標準，可以獲得比VCD更高的畫質。,MPEG-4(1/2),有別於先前所提出的MPEG-1、2系列，MPEG-4的標準除了要將視訊資料壓縮到極低的位元比率之外，它還提供了使用者與視訊內涵之間的互動編輯(interactivity)的能力。和前幾個MPEG系列所不同的是，MPEG-4不再是以一張一張的畫格影像作為其處理的基本單位
13、，它將視訊當中的各種不同的資料以各式各樣的物件(Video Object)來加以表示，而所有的壓縮以及資料傳遞的過程都是以物件作為基本的單位來加以處理。也因此，使用者端接收到了各個物件之後可以自行作物件資料的編輯組合以及互動。,MPEG-4(2/2),MPEG-4的應用主要可以分為視訊傳遞以及編輯兩方面。由於MPEG-4的標準提供了極高的壓縮比例以及較低的位元比例，因此可以應用於頻寬較低的環境之中。此外，由於視訊資料均表示成各式的物件，因此藉由物件的重組可以達到視訊編輯的效果，提供使用者依據自己的需求或是互動而創造出不同的視訊畫面。,MPEG-7(1/3),MPEG-7主要是制定出一套多媒體描
14、述介面(Multimedia Content Description Interface)，藉由這個描述介面可以做到依內容來檢索多媒體資料的功能(Content-Based Retrieval)。MPEG-7的範疇主要是著重在資料的描述以及描述方式之上，至於檢索的方式則不包括在其中。資料的描述以及描述方式可以透過描述定義語言(Description Definition Language)來加以定義。在MPEG-7中，每一份多媒體資料的描述都是利用描述元(D-Descriptor)以及描述結構(DS-Description Scheme)來組成。其中，描述結構主要是用結構化的方式來說明如何描述
15、多媒體資料，包括與其他描述結構描述元之間的關係，而描述元則是實際用來描述多媒體資料的內容。圖4的範例說明了描述元以及描述結構之間的關係。,圖4：描述結構範例,MPEG-7(2/3),假如我們要描述一張影像，我們可以將它視為背景以及許多的區域(Region)所組成的。對背景而言，我們可能只需考慮其顏色(color)及紋理(Texture)的資訊，而對每一個區域而言，我們可能需要考慮其顏色、形狀 Shape)以及紋理的資訊。藉由背景以及區域的描述可以用來構成整張影像的內容。因此，在MPEG-7的標準之下，我們可以將影像描述定義成包含兩種不同的DS(Description scheme):背景以及區
16、域。對背景而言，我們只需紀錄它的顏色資訊(顏色描述元Color Descriptor)以及紋理資訊(紋理描述元Texture Descriptor)，而對於區域而言，我們需要考慮的則是包括了顏色描述元(Color Descriptor)、形狀描述元(Shape Descriptor)以及紋理描述元(Texture Descriptor)。,MPEG-7(3/3),在MPEG-7的標準之內制定了許多的描述結構以及描述元，可以用來描述各式的多媒體資料內涵，而使用者也可以透過描述定義語言DDL來依據不同的應用定義新的描述結構DS以及描述元D。接收端則可以藉由DDL來建構出相對應的DS及D，並且依據其
17、描述方式正確的還原出多媒體資料的內涵資訊。,影像描述結構範例,AVI 1/2,AVI(Audio Video lnterleave)是由微軟公司(Microsoft)所開發出來的一種視訊格式，在個人電腦上是三種廣泛被使用的視訊技術之一(另為兩種分別是MPEG及QuickTime)。AVI採用RIFF(Resource Interchange File Format)格式，這使得它的播放較為容易。AVI格式可以將各媒體資料以資料流(Data Stream)的方式儲存，所謂Interleave意指音訊資料是與視訊資料一起交錯安排使得他們可以天衣無縫的一起加以播放。由於Windows作業系統的普及，
18、連帶的也使得它成為目前在Windows作業平台上最廣泛被運用的音訊/視訊格式。然而，由於在AVI的格式中只描述了音訊以及視訊資料流儲存在檔案之中的結構，並未特別指定它編碼的方式，因此它可以透過許多不同的編碼方式加以儲存。目前一般的AVI檔案可以未經壓縮或是透過任一種codec(編碼與解碼工具)來壓縮編碼，codec的種類繁多，目前較常被使用的有Motion-JPEG，DivX以及MPEG-4等。,AVI 2/2,在AVI檔案之中會有一段FourCC來描述這個AVI檔案是利用何種codec來編碼的。在Windows作業環境之中，如果我們找到了正確的codec，那麼要播放AVI格式的視訊檔案是很容
19、易的一件事。有許多的Windows應用程式都可以支援播放AVI個式的視訊檔案，其中最廣泛被使用的當屬微軟公司本身的產品Windows Media Player。然而，假如我們不能夠取得這個AVI檔案所必須的codec，那麼Windows Media Player將無法播放這個視訊檔案(也許仍舊可以將其中的音訊資料加以播放，但將不曾出現任何的影像)。,QuickTime,QuickTime是由Apple公司在1991年開發出來的視訊檔案格式(副檔名為mov)，它是一個儲存聲音、圖形以及電影檔案的方法，必須要搭配使用QuickTime播放軟體才可以觀看其內容，目前也提供一般的Windows作業系統
20、的播放軟體版本。如同AVI一樣，QuickTime 並沒有制定視訊資料必須要使用的壓縮格式，它只定義視訊的結構。儘管如此，現階段QuickTime所使用的是Apple本身的視訊編碼技術，具備有串流的效果，類似於RealVideo的格式。,，,串流媒體,所謂的串流媒體指的是透過網際網路，即時的傳遞視訊或是音訊的資料。目前比較常見的串流視訊格式包括了有RealVideo，QuickTime以及WMV。串流媒體最大的功用是在於即時的將壓縮後的視訊與音訊資料傳遞到客戶端，讓客戶端可以在尚未完全接收到全部的資料內容之前使開始透過用戶端的程式加以解壓縮，並且將視訊與音訊內容加以播放。,RealVideo,
21、RealVideo是由RealNetworks，Inc.這家公司所制定的一種視訊格式(副檔名為rm，ra或是ram)，其檔案必須要搭配RealPlayer才能加以播放。RealVideo是一種串流視訊規格，它可以將即時的或是預先錄製的視訊或音訊內容透過網際網路加以傳輸。目前有許多的網路電台都是利用這種方式來傳遞與播放音訊甚至視訊資料。如果能夠將RealVideo的檔案加以儲存，它也可以在個人電腦上加以播放(不一定要經由網路串流)。雖然RealVideo的視訊品質比起目前一些MPEG-4為基礎的視訊規格像是DivX;-)或是WMV要來的差，但目前來講，仍然幾乎可以說是世界上最流行的串流視訊格式之
22、一。,WMV,WMV(Windows Media Video)是由微軟公司所開發的一種使用於網路傳輸的視訊格式，它是採用微軟自己的MPEG-4視訊編碼技術(與其它的MPEG-4技術並不相容)來對於視訊資料加以編碼。我們只需要下載正確的codec，便可以利用視窗作業系統內建的Windows Media Player加以播放。由於WMV格式的視訊檔案可以在較小的空閒中儲存較長時間的視訊資料並且能夠維持其視訊品質，因此越來越多網際網路上的視訊應用選擇WMV格式作為其視訊傳遞的方式。,視訊播放規格(1/2),在熟悉了一些常見的視訊壓縮模式之後，我們繼續介紹視訊的播放規格及其使用的相關視訊格式。常見的視
23、訊播放格式包括了：Video Compact Disc(VCD)這是使用MPEG-1視訊壓縮格式的影音光碟。所輸出的影片品質約為VHS錄影帶影片的等級(通常會更好一些)。VCD可以利用一般電腦的光碟機、VCD播放機、甚至DVD播放機來播放其視訊內容。Super Video CD(SVCD)這是增強的VCD版本，它採用了MPEG-2視訊壓縮技術，並且支援變動位元速率(VBR)，使得其播放時間與畫質之間可以取得一個平衡點。一般常見的SVCD中影片的播放時間約為30-45分鐘。雖然時間可延長到70分鐘，不過此時聲音和影像的品質將會降低。SVCD可以利用一般的VCD/SVCD播放機、大多數的DVD播放
24、機(視機器規格而定，可參考播放機的說明)，以及裝有DVD/SVCD播放軟體的電腦光碟機與DVD光碟機來播放其視訊內容。,視訊播放規格(2/2),Digital Versatile Disc(DVD)由於DVD具備有較高的視訊品質，使得它成為目前影片製作的主要播放格式。它不僅可提供較佳的音訊和視訊品質，而且還可以將數倍於VCD和SVCD的視訊資料加以儲存。DVD採用了MPEG-2視訊壓縮格式，其檔案遠比MPEG-1壓縮格式來得大，但藉由DVD光碟片較大的儲存空間，我們可以將視訊資料以單面或雙面、單層或雙層的方式來燒錄於DVD光碟片之中。DVD可以利用DVD播放機或是電腦的DVD光碟機來播放其視訊
25、內容。,視訊媒體,視訊原理簡介視訊檔案格式MPEG-2視訊壓縮標準簡介MPEG-4編解碼技術意義,MPEG-2視訊壓縮標準簡介,類比到數位為何要壓縮多媒體資料數位化的問題MPEG的歷史 MPEG-2系統概觀MPEG-2視訊概觀 MPEG-2視訊壓縮技巧結論,類比到數位,人們常說現今已是一個數位的時代，不管是通訊上、資料交換保存上，越來越多的應用皆改為數位的方式來呈現。在傳統的類比領域中，資料皆以電壓的變化差來傳輸、表現或儲存，如喇叭、傳真機、電視映像管等皆是以此方式接收訊號並表現之。然而類比傳輸及資料處理有其兩大致命傷。第一即訊號衰減問題：電氣訊號在傳輸時，隨著傳輸距離的增加，訊號會逐漸衰減；
26、當訊號在衰減同時，電壓的變化差會逐漸變小，機器的解析力並非無限，必會失去部份細節。第二個致命傷便是干擾問題：類比訊號傳輸之波形易受外來高頻訊號的干擾。而數位信號採方波信號，只看正負波峰差，訊號衰減影響較小且訊號在放大亦不會有失真問題；另外方波信號對高頻雜訊亦有良好的抵抗能力。訊號數位化是趨勢，也是需要。,為何要壓縮多媒體資料數位化的問題 1/2,現實生活上，人類大部份可以感受的訊息依然是類比式的，所以在我們要以數位化方式處理、儲存及傳輸資料時，第一步得先將資料數位化（Digitalize）。原始視訊播放流程：NTSC（National Television Standard Committee
27、）是眾所周知的522線制，其中480行被用於畫面表現上。如果現在將NTSC類比信號轉成數位化資料，4:3的橫縱比率意味著每行有720個像素。如果以每張圖像720*480，那麼一張24位元的全彩NTSC點陣圖的大小為720 x 480 x 3Bytes=1036800Bytes，約1.037MB；,為何要壓縮多媒體資料數位化的問題 2/2,另外，NTSC電視系統每秒顯示29.97張畫面，換句話說，當電視訊號以數位化方式呈現時時，每秒大約是29.97 x 1.0367MB=31.072MB的資料流過，並且這還不包括聲音。如果想要在電腦上播放該視訊，電腦將需以每秒約27MB的速度將資料由儲存體搬出之
28、後再搬到螢幕上；另外每小時27MB x 3600=97200MB=97.2GB的視訊容量需求是十分驚人的。如此龐大的資料儲存及傳輸量直到近幾年硬碟技術才追趕上這樣的需求。至於現在市面上其它已上市的儲存裝置（CD、DVD、MO、TYPE等），若非傳輸速度不夠，便是儲存容量不足。由此可見，數位化的資料處理雖有其好處，然而對於多媒體資料來說，未經壓縮處理的原始資料（Raw data），存放及傳輸仍有其問題。因此適當的對多媒體資料進行資料空間的壓縮以利存放及傳遞實有其必要。,MPEG的歷史,多媒體資料壓縮領域山頭不少，然而在該領域中，ISO MPEG（Moving Picture Experts Gr
29、oups）提出的影音壓縮標準，可說是目前多媒體領域中的主流格式。第一代的標準MPEG-1制定於西元1992年，原始目標為SIF（Source Input Format）解析度：352*240於每秒30張非交錯式（Non-Interlaced）掃描的畫面或352*288於每秒25張非交錯式掃描的畫面，位元率（Bitrate）約為1.2Mbit/s。雖然如此，MPEG-1對於較小或較大解析度的畫面還是可以處理，並且相對應的提高位元率。另外，一般放映機功能如：倒轉、快轉、暫停、及一般放映機沒有的功能如：隨機快速存取，MPEG-1皆能支援。,MPEG的歷史(contd),MPEG-1畫質雖然比起之前流
30、通的數位壓縮視訊檔要好，然而不支援電視的交錯顯示問題，加上其畫質比起家用VHS系統錄影帶仍略差，更不用說是LD。因此MPEG-1格式的影音CD（Video CD，VCD）並未受到歐美日等家電大廠重視，僅在錄放影機或LD不發達的地區（如中國大陸）流行。1994年推出的MPEG-2，採用了較新的壓縮技術，支援交錯式掃描，並在系統可靠度及影音質量上都有所突破。MPEG-2所能達到的影音表現與LD不相伯仲甚至猶有過之，因此開始受到歐美日家電大廠的注意。目前使用的DVD影片的視訊壓縮就是採用了MPEG-2技術。,MPEG-2系統概觀(1/3),當初MPEG-1設計的目地主要是影音資料於數位儲存媒體（Di
31、gital Storage Media）的應用，這些數位儲存媒體通常有非常低甚至趨近於零的資料傳輸錯誤。因此，MPEG-1的系統並未設計成較強固的方式以對抗傳輸錯誤。MPEG-2標準的目標則是希望能有更廣泛的應用，MPEG-2的系統因此被負予了錯誤回復（Error Resilience）能力的使命。,MPEG-2系統概觀(2/3),MPEG-2系統定義了兩種資料流：Program Stream及Transport Stream。Program Stream基本上近似於MPEG-1的系統資料流（System Stream），但是內部是使用修改過的語法（Syntax）以及新的函式以提供一些較先近的
32、功能。Program Stream提供了與MPEG-1系統間的相容性，其解碼器（Decoder）設計上的要求基本上是相似於MPEG-1系統資料流解碼器的。一般來說，MPEG-2的 Program Stream 解碼器是可以解MPEG-1的系統資料流的。,MPEG-2系統概觀(3/3),MPEG-2系統資料流的抗錯誤能力主要是來自Transport Stream。Transport Stream使用了新標頭及188 bytes固定長度的封包，固定長度的封包除了硬體較好處理之外，也更適合錯誤更正的演算。因此Transport Stream適合於易出錯的傳輸實體（如有線電視網路或衛星電視）上負載壓縮
33、的視訊及聲音資料。事實上，Transport Stream就是被特地設計來支援許多新功能的，如非同步多路傳輸（Asynchronous Multiplexing）。,MPEG-2視訊概觀(1/6),MPEG-2視訊原始的主要目標是希望在位元率介於4到9Mbit/s間時，能對一般標準電視解析度的交錯式視訊（Interlaced Video）提供一種新的編碼壓縮方法以得到更好的畫質。然而，MPEG-2的最終目標並未僅只於此，它也可以支援如HDTV等更高畫面解析度的視訊應用，以及各種畫面解析度下的交錯式視訊。如同其它MPEG標準，MPEG-2的視訊標準僅僅定義了資料的語義及語法(syntax)，並未
34、規定資料編碼及解碼的實作方法，因此這之間還有不少編解碼技術空間可以發揮。,MPEG-2視訊概觀(2/6),MPEG-2的應用,MPEG-2視訊概觀(3/6),下圖是一個簡單的MPEG-2 Non-scalable視訊編解碼器（Codec）。MPEG-2視訊編碼器（Encoder）包含Inter Frame/Field離散餘弦變換（Discrete Cosine Transform，DCT）編碼器、Frame/Field動態估計及補償器（Motion Estimator and Compensator）、以及可變長度編碼器（Variable Length Encoder，VLE）。離散餘弦變換編
35、碼器主要是利用空間上的冗餘（Spatial Redundancies），而動態估計及補償器則是利用時間上的冗餘（Temporal Redundancies）來壓縮資料。最後資料經過可變長度編碼器編碼後送至MPEG-2的系統多工器（System Multiplexer，SysMux），再由Transport或Program Stream將資料送出。,MPEG-2視訊概觀(4/6),MPEG-2視訊解碼器（Decoder）包含Inter Frame/Field 離散餘弦變換解碼器（即反離散餘弦變換，Inverse DCT，IDCT）、Frame/Field動態補償器(Motion Compensa
36、tor)、以及可變長度解碼器（Variable Length decoder，VLD）。MPEG-2系統解多工器（System De-Multiplexer，SysDemux）有著與系統多工器互補的功能，並且能將收到的視訊資料流整合後傳送至可變長度解碼器，可變長度解碼器再將資料還元成DCT係數（DCT Coefficients）及動態向量（Motion Vector）並分送至離散餘弦變換解碼器及動態補償器。離散餘弦變換解碼器以離散餘弦變換係數資料產生出視訊，而動態補償器利用動態向量及預測誤差值產生產生出視訊並輸出。上述是一個很單純的MPEG-2編解碼器，當然，實際上MPEG-2視訊標準並不僅僅
37、如MPEG-1般為單層（Single Layer）的視訊編碼，MPEG-2也包含了Scalable視訊編碼。Scalable視訊編碼提供了在相同的視訊資料流中解出不同的解析度及影像品質的能力。,MPEG-2視訊概觀(5/6),一個概觀的MPEG-2 Non-Scalable視訊編解碼器,一個概觀的 MPEG-2 Scalable視訊編解碼器,MPEG-2視訊概觀(6/6),原始的數位化影像輸入後，前處理器會將其分為兩個視訊訊號，一個輸入MPEG-1或MPEG-2的Non-Scalability的視訊編碼器處理，產生基礎層（Base Layer）資料流；另一個訊號由MPEG-2加強編碼器（Enh
38、ancement Encoder）產生加強層（Enhancement Layer）資料流。最後影像資料由系統多工器轉成系統資料流送出。解碼器反向處理後便可得到不同的品質及解析度的影像。舉例來說，當只有MPEG-1或MPEG-2 Non-Scalable的解碼器時，基礎層的資料流將被解出並且可以的到尚可的影像，而當加入了MPEG-2加強編碼器後，增強的視訊訊號就可以被解出來，並且和基礎資料流透過後期處理器進一步處理得到更高品質的影像資料。MPEG-2定義了許多不同種類的Scalability，因此一般很難在一個編解碼器中支援所有的Scalability。然而基本上一個支援Scalability的
39、編解碼器仍需包括時間上及空間上的解析度Scalability的能力。,Syntax Layers in MPEG-2,The Video Encoder of MPEG-2,FrameMemory,Pre-processing,DCT,Quantizer(Q),Q-1,IDCT,FrameMemory,MotionCompensation,MotionEstimation,VLCEncoder,Buffer,Input,Output,Predictiveframe,Motionvectors,+,-,+,+,Zig-Zag Scan,8*8 spatial coefficient,8*8 fr
40、equency coefficient,圖4:一個典型的MPEG-2編碼器,The Video Decoder of MPEG,VLC/RLCDecoder,Inverse Scan,Q-1,IDCT,+,+,MotionCompensation,Picture Buffer,Coded VideoBit Stream,MotionVectors,OrderedSourcePictures,Buffer,圖5:一個典型的MPEG-2解碼器,MPEG-2視訊壓縮技巧,所謂的壓縮，就是找出冗餘內容，再從資料流中除去的技術。如之前所提，MPEG-2的視訊主要是就是利用空間上及時間上冗餘資訊的消除來達
41、到壓縮的效果。圖4及圖5為典型的MPEG-2編解碼器，以下我們將針對其中重要的壓縮技巧做解說。空間上的冗餘去除時間上的冗餘去除以資料本身冗餘為基礎的壓縮,空間上的冗餘去除,視訊資料的一個特性是空間冗餘。一般來說，在同一張畫面上必有一些共通特性，也許是色彩上的，也許是幾何上的，或是其它特徵值得到的。所謂的空間冗餘去除，就是要識別出畫面中重要的元素，並移除重複且較無影響的元素的動作。,色彩取樣,跟據實驗，人眼對於亮度變化較敏感而對於色度的變化相對的較不易查覺。依此實驗，MPEG-2採用亮度色度的色彩表示格式，Y表示亮度值（Luminance），Cr及Cb表示色度值（Chrominance），並且從
42、降低色度取樣來減少訊號量。MPEG-2中定義了4：2：0、4：2：2及4：4：4採樣格式。4：2：0表示四個Y取一個Cr一個Cb；4：2：2表示四個Y取兩個Cr兩個Cb。4：4：4表示四個Y取四個Cr四個Cb，即不做任何的採度取樣減少。減少色度採樣可以在盡量降低對視覺的影響下達到較大的資料縮減效果。,離散餘弦變換 1/2,離散餘弦變換是一個無損的，可逆的數學計算。在用於視訊壓縮時，它把空間亮度採樣和相應的色度採樣強度資料轉化為空間頻率資料。在MPEG-2的視訊壓縮中，找出存在於視訊中的每張畫面裡的空間冗餘，就是以將圖切成8x8的區塊（Block）後做離散餘弦變換來完成的。區塊的色彩值轉換後的離
43、散餘弦變換係數依然是一個8x8的矩陣，左上角的係數稱為DC係數，其餘稱為AC係數。,離散餘弦變換 2/2,DC係數往下代表著逐漸增高的垂直空間頻率係數，往右代表看逐漸增高的水平空間頻率係數，其他係數則代表垂直水平空間頻率的不同組合。由於圖像的自然屬性，一個畫面中通常不會有很密集且大的波動，因此離散餘弦變換經常使代表較高空間頻率的離散餘弦變換係數的值很小，甚至為零。基本上，離散餘弦變換並不能減少數據量，但是卻可以將資料轉成較易找尋冗餘的表達型式。,量化,除了在4：2：2或4：2：0的色彩採樣過程中丟失了有限數量的資訊以外，MPEG-2的壓縮能力來自對離散餘弦變換係數靈活的量化過程。簡單地講，量化
44、（Quantization）就是減少描述各係數的位元數的過程，亦即將各係數以較粗糙的度量單位描述之。量化的動作主要有兩個功能：一是讓原已很接近零的值儘量變成零，另外則是使得原來非零的係數分布範圍變小，有助於壓縮。量化是一種破壞性壓縮技巧，量化後的資料再還原時與原來的資料不會全然相同，因此視訊壓縮後失真的程度，主要便取決於量化位階(Quantization Scale)的選取。由於人視覺上的特性，高空間頻率的訊號往往不易察覺其變化，因此用較大的位階表示甚至忽略之，對人眼來說亦不會造成多大的差異。,時間上的冗餘去除(Reduction of Temporal Redundancy),視訊資料的另一
45、個特性是時間上的冗餘(Temporal Redundancy)。一般播放的視訊，其實只是一連串連續的圖像序列，然而因為人類視覺的視覺暫留現像，所以會有連貫影像的錯覺。而此種視訊因為畫面間時間間隔甚小，因此相臨的畫面幾無差異，大多只是圖像內容的位置變化。因為有此現像產生，所以我們可以利用除去在時間軸上畫面與畫面的相似性造成的冗餘來進行壓縮。,動態補償,動態補償（Motion Compensation，MC）便是基於上述概念所發展出來的一種視訊壓縮技巧。在做動態補償之前，首先將畫面分為16x16的大區塊（Macro-block，MB），然後找尋其在參考畫面（Reference Picture）中近
46、似的大區塊所在位置，並將由目標大區塊到參考大區塊間位置的座標差記錄成動態向量（Motion Vector）。參考畫面在該畫面之前，稱為向前預測（Forward Prediction）；參考畫面在該畫面之後，稱為向後預測（Backward Prediction）；而參考畫面在該畫面前後都有，稱為雙向預測（Bi-directionally Prediction）。而整個找尋動態向量的過程稱為動態估計（Motion Estimation），常見的有區塊匹配法（Block Match Method）及遞迴法（Recursive Method）。另外，因為預測可能不是最佳匹配且目標大區塊與參考大區塊間不
47、一定完全一致，因此還要計算目標大區塊與參考大區塊間畫面訊號的差值，稱為預測誤差（Prediction Error），用以在解碼時做補償之用。最後預測誤差再以空間的冗餘去除的壓縮法處理之。,畫面壓縮(1/5),要探討如何壓縮MPEG-2的視訊之前，首先來看看MPEG-2的視訊資料結構，由下而上依序為：區塊（Block）：包含量化後的畫面資料，由8x8的像素所組成，是離散餘弦轉換的最小單位。大區塊（Macroblock）：為一個16 x 16的大區塊，是色彩取樣、動態估計及動態補償的基本單位。片段（Slice）：由數個大區塊（Macro-block）所組成，主要將每張畫面作水平且固定單位的切割。片
48、段以上的各種結構都有訊號同步及錯誤控制能力。畫面（Picture）：由數個片段（Slice）所組成，為最主要的編碼單位，主要有三種影像編碼的型態 I、P、B，稍後會有詳細敘述。畫面群組（Group of Pictures，GOP）：由一張 I 畫面及數張 P 及 B 畫面所組成。在MPEG-2中，畫面群組的總長及P畫面張數是可以動態調整的。視訊序列（Video Sequence）：由數個畫面或畫面群組所組成，然而一部影片可以只由一個視訊序列組成，也可以由數個視訊序列所組成。,畫面壓縮(2/5),畫面壓縮(3/5),MPEG-2定義了三種畫面壓縮模式，I畫面、P畫面、B畫面,I畫面（Intra
49、Coded ictures）：,畫面壓縮(4/5),當大區塊僅使用本身的畫面資料進行空間的冗餘去除，並沒有參考其他畫面的資料，我們稱為Intra模式大區塊（Intra Mode Macro-block）。在畫面中，所有的大區塊皆為Intra模式大區塊。畫面可以做為視訊資料流中的索引點，也是提供隨機存取能力的主要來源。畫面通常在視訊序列或畫面群組的第一張，解碼時I畫面可獨立解碼，並做為P及B畫面的參考影像的來源。由於不須參考其他畫面，因此無法得到消除時間上冗餘的好處，因此壓縮率較差。,畫面壓縮(5/5),P畫面（Predictive Coded Pictures）：在編碼及解碼時，會使用參考畫面
50、（Reference Picture），這些參考畫面可為該畫面前面最近的I畫面或P畫面。編碼時，在P畫面中的大區塊，若能在參考畫面上找到相對應的大區塊，則用動態補償方式做預測編碼（Predictive Coding）；若找不到，則以Intra模式做編碼。由於加入消除時間上冗餘的技術，因此其編碼效率較高。B畫面（Bi-directionally Predicted Pictures）：在解碼及編碼時，會使用到前面及後面兩個方向參考畫面的資料。如同 P 畫面一樣，編碼時，在B畫面中的大區塊，若能在參考畫面上找到相對應的大區塊，則用動態補償方式做雙向預測編碼（Bi-directionally Pre
