作者：Jeremiah Golston，TI 首席技術(shù)官 j-golston@ti.com
Ajit Rao 博士，TI 技術(shù)應(yīng)用工程師 ajitr@ti.com

2006 年 4 月加州舊金山嵌入式系統(tǒng)會(huì)資料

1. 前言

數(shù)字視頻產(chǎn)品需求近些年出現(xiàn)猛增。主流應(yīng)用包括視頻通信、安全監(jiān)控與工業(yè)自動(dòng)化，而較熱門(mén)的要算娛樂(lè)應(yīng)用，如 DVD、HDTV、衛(wèi)星電視、高清 (HD) 機(jī)頂盒、因特網(wǎng)視頻流、數(shù)碼相機(jī)與 HD 攝像機(jī)、視頻光盤(pán)庫(kù) (video jukebox)、高端顯示器（LCD、等離子顯示器、DLP）以及個(gè)人攝像機(jī)等。眾多精彩的新應(yīng)用目前也處于設(shè)計(jì)或前期部署中，例如針對(duì)家庭與手持設(shè)備及地面／衛(wèi)星標(biāo)準(zhǔn)（DVB-T、DVB-H、DMB）的高清 DVD（藍(lán)光／HD-DVD）和數(shù)字視頻廣播、高清視頻電話、數(shù)碼相機(jī)以及 IP 機(jī)頂盒。由于手持終端計(jì)算能力的提高以及電池技術(shù)與高速無(wú)線連接的發(fā)展，較終產(chǎn)品的移動(dòng)性與集成性也在不斷提高。

視頻壓縮是所有令人振奮的、新型視頻產(chǎn)品的重要?jiǎng)恿Α�壓縮－解壓（編解碼）算法可以實(shí)現(xiàn)數(shù)字視頻的存儲(chǔ)與傳輸。典型的編解碼器要么采用行業(yè)標(biāo)準(zhǔn)，如 MPEG2、MPEG4、H.264/AVC 與 AVS，要么采用專有算法，如 On2、Real Video、Nancy與Windows Media Video (WMV) 等。WMV 是個(gè)例外——它較初是微軟公司的專有算法，而現(xiàn)在則以 VC-1 的新名稱在業(yè)界實(shí)現(xiàn)了標(biāo)準(zhǔn)化。編解碼技術(shù)在過(guò)去十年中不斷改進(jìn)。較新的編解碼技術(shù)（H.264/AVC 與 VC-1）代表著第三代視頻壓縮技術(shù)。這兩種編解碼技術(shù)利用如可編程 DSP 與ASIC 等低成本 IC 的處理能力，都能夠達(dá)到極高的壓縮比。不過(guò)，為具體應(yīng)用選擇正確的編解碼器并優(yōu)化其實(shí)時(shí)處理仍然是一項(xiàng)巨大的挑戰(zhàn)。較佳的設(shè)計(jì)必須權(quán)衡壓縮效率及可用的計(jì)算能力。此外，如何在計(jì)算能力有限的情況下獲得較佳壓縮效率也是一門(mén)大學(xué)問(wèn)。

在本文中，我們首先概述視頻編碼的主要概念，同時(shí)介紹傳統(tǒng)壓縮標(biāo)準(zhǔn)。然后我們重點(diǎn)介紹其中包括 H.264/AVC、WMV9/VC-1與AVS 等在內(nèi)的較新編解碼技術(shù)的功能，此外，還將深入探討壓縮能力與復(fù)雜性之間的權(quán)衡。較后，討論市場(chǎng)中可能會(huì)影響主流視頻編解碼器未來(lái)的實(shí)時(shí)處理與主要趨勢(shì)。

2. 視頻壓縮挑戰(zhàn)

數(shù)字視頻的主要挑戰(zhàn)在于原始或未壓縮的視頻需要存儲(chǔ)或傳輸大量數(shù)據(jù)。例如，標(biāo)準(zhǔn)清晰度的 NTSC 視頻的數(shù)字化一般是每秒 30 幀速率，采用 4:2:2 YcrCb 及 720′480，其要求超過(guò) 165Mbps 的數(shù)據(jù)速率。保存 90 分鐘的視頻需要 110GB 空間，或者說(shuō)超過(guò)標(biāo)準(zhǔn) DVD-R 存儲(chǔ)容量的 25 倍。即使是視頻流應(yīng)用中常用的低分辨率視頻（如：CIF：352x288 4:2:0、30 幀/秒）也需要超過(guò) 36.5Mbps 的數(shù)據(jù)速率，這是 ADSL 或 3G 無(wú)線等寬帶網(wǎng)絡(luò)速度的許多倍。目前的寬帶網(wǎng)可提供 1～10Mbps 的持續(xù)傳輸能力。顯然數(shù)字視頻的存儲(chǔ)或傳輸需要采用壓縮技術(shù)。

視頻壓縮的目的是對(duì)數(shù)字視頻進(jìn)行編碼——在保持視頻質(zhì)量的同時(shí)占用盡可能少的空間。編解碼技術(shù)理論依據(jù)為信息理論的數(shù)學(xué)原理。不過(guò)，開(kāi)發(fā)實(shí)用的編解碼技術(shù)需要藝術(shù)性的精心考慮。

3. 壓縮權(quán)衡

在選擇數(shù)字視頻系統(tǒng)的編解碼技術(shù)時(shí)需要考慮諸多因素。主要因素包括應(yīng)用的視頻質(zhì)量要求、傳輸通道或存儲(chǔ)介質(zhì)所處的環(huán)境（速度、時(shí)延、錯(cuò)誤特征）以及源內(nèi)容的格式。同樣重要的還有預(yù)期分辨率、目標(biāo)比特率、色彩深度、每秒幀數(shù)以及內(nèi)容和顯示是逐行掃描還是隔行掃描。壓縮通常需要在應(yīng)用的視頻質(zhì)量要求與其他需求之間做出取舍。首先，用途是存儲(chǔ)還是單播、多播、雙向通信或廣播？對(duì)于存儲(chǔ)應(yīng)用，到底有多少可用的存儲(chǔ)容量以及存儲(chǔ)時(shí)間需要多久？對(duì)于存儲(chǔ)之外的應(yīng)用，較高比特率是多少？對(duì)于雙向視頻通信，時(shí)延容差或容許的端到端系統(tǒng)延遲是多少？如果不是雙向通信，內(nèi)容需要在脫機(jī)狀態(tài)提前完成編碼還是需要實(shí)時(shí)編碼？網(wǎng)絡(luò)或存儲(chǔ)介質(zhì)的容錯(cuò)能力如何？根據(jù)基本目標(biāo)應(yīng)用，不同壓縮標(biāo)準(zhǔn)以不同方式處理這些問(wèn)題的權(quán)衡。

如 H.264/AVC 或 WMV9/VC-1等能夠?qū)崿F(xiàn)較高壓縮比的新算法需要更高的處理能力，這會(huì)影響編解碼器件的成本、系統(tǒng)功耗以及系統(tǒng)內(nèi)存。

4. 標(biāo)準(zhǔn)化機(jī)構(gòu)

在視頻編解碼技術(shù)定義方面有兩大標(biāo)準(zhǔn)機(jī)構(gòu)。國(guó)際電信聯(lián)盟 (ITU) 致力于電信應(yīng)用，已經(jīng)開(kāi)發(fā)了用于低比特率視頻電話的 H.26x 標(biāo)準(zhǔn)，其中包括 H.261、H.262、H.263 與 H.264；國(guó)際標(biāo)準(zhǔn)化組織 (ISO) 主要針對(duì)消費(fèi)類應(yīng)用，已經(jīng)針對(duì)運(yùn)動(dòng)圖像壓縮定義了 MPEG 標(biāo)準(zhǔn)。MPEG 標(biāo)準(zhǔn)包括 MPEG1、MPEG2 與 MPEG4。圖 1 說(shuō)明了視頻編解碼標(biāo)準(zhǔn)的發(fā)展歷程。

MPEG 與 ISO 根據(jù)基本目標(biāo)應(yīng)用往往做出稍有不同的取舍。有時(shí)它們也會(huì)開(kāi)展合作，如：聯(lián)合視頻小組 (JVT)，該小組定義了 H.264 編解碼技術(shù)，這種技術(shù)在 MPEG 系列中又被稱為 MPEG4-Part 10 或 MPEG4 高級(jí)視頻編解碼 (AVC)。我們?cè)诒疚闹袑⑦@種聯(lián)合標(biāo)準(zhǔn)稱為 H.264/AVC。同樣，H.262 對(duì)應(yīng) MPEG2，而 H.263 基本規(guī)范類 (Baseline Profile) 技術(shù)在原理方面與 MPEG4 簡(jiǎn)單類 (Simple Profile) 編解碼技術(shù)存在較多重復(fù)。

標(biāo)準(zhǔn)對(duì)編解碼技術(shù)的普及至關(guān)重要。出于規(guī)模經(jīng)濟(jì)原因，用戶根據(jù)可承受的標(biāo)準(zhǔn)尋找相應(yīng)產(chǎn)品。由于能夠保障廠商之間的互操作性，業(yè)界樂(lè)意在標(biāo)準(zhǔn)方面進(jìn)行投資。而由于自己的內(nèi)容可以獲得較長(zhǎng)的生命周期及廣泛的需求，內(nèi)容提供商也對(duì)標(biāo)準(zhǔn)青睞有加。盡管幾乎所有視頻標(biāo)準(zhǔn)都是針對(duì)少數(shù)特定應(yīng)用的，但是在能夠適用的情況下，它們?cè)谄渌麘?yīng)用中也能發(fā)揮優(yōu)勢(shì)。

圖1：ITU 與MPEG 標(biāo)準(zhǔn)的發(fā)展歷程[10]

為了實(shí)現(xiàn)更好的壓縮及獲得新的市場(chǎng)機(jī)遇，ITU 與 MPEG 一直在不斷發(fā)展壓縮技術(shù)和開(kāi)發(fā)新標(biāo)準(zhǔn)。中國(guó)較近開(kāi)發(fā)了一種稱為 AVS 的國(guó)家視頻編碼標(biāo)準(zhǔn)，我們?cè)诤竺嬉矔?huì)做一介紹。目前正在開(kāi)發(fā)的標(biāo)準(zhǔn)包括 ITU/MPEG 聯(lián)合可擴(kuò)展視頻編碼 (Joint Scalable Video Coding)（對(duì) H264/ AVC 的修訂）和MPEG 多視角視頻編碼 (Multi-view Video Coding)。另外，為了滿足新的應(yīng)用需求，現(xiàn)有標(biāo)準(zhǔn)也在不斷發(fā)展。例如，H.264 較近定義了一種稱為高精度拓展 (Fidelity Range Extensions) 的新模式，以滿足新的市場(chǎng)需求，如專業(yè)數(shù)字編輯、HD-DVD 與無(wú)損編碼等。

除了 ITU 與 ISO 開(kāi)發(fā)的行業(yè)標(biāo)準(zhǔn)以外，還出現(xiàn)了幾種專用于因特網(wǎng)流媒體應(yīng)用、廣受歡迎的專有解決方案，其中包括 Real Networks Real Video (RV10)、Microsoft Windows Media Video 9 (WMV9) 系列、ON2 VP6 以及 Nancy。由于這些格式在內(nèi)容中得到了廣泛應(yīng)用，因此專有編解碼技術(shù)可以成為業(yè)界標(biāo)準(zhǔn)。2003 年 9 月，微軟公司向電影與電視工程師學(xué)會(huì) (SMPTE) 提議在該機(jī)構(gòu)的支持下實(shí)現(xiàn) WMV9 位流與語(yǔ)法的標(biāo)準(zhǔn)化。該提議得到了采納，現(xiàn)在 WMV9 已經(jīng)被 SMPTE 作為 VC-1 實(shí)現(xiàn)標(biāo)準(zhǔn)化。

5. 視頻編碼原理

我們感興趣的所有視頻標(biāo)準(zhǔn)都采用基于模塊的處理方式。每個(gè)宏模塊一般包含 4 個(gè) 8′8 的光度塊和 2 個(gè) 8′8 的色度塊（4:2:0 色度格式）。視頻編碼基于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)（MC） 原理，變換與量化及熵編碼。圖 2 說(shuō)明的是一種典型的、基于運(yùn)動(dòng)補(bǔ)償?shù)囊曨l編解碼技術(shù)。在運(yùn)動(dòng)補(bǔ)償中，通過(guò)預(yù)測(cè)與較新編碼的（“參考”）視頻幀處于同一區(qū)域的視頻幀中各宏模塊的像素來(lái)實(shí)現(xiàn)壓縮。例如，背景區(qū)域通常在各幀之間保持不變，因此不需要在每個(gè)幀中重新傳輸。運(yùn)動(dòng)估計(jì) (ME) 是確定當(dāng)前幀——即與它較相似的參考幀的 16′16 區(qū)域中每個(gè) MB 的過(guò)程。ME 通常是視頻壓縮中較消耗性能的功能。有關(guān)當(dāng)前幀中各模塊較相似區(qū)域相對(duì)位置的信息（“運(yùn)動(dòng)矢量”）被發(fā)送至解碼器。

MC 之后的殘差部分分為 8′8 的模塊，各模塊綜合利用變換編碼、量化編碼與可變長(zhǎng)度編碼技術(shù)進(jìn)行編碼。變換編碼（如：離散余弦變換或 DCT）利用殘差信號(hào)中的空間冗余。量化編碼可以消除感知冗余 (perceptual redundancy) 并且降低編碼殘差信號(hào)所需要的數(shù)據(jù)量。可變長(zhǎng)度編碼利用殘差系數(shù)的統(tǒng)計(jì)性質(zhì)。通過(guò) MC 進(jìn)行的冗余消除過(guò)程在解碼器中以相反過(guò)程進(jìn)行，來(lái)自參考幀的預(yù)測(cè)數(shù)據(jù)與編碼后的殘差數(shù)據(jù)結(jié)合在一起產(chǎn)生對(duì)原始視頻幀的再現(xiàn) 。

圖2：標(biāo)準(zhǔn)運(yùn)動(dòng)補(bǔ)償視頻編碼

在視頻編解碼器中，單個(gè)幀可以采用三個(gè)模式中的一個(gè)進(jìn)行編碼 —— 即 I、P 或 B 幀模式（見(jiàn)圖 3）。幾個(gè)稱為 Intra (I) 的幀單獨(dú)編碼，無(wú)需參考任何其他幀（無(wú)運(yùn)動(dòng)補(bǔ)償）。某些幀可以利用 MC 編碼，以前一個(gè)幀為參考（前向預(yù)測(cè)）。這些幀稱為預(yù)測(cè)幀 (P)。

B 幀或雙向預(yù)測(cè)幀通過(guò)之前的幀以及當(dāng)前幀的后續(xù)幀進(jìn)行預(yù)測(cè)。B 幀的優(yōu)勢(shì)是能夠匹配堵塞在采用前向預(yù)測(cè)的上一幀中的背景區(qū)域。雙向預(yù)測(cè)通過(guò)平衡前向及后向預(yù)測(cè)可以降低噪聲。在編碼器中采用這種功能會(huì)要求更多處理量，因?yàn)楸仨毻瑫r(shí)針對(duì)前向及后向預(yù)測(cè)執(zhí)行 ME，而這會(huì)明顯使運(yùn)動(dòng)估計(jì)計(jì)算需求加倍。為了保存兩個(gè)參考幀，編碼器與解碼器都需要更多內(nèi)存。B 幀工具需要更復(fù)雜的數(shù)據(jù)流，因?yàn)橄鄬?duì)采集及顯示順序而言，幀不按順序解碼。這個(gè)特點(diǎn)會(huì)增加時(shí)延，因此不適合實(shí)時(shí)性較高的應(yīng)用。B 幀不用于預(yù)測(cè)，因此可以針對(duì)某些應(yīng)用進(jìn)行取舍。例如，在低幀速應(yīng)用中可以跳過(guò)它們而不會(huì)影響隨后 I 與 P 幀的解碼。

圖3：I、P 與 B 幀間預(yù)測(cè)圖示

6. 傳統(tǒng)視頻編碼標(biāo)準(zhǔn)

H.261

ITU 編制的 H.261[2] 標(biāo)準(zhǔn)是第一個(gè)主流視頻壓縮標(biāo)準(zhǔn)。它主要針對(duì)雙工視頻會(huì)議應(yīng)用，是為支持 40kpbs～2Mbps 的 ISDN 網(wǎng)絡(luò)而設(shè)計(jì)的。H.261 支持 352′288 (CIF) 及 176′144 (QCIF) 分辨率，色度分辨率二次采樣為 4:2:0。由于可視電話需要同步實(shí)時(shí)編解碼，因此復(fù)雜性設(shè)計(jì)得較低。由于主要用于對(duì)延遲敏感的雙向視頻，因此 H.261 僅允許采用 I 與 P 幀，而不允許 B 幀。

H.261 采用基于塊的 DCT 進(jìn)行殘差信號(hào)的變換編碼。DCT 把像素的每個(gè) 8′8 塊映射到頻