首頁>>>技術>>>視像通信　　視像通信產品

視頻通信中MPEG-4的誤碼彈性

2004/08/17

　　隨著多媒體系統(tǒng)和無線移動通信先進技術的發(fā)展，對各種多媒體業(yè)務的支持需求日益增長，如利用移動多媒體技術實現(xiàn)移動電話會議、遠程醫(yī)療、移動TV，遠程教學等。由于MPEG-4提供的高壓縮效率及其差錯恢復性能，廣泛的應用與無線網絡通信，而MPEG-4編碼的視頻數(shù)據(jù)，由于采用了VLC和時域預測，對誤碼是非常敏感的。當遇到差錯時，VLC使得解碼器很容易丟失與編碼器的同步，時域預測使得重組視頻中的差錯會在后續(xù)視頻幀中擴散，因此需要采用各種差錯恢復技術，來減少比特流中的誤碼，當然這需要付出增加的比特開銷。

　　一、MPEG-4關鍵技術

　　在MPEG-4制定之前，MPEG-1、MPEG-2、H.261、H.263都是采用第一代壓縮編碼技術，著眼于圖像信號的統(tǒng)計特性來設計編碼器，屬于波形編碼的范疇。第一代壓縮編碼方案把視頻序列按時間先后分為一系列幀，每一幀圖像又分成宏塊以進行運動補償和編碼，這種編碼方案存在以下缺陷。

　　(1)將圖像固定地分成相同大小的塊，在高壓縮比的情況下會出現(xiàn)嚴重的塊效應，即馬賽克效應；

　　(2)不能對圖像內容進行訪問、編輯和回放等操作；

　　(3)未充分利用人類視覺系統(tǒng)(HVS，Human Visual System)的特性。

　　MPEG-4除采用第一代視頻編碼的核心技術，如變換編碼、運動估計與運動補償、量化、熵編碼外，還提出了一些新的有創(chuàng)見性的關鍵技術，充分利用了人眼視覺特性，抓住了圖像信息傳輸?shù)谋举|，從輪廓、紋理思路出發(fā)，支持基于視覺內容的交互功能，這適應了多媒體信息的應用由播放型轉向基于內容的訪問、檢索及操作的發(fā)展趨勢。

　　1、視頻對象提取技術

　　MPEG-4實現(xiàn)基于內容交互的首要任務就是把視頻/圖像分割成不同對象或者把運動對象從背景中分離出來，然后針對不同對象采用相應編碼方法，以實現(xiàn)高效壓縮。盡管MPEG-4 框架已經制定，但至今仍沒有通用的有效方法去根本解決視頻對象分割問題，視頻對象分割被認為是一個具有挑戰(zhàn)性的難題。

　　目前進行視頻對象分割的一般步驟是：先對原始視頻/圖像數(shù)據(jù)進行簡化以利于分割，這可通過低通濾波、中值濾波、形態(tài)濾波來完成；然后對視頻/圖像數(shù)據(jù)進行特征提取，可以是顏色、紋理、運動、幀差、位移幀差乃至語義等特征；再基于某種均勻性標準來確定分割決策，根據(jù)所提取特征將視頻數(shù)據(jù)歸類；最后是進行相關后處理，以實現(xiàn)濾除噪聲及準確提取邊界。

　　2、VOP視頻編碼技術

　　視頻對象平面(VOP，Video Object Plane)是視頻對象(VO)在某一時刻的采樣，VOP是MPEG-4視頻編碼的核心概念。MPEG-4在編碼過程中針對不同VO采用不同的編碼策略，即對前景VO的壓縮編碼盡可能保留細節(jié)和平滑；對背景VO則采用高壓縮率的編碼策略，甚至不予傳輸而在解碼端由其他背景拼接而成。這種基于對象的視頻編碼不僅克服了第一代視頻編碼中高壓縮率編碼所產生的方塊效應，而且使用戶可與場景交互，從而既提高了壓縮比，又實現(xiàn)了基于內容的交互，為視頻編碼提供了廣闊的發(fā)展空間。

　　3、視頻編碼可伸縮性技術

　　視頻編碼的可伸縮性(scalability)是指碼率的可調整性，即視頻數(shù)據(jù)只壓縮一次，卻能以多個幀率、空間分辨率或視頻質量進行解碼，從而可支持多種類型用戶的各種不同應用要求。

　�。牐燤PEG-4通過視頻對象層(VOL，Video Object Layer)數(shù)據(jù)結構來實現(xiàn)分級編碼。MPEG-4提供了兩種基本分級工具，即時域分級(Temporal Scalability)和空域分級(Spatial Scalability)，此外還支持時域和空域的混合分級。每一種分級編碼都至少有兩層VOL，低層稱為基本層，高層稱為增強層�；緦犹峁┝艘曨l序列的基本信息，增強層提供了視頻序列更高的分辨率和細節(jié)。

　�。牐犜陔S后增補的視頻流應用框架中，MPEG-4提出了FGS(Fine Granularity Scalable，精細可伸縮性)視頻編碼算法，F(xiàn)GS編碼實現(xiàn)簡單，可在編碼速率、顯示分辨率、內容、解碼復雜度等方面提供靈活的自適應和可擴展性，且具有很強的帶寬自適應能力和抗誤碼性能。但還存在編碼效率低于非可擴展編碼及接收端視頻質量非最優(yōu)兩個不足。

　　二、MPEG-4誤碼彈性(error resilience)工具

　　MPEG4視頻標準也包含幾個差錯恢復工具，來提高信道差錯下的性能。

　　1、數(shù)據(jù)分割

　　由于視頻數(shù)據(jù)參數(shù)的差錯敏感度不同，可將視頻數(shù)據(jù)分成兩部分來提高MPEG-4的差錯健壯性。每個視頻分組(VOP)的輪廓和運動數(shù)據(jù)放在第一部分，相對敏感度較低的紋理數(shù)據(jù)(AC TCOEFF)放在第二部分。分割兩個部分的再生同步碼，在INTER VOP中稱為運動標志，在INTRA VOP中稱為DC標志。當差錯不敏感的第二部分紋理數(shù)據(jù)發(fā)生一些比特差錯時，視頻解碼器可存儲視頻分組中無差錯的運動和輪廓數(shù)據(jù)。也就是說，可成功隱藏第二部分的差錯，僅會有輕微的視覺失真。由于紋理數(shù)據(jù)組成了VOP的主要部分，數(shù)據(jù)分割允許分組的主要部分出錯，僅對視頻質量有輕微影響。

　　運動矢量比紋理數(shù)據(jù)對差錯更敏感，輪廓數(shù)據(jù)對面向對象視頻編碼差錯健壯性的影響還需確定。當紋理差錯隱蔽較好時，運動和輪廓數(shù)據(jù)的隱蔽會使得圖像失真較大。當序列運動量大，幀間的視頻內容會變化較大，也使得在解碼端很難實現(xiàn)隱藏。若比特流誤碼率不高，紋理數(shù)據(jù)的損傷對可視失真影響很小。

　　2、FEC中的RCPC(速率兼容的收縮卷積碼)

　　速率兼容的收縮卷積碼(RCPC碼)用于多速率信道的差控。此技術必須伴隨高速反饋信道指示機制，根據(jù)網絡狀態(tài)動態(tài)更新編碼器。卷積編碼器以僅發(fā)送母碼開始而不加保護位。如果FEC解碼器由于出錯不能解釋母碼，那么就通過反向信道通知編碼器，從而相應提高保護率。四個寄存器的卷積編碼器可提供四種不同速率，編碼器先設定的速率為1作為起始，再按需要來降低速率。對降級的信道條件，信道編碼器必須為輸出信號分配較大數(shù)目的保護比特，以增強信道解碼器的糾錯能力，然后速率保持逐漸降級，直到解碼器能維持無檢測差錯重構母碼比特為止。當已達最后速率而解碼器仍未能糾正差錯信號時，解碼器就剔除當前像塊而轉向下一個像塊。因此，卷積編碼器的速率依據(jù)糾正損壞比特的能力而變化，所需速率越高，為獲得較好的差錯保護而對輸出信號添加的冗余比特就越多。這種多速率的差錯保護編碼被稱作截斷碼。RCPC技術主要用于延遲敏感的視頻應用，由于反饋信息和對損傷信號的重傳可能會引入過多的時延，對實時應用不是很適合。RCPC和反向信道指示經常組合使用，來實現(xiàn)MPEG-4標準的差錯彈性恢復。

　　3、AIR(自適應INTRA幀更新技術)

　　AIR是MPEG-4標準中Annex E所規(guī)定的技術，與對VOP中所有MB進行統(tǒng)一的INTRA編碼的循環(huán)INTRA更新(CIR)截然不同，它包括在每個VOP中發(fā)送限定數(shù)目的INTRA宏塊。AIR進行INTRA編碼的宏塊數(shù)遠遠少于每VOP或每幀的總宏塊數(shù)。根據(jù)通過標記運動宏塊位置得到的更新映射圖，AIR對每幀中固定和預定的宏塊數(shù)目，有選擇地進行INTRA編碼。通過對MB的絕對誤差和(SAD)與其門限值(SADth)進行比較，來得到運動估值，SAD是通過MB和在先前VOP中空間相應的MB間計算得到，SADth是先前VOP中全部宏塊的平均SAD值，如果某一宏塊的SAD超過了SADth，編碼器就判定該MB屬于高運動區(qū)域，也就是對傳輸差錯敏感的區(qū)域，從而標志該MB要進行INTRA編碼。如果標志INTRA編碼的宏塊數(shù)超過了設定的數(shù)目，那么視頻編碼器就以垂直掃描方向下移幀來編碼INTRA MB，直到預定數(shù)目的MB被INTRA編碼。對于下一幀，編碼器從相同的地方開始，并對INTRA宏塊開始編碼，包括在先前幀中標志要進行INTRA編碼的宏塊。編碼宏塊的數(shù)目要基于視頻應用需求的比特率和幀率來確定。然而，為了提高差錯健壯性，宏塊的數(shù)目可以根據(jù)每個視頻幀運動特征來動態(tài)調整。由于圖像運動區(qū)域通常以INTRA模式編碼，就可能快速更新?lián)p壞的運動區(qū)域。

　　顯然，增加每幀中更新的宏塊數(shù)目可以加速差錯恢復，但在給定目標比特率時，會降低無差錯時的視頻質量。這是由于為了獲得目標比特率，而采用了粗量化過程。然而，在相同的目標比特率下，AIR比常規(guī)INTRA更新技術能提供更好更持久的客觀無差錯質量，因此，要進行INTRA編碼的宏塊數(shù)目是在健壯性和比特速率、無差錯視頻質量間的權衡。

　　4、雙向解碼及RVLC

　　雙向解碼是來降低視頻流中有效誤碼率的差錯彈性技術，比特差錯對感覺視頻質量損傷最大，也導致了解碼器端丟失同步。在這種情況下，會忽略數(shù)據(jù)流中該差錯之后的部分，直到檢測到無差錯的同步碼字。然而，拋棄的視頻數(shù)據(jù)可無差錯接收，從而明顯增強感覺質量，拋棄的比特數(shù)是差錯位置和下一個無差錯同步字位置間距離的函數(shù)。結果，實際誤碼率的數(shù)量級遠遠高于實際信道比特差錯率。為了僅將損傷限制在受影響區(qū)域，并節(jié)省無差錯接收的比特，雙向解碼還可進行反向解碼�；谇跋驒z測到的差錯，解碼器會停止其搜索下一個同步字。當解碼器在同步碼字處恢復了同步時，再由反向恢復操作，對前向操作中跳過的數(shù)據(jù)段解碼。

　　為了實現(xiàn)雙向路解碼，須采用可逆VLC(即RVLC)�？赡娲a字是變長編碼，可以前向和后向解碼，產生同樣的輸出。可采用以下幾個技術產生可逆VLC碼(Takashima，Wada and Murakami，1995；Watanabe，1996)：其一是生成恒重碼(二進制序列中1的數(shù)目)，另一種生成恒重RVLC碼表的方法是，利用一個碼字第一符號的固定數(shù)目，或者說，如果解碼器從0開始解碼，則在碼字中搜索固定長度的0，反之亦然。

　　由于在每個碼字中第一個被檢測到的符號數(shù)目可以確定，這些碼字都能雙向解碼，除了恒定碼重策略，其他生成RVLC表的方法是在每個碼字中分配固定數(shù)目的0、1。在這種情況下，RVLC碼可能的設定由01、10、0011、1100、001011、000111、110100等組成。相比于優(yōu)化的Huffman碼，雙向可解碼的編碼比特率增加2～3個百分點。

　　5、EREC(差錯彈性的熵編碼)

　　盡管雙向解碼算法提高了抑制同步丟失的效率，但是相關聯(lián)的可逆VLC碼字在編碼比特流中引入了不必要的開銷，EREC通過在各種視頻參數(shù)的連續(xù)傳輸間提供轉換，顯著提高了編碼視頻流的差錯彈性。視頻通信中差錯最具破壞性的作用是使解碼器丟失同步，這源于視頻參數(shù)的變長碼和兩個連續(xù)同步字之間參數(shù)的可變數(shù)目。EREC試圖使用定長的時隙結構來重組變長碼，使得每個VLC碼的起始總是跟定長時隙起始位置相一致。定長時隙長短由編碼器決定，并在傳送該時隙之前，放在視頻塊首發(fā)送給解碼器。如果解碼器檢測到VLC碼中有比特差錯，同步總在下一個時隙開始時恢復，因此限制了受損時隙中的比特差錯損傷。

　　三、組合的誤碼彈性工具

　　除了前述獨立的差錯彈性機制，在視頻編碼算法中還可以使用組合技術來優(yōu)化差錯彈性。彈性技術具有多種選擇，為了獲得擬選的優(yōu)化視頻質量，我們應選擇特定分組段。例如，分組的第一部分是由所包含宏塊的輪廓和運動編碼數(shù)據(jù)組成的，尚包含有關的管理數(shù)據(jù)，如COD標志和MCBPC。第二部分包含變長的DCT數(shù)據(jù)和某些符合標準的控制數(shù)據(jù)，如CBPY和差分量化步長(DQUANT)。為了在差錯發(fā)生時，解碼器能在重要的第一部分中自動恢復同步，采用EREC將編碼的運動矢量放入定長時隙。使用HEC(信頭擴展碼)標志，對每個視頻幀中重要的頭部數(shù)據(jù)，在視頻分組中被復制，來減少在視頻序列中剔除的幀數(shù)。進一步說，第二部分的TCOEFF系數(shù)(DCT數(shù)據(jù))采用RVLC碼字而便于后向解碼，減少了由于同步丟失而拋棄的DCT數(shù)據(jù)。第一部分的運動矢量也可采用可雙向解碼的編碼方式，但是EREC則取消了可逆VLC碼介入的開銷。實驗表明組合差錯彈性技術所改善的客觀質量(以110kbit/s和25f/s的速率采用MPEG-4編碼的Suzie序列)。首先，應用數(shù)據(jù)分割將幀中編碼的運動矢量(第一部分)和紋理數(shù)據(jù)(第二部分)分開，對第一部分的運動數(shù)據(jù)應用EREC；而當解碼器標志第二部分出錯時，DCT數(shù)據(jù)采用可逆的VLC碼，可對DCT系數(shù)雙向解碼；進而，采用半碼率的Turbo碼來保護第一部分的頭部數(shù)據(jù)。

　　四、結束語

　　差控策略用來減輕傳輸差錯對解碼視頻質量的影響，策略的選擇依賴于很多因素，如在雙向和多點通信中介入的延遲、誤碼恢復技術帶來的比特率開銷、處理過程的復雜度等，這是任何系統(tǒng)應用需要設計的問題。

　　信道差錯對感覺視頻質量有著決定性影響，可以有各種形式。然而，最有破壞性的信道差錯會導致解碼端的同步丟失。由于在視頻編碼算法中應用了時間和空間預測，差錯會在視頻序列范圍內從時間和空間上迅速傳播。為了限制這種差錯傳播并減輕其影響，采用了差控機制來滿足用戶需求和期望。最簡單的差控技術是當受到傳輸差錯影響，需要隱蔽出現(xiàn)在視頻內容中的“馬賽克”。這些技術基于解碼器，則在壓縮視頻流中不必增加開銷。另一類差控技術包含一些力圖阻止差錯在時空間累積的機制。這類技術中最典型的代表是INTRA更新，該技術以規(guī)則的時間間隔發(fā)送INTRA幀。改進后的自適應INTRA更新(AIR)是以INTRA模式發(fā)送預定數(shù)目的運動宏塊，每幀發(fā)送一次。

　　由于AIR在更規(guī)則的間隔上更新視頻場景中最活躍的部分，比INTRA更新獲得更穩(wěn)定的視頻質量。再一類差控機制是致力于檢測到差錯時恢復同步的機制，這類差錯彈性機制的例子有EREC和雙向解碼。EREC將變長碼放到預置的定長時隙中，當解碼器不能完成對當前VLC碼解碼時，其能在下一時隙起始處恢復同步。這樣就減少了由于丟失同步而拋掉的比特數(shù)目。當編碼視頻流遇到傳輸差錯時，雙向解碼是最小化有效誤碼率的高效算法。雙向解碼是解碼器能對比特流雙向解碼，來恢復全部或部分在前向解碼中扔掉的比特流。為了使解碼器能反向解碼，在比特流中采用了可逆碼字。

ChinaByte(e.chinabyte.com)—中國多媒體視訊

相關鏈接:
個人視頻通信需求及應用 2004-08-17
分析音頻技術Siren 14 2004-08-17
3G視頻信箱：帶來視覺沖擊新體驗 2004-08-17
索尼視頻會議新品PCS-G70 可改善多點呼叫質 2004-08-16
基于IP的H.264關鍵技術 2004-08-13

分類信息:     文摘   技術_視像通訊_文摘