具有應(yīng)用層前向糾錯(cuò)的增強(qiáng)視頻流送的制作方法
【專利說明】具有應(yīng)用層前向糾錯(cuò)的増強(qiáng)視頻流送
[0001]相關(guān)申請
[0002]本申請要求2013年9月20日提交的美國申請S/N.14/032，719的優(yōu)先權(quán)，該美國申請要求2012年10月26日提交的美國臨時(shí)專利申請S/N.61/719，214的優(yōu)先權(quán)，這兩個(gè)申請通過引用被結(jié)合于此。
技術(shù)領(lǐng)域
[0003]實(shí)施例涉及無線視頻流送。一些實(shí)施例涉及具有應(yīng)用層前向糾錯(cuò)的視頻流送。
[0004]背景
[0005]無線鏈路上的視頻通信可能由于視頻一般需要相對大的帶寬以及視頻的低等待時(shí)間和高可靠性約束條件而有挑戰(zhàn)。多媒體應(yīng)用的增長以及增加的移動(dòng)互聯(lián)網(wǎng)接入已經(jīng)產(chǎn)生了增強(qiáng)無線系統(tǒng)中的視頻傳遞的需求。例如，移動(dòng)用戶現(xiàn)在期望在其無線移動(dòng)設(shè)備上接收實(shí)況體育比賽、新聞更新、電影流送以及其他類型的點(diǎn)播(on-demand)視頻。已經(jīng)創(chuàng)建無線視頻標(biāo)準(zhǔn)以幫助滿足該需求。例如，演進(jìn)的多媒體廣播和多播服務(wù)(eMBMS)是一種這樣的標(biāo)準(zhǔn)。
[0006]不幸的是，無線信道由于多徑信號(hào)、丟失的數(shù)據(jù)以及損壞的數(shù)據(jù)而是有損失的。單播傳送可以采用自動(dòng)重復(fù)請求(ARQ)和/或混合ARQ(HARQ)來提高傳輸?shù)目煽啃?。然而，對于多播傳輸，?dāng)多個(gè)用戶請求不同分組的重傳時(shí)，實(shí)現(xiàn)ARQ和/或HARQ可以導(dǎo)致網(wǎng)絡(luò)擁塞。此外，每個(gè)用戶可能有到基站的不同信道，使得不同用戶可能丟失不同的分組。因此，傳輸可以意味著再次發(fā)送原始內(nèi)容的一大部分，導(dǎo)致帶寬的低效使用以及一些用戶的增加的等待時(shí)間。
[0007]因此，對于改進(jìn)的視頻傳輸方法有一般需求。對于有效使用無線帶寬同樣有一般需求。
[0008]附圖簡述
[0009]圖1說明了為視頻流送配置的無線網(wǎng)絡(luò)的實(shí)施例的框圖。
[0010]圖2說明了用于在按照圖1的無線網(wǎng)絡(luò)中傳輸?shù)囊曨l幀的源碼元塊的編碼方法的實(shí)施例的框圖。
[0011]圖3說明了按照圖2的編碼方法的一種用于確定源碼元塊尺寸的方法的實(shí)施例的流程圖。
[0012]圖4說明了按照圖1和圖2的無線設(shè)備的不同層的實(shí)施例的框圖。
[0013]圖5說明了按照圖4的無線設(shè)備的一種用于對接收到的視頻流進(jìn)行解碼的方法的實(shí)施例的流程圖。
[0014]圖6說明了具有用AL-FEC進(jìn)行的增強(qiáng)視頻解碼的系統(tǒng)的功能框圖。
[0015]詳細(xì)描述
[0016]以下描述和附圖充分說明了具體實(shí)施例以使本領(lǐng)域技術(shù)人員能實(shí)現(xiàn)這些具體實(shí)施例。其他實(shí)施例可以結(jié)合結(jié)構(gòu)、邏輯、電氣、過程及其他變化。一些實(shí)施例的部分或特征可以被包括于或代替其他實(shí)施例的部分或特征中。權(quán)利要求書中提出的實(shí)施例包含那些權(quán)利要求的所有可用的等效物。
[0017]圖1說明了可以發(fā)射無線視頻信號(hào)的無線網(wǎng)絡(luò)的實(shí)施例的框圖。網(wǎng)絡(luò)可以包括無線設(shè)備100，無線設(shè)備100可以通過無線網(wǎng)絡(luò)從接入點(diǎn)103-105接收信號(hào)。
[0018]無線設(shè)備100可以是移動(dòng)設(shè)備或非移動(dòng)設(shè)備。例如，無線設(shè)備100可以是智能電話、平板計(jì)算機(jī)、膝上型電腦或者臺(tái)式計(jì)算機(jī)。
[0019]接入點(diǎn)103-105可以是使無線設(shè)備100接入另一網(wǎng)絡(luò)的基站。例如，接入點(diǎn)103-105可以是可通過交換中心(未示出)耦合至互聯(lián)網(wǎng)和/或通信網(wǎng)絡(luò)的蜂窩基站。這一網(wǎng)絡(luò)可允許智能電話通過無線網(wǎng)絡(luò)接入互聯(lián)網(wǎng)和/或PSTN。接入點(diǎn)103-105也可能是使無線設(shè)備100能在建筑物內(nèi)接入互聯(lián)網(wǎng)的WiFi收發(fā)機(jī)。
[0020]在一實(shí)施例中，接入點(diǎn)101-105可以被配置成從視頻源101發(fā)射實(shí)況視頻信號(hào)。視頻源101可包括視頻相機(jī)，該視頻相機(jī)被耦合至用于壓縮和編碼視頻信號(hào)以便傳輸至接入點(diǎn)105以及由接入點(diǎn)105進(jìn)行后續(xù)傳輸?shù)碾娐贰?br>[0021]視頻源101可以對視頻信號(hào)編碼以便使用不同視頻傳輸協(xié)議中的一個(gè)或多個(gè)進(jìn)行傳輸。例如，這些協(xié)議可以包括諸如MPET-1/2/4、H.261、H.264這樣的運(yùn)動(dòng)圖片專家組(MPEG)協(xié)議，和/或多媒體廣播多播服務(wù)(MBMS)點(diǎn)到多點(diǎn)接口規(guī)范。這些協(xié)議可以在傳輸之前向視頻數(shù)據(jù)碼元提供壓縮和糾錯(cuò)數(shù)據(jù)，如隨后參照圖2所討論的。
[0022]視頻源101可能通過有線或無線鏈路耦合至接入點(diǎn)105。接入點(diǎn)103-105中的一個(gè)或多個(gè)可以通過無線鏈路將已編碼和已壓縮的視頻信號(hào)發(fā)射至一個(gè)或多個(gè)無線設(shè)備100。然后，無線設(shè)備100可以從與之相關(guān)聯(lián)的接入點(diǎn)105接收已編碼的實(shí)況視頻流、解碼視頻信號(hào)、并且將所得到的已解碼視頻幀顯示在無線設(shè)備100上的顯示器上。已接收視頻信號(hào)的解碼隨后參照圖4和5來討論。
[0023]由無線網(wǎng)絡(luò)上的視頻流送進(jìn)行的實(shí)況視頻傳遞可以與由文件下載進(jìn)行的視頻傳遞不同。與包括視頻碼元的文件的傳遞相比，流送實(shí)況視頻可以包括不同且更困難的挑戰(zhàn)。例如，在視頻流送中，視頻解碼器可能需要實(shí)時(shí)地對接收到的視頻碼元進(jìn)行解碼，并且一般可能沒時(shí)間請求由于差錯(cuò)、丟失的碼元或其他問題造成的碼元重傳。因此，目前使用的典型接收機(jī)可能僅僅丟失由于其傳輸中遇到的差錯(cuò)而不能解碼的視頻碼元塊。這可以導(dǎo)致對于用戶的差劣視頻質(zhì)量。
[0024]圖2說明了用于在按照圖1的無線網(wǎng)絡(luò)中傳輸?shù)囊曨l幀的源碼元塊的編碼方法的實(shí)施例的框圖。這一方法可能由視頻源101在無線鏈路上的傳輸之前使用，以便將視頻數(shù)據(jù)壓縮至較小尺寸以降低帶寬要求、以及用前向糾錯(cuò)碼對視頻數(shù)據(jù)進(jìn)行編碼。糾錯(cuò)碼可能使接收設(shè)備能校正可能在無線鏈路上發(fā)生的一些差錯(cuò)。
[0025]應(yīng)用層前向糾錯(cuò)(AL-FEC)所使用的參數(shù)(例如，源碼原尺寸、編碼速率)的選擇可能由廣播多播服務(wù)中心(BMSC)作出。在一實(shí)施例，BMSC可以位于圖1的視頻源101中。BMSC可以選擇被指名為K的源碼元數(shù)目、被指名為K/N的編碼速率(其中N是時(shí)間段)以及被指名為T的源碼元尺寸。
[0026]由于AL-FEC方案的增加的效率和性能，K的較大值是期望的。然而，K值越大，固定碼元尺寸T的等待時(shí)間越高，因?yàn)榭赡苄枰却^長時(shí)間使足夠數(shù)量的幀在執(zhí)行編碼之前被接收。編碼速率選擇也可以影響端對端的性能，因?yàn)镵/N的值越小，則因?yàn)樯闪烁嘈迯?fù)碼元，因此可能向源碼元添加的冗余越大。因此，K/N值越小，系統(tǒng)性能越好。
[0027]基于演進(jìn)MBMS(eMBMS)的實(shí)況視頻流送可以使用傳輸協(xié)議來完成。這一協(xié)議的示例可以是單向傳輸上文件傳遞(FLUTE)。該協(xié)議可以允許文件(例如，分組的組)經(jīng)由單向MBMS承載者的降低的差錯(cuò)傳輸。實(shí)況視頻流送對于內(nèi)容傳遞可能有更嚴(yán)格的時(shí)間約束條件。圖2說明了一種這樣的編碼方法。
[0028]文件200可以是由視頻相機(jī)在記錄視頻節(jié)目期間生成的數(shù)據(jù)分組的編組。具有分組的文件200可以被解析以形成傳輸對象201。傳輸對象201可以通過將數(shù)據(jù)分組從生成這些分組的視頻格式重新編組為可以被編組以形成源碼元塊202的數(shù)據(jù)對象來形成。傳輸對象201可以被分組為K個(gè)源碼元以形成源碼元塊202。
[0029]編碼203可以通過用具體的FEC編碼方案(例如漢明(Hamming)、里得-所羅門(Reed-Solomon)、格雷(Golay))對源碼元塊202中的碼元編碼來生成。FEC可以通過向所發(fā)射的信息添加冗余來完成。冗余比特可以是許多原始信息比特的復(fù)函數(shù)(complexfunct1n) ο原始信息可以或可以不真正出現(xiàn)在已編碼輸出中。將未修改的輸入數(shù)據(jù)包括在輸出數(shù)據(jù)中的代碼可以被稱為系統(tǒng)性的。不把未修改的輸入數(shù)據(jù)包括在已編碼輸出數(shù)據(jù)中的代碼可以被稱為非系統(tǒng)性的。
[0030]編碼碼元203的每一個(gè)現(xiàn)在可用于形成具有適當(dāng)頭部210和有效載荷211 (即，已編碼的視頻數(shù)據(jù))的已發(fā)射分組(例如，F(xiàn)LUTE分組)。在一實(shí)施例中，互聯(lián)網(wǎng)協(xié)議版本4(IPv4)/用戶數(shù)據(jù)報(bào)協(xié)議(UDP)/FLUTE頭部210可以是每IP分組總共44個(gè)字節(jié)，其中IP分組可能具有總共1333個(gè)字節(jié)。因此，最大的FLUTE有效載荷尺寸可能是1333-44 = 1289個(gè)字節(jié)。該FLUTE有效載荷211和頭部210描述僅為說明目的，其他實(shí)施例可能有不同的尺寸。已發(fā)射分組204可以是通過無線鏈路發(fā)射的實(shí)際已編碼數(shù)據(jù)。
[0031]圖3說明了按照圖2的編碼方法的一種用于確定源碼元塊尺