用于編碼/解碼圖像的方法以及使用其的設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及畫面編碼和解碼處理，并更具體地，涉及向可伸縮視頻編碼應(yīng)用多個(gè) 參考層的層間畫面編碼/解碼方法及其設(shè)備。
【背景技術(shù)】
[0002] HD(高清晰度）廣播服務(wù)在全國和全世界的最近擴(kuò)展使得許多人習(xí)慣于高分辨 率、高質(zhì)量畫面，并因此，多個(gè)組織將它們的精力投入下一代成像裝置的開發(fā)。此外，對(duì)于可 提供比HDTV服務(wù)提供的分辨率高四倍的分辨率的UHD(超高清晰度）服務(wù)以及HDTV服務(wù) 的增長興趣正需要用于高質(zhì)量畫面的壓縮技術(shù)。
[0003] 關(guān)于畫面壓縮，可采用根據(jù)時(shí)間上在前或在后的畫面來預(yù)測(cè)當(dāng)前畫面中包括的像 素值的幀間預(yù)測(cè)技術(shù)、使用當(dāng)前畫面中的像素信息來預(yù)測(cè)當(dāng)前畫面中包括的像素值的幀內(nèi) 預(yù)測(cè)技術(shù)、以及其中在向較不頻繁碼元分配較長代碼的同時(shí)向較頻繁碼元分配較短代碼的 摘編碼技術(shù)。
[0004] 用于畫面壓縮的技術(shù)提供有限硬件操作環(huán)境下的恒定網(wǎng)絡(luò)帶寬，而不考慮靈活網(wǎng) 絡(luò)環(huán)境。然而，需要新壓縮技術(shù)來壓縮向其中帶寬有時(shí)改變的網(wǎng)絡(luò)環(huán)境應(yīng)用的畫面數(shù)據(jù)，并 且為了這樣的目的，可使用可伸縮視頻編碼/解碼方法。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明提供了通過有效生成和管理包括一個(gè)或多個(gè)參考層的參考畫面列表來增 強(qiáng)編碼/解碼效率的畫面編碼/解碼方法、以及使用其的設(shè)備。
[0006] 根據(jù)本發(fā)明的實(shí)施例，提供了可在執(zhí)行層間預(yù)測(cè)時(shí)、在生成用于運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng) 補(bǔ)償?shù)膮⒖籍嬅媪斜頃r(shí)、生成包括一個(gè)或多個(gè)參考層的參考畫面列表的畫面編碼/解碼方 法、以及使用其的設(shè)備。
[0007] 根據(jù)本發(fā)明的實(shí)施例，提供了可在生成包括參考層的重構(gòu)畫面的參考畫面列表 時(shí)，調(diào)整參考畫面列表中的參考層的重構(gòu)畫面的位置、以及參考層的重構(gòu)畫面之間的順序 的畫面編碼/解碼方法、以及使用其的設(shè)備。
[0008] 根據(jù)本發(fā)明的實(shí)施例，一種支持多層的畫面解碼方法可包括：接收并解析關(guān)于整 個(gè)比特流中當(dāng)前層可參考的參考層的層依賴性信息；在其中使用層間預(yù)測(cè)用于解碼當(dāng)前層 中的當(dāng)前畫面的情況下，接收并解析關(guān)于通過層依賴性信息導(dǎo)出的參考層之中的、當(dāng)前畫 面所參考的參考層的層信息；和基于層信息來解碼當(dāng)前畫面。
[0009] 該層依賴性信息可被接收、被包括在視頻參數(shù)集擴(kuò)展中。
[0010] 該層信息可以是關(guān)于當(dāng)前畫面可參考的參考畫面的層的ID的信息，并且該層信 息可被接收、被包括在片段報(bào)頭中。
[0011] 該畫面解碼方法可進(jìn)一步包括：基于層依賴性信息導(dǎo)出整個(gè)比特流中當(dāng)前層可參 考的參考層的數(shù)目；和如果參考層的數(shù)目大于0,則接收并解析指示是否使用層間預(yù)測(cè)用 于解碼當(dāng)前層中的當(dāng)前畫面的標(biāo)志信息。
[0012] 該畫面解碼方法可進(jìn)一步包括，如果標(biāo)志信息為1，參考層的數(shù)目大于1，并且整 個(gè)比特流中包括的所有層不使用至多一個(gè)參考層，則接收和解析層間參考畫面計(jì)數(shù)信息， 該信息可規(guī)定為了當(dāng)前畫面的層間預(yù)測(cè)可使用的層間參考畫面的數(shù)目。
[0013] 當(dāng)參考層的數(shù)目與層間參考畫面的數(shù)目不相同時(shí)，可接收該層信息。
[0014]層間參考畫面的數(shù)目可被規(guī)定為層間參考畫面計(jì)數(shù)信息加一。
[0015] 根據(jù)本發(fā)明的另一實(shí)施例，一種支持多層的畫面解碼設(shè)備可包括：解析模塊，被配 置為接收并解析關(guān)于整個(gè)比特流中當(dāng)前層可參考的參考層的層依賴性信息，并且在其中使 用層間預(yù)測(cè)用于解碼當(dāng)前層中的當(dāng)前畫面的情況下，被配置為接收并解析關(guān)于通過層依賴 性信息導(dǎo)出的參考層之中的、當(dāng)前畫面所參考的參考層的層信息；和解碼單元，被配置為基 于層信息來解碼當(dāng)前畫面。
[0016] 根據(jù)本發(fā)明的實(shí)施例，提供了通過有效生成和管理包括一個(gè)或多個(gè)參考層的參考 畫面列表來增強(qiáng)編碼/解碼效率的畫面編碼/解碼方法、以及使用其的設(shè)備。
[0017] 根據(jù)本發(fā)明的實(shí)施例，提供了可在執(zhí)行層間預(yù)測(cè)時(shí)、在生成用于運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng) 補(bǔ)償?shù)膮⒖籍嬅媪斜頃r(shí)、生成包括一個(gè)或多個(gè)參考層的參考畫面列表的畫面編碼/解碼方 法、以及使用其的設(shè)備。
[0018] 根據(jù)本發(fā)明的實(shí)施例，提供了可在生成包括參考層的重構(gòu)畫面的參考畫面列表 時(shí)，調(diào)整參考畫面列表中的參考層的重構(gòu)畫面的位置、以及參考層重構(gòu)畫面之間的順序的 畫面編碼/解碼方法、以及使用其的設(shè)備。
【附圖說明】
[0019] 圖1是圖示了根據(jù)本發(fā)明實(shí)施例的畫面編碼設(shè)備的配置的框圖；
[0020] 圖2是圖示了根據(jù)本發(fā)明實(shí)施例的畫面解碼設(shè)備的配置的框圖；
[0021] 圖3是示意性圖示了本發(fā)明可應(yīng)用到的使用多層的可伸縮視頻編碼架構(gòu)的實(shí)施 例的概念圖；
[0022] 圖4是示意性圖示了根據(jù)本發(fā)明實(shí)施例的空間質(zhì)量層和視圖層的概念圖；
[0023] 圖5是圖示了根據(jù)本發(fā)明實(shí)施例的在編碼設(shè)備中執(zhí)行上層編碼的方法的流程圖；
[0024] 圖6是圖示了根據(jù)本發(fā)明實(shí)施例的在解碼設(shè)備中執(zhí)行上層解碼的方法的流程圖；
[0025] 圖7是圖示了根據(jù)本發(fā)明實(shí)施例的畫面解碼設(shè)備的框圖；和
[0026] 圖8是圖示了根據(jù)本發(fā)明實(shí)施例的畫面解碼設(shè)備的解碼方法的流程圖。
【具體實(shí)施方式】
[0027]其后，將參考附圖來詳細(xì)描述本發(fā)明的實(shí)施例。在描述這些實(shí)施例時(shí)，當(dāng)確定為使 得本發(fā)明的要義不清楚時(shí)，將省略公知配置或功能的詳細(xì)描述。
[0028] 當(dāng)組件"連接到"或"耦接到"另一組件時(shí)，該組件可直接連接或耦接到所述另一 組件，或者其他組件也可介于其間。此外，當(dāng)"包括"特定組件時(shí)，不排除而是可以包括其他 組件，并且這樣的配置也被包括在本發(fā)明的范圍中。
[0029]可使用術(shù)語"第一"和"第二"來描述各種組件，但是這些組件不限于此。使用這 些術(shù)語僅區(qū)分一個(gè)組件與另一組件。例如，第一組件也可被稱為第二組件，并且第二組件可 被類似地稱為第一組件。
[0030] 獨(dú)立示出這些實(shí)施例中的構(gòu)成部分以表示不同特征，但是這并不意味著每一構(gòu)成 部分由單獨(dú)硬件單元或一個(gè)軟件構(gòu)成單元形成。即，為了易于描述，每一構(gòu)成部分與其他構(gòu) 成部分分離。構(gòu)成部分中的至少兩個(gè)可組合為單一構(gòu)成部分，或者一個(gè)構(gòu)成部分可被劃分 為可分別執(zhí)行功能的多個(gè)構(gòu)成部分。覆蓋構(gòu)成部分的組合或其分離的實(shí)施例可被包括在本 發(fā)明的范圍中，而不脫離本發(fā)明的要義。
[0031] 一些構(gòu)成部分不是執(zhí)行本發(fā)明的必要功能的必要部分，而可以是增強(qiáng)性能的可選 構(gòu)成部分。本發(fā)明可僅由用于實(shí)現(xiàn)本發(fā)明的要義所必需的構(gòu)成部分實(shí)現(xiàn)，或者僅包括這些 必要構(gòu)成部分而排除用于增強(qiáng)性能所使用的可選構(gòu)成部分的這樣的配置也可被包括在本 發(fā)明的范圍中。
[0032] 圖1是圖示了根據(jù)本發(fā)明實(shí)施例的畫面編碼設(shè)備的配置的框圖?？缮炜s視頻編碼 /解碼方法或設(shè)備可通過不提供可伸縮性的一般視頻編碼/解碼方法或設(shè)備的擴(kuò)展實(shí)現(xiàn)。 圖1的框圖圖示了可作為可伸縮視頻編碼設(shè)備的基礎(chǔ)的畫面編碼設(shè)備的實(shí)施例。
[0033] 參考圖1，該畫面編碼設(shè)備100包括運(yùn)動(dòng)估計(jì)模塊111、運(yùn)動(dòng)補(bǔ)償模塊112、幀內(nèi)預(yù) 測(cè)模塊120、開關(guān)115、減法模塊125、變換模塊130、量化模塊140、熵編碼模塊150、反量化 模塊160、逆變換模塊170、加法模塊175、濾波模塊180、和解碼畫面緩沖器190。
[0034] 畫面編碼設(shè)備100按照幀內(nèi)模式或幀間模式來對(duì)輸入畫面進(jìn)行編碼，并可輸出比 特流。幀內(nèi)預(yù)測(cè)意味著幀內(nèi)部的預(yù)測(cè)，而幀間預(yù)測(cè)意味著幀之間的預(yù)測(cè)。在幀內(nèi)模式的情 況下，開關(guān)115切換到幀內(nèi)，而在幀間模式的情況下，開關(guān)115切換到幀間。畫面編碼設(shè)備 100生成用于輸入畫面的輸入塊的預(yù)測(cè)塊，并然后可對(duì)輸入塊和預(yù)測(cè)塊之間的差進(jìn)行編碼。
[0035] 在幀內(nèi)模式的情況下，幀內(nèi)預(yù)測(cè)模塊120可通過使用與當(dāng)前塊相鄰的已編碼塊的 像素值進(jìn)行空間預(yù)測(cè)，來生成預(yù)測(cè)塊。
[0036] 在幀間模式的情況下，運(yùn)動(dòng)估計(jì)模塊111可在運(yùn)動(dòng)估計(jì)處理期間搜索解碼畫面緩 沖器190中存儲(chǔ)的參考畫面中、與輸入塊最佳匹配的區(qū)域，由此導(dǎo)出運(yùn)動(dòng)向量。運(yùn)動(dòng)補(bǔ)償模 塊112可通過使用參考畫面緩沖器190中存儲(chǔ)的解碼畫面和運(yùn)動(dòng)向量進(jìn)行運(yùn)動(dòng)補(bǔ)償，來生 成預(yù)測(cè)塊。
[0037] 減法模塊125可通過輸入塊和預(yù)測(cè)塊之間的差來生成殘差塊。變換模塊130可對(duì) 殘差塊進(jìn)行變換，由此輸出變換系數(shù)。量化模塊140可通過根據(jù)量化參數(shù)對(duì)輸入的變換系 數(shù)進(jìn)行量化，來輸出量化后參數(shù)。
[0038] 熵編碼模塊150可通過基于量化模塊140獲得的值或在編碼處理期間獲得的編碼 參數(shù)，根據(jù)概率分布對(duì)碼元進(jìn)行熵編碼，來輸出比特流。熵編碼是這樣的方法，借助該方法， 在去除統(tǒng)計(jì)冗余度的同時(shí)，接收具有各個(gè)值的碼元，并通過二進(jìn)制數(shù)的序列來表示具有各 個(gè)值的碼元。
[0039] 這里，碼元意味著要編碼/解碼的語法元素和編碼參數(shù)、或殘差信號(hào)。編碼參數(shù) 是用于編碼或解碼所必需的中介（intervening)變量，并且可包括可在編碼或解碼時(shí)推測(cè) 的信息、以及由編碼裝置編碼并被傳遞到解碼裝置并且意味著編碼或解碼畫面時(shí)必需的信 息的、諸如語法元素的信息。編碼參數(shù)可包括諸如幀內(nèi)/幀間預(yù)測(cè)模式、移位/運(yùn)動(dòng)向量、 參考畫面索引、編碼塊圖案、殘差信號(hào)的存在或不存在、變換系數(shù)、量化后變換系數(shù)、量化參 數(shù)、塊尺寸、塊劃分信息值或統(tǒng)計(jì)值。此外，殘差信號(hào)可意味著原始信號(hào)和預(yù)測(cè)后信號(hào)之間 的差，或者可意味著通過變換原始信號(hào)和預(yù)測(cè)后信號(hào)之間的差而獲得的信號(hào)、或者通過變 換和量化原始信號(hào)和預(yù)測(cè)后信號(hào)之間的差而獲得的信號(hào)。從塊單元的角度來說，殘差信號(hào) 可被稱為殘差塊。
[0040] 當(dāng)熵編碼應(yīng)用時(shí)，向具有較高出現(xiàn)機(jī)會(huì)的碼元分配較少比特，而向具有較低出現(xiàn) 機(jī)會(huì)的碼元分配較多比特，由此表示碼元。所以，可降低要編碼的碼元的比特序列的尺寸。 因此，可通過熵編碼來增加畫面編碼的壓縮性能。
[0041] 可使用諸如指數(shù)哥倫布、CAVLC(上下文自適應(yīng)可變長度編碼）、CABAC(上下文自 適應(yīng)二進(jìn)制算術(shù)編碼）的編碼方案用于熵編碼。例如，可在熵編碼模塊150中存儲(chǔ)諸如 VLC(可變長度編碼/代碼）表格的、用于進(jìn)行熵編碼的表格，并且熵編碼模塊150可使用存 儲(chǔ)的VLC表格來進(jìn)行熵編碼。此外，熵編碼模塊150導(dǎo)出用于對(duì)目標(biāo)碼元進(jìn)行二值化的方 法以及目標(biāo)碼元/倉（bin)的概率模型，并然后可使用導(dǎo)出的二值化方法或概率模型來進(jìn) 行摘編碼。
[0042] 量化后系數(shù)由反量化模塊160逆量化并可由逆變換模塊170逆變換。逆量化和逆 變換的系數(shù)由加法模塊175添加到預(yù)測(cè)塊，并然后可生成重構(gòu)塊。
[0043] 重構(gòu)塊經(jīng)過濾波模塊180,濾波模塊180然后向重構(gòu)塊或重構(gòu)畫面應(yīng)用解塊濾波、 SAO(樣本自適應(yīng)偏移）、和ALF(自適應(yīng)環(huán)路濾波）中的至少一個(gè)或多個(gè)。在經(jīng)受濾波模塊 180之后，重構(gòu)塊可被存儲(chǔ)在解碼畫面緩沖器190中。
[0044] 圖2是圖示了根據(jù)本發(fā)明實(shí)施例的畫面解碼設(shè)備的配置的框圖。如上面結(jié)合圖1 所述，可伸縮視頻編碼/解碼方法或設(shè)備可通過擴(kuò)展不提供可伸縮性的一般畫面編碼/解 碼方法或設(shè)備來實(shí)現(xiàn)，并且圖2的框圖圖示了可作為可伸縮視頻解碼設(shè)備的基礎(chǔ)的畫面解 碼設(shè)備的實(shí)施例。
[0045] 參考圖2,畫面解碼設(shè)備200包括熵解碼模塊210、反量化模塊220、逆變換模塊 230、幀內(nèi)預(yù)測(cè)模塊240、運(yùn)動(dòng)補(bǔ)償模塊250、濾波模塊260、和解碼畫面緩沖器270。
[0046] 畫面解碼設(shè)備200可接收從編碼設(shè)備輸出的比特流，按照幀內(nèi)模式或幀間模式對(duì) 該比特流進(jìn)行解碼，并可輸出重新配置的畫面，即重構(gòu)的畫面。在幀內(nèi)模式的情況下，開關(guān) 切換到幀內(nèi)，而在幀間模式的情況下，開關(guān)切換到幀間。畫面解碼設(shè)備200可獲得從接收的 比特流重構(gòu)的殘差塊，生成預(yù)測(cè)塊，向預(yù)測(cè)塊添加重構(gòu)的殘差塊，并生成重新配置的塊，即 重構(gòu)的塊。
[0047] 熵解碼模塊210根據(jù)概率分布對(duì)輸入比特流進(jìn)行熵解碼，以由此生成包括量化后 系數(shù)類型的碼元的碼元。熵解碼是其中接收二進(jìn)制數(shù)的序列以生成每一碼元的方法。熵解 碼方法與上述熵編碼方法類似。
[0048] 量化后系數(shù)由反量化模塊220反量化，由逆變換模塊230逆變換，并且作為量化后 系數(shù)的反量化/逆變換的結(jié)果，可生成重構(gòu)的殘差塊。
[0049] 在幀內(nèi)模式的情況下，幀內(nèi)預(yù)測(cè)模塊240可使用與當(dāng)前塊相鄰的已編碼塊的像素 值來進(jìn)行空間預(yù)測(cè)，由此生成預(yù)測(cè)塊。在幀間模式的情況下，運(yùn)動(dòng)補(bǔ)償模塊250可使用解碼 畫面緩沖器270中存儲(chǔ)的參考畫面和運(yùn)動(dòng)向量來進(jìn)行運(yùn)動(dòng)補(bǔ)償，由此生成預(yù)測(cè)塊。
[0050] 重構(gòu)的殘差塊由加法器255添加到預(yù)測(cè)塊，并且相加的結(jié)果經(jīng)受濾波模塊260。濾 波模塊260可向重構(gòu)的塊或重構(gòu)的畫面應(yīng)用解塊濾波、SAO、和ALF中的至少一個(gè)或多個(gè)。 濾波模塊260輸出重新配置的畫面，即重構(gòu)的畫面。重構(gòu)的畫面被存儲(chǔ)在解碼畫面緩沖器 270中，并可被使用用于幀間預(yù)測(cè)。
[0051]在畫面解碼設(shè)備200中包括的熵解碼模塊210、反量化模塊220、逆變換模塊230、 幀內(nèi)預(yù)測(cè)模塊240、運(yùn)動(dòng)補(bǔ)償模塊250、濾波模塊260、和解碼畫面緩沖器270之中，與畫面解 碼直接關(guān)聯(lián)的組件，諸如熵解碼模塊210、反量化模塊220、逆變換模塊230、幀內(nèi)預(yù)測(cè)模塊 240、運(yùn)動(dòng)補(bǔ)償模塊250、或?yàn)V波模塊260可被稱為與其它組件分離的解碼單元。
[0052]此外，畫面解碼設(shè)備200可進(jìn)一步包括解析模塊（未示出），用于解析關(guān)于比特流 中包括的編碼后畫面的信息。解析模塊可包括熵解碼模塊210,或者解析模塊可被包括在熵 解碼模塊210中。這樣的解析模塊也可被實(shí)現(xiàn)為解碼單元的一個(gè)組件。
[0053] 圖3是示意性圖示了本發(fā)明可應(yīng)用到的使用多層的可伸縮視頻編碼架構(gòu)的實(shí)施 例的概念圖。在圖3中，GOP(畫面組）表示畫面組，S卩，一組畫面。
[0054]為了傳送畫面數(shù)據(jù)，需要傳送介質(zhì)，并且其性能可取決于網(wǎng)絡(luò)環(huán)境針對(duì)每一傳送 介質(zhì)而變化。對(duì)于這樣的各種傳送介質(zhì)或網(wǎng)絡(luò)環(huán)境的應(yīng)用，可提供可伸縮視頻編碼方法。
[0055]可伸縮視頻編碼方法是這樣的編碼方法，其通過利用層間紋理信息、運(yùn)動(dòng)信息、或 殘差信號(hào)去除層間冗余，來增強(qiáng)編碼/解碼性能?？缮炜s視頻編碼方法可取決于諸如傳送 比特率、傳送誤差率、或系統(tǒng)資源的周圍條件，從空間、時(shí)間、或畫面質(zhì)量的角度出發(fā)，提供 各類可伸縮性。
[0056]可利用多層結(jié)構(gòu)來進(jìn)行可伸縮視頻編碼，以便能夠提供可向各種網(wǎng)絡(luò)環(huán)境應(yīng)用的 比特流。例如，可伸縮視頻編碼結(jié)構(gòu)可包括使用一般畫面編碼方法來壓縮和處理畫面數(shù)據(jù) 的基本層、以及使用基本層編碼信息和一般畫面編碼方法兩者來壓縮和處理畫面數(shù)據(jù)的增 強(qiáng)層。
[0057]這里，"層"意味著可基于空間（例如，畫面尺寸）、時(shí)間（例如，編碼順序、輸出畫 面的順序、幀頻）、畫面質(zhì)量、或復(fù)雜度而區(qū)分的畫面或比特流的集合。此外，基本層可意味 著下層、參考層或基本層，而增強(qiáng)層可意味著上層。此外，多層可具有彼此之間的從屬性。
[0058] 參考圖3,例如，基本層可通過SD(標(biāo)準(zhǔn)清晰度）、15Hz幀頻、IMbps比特率來定義， 第一增強(qiáng)層可通過HD(高清晰度）、30Hz幀頻、和3. 9Mbps比特率來定義，并且第二增強(qiáng)層 可通過4K