本發(fā)明涉及一種用于生成數(shù)字視頻流的系統(tǒng)、計算機(jī)軟件產(chǎn)品和方法，特別涉及用于基于數(shù)字輸入視頻流生成數(shù)字視頻流的系統(tǒng)、計算機(jī)軟件產(chǎn)品和方法。在優(yōu)選實施例中，數(shù)字視頻流是在數(shù)字視頻會議或數(shù)字視頻會議或會議系統(tǒng)的情境下生成的，特別是涉及多個不同的并發(fā)用戶。所生成的數(shù)字視頻流可以在外部或在數(shù)字視頻會議或數(shù)字視頻會議系統(tǒng)內(nèi)發(fā)布。

背景技術(shù)：

1、在其他實施例中，本發(fā)明應(yīng)用于非數(shù)字視頻會議的情境中，但是其中同時處理多個數(shù)字視頻輸入流并將其組合成所生成的數(shù)字視頻流。例如，這樣的情境可以是教育或教學(xué)的。

2、存在許多已知的數(shù)字視頻會議系統(tǒng)，例如microsoft?teams?、zoom?和google?meet?，提供兩個或更多個參與者使用本地錄制的數(shù)字視頻和音頻進(jìn)行虛擬會議，并向所有參與者廣播以模擬物理會議。

3、通常需要改進(jìn)這種數(shù)字視頻會議解決方案，特別是在觀看內(nèi)容的生成方面，例如在什么時間向誰示出什么，以及通過什么分發(fā)渠道展示。

4、例如，一些系統(tǒng)自動檢測當(dāng)前講話的參與者，并且向其他參與者顯示正在講話的參與者的相應(yīng)視頻饋送。在許多系統(tǒng)中，可以共享圖形，例如當(dāng)前顯示的屏幕、查看窗口或數(shù)字演示。然而，隨著虛擬會議變得越來越復(fù)雜，服務(wù)很快變得更難以知道在每個時間點(diǎn)應(yīng)該向每個參與者顯示哪些當(dāng)前可用的信息。

5、在其他示例中，演示參與者在談?wù)摂?shù)字演示中的幻燈片時四處移動。然后，系統(tǒng)需要決定是顯示演示、演示者還是兩者，或者在兩者之間切換。

6、可以期望通過自動生成過程基于多個輸入數(shù)字視頻流來生成一個或多個輸出數(shù)字視頻流，并且將這樣生成的一個或多個數(shù)字視頻流提供給一個或多個消費(fèi)實體。

7、然而，在許多情況下，由于這種數(shù)字視頻會議系統(tǒng)面臨許多技術(shù)難題，動態(tài)會議屏幕布局管理器或其他自動化生成功能難以選擇要顯示什么信息。

8、首先，由于數(shù)字視頻會議具有實時性，因此低延遲很重要。當(dāng)不同的傳入數(shù)字視頻流（例如來自使用不同硬件加入的不同參與者）與不同的延遲、幀率、縱橫比或分辨率相關(guān)聯(lián)時，這造成問題。很多時候，這種傳入數(shù)字視頻流需要處理以獲得良好形成的用戶體驗。

9、其次，在視頻圖像處理、選擇和格式化的意義上的生成引入了延遲，這在參與者之間的實時視頻通信中可能是不期望的。

10、第三，時間同步存在問題。類似于過高的延遲，未同步的數(shù)字視頻饋送將導(dǎo)致用戶體驗不佳。

11、這些問題在更復(fù)雜的會議情況下會加劇，例如涉及許多參與者；參與者使用不同的硬件和/或軟件進(jìn)行連接；外部提供的數(shù)字視頻流；屏幕共享；或多個主機(jī)。

12、這些問題特別出現(xiàn)在多個參與者參加視頻會議或類似會議的情境下，其中所有參與者都在同一房間或場所本地在場，或者其中一些參與者本地在場并且一些參與者遠(yuǎn)程參與。

13、在基于多個輸入數(shù)字視頻流生成輸出數(shù)字視頻流的所述其他情境下，例如在用于教育和教學(xué)的數(shù)字視頻生成系統(tǒng)中，會出現(xiàn)相應(yīng)的問題。

14、瑞典專利申請se2151267-8（在本申請生效日期尚未公開）公開了針對上述問題的各種解決方案。

15、瑞典專利申請2151461-7（在本申請生效之日也未公開）公開了針對多參與者數(shù)字視頻環(huán)境中處理延遲的各種解決方案，例如當(dāng)不同的參與者組與不同的一般延遲相關(guān)聯(lián)時。

16、瑞典專利申請2250113-4（在本申請生效之日也未公開）公開了針對使用一個或幾個攝像頭來跟蹤一個或幾個人的各種解決方案。

技術(shù)實現(xiàn)思路

1、本發(fā)明解決了上述問題中的一個或幾個。

2、因此，本發(fā)明涉及一種用于提供輸出數(shù)字視頻流的方法，該方法包括：連續(xù)收集實時第一主數(shù)字視頻流；執(zhí)行第一主數(shù)字視頻流的第一數(shù)字圖像分析，以識別第一主數(shù)字視頻流中的至少一個第一事件或模式，第一數(shù)字圖像分析導(dǎo)致基于所述第一事件或模式的檢測而建立第一生成控制參數(shù)，第一數(shù)字圖像分析需要一定時間來執(zhí)行，使得在與第一主數(shù)字視頻流中的所述第一事件或模式的發(fā)生時間相關(guān)的第一時間延遲之后建立第一生成控制參數(shù)；將所述第一生成控制參數(shù)應(yīng)用于所述實時第一主數(shù)字視頻流，第一生成控制參數(shù)的應(yīng)用導(dǎo)致基于所述第一生成控制參數(shù)修改第一主數(shù)字視頻流而不延遲所述第一時間延遲，以便生成第一生成的數(shù)字視頻流；以及連續(xù)地將所述輸出數(shù)字視頻流提供給至少一個參與客戶端，以所述第一生成的數(shù)字視頻流的形式或基于所述第一生成的數(shù)字視頻流提供輸出數(shù)字視頻流。

3、此外，本發(fā)明涉及一種包括指令的計算機(jī)程序產(chǎn)品，當(dāng)該程序由計算機(jī)執(zhí)行時，該指令使計算機(jī)執(zhí)行所述用于提供輸出數(shù)字視頻流的方法。

4、此外，本發(fā)明涉及一種用于提供輸出數(shù)字視頻流的系統(tǒng)，該系統(tǒng)包括：收集功能，其被設(shè)置為連續(xù)收集實時第一主數(shù)字視頻流；生成功能，其被設(shè)置為執(zhí)行第一主數(shù)字視頻流的第一數(shù)字圖像分析，以便識別第一主數(shù)字視頻流中的至少一個第一事件或模式，第一數(shù)字圖像分析導(dǎo)致基于所述第一事件或模式的檢測而建立第一生成控制參數(shù)，第一數(shù)字圖像分析需要一定時間來執(zhí)行，使得第一生成控制參數(shù)是在與第一主數(shù)字視頻流中的所述第一事件或模式的發(fā)生時間相關(guān)的第一時間延遲之后來建立，生成功能還被設(shè)置為將所述第一生成控制參數(shù)應(yīng)用于所述實時第一主數(shù)字視頻流，第一生成控制參數(shù)的應(yīng)用導(dǎo)致基于所述第一生成控制參數(shù)來修改第一主數(shù)字視頻流而不延遲所述第一時間延遲，以便生成第一生成的數(shù)字視頻流；以及發(fā)布功能，其被設(shè)置為連續(xù)地將所述輸出數(shù)字視頻流提供給至少一個參與客戶端，以所述第一生成的數(shù)字視頻流的形式或基于所述第一生成的數(shù)字視頻流提供輸出數(shù)字視頻流。

技術(shù)特征：

1.一種用于提供輸出數(shù)字視頻流（230）的方法，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，所述方法還包括：

3.根據(jù)權(quán)利要求2所述的方法，其中，

4.根據(jù)前述權(quán)利要求中任一項所述的方法，其中，

5.根據(jù)權(quán)利要求4所述的方法，其中，

6.根據(jù)權(quán)利要求4或5所述的方法，其中，

7.根據(jù)前述權(quán)利要求中任一項所述的方法，其中，

8.根據(jù)前述權(quán)利要求中任一項所述的方法，其中，

9.根據(jù)權(quán)利要求8所述的方法，其中，

10.根據(jù)權(quán)利要求8或9所述的方法，其中，所述方法還包括：

11.根據(jù)權(quán)利要求10所述的方法，其中，

12.根據(jù)前述權(quán)利要求中任一項所述的方法，所述方法還包括：

13.根據(jù)權(quán)利要求12所述的方法，其中，

14.根據(jù)權(quán)利要求12或13所述的方法，其中，

15.根據(jù)權(quán)利要求12至14中任一項所述的方法，其中，

16.一種包括指令的計算機(jī)程序產(chǎn)品，當(dāng)所述程序由計算機(jī)執(zhí)行時，所述指令使所述計算機(jī)執(zhí)行根據(jù)任何前述權(quán)利要求中任一項所述的用于提供輸出數(shù)字視頻流（230）的方法。

17.一種用于提供輸出數(shù)字視頻流（230）的系統(tǒng)（100），所述系統(tǒng)（100）包括：

18.根據(jù)權(quán)利要求17所述的系統(tǒng)（100），其中，

技術(shù)總結(jié)
一種用于提供輸出數(shù)字視頻流（230）的方法，該方法包括：連續(xù)收集實時第一主數(shù)字視頻流（210、301）；執(zhí)行第一主數(shù)字視頻流的第一數(shù)字圖像分析，以識別至少一個第一事件（211）或模式（212），導(dǎo)致在與第一主數(shù)字視頻流中的所述第一事件或模式的發(fā)生時間相關(guān)的第一時間延遲建立第一生成控制參數(shù)；將所述第一生成控制參數(shù)應(yīng)用于所述第一主數(shù)字視頻流，導(dǎo)致第一主數(shù)字視頻流被修改而無需所述第一時間延遲，以便生成第一生成的數(shù)字視頻流；以及基于所述第一生成的數(shù)字視頻流連續(xù)地提供所述輸出數(shù)字視頻流。本發(fā)明還涉及一種系統(tǒng)和一種計算機(jī)程序產(chǎn)品。

技術(shù)研發(fā)人員：安德烈亞斯·比約克曼,安德斯·尼爾森,拉爾斯·埃爾曼,麥克斯·索爾奎斯特
受保護(hù)的技術(shù)使用者：萊沃瑞納技術(shù)公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/8