本發(fā)明屬于計算機視覺和圖像處理領(lǐng)域，具體是涉及到一種基于多攝像頭信息融合生成賽況俯視圖的方法及系統(tǒng)。

背景技術(shù)：

1、在對體育賽事進行戰(zhàn)術(shù)分析時，通常俯視視角下會更為直觀。然后當前大多攝像設(shè)備都是架設(shè)在場地的四周，很難進行俯視視角的拍攝。因此需要借助圖像處理技術(shù)，將其它視角的圖像轉(zhuǎn)換為俯視視角。

2、目前，在計算機視覺與智能感知領(lǐng)域，實現(xiàn)場景目標的檢測識別和俯視圖生成主要是借助單目視覺下的目標檢測算法搭配?bev?投影變換技術(shù)，或者采用基于?opencv?的透視變換方法，其應(yīng)用到的技術(shù)涵蓋基于深度學習的多對象識別與定位目標檢測、基于傳統(tǒng)機器學習的特征提取和分類方法、基于實例分割的目標檢測以及針對不同尺寸對象的多尺度目標檢測等。基于以上技術(shù)，當前已能夠識別視頻中的多個對象，并給出各對象的類別標識與畫面位置數(shù)據(jù)。如公開號為cn118154728a公開的一種動態(tài)視角體育賽事場況俯瞰圖實時生成方法，該方法通過單個攝像頭進行實時圖像捕捉與坐標初始化、圖像預(yù)處理與關(guān)鍵點提取、初始俯視圖生成與區(qū)域劃分、矩形篩選與誤差優(yōu)化、重匹配識別與實時俯視圖生成。

3、然而，因攝像機視角、拍攝距離和清晰度等因素，僅依靠單攝像頭單幀圖像的位置數(shù)據(jù)難以開展深入的數(shù)據(jù)分析，在進行事件的時序分析時，往往需要投入大量人力手動獲取數(shù)據(jù)。以體育賽事為例，難以通過對位置固定的單一攝像頭的單幀圖像識別的處理充分掌控賽場全局態(tài)勢。如公開號為cn118154728a公開的一種動態(tài)視角體育賽事場況俯瞰圖實時生成方法，其只使用一個攝像頭，視角受限，覆蓋標準體育場全域時精度欠缺，且受光學畸變與分辨率限制，難以滿足實時戰(zhàn)術(shù)分析對目標定位精度及全景態(tài)勢感知的需求。特別是在高速運動目標跟蹤、遮擋場景解析等復(fù)雜工況下，單視角系統(tǒng)的數(shù)據(jù)完備性與可靠性面臨嚴峻挑戰(zhàn)。

技術(shù)實現(xiàn)思路

1、本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中存在的技術(shù)問題之一。

2、本發(fā)明的一個目的在于提供一種基于多攝像頭信息融合生成賽況俯視圖的方法，該方法通過融合多攝像頭的局部信息實現(xiàn)對完整體育場中的全局目標定位，逐幀轉(zhuǎn)換圖像維度從而實時生成完整賽況，以輔助教練和觀眾更好地把握體育賽事的狀態(tài)。

3、本發(fā)明的另一個目的在于提供一種用于實現(xiàn)上述方法的基于多攝像頭信息融合生成賽況俯視圖的系統(tǒng)。

4、為了達到上述的目的，本發(fā)明一方面提供一種基于多攝像頭信息融合生成賽況俯視圖的方法，包括：

5、s100、在運動場四角分別放置攝像頭，對體育場同時進行實時拍攝記錄，截取視頻中的當前幀圖像；以體育場的其中一個角作為坐標原點，建立平面直角坐標系，記錄四個攝像頭的相對位置以及體育場的高度和寬度；

6、s200、對每個攝像頭的當前幀圖像進行hsv色彩空間分離，設(shè)定值域以識別圖像上的所有直線與交點，任取圖像上的一個邊角點作為參考點，計算并確定距離該參考點最近的交點，進而通過分析該交點所在的直線，找到與其相關(guān)的其它交點，通過這些交點，逐步確定矩形的四個頂點坐標并按照順序存入點集；在時刻創(chuàng)建全場俯視圖圖例，將所有俯視圖中的交點通過變換矩陣變換后存入點集中，通過連接交點將場地劃分為個矩形，按照從左到右、從小到大的順序記錄下所有矩形的坐標，并將其存儲為基于俯視圖得到的矩形點集；s300、根據(jù)步驟s200得到的某一幀圖像上矩形的四個頂點，尋找并篩選俯視圖中對應(yīng)的矩陣坐標點，將該幀圖像中的所有坐標通過坐標還原的方法還原到俯視圖中，接著通過矩形匹配和誤差分析算法，將目標矩形和被選矩形進行匹配，精確篩選矩形；s400、引入基于多視角攝像頭融合的運動員坐標變換誤差計算方法，獲取攝像頭間重疊區(qū)域運動員坐標，并利用矩陣變換到俯視視角下，計算同一運動員在俯視圖下的歐氏距離，得到運動員坐標變換誤差；s500、以四個攝像頭非重疊區(qū)域得到的四個維度變換矩陣的誤差相疊加，構(gòu)成誤差點集；以四個攝像頭重疊區(qū)域中的運動員坐標變換誤差，構(gòu)建誤差點集；分別為兩個誤差點集設(shè)定系數(shù)，以加權(quán)和最小為目標函數(shù)，得到最優(yōu)的維度變換矩陣；s600、當前時序結(jié)束后，切換到下一時序，根據(jù)步驟500得到的最優(yōu)維度變換矩陣對整個運動場進行維度變換，把轉(zhuǎn)換后所需要場況信息的所有點保存在點集中，通過該點集中存儲的信息生成俯視圖，并清空其它點集，截取視頻中下一時序的幀圖像，重復(fù)步驟s100~s500，持續(xù)獲取俯視圖。本發(fā)明進一步優(yōu)選地技術(shù)方案為，步驟s100中將以體育場的左下角為坐標原點建立平面直角坐標系，記錄四個攝像頭的相對位置分別為、、、，體育場的高度為和寬度為。

7、作為優(yōu)選，步驟s200中對每個攝像頭的當前幀圖像進行hsv色彩空間分離，設(shè)定值域以識別圖像上的所有直線與交點，任取圖像上的一個邊角點作為參考點，計算并確定距離該參考點最近的交點，進而通過分析該交點所在的直線，找到與其相關(guān)的其它交點，通過這些交點，逐步確定矩形的四個頂點坐標并按照順序存入點集；具體方法為：s210、將當前幀圖像從rgb三色通道轉(zhuǎn)換至hsv色彩空間，以當前幀圖像左下角為原點，建立平面直角坐標系，設(shè)定合適的值域，識別出的所有直線方程，計算出所有直線的交點并記錄下來；

8、s220、任取當前幀圖像四個頂點的一個邊界點為基準點，設(shè)圖像的長是，高度為，將與點的距離為最小值的交點，記作，點是兩條直線相交所產(chǎn)生，帶入點坐標，得出經(jīng)過點的兩條直線的解析式，記為和；

9、s230、將與除外的已識別直線方程聯(lián)立，得交點為， ?，……，同理，將與除外的已識別直線聯(lián)立，得交點， ?，……；計算和?與點的距離和，分別選取?和?對應(yīng)的點記作和，兩點所在的另一條直線為和；

10、s240、將直線與直線的解析式聯(lián)立求得交點記作，然后將所獲四個點作為頂點坐標按照順序存放在點集中；

11、s250、重復(fù)步驟s210~s240，根據(jù)算出兩點之間距離的不同進行遍歷，找到原圖上矩形的點集，直到?jīng)]有新的距離差出現(xiàn)，則找出了原圖上所有的矩形點集，依次存入點集的不同行；作為優(yōu)選，步驟s200中在時刻創(chuàng)建全場俯視圖圖例，將所有俯視圖中的交點通過變換矩陣變換后存入點集中，通過連接交點將場地劃分為個矩形，按照從左到右、從小到大的順序記錄下所有矩形的坐標，并將其存儲為基于俯視圖得到的矩形點集；具體方法為：

12、s260、在時序為時，得到包含整個比賽場地的圖片或是場地的尺寸，由此創(chuàng)建一個以比賽場地頂點為坐標原點的俯視圖坐標系，獲取到場地上所有交點的坐標，根據(jù)場地四個頂點的坐標對應(yīng)匹配坐標系上的坐標計算得到一個三行三列的變換矩陣，將場上所有點都乘以這個變換矩陣得到新的交點坐標，從而得到場地的俯視圖f并記錄，時序之后，直接獲取初狀態(tài)的俯視圖f；

13、s270、在步驟s260得到的中任取其中兩個橫縱坐標都不一樣的點，即可確定一個矩形的四個點，按照順時針的順序存放在數(shù)組中，對所有的點進行連線，產(chǎn)生n條橫線和m條縱線，將整個俯視圖場地劃分成若干個小矩形，以及小矩形組合而成的大矩形，由此場地分為?個矩形，按照從左到右、從小到大的順序記錄下所有矩形的坐標，采用八行列的數(shù)組進行存儲，得到的矩形點集。

14、作為優(yōu)選，步驟s300中根據(jù)步驟s200得到的某一幀圖像上矩形的四個頂點，尋找并篩選俯視圖中對應(yīng)的矩陣坐標點，將該幀圖像中的所有坐標通過坐標還原的方法還原到俯視圖中，接著通過矩形匹配和誤差分析算法，將目標矩形和被選矩形進行匹配，精確篩選矩形，包括：

15、s310、基于步驟s200獲得的某一幀圖像上矩形的四個頂點，引入一個矩形匹配評分算法模型，初步識別篩選出合適的矩形；

16、s320、采用循環(huán)的方法，即選取目標矩形時對獲得的坐標的點集進行移位處理，然后重復(fù)步驟s310，獲得全部的最優(yōu)解；

17、s330、在獲得了最適配的矩形對后，計算獲得一個維度變換矩陣。

18、作為優(yōu)選，步驟s310所述基于步驟s200獲得的某一幀圖像上矩形的四個頂點，引入一個矩形匹配評分算法模型，初步識別篩選出合適的矩形；具體方法為：

19、s311、基于步驟s200獲得的點集和獲得一個新的俯視圖f1，先比較俯視圖f與f1的邊界長度，如果f1的某一邊界長度大于了f中對應(yīng)的邊界長度，則說明當前選擇的矩形點偏離或者不合適，然再對圖中的矩形進行比較，如果f1中的矩形的某一邊長度明顯大于了f中矩形對應(yīng)的邊的長度，則可以確定當前的目標矩形與所選擇的矩形大小、形狀不適配，除掉這一部分矩形，將剩下的矩形坐標點存入一個新點集中；

20、s312、基于點集、計算得到兩個視角下每一組矩形的長度length、寬度width以及矩形兩條邊的夾，同時獲得每一組矩形的重心坐標，定義寬高差異比為

21、，角度差異為，重心距離為，計算得到兩個視角下的矩形坐標的點集的hausdorff距離，表示為：

22、根據(jù)步驟s200中俯視圖創(chuàng)建方法，得到在該攝像頭視角下還原的俯視圖f2，從而得到在俯視圖f2中的表示視角的兩條直線，將這兩條直線反向延長相交得到一個假想攝像頭的坐標，通過與步驟s100中的攝像頭坐標進行比較，得到一個歐式距離差；

23、接著將數(shù)據(jù)進行歸一化后計算歸一化相似度得分：

24、

25、其中=0.12，=0.15，=0.13，=0.10，=0.5，遍歷與中的所有的矩形坐標組，計算得到所有的匹配組合的相似度評分，分別儲存到點集、中，比較評分，得到相匹配的矩形，按照一一對應(yīng)的順序更新與。

26、s320、需要注意的是，在選取目標矩形與被選矩形坐標進行比較時，不能保證它們對應(yīng)點集里面出現(xiàn)坐標點的順序是一致的，因此采用循環(huán)的方法，即選取目標矩形時獲得的坐標的點集進行移位處理，然后重復(fù)步驟s310，因為一個矩形可以選取四個坐標點，所以只需循環(huán)四次，就可以獲得全部的最優(yōu)解；s330、在獲得了最適配的矩形對后，通過比較點集與中的坐標點，可以計算獲得一個維度變換矩陣。

27、s400、將攝像頭拍攝到的運動員變換到俯視視角下的體育場中，計算運動員在不同視角變換后的坐標差異，作為維度變換矩陣的誤差依據(jù)，具體方法為：

28、s410、選取攝像頭a、b兩個視角，使用yolo識別攝像頭視角下所有運動員并取其中心點坐標(x,y)視為該運動員所在的位置；

29、s420、計算重疊區(qū)域部分的運動員在每個視角下經(jīng)過維度變換后的坐標，并存入點集，具體實施步驟為：

30、s421、依據(jù)步驟s300計算得出的維度變化矩陣，對每一攝像頭視角下的運動員位置進行維度變換得到維度變換后的坐標（x’,y’），將第i個攝像頭拍攝到的所有運動員經(jīng)過維度變化后坐標存入點集si中；

31、s422、計算攝像頭間重疊區(qū)域坐標范圍，在點集中篩選出符合范圍的坐標存入新的點集s’i；

32、s430、取點集s’1，點集s’2，計算兩視角中所有點對之間的歐氏距離，作為匹配代價，構(gòu)建代價矩陣應(yīng)用匈牙利算法匹配點對；具體實施步驟為：

33、s431、定義攝像頭a的檢測點集為，攝像頭b的檢測點集為，計算兩視角中所有點對之間的歐氏距離作為匹配代價，構(gòu)建代價矩陣為，其元素為?s432、求解行索引和列索引集合，使得，得到有序匹配索引列表。

34、s440、對每個匹配的行列索引（i,j），對應(yīng)攝像頭a的點，和攝像頭b的點，按匹配結(jié)果對點集重新排序，確保對應(yīng)位置的坐標屬于同一運動員，對每個匹配點對（,）求取坐標誤差；

35、步驟450、對視角b、c，視角c、d，視角d、a重復(fù)步驟s410至步驟s440的過程，將各重疊區(qū)域部分的誤差值疊加，得到最終誤差。

36、s500、引入一種根據(jù)最小總誤差的判斷最優(yōu)維度變換矩陣的方法：在體育賽事場地中，場地四角的各攝像頭的拍攝范圍存在相互重疊的部分，形成一個全局覆蓋的監(jiān)控區(qū)域；分別存在4個攝像頭非重疊區(qū)域得到的4個維度變換矩陣，分別定義得到這4個維度變換矩陣矩形的誤差疊加構(gòu)成誤差點集和各個攝像頭重疊區(qū)域中的運動員坐標變換誤差集，分別為兩個這誤差配以適當?shù)南禂?shù)，以加權(quán)和最小為目標函數(shù)，來得到最優(yōu)的維度變換矩陣。經(jīng)過步驟s500確定最優(yōu)維度變換矩陣后進行俯視視角轉(zhuǎn)換的結(jié)果如圖所示。步驟s500具體方法為：

37、s510、由單個攝像頭初步篩選獲得的矩形得到四個維度變換矩陣，將四個維度變換矩陣矩形的誤差疊加構(gòu)成誤差點集，，表示來自第個攝像頭的維度變換矩陣的誤差點集；記四個攝像頭拍攝的共同區(qū)域中的運動員的坐標變換的誤差值和為；對兩個誤差集統(tǒng)一規(guī)模并進行標準化處理后的和，通過critic權(quán)重法為和分別賦予適當?shù)臋?quán)重和，通過加權(quán)和求解總最小誤差以確定最優(yōu)的維度變換矩陣；具體方法如下：s511、由于兩個誤差集的來源與規(guī)模不同，記，，設(shè)目標長度為，其中，分別為和的原始元素數(shù)量，將誤差點集和誤差和調(diào)整為相同的長度,?用于后續(xù)對齊分位數(shù)，使用線性插值擴充較短集合的長度，設(shè)擴充較短的集合得到；應(yīng)用min-max歸一化方法分別對和進行標準化處理，計算：

38、

39、

40、得到和；

41、s512、對誤差點集和誤差和分別賦予適當?shù)臋?quán)重，應(yīng)用critic權(quán)重法，將歸一化后的和定義為兩個指標，構(gòu)建矩陣：

42、

43、然后計算標準差，的標準差為：

44、

45、的標準差為：

46、

47、計算兩列間的皮爾遜相關(guān)系數(shù)：

48、

49、根據(jù)所獲得的皮爾遜相關(guān)系數(shù)分別計算和的信息量，的信息量為：，的信息量為：；由此得到權(quán)重，；

50、s520、計算總最小誤差，構(gòu)建目標函數(shù)，表示為：

51、

52、滿足約束條件：

53、

54、然后重復(fù)步驟s511-步驟s512，遍歷所有得到維度變換矩陣的矩形和運動員在通過維度變換后的坐標，得到的總誤差最小的維度變換矩陣即為最優(yōu)的維度變換矩陣。

55、本發(fā)明另一方面提供一種用于實現(xiàn)上述方法的基于多攝像頭信息融合生成賽況俯視圖的系統(tǒng)，包括獲取視頻當前幀信息模塊、矩形匹配與維度變換模塊、坐標變換誤差計算模塊、異源誤差加權(quán)評估模塊和融合局部信息還原俯視視角模塊，其中：

56、獲取視頻當前幀信息模塊，用于對視頻中當前幀的圖像進行hsv色彩空間分離處理，得到某一攝像頭拍攝得到的當前場上所有的信息點并存在點集中；

57、矩形匹配與維度變換模塊，用于對俯視圖直線延長相交，記錄矩形坐標，依相似度匹配獲取適配矩形對，利用同一攝像頭原視角與俯視視角矩形坐標，獲取這些矩形坐標的誤差并生成維度變換矩陣；

58、坐標變換誤差計算模塊，用于將重疊區(qū)域中的運動員坐標變換到俯視視角下，計算同一運動員在俯視圖下的歐氏距離，得到運動員坐標變換誤差；

59、異源誤差加權(quán)評估模塊，用于對不同來源的誤差類型，依據(jù)其各自的重要程度、影響范圍賦予相應(yīng)的權(quán)重系數(shù)，通過誤差加權(quán)和綜合評估整體的誤差情況；

60、融合局部信息還原俯視視角模塊，用于根據(jù)攝像頭拍攝的重合區(qū)域，融合當前幀場地四角攝像頭的局部信息，得到體育場的全局目標，從而對當前幀的體育場全場信息進行維度變換得到對應(yīng)的全場俯視圖。

61、本發(fā)明另一方面提供一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機指令，該計算機指令使計算機執(zhí)行上述的基于多攝像頭信息融合生成賽況俯視圖的方法。

62、本發(fā)明又一方面提供一種電子設(shè)備，包括：處理器、通信接口、存儲器和通信總線，其中，處理器，通信接口，存儲器通過通信總線完成相互間的通信，處理器調(diào)用存儲器中的邏輯指令，以執(zhí)行上述的基于多攝像頭信息融合生成賽況俯視圖的方法。

63、本發(fā)明再一方面提供一種計算機程序產(chǎn)品，所述計算機程序產(chǎn)品包括計算機程序，計算機程序存儲在非暫態(tài)計算機可讀存儲介質(zhì)上，所述計算機程序被處理器執(zhí)行時，計算機執(zhí)行上述的基于多攝像頭信息融合生成賽況俯視圖的方法。

64、有益效果：本發(fā)明基于多攝像頭信息融合生成賽況俯視圖的方法，通過對多攝像頭拍攝的每一幀圖像融合后進行維度變化，從而實時生成全場信息的俯視圖，最終可以實現(xiàn)在體育賽事的實時俯視圖生成，幫助使用者更好地掌握場上信息，幫助使用者深入洞察賽場局勢的動態(tài)演變。

65、本發(fā)明基于多攝像頭信息融合生成賽況俯視圖的方法，依托全面拍攝得到的原始視頻場景特征，借助多元計算分析手段開展各項分析工作，有效排除了外部干擾因素的影響。通過將覆蓋完整體育場的原始視頻轉(zhuǎn)化為俯視視角圖像，系統(tǒng)克服了因遮擋、不良視角、畫面不全等問題導(dǎo)致的場況觀測難題，為使用者在體育賽事實時觀看與場況分析過程中，提供了更為便捷、全面的支持。

66、本發(fā)明借助識別、篩選矩形進行維度變換，根據(jù)重疊部分融合不同視角下的場況信息，構(gòu)造比賽場地的俯視圖，能夠?qū)崟r對于體育賽事的場況有更為合理精準的把握。