本發(fā)明涉及計算機(jī)，尤其涉及一種基于無人機(jī)的視頻巡檢方法及系統(tǒng)。

背景技術(shù)：

1、傳統(tǒng)的鐵路巡檢主要依賴于人工視察，這種方法耗時耗力，隨著無人機(jī)技術(shù)的快速發(fā)展，使用無人機(jī)采集鐵路沿線的遙感影像以此進(jìn)行鐵路巡檢，已經(jīng)成為一種有效手段。

2、通過對無人機(jī)所采集的遙感影像的每一幀進(jìn)行圖像定位計算，利用slam(simultaneous?localization?and?mapping，即時定位與地圖構(gòu)建)技術(shù)進(jìn)行ar效果的跟蹤和渲染疊加，再通過無人機(jī)上報的參數(shù)，進(jìn)行標(biāo)簽投影，換算成世界坐標(biāo)系，將鐵路沿線的地理位置在遙感影像中進(jìn)行展示，使得用戶可直觀查看比對遙感影像中地面現(xiàn)場的實際情況進(jìn)行巡檢。但在該方法中，無人機(jī)上報的參數(shù)與實際的相機(jī)參數(shù)存在偏差，影響世界坐標(biāo)系換算的準(zhǔn)確性，進(jìn)而影響鐵路巡檢的準(zhǔn)確性，且通過slam技術(shù)進(jìn)行ar建模，只適用于線狀體，無法疊加其他模型，延展性和靈活性不高。

技術(shù)實現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問題是：本發(fā)明提供一種基于無人機(jī)的視頻巡檢方法及系統(tǒng)，實現(xiàn)以高延展性高靈活性的方式進(jìn)行鐵路巡檢，并提高鐵路巡檢的準(zhǔn)確性。

2、為了解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：

3、第一方面，本發(fā)明提供一種基于無人機(jī)的視頻巡檢方法，包括：

4、獲取無人機(jī)的實時飛行參數(shù)和實時視頻畫面，根據(jù)所述實時飛行參數(shù)計算無人機(jī)在俯視角下所呈現(xiàn)的照射梯形的梯形范圍；

5、根據(jù)所述梯形范圍構(gòu)建定位坐標(biāo)系，基于所述定位坐標(biāo)系計算所述實時視頻畫面中待識別像素點的地理坐標(biāo)，根據(jù)待識別像素點的地理坐標(biāo)得到gis圖層，將所述gis圖層疊加至所述實時視頻畫面中，實現(xiàn)對所述實時視頻畫面進(jìn)行巡檢定位。

6、本發(fā)明的有益效果在于：以無人機(jī)的實時飛行參數(shù)計算無人機(jī)在俯視角下所呈現(xiàn)的照射梯形的梯形范圍，以該梯形范圍構(gòu)建定位坐標(biāo)系，基于該定位坐標(biāo)系計算實時視頻畫面中待識別像素點的地理坐標(biāo)，實現(xiàn)真實的地理坐標(biāo)和實時視頻畫面的圖像坐標(biāo)匹配，解決無人機(jī)上報的參數(shù)與相機(jī)參數(shù)存在偏差導(dǎo)致的定位不準(zhǔn)確問題，提高地理坐標(biāo)的準(zhǔn)確性，即保證gis圖層的準(zhǔn)確性，提高了鐵路巡檢的準(zhǔn)確性，并且進(jìn)行巡檢定位時，是通過在實時視頻畫面中疊加gis圖層實現(xiàn)的，gis圖層可疊加多種類的gis元素，以滿足多場景交互開發(fā)的需求，具有高延展性與高靈活性。

7、可選地，所述實時飛行參數(shù)包括對角線視場角，所述根據(jù)所述實時飛行參數(shù)計算無人機(jī)在俯視角下所呈現(xiàn)的照射梯形的梯形范圍包括：

8、將對角線視場角代入水平公式計算，得到水平視場角，所述水平公式為：

9、

10、其中，hfov表示水平視場角，dfov表示對角線視場角，length_resolution表示實時視頻畫面的圖像長度分辨率，width_resolution表示實時視頻畫面的圖像寬度分辨率；

11、將對角線視場角代入垂直公式計算，得到垂直視場角，所述垂直公式為：

12、

13、其中，vfov表示垂直視場角；

14、根據(jù)所述水平視場角和所述垂直視場角計算無人機(jī)在俯視角下所呈現(xiàn)的照射梯形的梯形范圍。

15、根據(jù)上述描述可知，根據(jù)無人機(jī)的對角線視場角計算出水平視場角和垂直視場角，以此根據(jù)水平視場角和垂直視場角計算照射梯形的梯形范圍，保證所計算的梯形范圍的合理性和準(zhǔn)確性。

16、可選地，根據(jù)所述水平視場角和所述垂直視場角計算無人機(jī)在俯視角下所呈現(xiàn)的照射梯形的梯形范圍包括：

17、獲取無人機(jī)的位置點和所述位置點垂直投影于地面的垂點，將所述位置點、所述垂點與所述照射梯形的對角線交點相連，形成第一三角形；

18、計算所述第一三角形的第一頂點到所述照射梯形的梯形長邊的第一距離和所述第一三角形的第一頂點到所述照射梯形的梯形短邊的第二距離，根據(jù)所述第一距離和所述第二距離計算所述照射梯形的梯形高度、所述梯形長邊的長邊長度和所述梯形短邊的短邊長度，所述第一頂點為所述照射梯形的對角線交點；

19、根據(jù)所述梯形高度、所述長邊長度和所述短邊長度計算所述照射梯形的梯形范圍；

20、所述根據(jù)所述梯形范圍構(gòu)建定位坐標(biāo)系，基于所述定位坐標(biāo)系計算所述實時視頻畫面中待識別像素點的地理坐標(biāo)包括：

21、以所述垂點為原點，根據(jù)所述原點和所述梯形范圍構(gòu)建定位坐標(biāo)系，計算待識別像素點和所述位置點所形成的連線與所述位置點與所述對角線交點所形成的連線所組成的的第一夾角，根據(jù)所述第一夾角和所述定位坐標(biāo)系計算待識別像素點的地理坐標(biāo)。

22、根據(jù)上述描述可知，以無人機(jī)的位置點，位置點垂直投影于地面的垂點以及照射梯形的對角線交點所組成的第一三角形實現(xiàn)照射梯形的梯形高度、梯形長邊的長邊長度以及梯形短邊的短邊長度的計算，確保能得到照射梯形的梯形范圍，實現(xiàn)定位坐標(biāo)系的構(gòu)建。

23、可選地，所述實時飛行參數(shù)包括對地相對高度，所述計算所述第一三角形的第一頂點到所述照射梯形的梯形長邊的第一距離和所述第一三角形的第一頂點到所述照射梯形的梯形短邊的第二距離，根據(jù)所述第一距離和所述第二距離計算所述照射梯形的梯形高度、所述梯形長邊的長邊長度和所述梯形短邊的短邊長度包括：

24、計算所述第一三角形中由所述垂點和所述位置點所形成的連線與所述位置點和所述第一頂點所形成的連線所組成的第二夾角，將所述第二夾角代入長邊距離公式計算所述第一頂點到所述照射梯形的梯形長邊的第一距離，所述長邊距離公式為：

25、

26、其中，hfar表示第一距離，height表示對地相對高度，vfov表示垂直視場角，θ表示第二夾角；

27、判斷所述第二夾角是否大于第一閾值，若是，則將所述第二夾角代入第一短邊距離公式計算所述第一頂點到所述照射梯形的梯形短邊的第二距離，否則，將所述第二夾角代入第二短邊距離公式計算所述第一頂點到所述照射梯形的梯形短邊的第二距離，所述第一閾值為二分之一的垂直視場角，所述第一短邊距離公式為：

28、

29、所述第二短邊距離公式為：

30、

31、其中，hnear表示第二距離，height表示對地相對高度，vfov表示垂直視場角，θ表示第二夾角；

32、根據(jù)所述第一距離和所述第二距離計算所述照射梯形的梯形高度、所述梯形長邊的長邊長度和所述梯形短邊的短邊長度。

33、根據(jù)上述描述可知，在計算梯形短邊長度時，根據(jù)第二夾角的不同情況進(jìn)行計算，如果第二夾角大于二分之一的垂直視場角，也就是垂點落在照射梯形的外部，則使用第一短邊距離公式進(jìn)行計算，反之，如果第二夾角不大于二分之一的垂直視場角，也就是垂點落在照射梯形的內(nèi)部，則使用第二短邊距離公式進(jìn)行計算，保證所得到的第二距離的準(zhǔn)確性，進(jìn)而保證所得到的梯形范圍以及定位坐標(biāo)系的準(zhǔn)確性。

34、可選地，所述根據(jù)所述第一距離和所述第二距離計算所述照射梯形的梯形高度、所述梯形長邊的長邊長度和所述梯形短邊的短邊長度包括：

35、將所述第一距離和所述第二距離代入高度公式計算所述照射梯形的梯形高度，所述高度公式為：

36、h＝hfar+hnear

37、其中，h表示梯形高度，hfar表示第一距離，hnear表示第二距離；

38、將所述第二夾角代入截面寬度公式計算所述第一頂點的截面寬度，將所述截面寬度、所述梯形高度和所述第二距離代入長邊公式計算所述梯形長邊的長邊長度，將所述截面寬度、所述梯形高度和所述第一距離代入短邊公式計算所述梯形短邊的短邊長度，所述截面寬度公式為：

39、

40、其中，width表示截面寬度，hfov表示水平視場角，height表示對地相對高度，θ表示第二夾角；

41、所述長邊公式為：

42、

43、其中，llong表示長邊長度，width表示截面寬度，h表示梯形高度，hnear表示第二距離；

44、所述短邊公式為：

45、

46、其中，lshort表示短邊長度，width表示截面寬度，h表示梯形高度，hfar表示第一距離；

47、所述計算待識別像素點和所述位置點所形成的連線與所述位置點與所述對角線交點所形成的連線所組成的的第一夾角，根據(jù)所述第一夾角和所述定位坐標(biāo)系計算待識別像素點的地理坐標(biāo)包括：

48、判斷所述第二夾角是否小于0，若否，則根據(jù)夾角第一公式計算第一夾角，所述夾角第一公式為：

49、

50、其中，γ表示第一夾角，width_resolution表示實時視頻畫面的圖像寬度分辨率，width_pixel表示像素點的寬度坐標(biāo)，vfov表示垂直視場角；

51、若是，則根據(jù)夾角第二公式計算第一夾角，所述夾角第二公式為：

52、

53、其中，γ表示第一夾角，width_resolution表示實時視頻畫面的圖像寬度分辨率，width_pixel表示像素點的寬度坐標(biāo)，vfov表示垂直視場角；

54、根據(jù)所述第一夾角和所述定位坐標(biāo)系計算待識別像素點的地理坐標(biāo)。

55、根據(jù)上述描述可知，在計算長邊長度和短邊長度時，結(jié)合第一頂點即照射梯形的對角線交點的截面寬度進(jìn)行計算，而截面寬度與無人機(jī)的對地相對高度相關(guān)，保證了所計算出的長邊長度和短邊長度的準(zhǔn)確性，在計算待識別像素點的地理坐標(biāo)時，根據(jù)第二夾角是否小于0的不同情況，進(jìn)行不同的計算，由于第二夾角是由垂點和位置點所形成的連線與位置點和第一頂點所形成的連線所組成的，因此，第二夾角是否小于0即判斷的是無人機(jī)的相機(jī)是否向前方傾斜，以此提高所計算的第一夾角的準(zhǔn)確性，進(jìn)而提高根據(jù)第一夾角和定位坐標(biāo)系所計算的待識別像素點的地理坐標(biāo)的準(zhǔn)確性。

56、可選地，所述根據(jù)所述第一夾角和所述定位坐標(biāo)系計算待識別像素點的地理坐標(biāo)包括：

57、當(dāng)所述第一夾角為使用夾角第一公式計算時，將所述第一夾角代入第一縱坐標(biāo)公式計算待識別像素點的縱坐標(biāo)，所述第一縱坐標(biāo)公式為：

58、

59、其中，y表示縱坐標(biāo)；

60、將所述縱坐標(biāo)代入第一橫坐標(biāo)公式計算待識別像素點的橫坐標(biāo)，所述第一橫坐標(biāo)公式為：

61、

62、其中，x表示橫坐標(biāo)，length_resolution表示實時視頻畫面的圖像長度分辨率，length_pixel表示像素點的長度坐標(biāo)；

63、當(dāng)所述第一夾角為使用夾角第二公式計算時，將所述第一夾角代入第二縱坐標(biāo)公式計算待識別像素點的縱坐標(biāo)，所述第二縱坐標(biāo)公式為：

64、

65、其中，y表示縱坐標(biāo)；

66、將所述縱坐標(biāo)代入第二橫坐標(biāo)公式計算待識別像素點的橫坐標(biāo)，所述第二橫坐標(biāo)公式為：

67、

68、其中，x表示橫坐標(biāo)；

69、根據(jù)所述橫坐標(biāo)和所述縱坐標(biāo)得到待識別像素點的地理坐標(biāo)。

70、根據(jù)上述描述可知，根據(jù)不同公式計算出的第一夾角采用不同的縱坐標(biāo)公式和橫坐標(biāo)公式計算縱坐標(biāo)和橫坐標(biāo)，提高待識別像素點的地理坐標(biāo)的準(zhǔn)確性。

71、可選地，所述實時飛行參數(shù)包括航向角、無人機(jī)經(jīng)度和無人機(jī)維度，所述根據(jù)待識別像素點的地理坐標(biāo)得到gis圖層包括：

72、根據(jù)第一旋轉(zhuǎn)公式對所述地理坐標(biāo)的橫坐標(biāo)進(jìn)行旋轉(zhuǎn)，得到旋轉(zhuǎn)后的橫坐標(biāo)，所述第一旋轉(zhuǎn)公式為：

73、xrot＝x*cos(yaw_degree)+y*sin(yaw_degree)

74、其中，xrot表示旋轉(zhuǎn)后的橫坐標(biāo)，x表示地理坐標(biāo)的橫坐標(biāo)，y表示地理坐標(biāo)的縱坐標(biāo)，yaw_degree表示航向角；

75、根據(jù)經(jīng)度轉(zhuǎn)換公式對旋轉(zhuǎn)后的橫坐標(biāo)進(jìn)行經(jīng)度轉(zhuǎn)換，得到經(jīng)度坐標(biāo)，所述經(jīng)度轉(zhuǎn)換公式為：

76、

77、其中，xlongitude表示經(jīng)度坐標(biāo)；drone_latitude表示無人機(jī)經(jīng)度，drone_longitude表示無人機(jī)維度；

78、根據(jù)所述第二旋轉(zhuǎn)公式對所述地理坐標(biāo)的縱坐標(biāo)進(jìn)行旋轉(zhuǎn)，得到旋轉(zhuǎn)后的縱坐標(biāo)，所述第二旋轉(zhuǎn)公式為：

79、yrot＝-x*sin(yaw_degree)+y*cos(yaw_degree)

80、其中，yrot表示旋轉(zhuǎn)后縱坐標(biāo)，x表示地理坐標(biāo)的橫坐標(biāo)，y表示地理坐標(biāo)的縱坐標(biāo)，yaw_degree表示航向角；

81、根據(jù)維度轉(zhuǎn)換公式對旋轉(zhuǎn)后的縱坐標(biāo)進(jìn)行維度轉(zhuǎn)換，得到維度坐標(biāo)，所述維度公式為：

82、

83、其中，ylatitude表示維度坐標(biāo)；drone_latitude表示無人機(jī)經(jīng)度；

84、根據(jù)所述經(jīng)度坐標(biāo)和所述維度坐標(biāo)得到gis圖層。

85、根據(jù)上述描述可知，使用第一旋轉(zhuǎn)公式對地理坐標(biāo)的橫坐標(biāo)進(jìn)行旋轉(zhuǎn)，使用第二旋轉(zhuǎn)公式對地理坐標(biāo)的縱坐標(biāo)進(jìn)行旋轉(zhuǎn)，即，使用矩陣變換按照無人機(jī)的航向角對地理坐標(biāo)進(jìn)行旋轉(zhuǎn)，再按經(jīng)度轉(zhuǎn)換公式和維度轉(zhuǎn)換公式分別對旋轉(zhuǎn)后的橫坐標(biāo)和旋轉(zhuǎn)后的縱坐標(biāo)進(jìn)行經(jīng)度轉(zhuǎn)換和維度轉(zhuǎn)換，以此得到真實的經(jīng)緯度坐標(biāo)，保證所得到的gis圖層的準(zhǔn)確性和可用性。

86、可選地，所述實時飛行參數(shù)包括飛行時間，所述將所述gis圖層疊加至所述實時視頻畫面中包括：

87、根據(jù)所述飛行時間和所述實時視頻畫面的視頻時間對所述實時視頻畫面進(jìn)行同步處理，得到同步處理后的實時視頻畫面；

88、將所述gis圖層疊加同步處理后的實時視頻畫面中，實現(xiàn)對所述實時視頻畫面進(jìn)行巡檢定位。

89、根據(jù)上述描述可知，在將gis圖層疊加到實時視頻畫面中時，先按照無人機(jī)的飛行時間和實時視頻畫面的視頻時間對實時視頻畫面進(jìn)行同步處理，保證實時視頻畫面的視頻進(jìn)度與飛行視角參數(shù)即照射梯形相匹配，提高巡檢定位的準(zhǔn)確性。

90、可選地，所述將所述gis圖層疊加同步處理后的實時視頻畫面中，實現(xiàn)對所述實時視頻畫面進(jìn)行巡檢定位包括：

91、使用web元素文檔流模型將所述gis圖層疊加至同步處理后的實時視頻畫面中，并進(jìn)行透視處理，實現(xiàn)對所述實時視頻畫面進(jìn)行巡檢定位。

92、根據(jù)上述描述可知，使用web元素文檔流模型進(jìn)行疊加處理的同時還進(jìn)行透視處理，以達(dá)到實時視頻畫面與gis圖層的同步可視性。

93、第二方面，本發(fā)明提供一種基于無人機(jī)的視頻巡檢定位系統(tǒng)，包括存儲器、處理器以及存儲在存儲器上并可在處理器上運行的計算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計算機(jī)程序時實現(xiàn)第一方面所述的一種基于無人機(jī)的視頻巡檢定位方法。

94、其中，第二方面所提供的一種基于無人機(jī)的視頻巡檢定位系統(tǒng)所對應(yīng)的技術(shù)效果參照第一方面所提供的一種基于無人機(jī)的視頻巡檢定位方法的相關(guān)描述。