本技術(shù)涉及挖掘機(jī)的，具體涉及一種挖掘機(jī)作業(yè)位姿的監(jiān)測方法、系統(tǒng)、設(shè)備及介質(zhì)。

背景技術(shù)：

1、隨著建筑行業(yè)的快速發(fā)展和技術(shù)進(jìn)步，挖掘機(jī)作為一種重要的工程機(jī)械，在土石方開挖、道路建設(shè)等領(lǐng)域得到了廣泛應(yīng)用。為了提高挖掘機(jī)作業(yè)的動態(tài)監(jiān)測能力，同時提升挖掘機(jī)的作業(yè)效率和安全性，對其作業(yè)位姿的精確監(jiān)測顯得尤為重要。

2、現(xiàn)有的挖掘機(jī)作業(yè)位姿監(jiān)測技術(shù)主要依賴于圖像處理技術(shù)和傳感器數(shù)據(jù)融合算法。上述手段在實(shí)際應(yīng)用中仍存在一些不足之處。例如，由于挖掘機(jī)作業(yè)環(huán)境復(fù)雜多變，傳統(tǒng)的圖像處理技術(shù)和傳感器數(shù)據(jù)融合算法在面對挖掘機(jī)大小臂伸縮旋轉(zhuǎn)監(jiān)測識別時，對于旋轉(zhuǎn)目標(biāo)的檢測，容易出現(xiàn)誤檢和漏檢的情況，導(dǎo)致作業(yè)位姿監(jiān)測的準(zhǔn)確性不高。

3、因此，需要一種更加精確的挖掘機(jī)作業(yè)位姿的監(jiān)測方法。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供一種挖掘機(jī)作業(yè)位姿的監(jiān)測方法、系統(tǒng)、設(shè)備及介質(zhì)，通過旋轉(zhuǎn)目標(biāo)檢測對挖掘機(jī)小臂進(jìn)行目標(biāo)檢測，實(shí)現(xiàn)了小臂的準(zhǔn)確框定，進(jìn)而提升圖像中小臂寬度的計(jì)算精確，進(jìn)而準(zhǔn)確估算小臂與視覺傳感器的距離，提高了挖掘機(jī)作業(yè)位姿監(jiān)測的準(zhǔn)確性。

2、在本技術(shù)的第一方面提供了一種挖掘機(jī)作業(yè)位姿的監(jiān)測方法，應(yīng)用于挖掘機(jī)作業(yè)位姿監(jiān)測平臺，所述挖掘機(jī)作業(yè)位姿監(jiān)測平臺包括安裝在挖掘機(jī)的駕駛室內(nèi)的攝像頭、水平儀、全球?qū)Ш叫l(wèi)星系統(tǒng)設(shè)備和電子羅盤，所述方法包括：

3、通過所述攝像頭采集挖斗、小臂以及挖掘面的視頻，使用旋轉(zhuǎn)目標(biāo)檢測模型對所述視頻進(jìn)行處理以得到所述小臂的四至坐標(biāo)、旋轉(zhuǎn)角度以及所述挖斗的狀態(tài)；

4、根據(jù)所述四至坐標(biāo)和所述旋轉(zhuǎn)角度得到小臂末端與所述駕駛室的第一距離，根據(jù)所述小臂末端在所述視頻的圖像幀中的寬度和垂向坐標(biāo)，結(jié)合所述攝像頭距離地面的高度和所述第一距離，計(jì)算所述小臂末端的第一高度，通過所述水平儀對所述第一距離進(jìn)行修正得到第二距離，并通過所述水平儀對所述第一高度進(jìn)行修正得到第二高度；

5、通過所述全球?qū)Ш叫l(wèi)星系統(tǒng)設(shè)備得到駕駛室定位信息，通過所述電子羅盤得到方位角信息，根據(jù)所述駕駛室定位信息、所述方位角信息、所述第二高度和所述第二距離得到所述小臂末端的作業(yè)點(diǎn)坐標(biāo)；

6、當(dāng)所述挖斗的工作狀態(tài)發(fā)生轉(zhuǎn)變，記錄作業(yè)信息，所述作業(yè)信息包括所述作業(yè)點(diǎn)坐標(biāo)、時間點(diǎn)和實(shí)時工作狀態(tài)，并根據(jù)所述作業(yè)信息檢測所述挖掘機(jī)狀態(tài)，即識別裝載和卸載點(diǎn)的關(guān)鍵狀態(tài)。

7、可選的，所述根據(jù)所述四至坐標(biāo)和所述旋轉(zhuǎn)角度得到小臂末端與所述駕駛室的第一距離包括：

8、確定所述小臂的右邊緣，并確定所述右邊緣與重垂線的位置關(guān)系；

9、當(dāng)所述右邊緣位于重垂線的順時針方向時，基于第一預(yù)設(shè)公式根據(jù)小臂頂端的第一實(shí)際寬度、小臂右邊緣與重垂線的所述旋轉(zhuǎn)角度、旋轉(zhuǎn)框中小臂頂端的兩個頂點(diǎn)坐標(biāo)計(jì)算得到所述小臂末端與所述駕駛室的第一距離；

10、當(dāng)所述右邊緣位于重垂線的逆時針方向時，基于第二預(yù)設(shè)公式根據(jù)所述小臂末端的第二實(shí)際寬度、旋轉(zhuǎn)框中小臂末端的兩個頂點(diǎn)坐標(biāo)計(jì)算得到所述小臂末端與所述駕駛室的第一距離。

11、可選的，所述第一預(yù)設(shè)公式如下：

12、；

13、其中，a、b和c為對應(yīng)標(biāo)定系數(shù)，與圖像獲取的焦距、挖掘機(jī)小臂的規(guī)格有關(guān)，對于同一型號設(shè)備為固定值；d0為小臂頂端的第一實(shí)際寬度，l為小臂長度，為小臂右邊緣與重垂線的旋轉(zhuǎn)角度，d為小臂末端與駕駛室的第一距離，（xa，ymin1）和（xb，ymin2）是旋轉(zhuǎn)框中小臂頂端的兩個頂點(diǎn)坐標(biāo)，其中（xa，ymin1）為兩個頂點(diǎn)坐標(biāo)中縱坐標(biāo)最小的坐標(biāo)，

14、所述第二預(yù)設(shè)公式如下：

15、；

16、其中，k和t為對應(yīng)標(biāo)定系數(shù)，與圖像獲取的焦距、挖掘機(jī)小臂的規(guī)格有關(guān)，對于同一型號設(shè)備為固定值；d1為小臂末端的第二實(shí)際寬度，（xc，ymax1）和（xd，ymax2）是旋轉(zhuǎn)框中小臂頂端的兩個頂點(diǎn)坐標(biāo)，其中（xc，ymax1）為兩個頂點(diǎn)坐標(biāo)中縱坐標(biāo)最大的坐標(biāo)。

17、可選的，所述根據(jù)所述小臂末端在所述視頻的圖像幀中的寬度和垂向坐標(biāo)，結(jié)合所述攝像頭距離地面的高度和所述第一距離，計(jì)算所述小臂末端的第一高度包括：

18、根據(jù)所述第一距離計(jì)算得到所述挖斗置于車身水平面時所述小臂末端的第一垂向坐標(biāo)；

19、基于第三預(yù)設(shè)公式根據(jù)所述第一垂向坐標(biāo)、所述圖像幀中所述小臂末端的第二垂向坐標(biāo)、所述圖像幀中所述小臂末端的寬度和小臂末端的第二實(shí)際寬度計(jì)算得到所述小臂末端的第一高度。

20、可選的，所述第三預(yù)設(shè)公式如下：

21、；

22、其中，h表示所述小臂末端的第一高度，h表示攝像頭距離地面的高度，yt為圖像幀中小臂末端的第二垂向坐標(biāo)，ym表示挖斗置于車身水平面時小臂末端的第一垂向坐標(biāo)，wm表示圖像幀中所述小臂末端的寬度，d1表示小臂末端的第二實(shí)際寬度。

23、可選的，所述通過所述水平儀對所述第一距離進(jìn)行修正得到第二距離，并通過所述水平儀對所述第一高度進(jìn)行修正得到第二高度包括：

24、通過下式對所述第一距離進(jìn)行修正：

25、；

26、其中，dz表示第二距離，d表示第一距離，表示水平儀與水平面的傾角，

27、通過下式對所述第一高度進(jìn)行修正：

28、；

29、其中，hz表示第二高度，h表示第一高度，表示水平儀與水平面的傾角。

30、可選的，所述根據(jù)所述駕駛室定位信息、所述方位角信息、所述第二高度和所述第二距離得到所述小臂末端的作業(yè)點(diǎn)坐標(biāo)包括：

31、通過下式確定作業(yè)點(diǎn)坐標(biāo)：

32、；

33、其中，（x0，y0，z0）表示駕駛室定位信息，表示方位角信息，dz表示第二距離，hz表示第二高度。

34、在本技術(shù)的第二方面提供了一種挖掘機(jī)作業(yè)位姿的監(jiān)測系統(tǒng)，包括視頻采集模塊、第一計(jì)算模塊、第二計(jì)算模塊以及狀態(tài)監(jiān)測模塊，其中：

35、視頻采集模塊，配置用于通過攝像頭采集挖斗、小臂以及挖掘面的視頻，使用旋轉(zhuǎn)目標(biāo)檢測模型對所述視頻進(jìn)行處理以得到所述小臂的四至坐標(biāo)、旋轉(zhuǎn)角度以及所述挖斗的狀態(tài)；

36、第一計(jì)算模塊，配置用于根據(jù)所述四至坐標(biāo)和所述旋轉(zhuǎn)角度得到小臂末端與駕駛室的第一距離，根據(jù)所述小臂末端在所述視頻的圖像幀中的寬度和垂向坐標(biāo)，結(jié)合所述攝像頭距離地面的高度和所述第一距離，計(jì)算所述小臂末端的第一高度，通過水平儀對所述第一距離進(jìn)行修正得到第二距離，并通過所述水平儀對所述第一高度進(jìn)行修正得到第二高度；

37、第二計(jì)算模塊，配置用于通過全球?qū)Ш叫l(wèi)星系統(tǒng)設(shè)備得到駕駛室定位信息，通過電子羅盤得到方位角信息，根據(jù)所述駕駛室定位信息、所述方位角信息、所述第二高度和所述第二距離得到所述小臂末端的作業(yè)點(diǎn)坐標(biāo)；

38、狀態(tài)監(jiān)測模塊，配置用于當(dāng)所述挖斗的工作狀態(tài)發(fā)生轉(zhuǎn)變，記錄作業(yè)信息，所述作業(yè)信息包括所述作業(yè)點(diǎn)坐標(biāo)、時間點(diǎn)和最新工作狀態(tài)，并根據(jù)所述作業(yè)信息檢測所述挖掘機(jī)狀態(tài)是否正常。

39、在本技術(shù)的第三方面提供了一種電子設(shè)備，包括處理器、存儲器、用戶接口以及網(wǎng)絡(luò)接口，所述存儲器用于存儲指令，所述用戶接口和所述網(wǎng)絡(luò)接口均用于與其他設(shè)備通信，所述處理器用于執(zhí)行所述存儲器中存儲的指令，以使所述電子設(shè)備執(zhí)行如上述任意一項(xiàng)所述的方法。

40、在本技術(shù)的第四方面提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)存儲有指令，當(dāng)所述指令被執(zhí)行時，執(zhí)行如上述任意一項(xiàng)所述的方法。

41、綜上所述，本技術(shù)實(shí)施例中提供的一個或多個技術(shù)方案，至少具有如下技術(shù)效果或優(yōu)點(diǎn)：

42、1、通過攝像頭采集挖斗、小臂以及挖掘面的視頻，并使用旋轉(zhuǎn)目標(biāo)檢測模型處理，可以精確獲取小臂和挖斗的位置和狀態(tài)，這有助于駕駛員或遠(yuǎn)程監(jiān)控人員準(zhǔn)確了解挖掘機(jī)的作業(yè)情況，從而提高作業(yè)精度和安全性；

43、2、結(jié)合了水平儀、全球?qū)Ш叫l(wèi)星系統(tǒng)設(shè)備和電子羅盤的數(shù)據(jù)，可以實(shí)現(xiàn)對小臂末端作業(yè)點(diǎn)的三維空間精確定位。這有助于在復(fù)雜的作業(yè)環(huán)境中，如建筑工地或礦山，準(zhǔn)確判斷挖掘機(jī)的作業(yè)位置和姿態(tài)；

44、3、當(dāng)挖斗的工作狀態(tài)發(fā)生轉(zhuǎn)變時，系統(tǒng)會記錄作業(yè)信息，包括作業(yè)點(diǎn)坐標(biāo)、時間點(diǎn)和最新工作狀態(tài)，這些信息可以用于實(shí)時監(jiān)測挖掘機(jī)的作業(yè)狀態(tài)，并在出現(xiàn)異?；驖撛诠收蠒r發(fā)出預(yù)警，從而避免事故的發(fā)生；

45、4、通過記錄作業(yè)信息，還可以為后續(xù)的數(shù)據(jù)分析和挖掘提供基礎(chǔ)，例如，可以分析挖掘機(jī)的作業(yè)效率、能耗情況、故障頻率等，為挖掘機(jī)的維護(hù)和管理提供科學(xué)依據(jù)；

46、5、結(jié)合了多種傳感器和設(shè)備的數(shù)據(jù)，可以適應(yīng)不同作業(yè)環(huán)境和作業(yè)需求。同時，通過旋轉(zhuǎn)目標(biāo)檢測模型處理視頻數(shù)據(jù)，可以實(shí)現(xiàn)對不同型號和規(guī)格的挖掘機(jī)的作業(yè)位姿監(jiān)測。