本發(fā)明涉及三維導(dǎo)航路徑規(guī)劃，具體涉及一種基于低空遙感與深度學(xué)習(xí)的無人地面車輛三維導(dǎo)航方法。

背景技術(shù)：

1、當(dāng)前全球糧食安全受到多種因素的影響，然而當(dāng)前對人力勞動的依賴以及人力勞動與機械的結(jié)合尚不足以滿足農(nóng)業(yè)糧食生產(chǎn)的迫切需求。自主導(dǎo)航技術(shù)是農(nóng)業(yè)機器人在田間自主作業(yè)的基礎(chǔ)。自動化導(dǎo)航車輛能夠提高作物生長監(jiān)測、農(nóng)藥噴灑、除草和施肥等農(nóng)業(yè)活動的效率和精確度。最新技術(shù)可以引導(dǎo)機器人安全穿越農(nóng)田，同時不會破壞農(nóng)作物。

2、隨著全球衛(wèi)星定位系統(tǒng)的發(fā)展以及定位精度的不斷提高，包括全球?qū)Ш叫l(wèi)星系統(tǒng)(gnss)、gps和北斗在內(nèi)的衛(wèi)星系統(tǒng)已被廣泛整合到農(nóng)業(yè)自動駕駛導(dǎo)航作業(yè)中。雖然全球?qū)Ш叫l(wèi)星系統(tǒng)(gnss)本身能提供米級精度，但對于許多專業(yè)應(yīng)用來說，這還不夠。通過將gnss與實時動態(tài)(rtk)技術(shù)相結(jié)合，可以實現(xiàn)厘米級精度，滿足大多數(shù)農(nóng)業(yè)任務(wù)的需求。導(dǎo)航系統(tǒng)是農(nóng)業(yè)機器人的重要組成部分，直接影響作業(yè)效率。基于全球衛(wèi)星定位系統(tǒng)的農(nóng)業(yè)機械自動導(dǎo)航是智慧農(nóng)業(yè)發(fā)展的關(guān)鍵方面。

3、自主導(dǎo)航技術(shù)在各種農(nóng)業(yè)作業(yè)中發(fā)揮著至關(guān)重要的作用，并涵蓋了多種方法。這些方法包括衛(wèi)星導(dǎo)航、基于slam的激光雷達導(dǎo)航、多傳感器融合導(dǎo)航以及基于人工智能的視覺導(dǎo)航。然而，這些自動駕駛導(dǎo)航方法中存在多種局限性。使用實時動態(tài)差分(rtk)傳感器的衛(wèi)星導(dǎo)航可為農(nóng)業(yè)機械提供高精度定位。但在開闊地帶，信號反射會導(dǎo)致定位誤差，忽視作物信息，且在作業(yè)過程中無法避免對作物造成損害。這種方法難以滿足高精度農(nóng)業(yè)作業(yè)的需求，且易受信號干擾。盡管slam激光雷達導(dǎo)航有效，但其成本高昂，需要頻繁更新和生成地圖。對于大規(guī)模場景，它還對車載設(shè)備提出了很高要求。多傳感器融合導(dǎo)航通常將全球?qū)Ш叫l(wèi)星系統(tǒng)(gnss)、慣性導(dǎo)航系統(tǒng)(ins)、慣性測量單元(imu)、激光掃描儀和攝像頭集成在一起，以實現(xiàn)更可靠的導(dǎo)航。

4、近年來，深度學(xué)習(xí)已成為一項顛覆性的技術(shù)，徹底改變了包括機器視覺、自然語言處理和自主系統(tǒng)在內(nèi)的多個領(lǐng)域。對象檢測是機器視覺的關(guān)鍵分支，涉及在圖像或視頻幀中識別和定位目標(biāo)對象。這項技術(shù)具有廣泛的應(yīng)用領(lǐng)域。目前，對象檢測技術(shù)主要分為兩種方法：單階段檢測和兩階段檢測。單階段檢測方法，如ssd、yolo和retinanet，可以直接預(yù)測對象位置，而無需單獨的候選區(qū)域生成階段。相比之下，fast?r-cnn、faster?r-cnn和cascade?r-cnn等兩階段檢測方法在進行對象檢測之前會先生成區(qū)域候選框。通常，單階段方法的速度比兩階段方法更快，盡管后者在準(zhǔn)確性上更勝一籌。最新的yolo模型在保持高準(zhǔn)確性的同時，實現(xiàn)了快速的檢測速度。由于其強大的整體性能，yolo被廣泛應(yīng)用于不同領(lǐng)域的各種任務(wù)中。

5、機器視覺憑借其不可替代的視覺信息和低廉的硬件成本，已被廣泛應(yīng)用于農(nóng)業(yè)機器人導(dǎo)航中。在農(nóng)業(yè)機械管理作業(yè)中，視覺導(dǎo)航在提高作業(yè)效率、減少田間作物損害以及推動無人化農(nóng)業(yè)作業(yè)方面發(fā)揮著至關(guān)重要的作用。xu等人提出了一種新型基于視覺的自主導(dǎo)航系統(tǒng)，該系統(tǒng)利用低成本的立體相機和慣性測量單元(imu)實現(xiàn)拖拉機的全自主導(dǎo)航。此外，無人機還具有空間分辨率高、應(yīng)用成本低、時效性強和可重復(fù)使用等優(yōu)點。當(dāng)它與計算機視覺技術(shù)相結(jié)合時，機器視覺可以從厘米級航空圖像中提取精確的自動導(dǎo)航路線信息。該方法將位置與方向系統(tǒng)(pos)與視覺傳感器相結(jié)合，能夠同時采集包含作物信息和空間位置細節(jié)的數(shù)據(jù)。

6、基于無人機的作物行檢測技術(shù)廣泛應(yīng)用于田間管理。通過利用相對定位，作物行檢測方法可以從田間道路中提取引導(dǎo)信息，為自主機器人提供田間導(dǎo)航數(shù)據(jù)。許多研究人員已經(jīng)為各種作物和地形提出了行檢測導(dǎo)航方法。在目標(biāo)檢測方面，許多方法被用于提取導(dǎo)航線，例如使用增強的yolov5來識別和提取代表菠蘿行的特征點，將無人機勘測技術(shù)與yolov5s目標(biāo)檢測算法相結(jié)合，并提出了一種針對水田管理的導(dǎo)航方法，基于改進后的cs-yolov5模型進行水稻秧苗檢測，以提取秧苗條帶線，以及一個增強的yolov5模型，用于實時水稻秧苗識別，以提取秧苗導(dǎo)航線。為了克服傳統(tǒng)機器視覺技術(shù)在作物行識別方面的局限性，許多研究已經(jīng)探索了先進的分割算法來識別作物行和導(dǎo)航路徑。例如，基于transformer的語義分割模型，一個基于視覺的自主導(dǎo)航系統(tǒng)，該系統(tǒng)利用立體相機和慣性測量單元(imu)，融合了resnet-50和注意力機制的增強型u-net，一種將植被指數(shù)與壟分割相結(jié)合的方法，改進的多尺度高效殘差分解卷積神經(jīng)網(wǎng)絡(luò)(ms-erfnet)模型，一種多擾動半監(jiān)督學(xué)習(xí)模型，一個優(yōu)化的unet，以及一個集成了像素掃描的神經(jīng)網(wǎng)絡(luò)，用于導(dǎo)航線提取。然而，以往的基于無人機的作物行提取方法主要依賴于二維平面提取。在山區(qū)、丘陵或地形不平整的果園等復(fù)雜地形中，導(dǎo)航路徑的二維提取可能會給農(nóng)業(yè)車輛作業(yè)帶來安全風(fēng)險。

7、在農(nóng)業(yè)機械自動巡航過程中，車輛經(jīng)常在不平整且復(fù)雜的地形中作業(yè)，尤其是在丘陵地區(qū)。傳統(tǒng)的自動駕駛軌跡預(yù)測方法主要是針對城市道路設(shè)計的。然而，將二維路徑提取方法應(yīng)用于農(nóng)業(yè)環(huán)境可能會導(dǎo)致車輛在作業(yè)過程中進行不安全的自動駕駛導(dǎo)航。近期的研究試圖通過開發(fā)基于深度學(xué)習(xí)(dl)的模型來解決這一問題，這些模型使用鳥瞰圖(bev)技術(shù)從二維平面數(shù)據(jù)中推斷出三維車道信息。3d-lanenet是一種新型神經(jīng)網(wǎng)絡(luò)，能夠直接從道路場景中的單張圖像預(yù)測車道的三維布局。其代表了首次嘗試使用車載傳感器進行車道檢測，而無需假設(shè)車道寬度恒定或依賴于預(yù)先繪制的環(huán)境圖。bev-lanedet方法利用關(guān)鍵點表示和空間變換金字塔等技術(shù)，通過虛擬相機實現(xiàn)從單目圖像中進行三維車道檢測。3d自動駕駛導(dǎo)航的另一個重要方面是直接在三維空間中預(yù)測和獲取導(dǎo)航路線。latr是一種新穎的端到端3d車道檢測模型，專門設(shè)計用于直接從單目圖像中檢測車道。此外，還有其他不同的方法來提取3d路線，比如生成全局一致的3d地圖，以及從高清航拍圖像中提取車道線。然而，當(dāng)這些方法應(yīng)用于農(nóng)業(yè)場景時，其復(fù)雜性和表現(xiàn)力都受到限制。此外，它們依賴于車載局部視覺傳感器，這限制了預(yù)測精度和感知能力。通過利用無人機在構(gòu)建3d地圖方面的優(yōu)勢和視角，可以生成果園的平面圖和高程圖，從而實現(xiàn)3d路徑規(guī)劃。與2d路徑檢測相比，3d路徑檢測具有兩大關(guān)鍵優(yōu)勢。首先，它提供了更準(zhǔn)確的路徑位置和方向信息，從而提高了農(nóng)用車輛的導(dǎo)航精度。其次，3d路徑檢測提供了道路幾何形狀的額外數(shù)據(jù)，如曲率和坡度，這些數(shù)據(jù)可用于預(yù)測車輛行為并增強安全性，尤其是在道路條件快速變化的情況下。

8、盡管自動駕駛導(dǎo)航技術(shù)取得了顯著進步，但農(nóng)業(yè)車輛導(dǎo)航，特別是在大規(guī)模和復(fù)雜的果園地形中，仍面臨若干未解決的挑戰(zhàn)。這些挑戰(zhàn)包括以下幾個方面：

9、(1)大面積的種植使得傳統(tǒng)的基于地面的手動路徑點導(dǎo)航方法變得不足，而基于無人機的路徑提取方法更適合大規(guī)模應(yīng)用。

10、(2)設(shè)備性能有限，無法處理來自大面積種植區(qū)域的高分辨率、大規(guī)模航拍圖像，從而阻礙了導(dǎo)航路線的提取。

11、(3)果園的航拍圖像背景復(fù)雜，冗余信息較多，不利于檢測算法的檢測。

12、(4)在大規(guī)模航拍圖像中，目標(biāo)往往較小，需要將圖像壓縮成更小的尺寸輸入到檢測模型中，這會導(dǎo)致感受野減小，檢測精度降低。

13、(5)傳統(tǒng)的大圖像切片輔助推理方法在處理大圖像時可能會導(dǎo)致空間連續(xù)性的丟失，以及在切片拼接時出現(xiàn)邊緣檢測對象的誤檢。

14、(6)與無人機所提供的廣闊視野相比，地面機器人的感知能力有限。

15、(7)在丘陵地形中，基于二維的路徑提取方法在農(nóng)用車輛作業(yè)過程中存在安全隱患。

16、綜上所述，在農(nóng)業(yè)車輛自主導(dǎo)航領(lǐng)域，缺乏能夠生成可靠且安全的全局三維路徑的方法。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)中的上述不足，本發(fā)明提供了一種基于低空遙感與深度學(xué)習(xí)的無人地面車輛三維導(dǎo)航方法。

2、為了達到上述發(fā)明目的，本發(fā)明采用的技術(shù)方案為：

3、一種基于低空遙感與深度學(xué)習(xí)的無人地面車輛三維導(dǎo)航方法，包括以下步驟：

4、利用無人機采集果園地塊低空遙感數(shù)據(jù)；

5、將果園地塊低空遙感數(shù)據(jù)轉(zhuǎn)換為數(shù)字曲面模型和數(shù)字正射影像圖，并重建3d果園場景圖像；

6、對3d果園場景圖像采用多尺度滑動窗口進行分割，得到多尺度分割圖像；

7、對多尺度分割圖像分別進行樹冠目標(biāo)檢測，得到不同尺度分割圖像的冠層檢測錨框；

8、將不同尺度分割圖像的冠層檢測錨框進行融合，映射回3d果園場景圖像，得到最終的冠層檢測錨框；

9、根據(jù)最終的冠層檢測錨框提取導(dǎo)航點，生成車輛三維導(dǎo)航路徑規(guī)劃結(jié)果。

10、進一步地，對3d果園場景圖像采用多尺度滑動窗口進行分割，得到多尺度分割圖像，包括：

11、以無人機采集圖像重建的3d果園場景圖像作為切片基底，設(shè)置第一滑動窗口大小與3d果園場景圖像尺寸相對應(yīng)，得到第一尺度分割圖像；

12、以無人機采集圖像重建的3d果園場景圖像作為基準(zhǔn)線，設(shè)置第二滑動窗口大小與無人機采集圖像尺寸相對應(yīng)，得到第二尺度分割圖像；

13、以無人機采集圖像重建的3d果園場景圖像作為基準(zhǔn)線，設(shè)置第三滑動窗口大小為無人機采集圖像尺寸的第一比例，得到第三尺度分割圖像；

14、以無人機采集圖像重建的3d果園場景圖像作為基準(zhǔn)線，設(shè)置第四滑動窗口大小為無人機采集圖像尺寸的第二比例，得到第四尺度分割圖像。

15、進一步地，采用多尺度滑動窗口進行分割時，在連續(xù)的分割圖像之間保持設(shè)定比例的重疊。

16、進一步地，對多尺度分割圖像分別進行樹冠目標(biāo)檢測，得到不同尺度分割圖像的冠層檢測錨框，包括：

17、構(gòu)建樹冠目標(biāo)檢測模型；所述樹冠目標(biāo)檢測模型主干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)和預(yù)測網(wǎng)絡(luò)；

18、利用主干網(wǎng)絡(luò)對不同尺度的分割圖像進行特征提取，得到多尺度特征圖；

19、利用頸部網(wǎng)絡(luò)對多尺度特征圖進行特征增強，得到增強特征圖；

20、利用預(yù)測網(wǎng)絡(luò)根據(jù)增強特征圖生成對應(yīng)尺度分割圖像的冠層檢測錨框。

21、進一步地，利用主干網(wǎng)絡(luò)對不同尺度的分割圖像進行特征提取，得到多尺度特征圖，包括：

22、利用依次設(shè)置的第一深度卷積模塊、第二深度卷積模塊、第一c2f模塊、第一特征增強模塊、第二c2f模塊、第三深度卷積模塊、第二特征增強模塊、第四深度卷積模塊、第三特征增強模塊和sppf模塊對不同尺度的分割圖像進行特征提取，通過第二c2f模塊輸出第一尺度特征圖，通過第二特征增強模塊輸出第二尺度特征圖，通過sppf模塊輸出第三尺度特征圖。

23、進一步地，利用頸部網(wǎng)絡(luò)對多尺度特征圖進行特征增強，得到增強特征圖，包括：

24、利用第一上采樣模塊對第三尺度特征圖進行上采樣操作；

25、利用第一特征增強拼接模塊對第一上采樣模塊的輸出特征圖和第二尺度特征圖進行特征增強和拼接操作；

26、利用第一輕量化特征提取模塊對第一特征增強拼接模塊的輸出特征圖進行特征提??；

27、利用第二上采樣模塊對第一輕量化特征提取模塊的輸出特征圖進行上采樣操作；

28、利用第二特征增強拼接模塊對第二上采樣模塊的輸出特征圖和第一尺度特征圖進行特征增強和拼接操作；

29、利用第二輕量化特征提取模塊對第二特征增強拼接模塊的輸出特征圖進行特征提取，得到第一增強特征圖輸出至預(yù)測網(wǎng)絡(luò)；

30、利用第一2d卷積模塊對第一增強特征圖進行卷積操作；

31、利用第三特征增強拼接模塊對第一2d卷積模塊的輸出特征圖和第一輕量化特征提取模塊的輸出特征圖進行特征增強和拼接操作；

32、利用第三輕量化特征提取模塊對第三特征增強拼接模塊的輸出特征圖進行特征提取，得到第二增強特征圖輸出至預(yù)測網(wǎng)絡(luò)；

33、利用第二2d卷積模塊對第二增強特征圖進行卷積操作；

34、利用第四特征增強拼接模塊對第二2d卷積模塊的輸出特征圖和第三尺度特征圖進行特征增強和拼接操作；

35、利用第四輕量化特征提取模塊對第四特征增強拼接模塊的輸出特征圖進行特征提取，得到第三增強特征圖輸出至預(yù)測網(wǎng)絡(luò)。

36、進一步地，將不同尺度分割圖像的冠層檢測錨框進行融合，得到最終的冠層檢測錨框，包括：

37、將不同尺度分割圖像的冠層檢測錨框映射到3d果園場景圖像進行多尺度融合，并采用非最大抑制方法對融合錨框進行篩選，得到最終的冠層檢測錨框。

38、進一步地，根據(jù)最終的冠層檢測錨框提取導(dǎo)航點，包括：

39、根據(jù)最終的冠層檢測錨框計算中心點，選擇一個中心點作為原點，以設(shè)定閾值作為半徑建立一個圓形區(qū)域，篩選圓形區(qū)域內(nèi)的錨框中心點作為關(guān)聯(lián)點，計算原點與關(guān)聯(lián)點的中點作為導(dǎo)航點。

40、進一步地，生成車輛三維導(dǎo)航路徑規(guī)劃結(jié)果，包括：

41、將導(dǎo)航點按順序連接生成導(dǎo)航路線，將導(dǎo)航路線計算和轉(zhuǎn)換為現(xiàn)實世界的地理坐標(biāo)，并從數(shù)字曲面模型中提取單個像素的高程通道值，將單個像素的高程通道值鏈接到導(dǎo)航點，生成車輛三維導(dǎo)航路徑規(guī)劃結(jié)果。

42、本發(fā)明具有以下有益效果：

43、本發(fā)明采用多尺度融合滑動窗口方法來處理大規(guī)模圖像，并結(jié)合增強的ls-yolo算法進行果園冠層檢測，利用無人機獲取的數(shù)據(jù)準(zhǔn)確預(yù)測冠層中心點、導(dǎo)航點和全面的3d路徑。