本發(fā)明涉及水下圖像處理，尤其涉及一種基于深度學習的水下特征識別與跟蹤研究。

背景技術：

1、焊接缺陷作為船體表面損傷最難檢測的缺陷形式，特征包括裂紋、氣孔、夾渣等，極難對其特征進行檢測識別；在水下進行目標檢測，尤其是針對水下船體進行檢測時，考慮到水體的作用，僅依靠單一傳感器采集的信息并不能獲得準確的檢測焊接缺陷結果；

2、其中，水下光學圖像常受噪聲干擾、紋理特征模糊、對比度低及顏色失真等問題的影響，這些問題嚴重影響了圖像識別的效果，但是，在現(xiàn)有技術中，無法對水下光學圖像進行有效的處理，進而導致圖像處理效果差，不利于水下特征的提取和識別，進而降低水下特征的提取和識別效率，同時影響后續(xù)的特征跟蹤軌跡生成精度，降低水下機器的自動化效率和特征跟蹤軌跡的安全性；

3、針對上述的技術缺陷，現(xiàn)提出一種解決方案。

技術實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于深度學習的水下特征識別與跟蹤研究，去解決上述提出的技術缺陷，本發(fā)明通過從圖像信息處理的角度進行分析，以提高圖像處理質(zhì)量，而基于yolov8網(wǎng)絡模型從濾波優(yōu)化特征圖像提取水下焊縫特征信息，進而提高特征識別精度和準確性，且通過特征信息映射的方式對激光傳感器姿態(tài)進行校準，以便為后續(xù)的特征跟蹤提供技術支撐，以提高特征跟蹤準確性，而通過信息反饋的方式對生成的特征跟蹤軌跡進行實際追蹤自檢，以便及時的對焊接機器人的實時移動軌跡進行調(diào)整，以提高焊接機器人移動精準性，同時對特征跟蹤軌跡生成方案進一步管理調(diào)整，以降低焊接機器人的避障失效風險。

2、本發(fā)明的目的可以通過以下技術方案實現(xiàn)：一種基于深度學習的水下特征識別與跟蹤研究，包括以下步驟：

3、s1、對水下特征實施掃描，捕獲水下特征輪廓信息，并將水下特征輪廓信息設定為待處理特征圖像；

4、s2、工控機進行濾波：對采集的待處理特征圖像采用自適應對比度增強與限制對比度自適應直方圖均衡化(clahe)相結合的算法進行圖像增強處理，得到增強特征圖像；

5、s3、去噪處理：通過去噪模板對所述增強特征圖像進行去噪處理，得到濾波優(yōu)化特征圖像；

6、s4：搭建深度學習模型并設置模型訓練參數(shù)，運行yolov8網(wǎng)絡模型從濾波優(yōu)化特征圖像中提取水下焊縫特征信息；

7、s5：將水下焊縫特征信息精確映射到水下機器的坐標系統(tǒng)中，以便對激光傳感器姿態(tài)進行校準；

8、s6：基于姿態(tài)校準后，采用rrt(快速隨機樹)路徑規(guī)劃算法生成特征跟蹤軌跡，控制器依據(jù)特征跟蹤軌跡驅(qū)動焊接機器人引導焊槍機移動，對焊接機器人移動的特征跟蹤軌跡進行偏差預警反饋分析，對得到的避讓偏差指數(shù)進行判別處理，將得到的調(diào)整指令輸出反饋。

9、優(yōu)選的，增強特征圖像的獲取過程如下：

10、通過模板濾波操作將待處理特征圖像分為高頻圖像和低頻圖像，進一步對高頻圖像進行加強處理，并通過圖像增強算法將加強處理后的高頻圖像與低頻圖像融合，并得到處理后的增強特征圖像；所述圖像增強算法數(shù)學表達如下式所示：g(x,y)＝md(x,y)+g(x,y)[f(x,y)-md(x,y)]，其中，g(x,y)表示處理后圖像在點(x,y)處的灰度值，f(x,y)表示處理前圖像在(x,y)點處的灰度值；md(x,y)為濾波后得到的低頻圖像部分，g(x,y)為動態(tài)增益函數(shù)，g(x,y)值可以隨著處理像素點的變化而變化；

11、采用均值濾波方法作為得到低頻圖像的手段，具體數(shù)學表達式如下所示：采用圖像像素點設定圖像灰度均值與鄰域內(nèi)標準差之比作為動態(tài)增益，則有下式成立：其中σ(x,y)的定義如下式：將模板半徑大小n人為設定為2。

12、優(yōu)選的，所述去噪模板獲取方式：

13、通過下式得到去噪模板圖像：其中，m(x,y)為去噪模板的圖像元素值，c(x,y)為閉操作后圖像像素點灰度值，k為噪聲判斷閾值，且k為常數(shù)，該操作的目的是通過比對增強特征圖像與閉操作去噪增強特征圖像像素點灰度的差異，且將增強特征圖像與閉操作去噪增強特征圖像像素點灰度的差異大于預設閾值的增強特征圖像中顆粒狀黑色斑點標記為潛在噪聲點；通過中值濾波方法對潛在噪聲點灰度值利用其他點的灰度信息進行取代，且每對一個潛在噪聲點進行濾噪操作后就對原增強特征圖像進行更新，最終得到濾波優(yōu)化特征圖像。

14、優(yōu)選的，所述yolov8網(wǎng)絡模型構建過程如下：

15、設置模型訓練參數(shù)，基于模型訓練參數(shù)構建數(shù)據(jù)集，將所述數(shù)據(jù)集劃分為訓練集和驗證集，訓練集被用來教導神經(jīng)網(wǎng)絡模型，而驗證集則負責檢驗模型學習成果的有效性；

16、并運行模型開啟訓練全程監(jiān)控，主要需要修改的是訓練輪次、批量大小和學習率的設置值，監(jiān)測訓練集邊界框損失、目標損失和分類損失在訓練過程中的變化，最終幫助篩選出性能最優(yōu)的yolov8網(wǎng)絡模型。

17、優(yōu)選的，將水下焊縫特征信息精確映射到水下機器的坐標系統(tǒng)中，以便對激光傳感器姿態(tài)進行校準，具體過程如下：

18、定義兩個坐標系統(tǒng)：{s}表示傳感器坐標系，表示基準坐標系，點p在這兩個坐標系中的坐標分別表示為bp和sp；

19、確定傳感器坐標系{s}相對于末端坐標系{e}的轉換矩陣對于其坐標系下的任一已知點sq，將其變換到機器基坐標系下的公式為：

20、優(yōu)選的，傳感器坐標系{s}相對于末端坐標系{e}的轉換矩陣計算該變換矩陣的具體步驟如下：

21、ss1：確定目標上的某一特定點p，記錄點p在基準坐標系下的位置bp＝(xb,yb,zb,1)t；

22、ss2：調(diào)整機器的位置，確保其搭載的傳感器發(fā)射的激光線能夠穿越點p，同樣記錄點p在傳感器坐標系{s}下的位置sp＝(xs,0,zs,1)t；

23、ss3：將機器當前的工具坐標系切換成末端坐標系{e}，記錄此時在末端坐標系{e}的位姿數(shù)據(jù)，運用歐拉旋轉定理來計算旋轉矩陣進而進一步求得ss4：根據(jù)p點在空間中的變換關系有：

24、對于其坐標系下的任一已知點sq，將其變換到機器基坐標系下的公式為：式中，bq為q點在基準坐標系的位置坐標，sq為q點在傳感器坐標系{s}的位置坐標。

25、優(yōu)選的，所述偏差預警反饋分析過程如下：

26、獲取到焊接機器人的實時移動軌跡，并將實時移動軌跡與生成的特征跟蹤軌跡進行重合度比對，進而獲取到實時移動軌跡與生成的特征跟蹤軌跡之間的重合度，并將實時移動軌跡與生成的特征跟蹤軌跡之間的重合度設定為移動偏差預警系數(shù)，并對移動偏差預警系數(shù)進行判別處理，生成反饋指令或生成告警指令；

27、當生成反饋指令時，將生成的特征跟蹤軌跡劃分為避讓跟蹤軌跡和非避讓跟蹤軌跡，獲取到焊接機器人的實時避讓軌跡，獲取到焊接機器人的避讓跟蹤軌跡的最小避讓距離，最小避讓距離表示障礙物與焊接機器人的最小直線距離，同時獲取到焊接機器人的實時避讓軌跡的實際最小避讓距離，將實際最小避讓距離減去最小避讓距離得到的值設定為避讓偏差指數(shù)，并對避讓偏差指數(shù)進行判別處理：若避讓偏差指數(shù)大于等于預設避讓偏差指數(shù)閾值，則不生成任何信號；若避讓偏差指數(shù)小于預設避讓偏差指數(shù)閾值，則生成調(diào)整指令。

28、本發(fā)明的有益效果如下：

29、(1)本發(fā)明通過從圖像信息處理的角度進行分析，以提高圖像處理質(zhì)量，同時采用自適應對比度增強與限制對比度自適應直方圖均衡化相結合的算法，提升圖像對比度，突出特征邊緣信息，以及通過去噪模板的方法對所述增強特征圖像進行去噪處理，有效抑制水下圖像中的噪聲干擾，以便為后續(xù)特征識別提供數(shù)據(jù)支撐；

30、(2)本發(fā)明基于yolov8網(wǎng)絡模型從濾波優(yōu)化特征圖像提取水下焊縫特征信息，進而提高特征識別精度和準確性，且通過特征信息映射的方式對激光傳感器姿態(tài)進行校準，以便為后續(xù)的特征跟蹤提供技術支撐，以提高特征跟蹤準確性，而通過信息反饋的方式對生成的特征跟蹤軌跡進行實際追蹤自檢，以便及時的對焊接機器人的實時移動軌跡進行調(diào)整，以提高焊接機器人移動精準性，同時對特征跟蹤軌跡生成方案進一步管理調(diào)整，以降低焊接機器人的避障失效風險。