本技術(shù)涉及醫(yī)學(xué)圖像處理，尤其是涉及視網(wǎng)膜進(jìn)針深度的確定方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、在眼科手術(shù)中，進(jìn)針深度的精準(zhǔn)預(yù)測(cè)是影響手術(shù)成功率和患者術(shù)后恢復(fù)質(zhì)量的關(guān)鍵技術(shù)之一。然而，由于眼科手術(shù)場(chǎng)景的獨(dú)特性，進(jìn)針深度的預(yù)測(cè)在實(shí)踐中面臨著多重挑戰(zhàn)。常見(jiàn)的解決方案是通過(guò)神經(jīng)網(wǎng)絡(luò)等視覺(jué)識(shí)別算法直接預(yù)測(cè)針體和針尖的兩個(gè)關(guān)鍵點(diǎn)，并結(jié)合針體的進(jìn)針角度，利用三維空間距離公式計(jì)算出進(jìn)針深度。然而，現(xiàn)有技術(shù)在面對(duì)畫(huà)面模糊、點(diǎn)位漂移等問(wèn)題時(shí)，仍然存在精度不足、魯棒性不強(qiáng)等缺陷，亟需更為可靠的方法來(lái)優(yōu)化點(diǎn)對(duì)選擇和進(jìn)針深度的預(yù)測(cè)過(guò)程。另外，在某些技術(shù)方案中，針體的實(shí)際像素長(zhǎng)度被用作深度計(jì)算的基礎(chǔ)。然而，進(jìn)針操作占手術(shù)全過(guò)程的時(shí)間較短，在手術(shù)視頻中形成了大量與進(jìn)針無(wú)關(guān)的干擾幀。這些干擾信息令針體的前后位置可能無(wú)法被清晰地關(guān)聯(lián)起來(lái)。具體來(lái)說(shuō)，當(dāng)進(jìn)針過(guò)程中針體出現(xiàn)在同一位置時(shí)，其前后的時(shí)序特性可能發(fā)生改變。這導(dǎo)致系統(tǒng)無(wú)法判斷當(dāng)前區(qū)域的狀態(tài)是“剛完成進(jìn)針”還是“進(jìn)針完成后停滯或抖動(dòng)”。這種時(shí)序變化的問(wèn)題顯著增加了進(jìn)針深度預(yù)測(cè)的復(fù)雜性和不確定性。所以，如何準(zhǔn)確地確定出視網(wǎng)膜的進(jìn)針深度成為了不容小覷的技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本技術(shù)的目的在于提供視網(wǎng)膜進(jìn)針深度的確定方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，通過(guò)對(duì)目標(biāo)三維坐標(biāo)信息進(jìn)行排序和聚類，能夠準(zhǔn)確識(shí)別與進(jìn)針無(wú)關(guān)的時(shí)間戳，減少無(wú)關(guān)信息對(duì)結(jié)果的干擾，以及能夠區(qū)分進(jìn)針狀態(tài)從而更精確地描述針體的進(jìn)針狀態(tài)，提高了進(jìn)針深度確定的準(zhǔn)確性。

2、本技術(shù)實(shí)施例提供了一種視網(wǎng)膜進(jìn)針深度的確定方法，所述確定方法包括：

3、基于yolo模型對(duì)視網(wǎng)膜的手術(shù)視頻進(jìn)行目標(biāo)檢測(cè)，識(shí)別出針體在運(yùn)動(dòng)過(guò)程中關(guān)鍵特征點(diǎn)的三維坐標(biāo)信息；

4、對(duì)多個(gè)所述三維坐標(biāo)信息進(jìn)行離群點(diǎn)去除處理，得到多個(gè)目標(biāo)三維坐標(biāo)信息，對(duì)多個(gè)所述目標(biāo)三維坐標(biāo)信息進(jìn)行聚類處理，確定出每一簇下的質(zhì)心坐標(biāo)信息；

5、對(duì)每一簇下的多個(gè)目標(biāo)三維坐標(biāo)信息按照時(shí)間戳信息進(jìn)行排序以及過(guò)濾，確定出每一簇下的有效三維坐標(biāo)信息，基于任意兩個(gè)質(zhì)心坐標(biāo)信息之間的簇間距離，確定出所述針體的進(jìn)針狀態(tài)；

6、對(duì)所述針體的進(jìn)針狀態(tài)所對(duì)應(yīng)簇的質(zhì)心坐標(biāo)信息進(jìn)行更新處理，確定出更新后的質(zhì)心坐標(biāo)信息，基于更新后的質(zhì)心坐標(biāo)信息以及相機(jī)內(nèi)參，確定出所述針體的實(shí)際進(jìn)針深度。

7、在一種可能的實(shí)施方式之中，所述基于yolo模型對(duì)視網(wǎng)膜的手術(shù)視頻進(jìn)行目標(biāo)檢測(cè)，識(shí)別出針體在運(yùn)動(dòng)過(guò)程中關(guān)鍵特征點(diǎn)的三維坐標(biāo)信息，包括：

8、基于所述yolo模型對(duì)視網(wǎng)膜的手術(shù)視頻進(jìn)行目標(biāo)檢測(cè)，識(shí)別出針體的運(yùn)動(dòng)圖像區(qū)域；

9、在運(yùn)動(dòng)圖像區(qū)域上提取出所述針體的關(guān)鍵特征點(diǎn)的二維坐標(biāo)信息；

10、基于所述運(yùn)動(dòng)圖像區(qū)域所對(duì)應(yīng)的時(shí)間戳信息以及所述關(guān)鍵特征點(diǎn)的二維坐標(biāo)信息進(jìn)行坐標(biāo)整合，確定出所述關(guān)鍵特征點(diǎn)的三維坐標(biāo)信息。

11、在一種可能的實(shí)施方式之中，所述對(duì)多個(gè)所述目標(biāo)三維坐標(biāo)信息進(jìn)行聚類處理，確定出每一簇下的質(zhì)心坐標(biāo)信息，包括：

12、隨機(jī)選擇初始簇?cái)?shù)量個(gè)目標(biāo)三維坐標(biāo)信息作為初始質(zhì)心坐標(biāo)信息；

13、針對(duì)于每個(gè)所述目標(biāo)三維坐標(biāo)信息，確定出該目標(biāo)三維坐標(biāo)信息到每個(gè)所述初始質(zhì)心坐標(biāo)信息之間的距離，若所述距離小于預(yù)設(shè)距離，則將該目標(biāo)三維坐標(biāo)信息分配至該初始質(zhì)心坐標(biāo)信息所對(duì)應(yīng)的簇下；

14、基于每個(gè)簇下的多個(gè)目標(biāo)三維坐標(biāo)信息，重新確定出每個(gè)簇新的質(zhì)心坐標(biāo)信息，直至新的質(zhì)心坐標(biāo)信息與相對(duì)應(yīng)的初始質(zhì)心坐標(biāo)信息之間的差值小于預(yù)設(shè)閾值時(shí)停止新的質(zhì)心坐標(biāo)信息的確定；

15、設(shè)置多組初始簇?cái)?shù)量，基于每一初始簇?cái)?shù)量下的多個(gè)質(zhì)心坐標(biāo)信息以及相對(duì)應(yīng)的目標(biāo)三維坐標(biāo)信息確定出目標(biāo)簇?cái)?shù)量，并確定出目標(biāo)簇?cái)?shù)量下每一簇下的質(zhì)心坐標(biāo)信息。

16、在一種可能的實(shí)施方式之中，所述基于每一初始簇?cái)?shù)量下的多個(gè)質(zhì)心坐標(biāo)信息以及相對(duì)應(yīng)的目標(biāo)三維坐標(biāo)信息確定出目標(biāo)簇?cái)?shù)量，包括：

17、確定出每個(gè)初始簇?cái)?shù)量下多個(gè)簇的目標(biāo)三維坐標(biāo)信息到相對(duì)應(yīng)的質(zhì)心坐標(biāo)信息的距離平方和；

18、檢測(cè)每個(gè)初始簇?cái)?shù)量的所述距離平方和的二階導(dǎo)是否為負(fù)數(shù)；

19、若是，則將該初始簇?cái)?shù)量作為所述目標(biāo)簇?cái)?shù)量。

20、在一種可能的實(shí)施方式之中，所述基于任意兩個(gè)質(zhì)心坐標(biāo)信息之間的簇間距離，確定出所述針體的進(jìn)針狀態(tài)，包括：

21、基于歐式距離計(jì)算公式確定出任意兩個(gè)質(zhì)心坐標(biāo)信息之間的簇間距離；

22、將最大簇間距離所對(duì)應(yīng)的兩個(gè)簇中的第一簇確定為所述針體的進(jìn)針前狀態(tài)，將第二簇確定為所述針體的進(jìn)針后狀態(tài)，將第三簇確定為所述針體的進(jìn)針?lè)€(wěn)定狀態(tài)；其中，所述第一簇、所述第二簇以及所述第三簇的時(shí)間戳依次增大。

23、在一種可能的實(shí)施方式之中，對(duì)所述針體的進(jìn)針狀態(tài)所對(duì)應(yīng)簇的質(zhì)心坐標(biāo)信息進(jìn)行更新處理，確定出更新后的質(zhì)心坐標(biāo)信息，包括：

24、基于進(jìn)針前狀態(tài)所對(duì)應(yīng)的第一簇中的預(yù)設(shè)時(shí)間戳之后的有效三維坐標(biāo)信息，確定出所述第一簇的更新后的質(zhì)心坐標(biāo)信息；

25、基于進(jìn)針?lè)€(wěn)定狀態(tài)所對(duì)應(yīng)的第三簇中的預(yù)設(shè)時(shí)間戳之后的有效三維坐標(biāo)信息，確定出所述第三簇的更新后的質(zhì)心坐標(biāo)信息。

26、在一種可能的實(shí)施方式之中，所述基于更新后的質(zhì)心坐標(biāo)信息以及相機(jī)內(nèi)參，確定出所述針體的實(shí)際進(jìn)針深度，包括：

27、確定出所述第三簇的更新后的質(zhì)心坐標(biāo)信息與所述第一簇的更新后的質(zhì)心坐標(biāo)信息之間的差值坐標(biāo)信息；

28、對(duì)所述差值坐標(biāo)信息以及所述相機(jī)內(nèi)參進(jìn)行像素距離轉(zhuǎn)換處理，確定出所述實(shí)際進(jìn)針深度。

29、本技術(shù)實(shí)施例還提供了一種視網(wǎng)膜進(jìn)針深度的確定裝置，所述確定裝置包括：

30、針體識(shí)別模塊，用于基于yolo模型對(duì)視網(wǎng)膜的手術(shù)視頻進(jìn)行目標(biāo)檢測(cè)，識(shí)別出針體在運(yùn)動(dòng)過(guò)程中關(guān)鍵特征點(diǎn)的三維坐標(biāo)信息；

31、聚類模塊，用于對(duì)多個(gè)所述三維坐標(biāo)信息進(jìn)行離群點(diǎn)去除處理，得到多個(gè)目標(biāo)三維坐標(biāo)信息，對(duì)多個(gè)所述目標(biāo)三維坐標(biāo)信息進(jìn)行聚類處理，確定出每一簇下的質(zhì)心坐標(biāo)信息；

32、進(jìn)針狀態(tài)識(shí)別模塊，用于對(duì)每一簇下的多個(gè)目標(biāo)三維坐標(biāo)信息按照時(shí)間戳信息進(jìn)行排序以及過(guò)濾，確定出每一簇下的有效三維坐標(biāo)信息，基于任意兩個(gè)質(zhì)心坐標(biāo)信息之間的簇間距離，確定出所述針體的進(jìn)針狀態(tài)；

33、深度確定模塊，用于對(duì)所述針體的進(jìn)針狀態(tài)所對(duì)應(yīng)簇的質(zhì)心坐標(biāo)信息進(jìn)行更新處理，確定出更新后的質(zhì)心坐標(biāo)信息，基于更新后的質(zhì)心坐標(biāo)信息以及相機(jī)內(nèi)參，確定出所述針體的實(shí)際進(jìn)針深度。

34、本技術(shù)實(shí)施例還提供一種電子設(shè)備，包括：處理器、存儲(chǔ)器和總線，所述存儲(chǔ)器存儲(chǔ)有所述處理器可執(zhí)行的機(jī)器可讀指令，當(dāng)電子設(shè)備運(yùn)行時(shí)，所述處理器與所述存儲(chǔ)器之間通過(guò)總線通信，所述機(jī)器可讀指令被所述處理器執(zhí)行時(shí)執(zhí)行如上述的視網(wǎng)膜進(jìn)針深度的確定方法的步驟。

35、本技術(shù)實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器運(yùn)行時(shí)執(zhí)行如上述的視網(wǎng)膜進(jìn)針深度的確定方法的步驟。

36、本技術(shù)實(shí)施例提供的視網(wǎng)膜進(jìn)針深度的確定方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，所述確定方法包括：基于yolo模型對(duì)視網(wǎng)膜的手術(shù)視頻進(jìn)行目標(biāo)檢測(cè)，識(shí)別出針體在運(yùn)動(dòng)過(guò)程中關(guān)鍵特征點(diǎn)的三維坐標(biāo)信息；對(duì)多個(gè)所述三維坐標(biāo)信息進(jìn)行離群點(diǎn)去除處理，得到多個(gè)目標(biāo)三維坐標(biāo)信息，對(duì)多個(gè)所述目標(biāo)三維坐標(biāo)信息進(jìn)行聚類處理，確定出每一簇下的質(zhì)心坐標(biāo)信息；對(duì)每一簇下的多個(gè)目標(biāo)三維坐標(biāo)信息按照時(shí)間戳信息進(jìn)行排序以及過(guò)濾，確定出每一簇下的有效三維坐標(biāo)信息，基于任意兩個(gè)質(zhì)心坐標(biāo)信息之間的簇間距離，確定出所述針體的進(jìn)針狀態(tài)；對(duì)所述針體的進(jìn)針狀態(tài)所對(duì)應(yīng)簇的質(zhì)心坐標(biāo)信息進(jìn)行更新處理，確定出更新后的質(zhì)心坐標(biāo)信息，基于更新后的質(zhì)心坐標(biāo)信息以及相機(jī)內(nèi)參，確定出所述針體的實(shí)際進(jìn)針深度。通過(guò)對(duì)目標(biāo)三維坐標(biāo)信息進(jìn)行排序和聚類，能夠準(zhǔn)確識(shí)別與進(jìn)針無(wú)關(guān)的時(shí)間戳，減少無(wú)關(guān)信息對(duì)結(jié)果的干擾，以及能夠區(qū)分進(jìn)針狀態(tài)從而更精確地描述針體的進(jìn)針狀態(tài)，提高了進(jìn)針深度確定的準(zhǔn)確性。

37、為使本技術(shù)的上述目的、特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉較佳實(shí)施例，并配合所附附圖，作詳細(xì)說(shuō)明如下。