本發(fā)明屬于x射線，尤其涉及一種立體視覺影像與三維影像的匹配方法、手術(shù)輔助方法、系統(tǒng)。

背景技術(shù)：

1、由于人體或動物體的各種組織、器官在密度、厚度等方面存在差異，對投照在其上的x射線的吸收量各不相同，從而使透過人體或動物體的x射線強(qiáng)度分布發(fā)生變化并攜帶人體或動物體信息，最終形成x射線信息影像。基于此，人們先后研發(fā)出了二維的膠片x射線成像技術(shù)、計(jì)算機(jī)x線攝影術(shù)（英文computed?radiography，簡稱cr）和數(shù)字x射線成像技術(shù)（英文digital?radiography，簡稱dr），以及三維的計(jì)算機(jī)斷層成像技術(shù)（英文computedtomography，簡稱ct）。并已將x射線成像技術(shù)應(yīng)用于骨科的整骨、復(fù)位、打釘；取體內(nèi)異物、心導(dǎo)管、植入起搏器、介入治療、造影術(shù)等手術(shù)中。

2、在上述成像技術(shù)中，效果最好的是能夠形成待檢測物三維結(jié)構(gòu)的ct。然而，由于ct成像設(shè)備體積大、成像速度慢且成像時(shí)需要圍繞待檢測物進(jìn)行多次掃描，以及輻射大等缺點(diǎn)，使其并不能用于手術(shù)過程中，人們通常將ct用于診斷。目前，在手術(shù)中用的較廣泛的是dr。然而，由于dr只能進(jìn)行二維投影成像，形成的圖像容易受到待成像物體內(nèi)部不同厚度處組織結(jié)構(gòu)的干擾、或者外部物質(zhì)的干擾，成像可用信息少，且手術(shù)中dr成像設(shè)備與待檢測物之間的角度等也有很大限制。這使得，dr對手術(shù)的輔助作用不明顯，便捷性也較差。

3、應(yīng)該注意，上面對技術(shù)背景的介紹只是為了方便對本發(fā)明的技術(shù)方案進(jìn)行清楚、完整的說明，并方便本領(lǐng)域技術(shù)人員的理解而闡述的。不能僅僅因?yàn)檫@些方案在本發(fā)明的背景技術(shù)部分進(jìn)行了闡述而認(rèn)為上述技術(shù)方案為本領(lǐng)域技術(shù)人員所公知。

技術(shù)實(shí)現(xiàn)思路

1、申請人發(fā)現(xiàn)，現(xiàn)有ct成像技術(shù)、dr成像技術(shù)等對手術(shù)的輔助作用不明顯，且dr輔助手術(shù)時(shí)也有很多局限性。

2、為了解決上述技術(shù)問題，本技術(shù)旨在提出一種立體視覺影像與三維影像的匹配方法、手術(shù)輔助方法、系統(tǒng)和存儲介質(zhì)，通過將立體視覺成像技術(shù)與數(shù)字x射線成像技術(shù)相結(jié)合得到立體視覺影像，再結(jié)合立體視覺影像的特點(diǎn)用特征匹配等將立體視覺影像與三維影像相匹配，實(shí)現(xiàn)了將三維影像中的手術(shù)路線等投影到立體視覺影像中，在手術(shù)過程中輔助手術(shù)人員判斷其手術(shù)操作路線是否符合預(yù)設(shè)手術(shù)路線。

3、本發(fā)明的技術(shù)方案如下：

4、本發(fā)明的一個(gè)方面，提供了一種立體視覺影像與三維影像的匹配方法，包括以下步驟：

5、獲取同一組織的三維影像和立體視覺影像；對所述立體視覺影像進(jìn)行特征識別，得到至少一個(gè)特征區(qū)域；將所述三維影像與各所述特征區(qū)域進(jìn)行配準(zhǔn)，得到所述三維影像與所述立體視覺影像之間的投影關(guān)系。

6、進(jìn)一步地，本發(fā)明提供的立體視覺影像與三維影像的匹配方法，所述將所述三維影像與各所述特征區(qū)域進(jìn)行配準(zhǔn)，得到所述三維影像與所述立體視覺影像之間的投影關(guān)系，具體包括：

7、將各所述特征區(qū)域與所述三維影像進(jìn)行匹配，得到所述三維影像中與各所述特征區(qū)域的像素點(diǎn)相對應(yīng)的體素點(diǎn)；基于各所述特征區(qū)域的像素點(diǎn)與所述相對應(yīng)的體素點(diǎn)之間的對應(yīng)關(guān)系，確定所述三維影像基于所述特征區(qū)域的投影角度、投影位置。

8、本發(fā)明的另一個(gè)方面，提供了一種手術(shù)輔助方法，包括應(yīng)用如上任一所述的立體視覺影像與三維影像的匹配方法確定三維影像與立體視覺影像之間的對應(yīng)關(guān)系，并基于所述對應(yīng)關(guān)系確定手術(shù)路線，和/或進(jìn)行術(shù)中介入設(shè)備路線檢測。

9、所述確定手術(shù)路線，包括以下步驟：

10、獲取待手術(shù)部位的三維影像，并在三維影像中標(biāo)記出介入設(shè)備的預(yù)設(shè)手術(shù)路線；獲取待手術(shù)部位的立體視覺影像；確定所述立體視覺影像與所述三維影像之間的對應(yīng)關(guān)系；根據(jù)所述對應(yīng)關(guān)系，確定所述預(yù)設(shè)手術(shù)路線在所述立體視覺影像中的對應(yīng)手術(shù)路線；

11、所述術(shù)中介入設(shè)備路線檢測，包括以下步驟：

12、獲取待手術(shù)部位的實(shí)時(shí)立體視覺影像；分析所述實(shí)時(shí)立體視覺影像中所述介入設(shè)備所處的位置；判斷所述介入設(shè)備所處的位置與所述對應(yīng)手術(shù)路線之間的距離是否符合第一預(yù)設(shè)距離閾值；

13、或者，

14、獲取待手術(shù)部位的實(shí)時(shí)立體視覺影像；確定當(dāng)前的所述實(shí)時(shí)立體視覺影像與所述三維影像之間的實(shí)時(shí)對應(yīng)關(guān)系；根據(jù)所述實(shí)時(shí)對應(yīng)關(guān)系，確定所述預(yù)設(shè)手術(shù)路線在當(dāng)前的所述實(shí)時(shí)立體視覺影像中對應(yīng)的實(shí)時(shí)路線；分析當(dāng)前的所述實(shí)時(shí)立體視覺影像中所述介入設(shè)備所處的位置，得到當(dāng)前介入位置；判斷所述當(dāng)前介入位置與所述實(shí)時(shí)路線之間的距離是否符合第二預(yù)設(shè)距離閾值。

15、進(jìn)一步地，本發(fā)明提供的手術(shù)輔助方法，還包括以下步驟：

16、當(dāng)所述介入設(shè)備所處的位置與所述對應(yīng)手術(shù)路線之間的距離不符合所述第一預(yù)設(shè)距離閾值時(shí)，發(fā)出路線偏移警告；

17、當(dāng)所述當(dāng)前介入位置與所述實(shí)時(shí)路線之間的距離不符合第二預(yù)設(shè)距離閾值時(shí)，發(fā)出路線偏移警告。

18、進(jìn)一步地，本發(fā)明提供的手術(shù)輔助方法，還包括以下步驟：

19、判斷所述介入設(shè)備所處的位置與所述對應(yīng)手術(shù)路線的終點(diǎn)之間的距離是否符合第三預(yù)設(shè)距離閾值；

20、當(dāng)所述介入設(shè)備所處的位置與所述對應(yīng)手術(shù)路線的終點(diǎn)之間的距離符合第三預(yù)設(shè)距離閾值時(shí)，發(fā)出近終點(diǎn)提示；

21、或者，

22、判斷所述當(dāng)前介入位置與所述實(shí)時(shí)路線的終點(diǎn)之間的距離是否符合第四預(yù)設(shè)距離閾值；

23、當(dāng)所述當(dāng)前介入位置與所述實(shí)時(shí)路線的終點(diǎn)之間的距離符合第四預(yù)設(shè)距離閾值時(shí)，發(fā)出近終點(diǎn)提示。

24、進(jìn)一步地，本發(fā)明提供的手術(shù)輔助方法中，所述獲取待手術(shù)部位的立體視覺影像，具體包括：

25、在第一視角處和第二視角處分別獲取待手術(shù)部位的x射線影像，所述第一視角與所述第二視角之間的距離符合人眼立體視覺效果；

26、對所述第一視角處和所述第二視角處的x射線影像進(jìn)行雙目成像處理，得到所述立體視覺影像；

27、所述獲取待手術(shù)部位的實(shí)時(shí)立體視覺影像，具體包括：

28、在第一視角處和第二視角處分別獲取待手術(shù)部位的實(shí)時(shí)x射線影像，所述第一視角與所述第二視角之間的距離符合人眼立體視覺效果；

29、對所述第一視角處和所述第二視角處的實(shí)時(shí)x射線影像進(jìn)行雙目成像處理，得到所述實(shí)時(shí)立體視覺影像。

30、進(jìn)一步地，本發(fā)明提供的手術(shù)輔助方法中，所述分析所述實(shí)時(shí)立體視覺影像中所述介入設(shè)備所處的位置，具體包括：

31、對所述實(shí)時(shí)立體視覺影像進(jìn)行圖像識別，識別出圖像中的介入設(shè)備區(qū)域；計(jì)算所述介入設(shè)備區(qū)域?qū)?yīng)像素點(diǎn)與所述對應(yīng)手術(shù)路線之間的立體距離及方位，得到所述介入設(shè)備所處的位置；

32、所述分析當(dāng)前的所述實(shí)時(shí)立體視覺影像中所述介入設(shè)備所處的位置，得到當(dāng)前介入位置，具體包括：

33、對當(dāng)前的所述實(shí)時(shí)立體視覺影像進(jìn)行圖像識別，識別出圖像中的介入設(shè)備區(qū)域；計(jì)算所述介入設(shè)備區(qū)域?qū)?yīng)像素點(diǎn)與所述實(shí)時(shí)路線之間的立體距離及方位，得到所述當(dāng)前介入位置。

34、進(jìn)一步地，本發(fā)明提供的手術(shù)輔助方法中，所述獲取待手術(shù)部位的立體視覺影像，還包括：

35、在所述第一視角處和所述第二視角處均獲取待手術(shù)部位的高能x射線影像和低能x射線影像；

36、對所述第一視角處的所述高能x射線影像和所述低能x射線影像進(jìn)行減影處理，得到所述第一視角處的高低能減影影像；

37、對所述第二視角處的所述高能x射線影像和所述低能x射線影像進(jìn)行減影處理，得到所述第二視角處的高低能減影影像；

38、對所述第一視角處的高低能減影影像和所述第二視角處的高低能減影影像進(jìn)行對應(yīng)的雙目成像處理，得到減影的所述立體視覺影像。

39、本發(fā)明的再一方面，提供了一種手術(shù)輔助系統(tǒng)，包括：

40、立體視覺影像獲取模塊，用于獲取待手術(shù)部位的立體視覺影像；

41、對應(yīng)關(guān)系確定模塊，用于確定所述立體視覺影像與所述三維影像之間的對應(yīng)關(guān)系；

42、手術(shù)路線規(guī)劃模塊，用于根據(jù)對應(yīng)關(guān)系，確定預(yù)設(shè)手術(shù)路線在所述立體視覺影像中的對應(yīng)手術(shù)路線；

43、位置分析模塊，用于分析所述實(shí)時(shí)立體視覺影像中所述介入設(shè)備所處的位置。

44、進(jìn)一步地，本發(fā)明提供的手術(shù)輔助系統(tǒng)中，所述立體視覺影像獲取模塊包括投影成像機(jī)構(gòu)和影像處理機(jī)構(gòu)；

45、所述投影成像機(jī)構(gòu)，用于在第一視角處和第二視角處分別獲取待手術(shù)部位的x射線影像，所述第一視角與所述第二視角之間的距離符合人眼立體視覺效果；

46、所述影像處理機(jī)構(gòu)，用于對所述第一視角處和所述第二視角處的x射線影像進(jìn)行雙目成像處理，得到所述立體視覺影像。

47、1.本發(fā)明提供的立體視覺影像與三維影像的匹配方法、手術(shù)輔助方法、系統(tǒng)和存儲介質(zhì)，采用獲取同一組織的三維影像和立體視覺影像；對所述立體視覺影像進(jìn)行特征識別，得到至少一個(gè)特征區(qū)域；將所述三維影像與各所述特征區(qū)域進(jìn)行配準(zhǔn)，得到所述三維影像與所述立體視覺影像之間的投影關(guān)系的設(shè)計(jì)；將對二維影像數(shù)據(jù)進(jìn)行處理就能得到的立體視覺影像與三維影像相匹配，以便于將三維影像中的特征投影到立體視覺影像中，而立體視覺影像的獲取較三維影像簡單，獲得圖像數(shù)據(jù)的束縛小，適合于在手術(shù)等操作中使用，因此，本發(fā)明提供的立體視覺影像與三維影像的匹配方法為在手術(shù)等過程中將三維影像的特征投影到立體視覺影像中提供了可能；再結(jié)合立體視覺影像即有平面特征又有深度特征的特點(diǎn)，可以更好的在術(shù)中為手術(shù)操作人員提供指導(dǎo)。

48、2.?本發(fā)明提供的立體視覺影像與三維影像的匹配方法、手術(shù)輔助方法、系統(tǒng)和存儲介質(zhì)，采用立體成像技術(shù)獲取待手術(shù)部位的立體影像，再將立體影像與三維影像相匹配，基于該匹配關(guān)系將三維影像中的預(yù)設(shè)手術(shù)路線投影到立體影像的設(shè)計(jì)；應(yīng)用獲取立體視覺影像較獲取三維影像簡單，且立體視覺影像較二維影像提供信息更充多，更有利于在術(shù)中提供指引的優(yōu)點(diǎn)，實(shí)現(xiàn)了為手術(shù)操作人員在手術(shù)中了解其操作是否符合對應(yīng)手術(shù)路線提供可靠的判斷依據(jù)。

49、3.?本發(fā)明提供的立體視覺影像與三維影像的匹配方法、手術(shù)輔助方法、系統(tǒng)和存儲介質(zhì)，還采用獲取實(shí)時(shí)立體視覺影像，自動分析所述實(shí)時(shí)立體視覺影像中介入設(shè)備所處的位置是否符合所述對應(yīng)手術(shù)路線的設(shè)計(jì)，以實(shí)現(xiàn)自動判斷手術(shù)刀、介入針等手術(shù)工具在待手術(shù)部位體內(nèi)的位置是否偏離手術(shù)對應(yīng)手術(shù)路線，更好的輔助醫(yī)護(hù)人員進(jìn)行手術(shù)。

50、4.?本發(fā)明提供的立體視覺影像與三維影像的匹配方法、手術(shù)輔助方法、系統(tǒng)和存儲介質(zhì)，還采用在手術(shù)過程中將當(dāng)前采集的所述實(shí)時(shí)立體視覺影像與三維影像進(jìn)行匹配，將預(yù)設(shè)手術(shù)路線投影到當(dāng)前的所述實(shí)時(shí)立體視覺影像中，得到實(shí)時(shí)路線；基于所述實(shí)時(shí)立體視覺影像中介入設(shè)備與所述實(shí)時(shí)路線間的距離，來判斷介入設(shè)備是否偏離的設(shè)計(jì)；該設(shè)計(jì)具有無需限制曝光成像裝置與待手術(shù)部位相對位置的優(yōu)點(diǎn)，在手術(shù)過程中可以根據(jù)操作方便旋轉(zhuǎn)、移動待手術(shù)部位；使得輔助設(shè)備的存在不會對手術(shù)操作造成限制，也無需為減少成像設(shè)備對手術(shù)操作的影響而特意設(shè)計(jì)成像設(shè)備的擺放位置等，極大地提高了x射線輔助手術(shù)的便利性和有效性。

51、5.本發(fā)明提供的立體視覺影像與三維影像的匹配方法、手術(shù)輔助方法、系統(tǒng)和存儲介質(zhì)，應(yīng)用雙目視覺成像處理技術(shù)，采用在第一視角處和第二視角處分別獲取待手術(shù)部位的x射線影像；一次立體視覺過程中曝光成像機(jī)構(gòu)和待手術(shù)部位之間無需移動，防止移動對手術(shù)操作造成影響。