本公開涉及用于遠(yuǎn)程指導(dǎo)的系統(tǒng)和方法，其中使用擴(kuò)展的現(xiàn)實(shí)用戶接口設(shè)備來顯示內(nèi)窺鏡圖像信息并生成視覺引導(dǎo)。

背景技術(shù)：

1、遙操作機(jī)器人或機(jī)器人輔助系統(tǒng)包括可以從主要接口系統(tǒng)/主要界面系統(tǒng)(primary?interface?system)進(jìn)行遠(yuǎn)程控制的操縱組件。如果提供給指導(dǎo)者的視覺信息不提供完整的三維信息，并且指導(dǎo)者引導(dǎo)可能無法以三維準(zhǔn)確度生成，則用于培訓(xùn)、指導(dǎo)或建議主要接口系統(tǒng)的操作員的系統(tǒng)和方法可能受到限制。因此，提供用于提供其中指導(dǎo)者對(duì)外科手術(shù)環(huán)境具有完整的三維體驗(yàn)并且能夠以三維準(zhǔn)確度提供視覺引導(dǎo)的遠(yuǎn)程引導(dǎo)的改進(jìn)方法和系統(tǒng)將是有利的。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的實(shí)施例由隨附于說明書的權(quán)利要求最佳概括。

2、與一些實(shí)施例一致，非暫時(shí)性機(jī)器可讀介質(zhì)可以存儲(chǔ)指令，這些指令當(dāng)由一個(gè)或多個(gè)處理器運(yùn)行時(shí)，導(dǎo)致一個(gè)或多個(gè)處理器生成醫(yī)療場(chǎng)(medical?field)的立體內(nèi)窺鏡圖像數(shù)據(jù)，并根據(jù)立體內(nèi)窺鏡圖像數(shù)據(jù)定義醫(yī)療場(chǎng)體積(medical?field?volume)。處理器還可以將醫(yī)療場(chǎng)體積的3d表示投影到遠(yuǎn)程體積中的擴(kuò)展現(xiàn)實(shí)顯示設(shè)備。3d表示可以包括立體圖像和從立體內(nèi)窺鏡圖像數(shù)據(jù)生成的3d場(chǎng)景。處理器還可以在遠(yuǎn)程體積中生成視覺引導(dǎo)，以增強(qiáng)立體內(nèi)窺鏡圖像，將視覺引導(dǎo)從遠(yuǎn)程體積映射到醫(yī)療場(chǎng)體積，以生成醫(yī)療場(chǎng)體積的增強(qiáng)圖像，并且將醫(yī)療場(chǎng)體積的增強(qiáng)圖像投影到醫(yī)療場(chǎng)中器械的操作員所查看到的顯示設(shè)備。

3、應(yīng)當(dāng)理解，上述一般描述和以下詳細(xì)描述本質(zhì)上都是示例性和解釋性的，并且旨在提供對(duì)本公開的理解，而不限制本公開的范圍。在這方面，根據(jù)以下詳細(xì)描述，本公開的附加方面、特征和優(yōu)點(diǎn)對(duì)本領(lǐng)域技術(shù)人員將是明顯的。

技術(shù)特征：

1.一種存儲(chǔ)指令的非暫時(shí)性機(jī)器可讀介質(zhì)，所述指令當(dāng)由一個(gè)或多個(gè)處理器運(yùn)行時(shí)導(dǎo)致所述一個(gè)或多個(gè)處理器：

2.根據(jù)權(quán)利要求1所述的非暫時(shí)性機(jī)器可讀介質(zhì)，其中，所述立體內(nèi)窺鏡圖像數(shù)據(jù)由通過機(jī)器人輔助操縱器控制的內(nèi)窺鏡成像設(shè)備生成。

3.根據(jù)權(quán)利要求2所述的非暫時(shí)性機(jī)器可讀介質(zhì)，其中，所述醫(yī)療場(chǎng)包括由所述機(jī)器人輔助操縱器控制的工具。

4.根據(jù)權(quán)利要求1所述的非暫時(shí)性機(jī)器可讀介質(zhì)，其中，所述醫(yī)療場(chǎng)體積包括患者解剖結(jié)構(gòu)和所述醫(yī)療場(chǎng)的器械可見的立體內(nèi)窺鏡圖像數(shù)據(jù)。

5.根據(jù)權(quán)利要求1所述的非暫時(shí)性機(jī)器可讀介質(zhì)，其中，所述醫(yī)療場(chǎng)體積包括用戶接口元素。

6.根據(jù)權(quán)利要求1所述的非暫時(shí)性機(jī)器可讀介質(zhì)，其存儲(chǔ)指令，所述指令當(dāng)由一個(gè)或多個(gè)處理器運(yùn)行時(shí)還導(dǎo)致所述一個(gè)或多個(gè)處理器在操作員控制臺(tái)處接收來自操作員的音頻輸入。

7.根據(jù)權(quán)利要求1所述的非暫時(shí)性機(jī)器可讀介質(zhì)，其中，所述擴(kuò)展現(xiàn)實(shí)顯示設(shè)備是頭戴式的。

8.根據(jù)權(quán)利要求1所述的非暫時(shí)性機(jī)器可讀介質(zhì)，其中，所述遠(yuǎn)程體積在所述醫(yī)療場(chǎng)體積的所述三維表示之外是可見的。

9.根據(jù)權(quán)利要求1所述的非暫時(shí)性機(jī)器可讀介質(zhì)，其中，所述三維場(chǎng)景是通過確定所述立體圖像中對(duì)象的對(duì)象深度而生成的。

10.根據(jù)權(quán)利要求1所述的非暫時(shí)性機(jī)器可讀介質(zhì)，其中，所述三維場(chǎng)景是針對(duì)所述立體圖像的一部分而生成的。

11.根據(jù)權(quán)利要求1所述的非暫時(shí)性機(jī)器可讀介質(zhì)，其中，所述遠(yuǎn)程體積隨著擴(kuò)展現(xiàn)實(shí)顯示設(shè)備移動(dòng)。

12.根據(jù)權(quán)利要求1所述的非暫時(shí)性機(jī)器可讀介質(zhì)，其中，所述擴(kuò)展現(xiàn)實(shí)顯示設(shè)備在所述遠(yuǎn)程體積中跟蹤用戶的身體表達(dá)。

13.根據(jù)權(quán)利要求1所述的非暫時(shí)性機(jī)器可讀介質(zhì)，其中，所述視覺引導(dǎo)是由用戶在所述遠(yuǎn)程體積中的徒手手勢(shì)、眼睛凝視或頭部運(yùn)動(dòng)中的至少一個(gè)生成的。

14.根據(jù)權(quán)利要求1所述的非暫時(shí)性機(jī)器可讀介質(zhì)，其中，所述視覺引導(dǎo)包括包括箭頭、指針、重影手部、重影工具、凝視標(biāo)記、虛擬解剖模型或注釋中的至少一個(gè)。

15.根據(jù)權(quán)利要求1所述的非暫時(shí)性機(jī)器可讀介質(zhì)，其存儲(chǔ)指令，所述指令當(dāng)由一個(gè)或多個(gè)處理器運(yùn)行時(shí)還導(dǎo)致所述一個(gè)或多個(gè)處理器生成音頻引導(dǎo)。

16.根據(jù)權(quán)利要求1所述的非暫時(shí)性機(jī)器可讀介質(zhì)，其中，映射所述視覺引導(dǎo)包括確定所述視覺引導(dǎo)在所述醫(yī)療場(chǎng)體積中的三維位置。

17.根據(jù)權(quán)利要求1所述的非暫時(shí)性機(jī)器可讀介質(zhì)，其中，映射所述視覺引導(dǎo)包括將參數(shù)從所述遠(yuǎn)程體積縮放到所述醫(yī)療場(chǎng)體積。

18.根據(jù)權(quán)利要求1所述的非暫時(shí)性機(jī)器可讀介質(zhì)，其存儲(chǔ)指令，所述指令當(dāng)由一個(gè)或多個(gè)處理器運(yùn)行時(shí)還導(dǎo)致所述一個(gè)或多個(gè)處理器隨著內(nèi)窺鏡成像系統(tǒng)的移動(dòng)而自適應(yīng)地改變所述映射。

19.根據(jù)權(quán)利要求1所述的非暫時(shí)性機(jī)器可讀介質(zhì)，其存儲(chǔ)指令，所述指令當(dāng)由一個(gè)或多個(gè)處理器運(yùn)行時(shí)還導(dǎo)致所述一個(gè)或多個(gè)處理器從所述擴(kuò)展現(xiàn)實(shí)顯示設(shè)備投影操縱器組件的模型。

20.根據(jù)權(quán)利要求19所述的非暫時(shí)性機(jī)器可讀介質(zhì)，其存儲(chǔ)指令，所述指令當(dāng)由一個(gè)或多個(gè)處理器運(yùn)行時(shí)還導(dǎo)致所述一個(gè)或多個(gè)處理器將所述操縱器組件的所述模型與所述醫(yī)療場(chǎng)體積的所述增強(qiáng)圖像融合，以在所述擴(kuò)展現(xiàn)實(shí)顯示設(shè)備上進(jìn)行顯示。

21.根據(jù)權(quán)利要求1所述的非暫時(shí)性機(jī)器可讀介質(zhì)，其存儲(chǔ)指令，所述指令當(dāng)由一個(gè)或多個(gè)處理器運(yùn)行時(shí)還導(dǎo)致所述一個(gè)或多個(gè)處理器從所述擴(kuò)展現(xiàn)實(shí)顯示設(shè)備投影操作員控制臺(tái)的模型。

22.根據(jù)權(quán)利要求1所述的非暫時(shí)性機(jī)器可讀介質(zhì)，其中，所述醫(yī)療場(chǎng)體積能夠是包括多個(gè)圖像的組合體，并且所述視覺引導(dǎo)能夠在通過移動(dòng)內(nèi)窺鏡成像器械可見的所述醫(yī)療場(chǎng)體積的區(qū)域中可見。

23.一種系統(tǒng)，其包括：

24.根據(jù)權(quán)利要求23所述的系統(tǒng)，其中，所述立體內(nèi)窺鏡圖像數(shù)據(jù)是由通過機(jī)器人輔助操縱器控制的內(nèi)窺鏡成像設(shè)備生成的。

25.根據(jù)權(quán)利要求24所述的系統(tǒng)，其中，所述醫(yī)療場(chǎng)包括由所述機(jī)器人輔助操縱器控制的工具。

26.根據(jù)權(quán)利要求23所述的系統(tǒng)，其中，所述醫(yī)療場(chǎng)體積包括患者解剖結(jié)構(gòu)和所述醫(yī)療場(chǎng)的器械可見的立體內(nèi)窺鏡圖像數(shù)據(jù)。

27.根據(jù)權(quán)利要求23所述的系統(tǒng)，其中，所述醫(yī)療場(chǎng)體積包括用戶接口元素。

28.一種方法，其包括：

29.根據(jù)權(quán)利要求28所述的方法，其中，所述立體內(nèi)窺鏡圖像數(shù)據(jù)是由通過機(jī)器人輔助操縱器控制的內(nèi)窺鏡成像設(shè)備生成的。

30.根據(jù)權(quán)利要求29所述的方法，其中，所述醫(yī)療場(chǎng)包括由所述機(jī)器人輔助操縱器控制的工具。

31.根據(jù)權(quán)利要求28所述的方法，其中，所述醫(yī)療場(chǎng)體積包括患者解剖結(jié)構(gòu)和所述醫(yī)療場(chǎng)的器械可見的立體內(nèi)窺鏡圖像數(shù)據(jù)。

32.根據(jù)權(quán)利要求28所述的方法，其中，所述醫(yī)療場(chǎng)體積包括用戶接口元素。

技術(shù)總結(jié)
非暫時(shí)性機(jī)器可讀介質(zhì)可以存儲(chǔ)指令，這些指令當(dāng)由一個(gè)或多個(gè)處理器運(yùn)行時(shí)導(dǎo)致一個(gè)或多個(gè)處理器生成醫(yī)療場(chǎng)的立體內(nèi)窺鏡圖像數(shù)據(jù)，并根據(jù)立體內(nèi)窺鏡圖像數(shù)據(jù)定義醫(yī)療場(chǎng)體積。處理器還可以將醫(yī)療場(chǎng)體積的3D表示投影到遠(yuǎn)程體積中的擴(kuò)展現(xiàn)實(shí)顯示設(shè)備。3D表示可以包括立體圖像和從立體內(nèi)窺鏡圖像數(shù)據(jù)生成的3D場(chǎng)景。處理器還可以在遠(yuǎn)程體積中生成視覺引導(dǎo)，以增強(qiáng)立體內(nèi)窺鏡圖像，將視覺引導(dǎo)從遠(yuǎn)程體積映射到醫(yī)療場(chǎng)體積，以生成醫(yī)療場(chǎng)體積的增強(qiáng)圖像，并且將醫(yī)療場(chǎng)體積的增強(qiáng)圖像投影到醫(yī)療場(chǎng)中器械的操作員查看的顯示設(shè)備。

技術(shù)研發(fā)人員：S·穆魯加潘,M·道蒂,G·帕雅烏拉,M·S·沃倫
受保護(hù)的技術(shù)使用者：直觀外科手術(shù)操作公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/11/4