本發(fā)明涉及深度學(xué)習(xí)與醫(yī)學(xué)圖像重建的交叉，具體為一種基于混合表示增強(qiáng)的4d心臟重建運(yùn)動模型方法。

背景技術(shù)：

1、心臟作為人體關(guān)鍵的循環(huán)系統(tǒng)器官，承擔(dān)著將血液以及必需營養(yǎng)物質(zhì)輸送至全身各組織的重要生理功能。心臟的解剖結(jié)構(gòu)主要由心肌組織構(gòu)成，其內(nèi)部腔室分為左心房、左心室、右心房和右心室四個(gè)部分。心臟靜脈或動脈的嚴(yán)重病變可能導(dǎo)致重大的心血管疾病，對人類健康構(gòu)成嚴(yán)重威脅。隨著我國物質(zhì)水平的提高和社會的不斷發(fā)展，當(dāng)代人的生活發(fā)生了很大變化，這些變化主要體現(xiàn)在居民的生活質(zhì)量和習(xí)慣上。飲酒、抽煙、作息不規(guī)律、缺少運(yùn)動以及暴飲暴食等不良生活習(xí)慣逐漸泛濫，這些變化導(dǎo)致的就是逐年增長的心血管疾病的發(fā)病率。

2、心臟4d重建技術(shù)在心血管疾病的診斷和治療中扮演著至關(guān)重要的角色。它不僅能夠提供心臟結(jié)構(gòu)的三維信息，還能捕捉心臟隨時(shí)間變化的動態(tài)功能，這對于理解心臟的復(fù)雜血流模式和心臟功能至關(guān)重要。具體來說，4dflowmri技術(shù)已被證實(shí)可以量化心臟血流動力學(xué)變化，并在心臟病患者的術(shù)后評估中發(fā)揮重要作用。例如，研究表明4dflowmr在fontan循環(huán)血流動力學(xué)的靶向性評價(jià)中是可行的，能夠顯示復(fù)雜的血流模式、量化血流分布以及評估血管幾何形狀。此外，4dflowmri數(shù)據(jù)可以量化作用于心肌的左心室血流動力，為研究心臟不良重塑提供了新的工具。在肥厚型心肌病(hcm)患者中，4dflowmri成像能夠表征血流動力學(xué)和心肌細(xì)胞外體積分?jǐn)?shù)(ecv)的改變，揭示hcm相關(guān)血流異常與左心室結(jié)構(gòu)重塑之間的可能聯(lián)系。

3、近年來，基于深度學(xué)習(xí)的網(wǎng)格重建方法，憑借其數(shù)據(jù)驅(qū)動的學(xué)習(xí)機(jī)制實(shí)現(xiàn)了統(tǒng)一，在處理復(fù)雜心臟成像數(shù)據(jù)、提取特征與表示方面表現(xiàn)出色，并對患者個(gè)體及模態(tài)特性具有良好的魯棒性和適應(yīng)性，kong等人針對心臟重建中的拓?fù)浔４骐y題，使用神經(jīng)網(wǎng)絡(luò)解決了斷開區(qū)域和解剖不一致的問題。bai等人提出了一種基于雙心室心臟圖譜的方法，通過分析1000多個(gè)高分辨率mr圖像構(gòu)建心臟圖譜，并分析形狀和運(yùn)動來構(gòu)建心臟重建。meng等人提出了一種基于深度學(xué)習(xí)的心臟運(yùn)動跟蹤方法，該方法使用神經(jīng)網(wǎng)絡(luò)來跟蹤心臟mri中的3d運(yùn)動。此外，qiao等人提出了一種條件時(shí)空生成模型，用于模擬心臟解剖結(jié)構(gòu)。這些方法在心臟4d重建領(lǐng)域中均取得了一定的進(jìn)展。

4、目前針對心臟的4d重建已有不少工作，但4d心臟重建依然面臨以下問題：

5、①、稀疏數(shù)據(jù)的重建：在手術(shù)或介入治療期間，由于設(shè)備限制、患者狀況或時(shí)間緊迫等因素，往往只能獲得部分關(guān)鍵幀或非連續(xù)的成像數(shù)據(jù)，導(dǎo)致數(shù)據(jù)稀疏，而從稀疏的數(shù)據(jù)中恢復(fù)出完整的3d心臟運(yùn)動是一個(gè)復(fù)雜的任務(wù)，尤其是在心臟這樣的復(fù)雜、非剛性結(jié)構(gòu)中。

6、②、多模態(tài)數(shù)據(jù)的融合：將不同類型的數(shù)據(jù)，如mri切片、超聲心動圖和ecg信號有效融合在一起是個(gè)難點(diǎn)，不同模態(tài)的數(shù)據(jù)具有不同的特性和分辨率，例如mri提供的是高分辨率的解剖結(jié)構(gòu)信息，而ecg提供的是心臟電生理活動的信號。這些數(shù)據(jù)在時(shí)間和空間上的異質(zhì)性給融合算法帶來了挑戰(zhàn)。

7、③、保持解剖學(xué)一致性：心臟是一個(gè)復(fù)雜的器官，其內(nèi)部結(jié)構(gòu)包括多個(gè)腔室、瓣膜和血管。這些結(jié)構(gòu)在形態(tài)和功能上相互關(guān)聯(lián)，重建時(shí)必須準(zhǔn)確反映這些復(fù)雜的解剖關(guān)系，同時(shí)，心臟運(yùn)動是一個(gè)連續(xù)的過程，4d重建需要在時(shí)間序列上保持一致性，確保心臟的動態(tài)變化是平滑且連續(xù)的，沒有突變或不自然的跳躍。因此保持重建結(jié)果的解剖學(xué)一致性是一個(gè)挑戰(zhàn)。

8、④、多方向運(yùn)動的捕捉：心臟作為一個(gè)動態(tài)器官，其運(yùn)動模式復(fù)雜且多變，運(yùn)動包括收縮期的縱向縮短、橫向擴(kuò)張以及心室的旋轉(zhuǎn)，不同體之間也存在差異，可能受到年齡、性別、健康狀況和遺傳等多種因素的影響，同時(shí)，心臟的運(yùn)動不僅受到其內(nèi)部結(jié)構(gòu)的影響，還受到周圍結(jié)構(gòu)如肺、膈肌和胸壁的影響，因此多方向的運(yùn)動捕捉對于4d心臟重建是一個(gè)挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于混合表示增強(qiáng)的4d心臟重建運(yùn)動模型方法，其通過dmtet算法將三維空間離散化為一個(gè)可變形的四面體網(wǎng)格，為后續(xù)模型訓(xùn)練捕捉到更精細(xì)的幾何細(xì)節(jié)，而且在三維重建過程中使用混合表示增強(qiáng)方法，結(jié)合隱式表面表示和顯示網(wǎng)格表示方法，在提出的觀測編碼器基礎(chǔ)上，用于從各種不同的觀測數(shù)據(jù)中提取特征，并將這些特征用于后續(xù)的心臟運(yùn)動恢復(fù)，同時(shí)在運(yùn)動恢復(fù)階段中，使用gcn與gru結(jié)合，從而幫助模型有效地處理空間和時(shí)間信息。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于混合表示增強(qiáng)的4d心臟重建運(yùn)動模型方法，本發(fā)明方法包括如下步驟：

3、步驟s1、心臟模型參數(shù)化：使用dmtet算法，對心臟進(jìn)行參數(shù)化，使可變形的四面體網(wǎng)格離散化3d空間，讓其中每個(gè)頂點(diǎn)都具有一個(gè)符號距離函數(shù)值；

4、步驟s2、生成初始3d模型：首先對圖像i0進(jìn)行編碼，然后將其解碼為四面網(wǎng)格圖像編碼使用nnunet模型，模型是一個(gè)自適應(yīng)的u-net架構(gòu)，能夠根據(jù)輸入圖像的幾何結(jié)構(gòu)動態(tài)調(diào)整網(wǎng)絡(luò)拓?fù)?，并使用leakyrelus和instance-normalization來增強(qiáng)模型效果，使用3dnnunet通過對一個(gè)單位立方體進(jìn)行均勻采樣，來創(chuàng)建初始四面體網(wǎng)格

5、步驟s3、構(gòu)建觀測編碼器：將3d體積、2d切片和1d數(shù)據(jù)轉(zhuǎn)為對心臟運(yùn)動預(yù)測有用的特征，具體包括空間觀測和1d觀測兩部分；

6、步驟s4、心臟運(yùn)動恢復(fù)：給定從i0獲取的特征圖f0和四面體網(wǎng)格以及在時(shí)刻t處獲取的特征圖當(dāng)使用二維切片時(shí)是當(dāng)使用一維數(shù)據(jù)時(shí)是上述提到的變形模型將被實(shí)例化為gcn和gru層，以有效聚合空間信息；

7、步驟s5、網(wǎng)絡(luò)模型訓(xùn)練：利用現(xiàn)有的關(guān)鍵幀注釋進(jìn)行監(jiān)督學(xué)習(xí)，以實(shí)現(xiàn)對心臟結(jié)構(gòu)的精確重建，采用弱監(jiān)督學(xué)習(xí)方法來訓(xùn)練變形模型處理未標(biāo)注的圖像序列。

8、優(yōu)選的，所述步驟s1中，符號距離函數(shù)值的表示為如下公式：

9、

10、其中vi和si是四面體集合t中，所有四面體的頂點(diǎn)和它們對應(yīng)的sdf值，表面可以通過四面體算法獲得，在手術(shù)室模型進(jìn)行實(shí)際推理時(shí)，給出一個(gè)初始模型該模型在干預(yù)開始之前已經(jīng)構(gòu)建完成，并且提供后續(xù)每個(gè)時(shí)刻t發(fā)生的變形實(shí)時(shí)觀測ot，構(gòu)建一個(gè)新的模型通過操作頂點(diǎn)來加入變形，公式如下：

11、

12、其中，網(wǎng)格的頂點(diǎn)，是變形后的頂點(diǎn)，i0是第一幀的圖像，是變形模型，在之后將其實(shí)例化，恢復(fù)整個(gè)序列的變形，通過容積成像mri序列模擬在線設(shè)置，使用第一部分序列重建并將ot作為it的2d切片或從中推斷出的1d體積信息，在實(shí)際使用中，將從不同序列中獲得。

13、優(yōu)選的，所述步驟s2中，u-net架構(gòu)包含2d、3du-net和一個(gè)u-netcascade。

14、優(yōu)選的，所述步驟s2中，為了將nnunet的輸出解碼為精確的頂點(diǎn)坐標(biāo)和頂點(diǎn)的sdf值，從上采樣流的最后一層提取特征圖其中c是特征通道的數(shù)量，然后在四面體網(wǎng)格上對特征圖進(jìn)行三次線性插值，具體算法步驟為：

15、步驟s2.1、選擇已知點(diǎn)：選擇四個(gè)已知點(diǎn)，盡可能地靠近想要插值的點(diǎn)，假設(shè)這四個(gè)點(diǎn)為并且它們的x坐標(biāo)是遞增的；

16、步驟s2.2、定義三次多項(xiàng)式：假設(shè)在區(qū)間內(nèi)的插值函數(shù)是一個(gè)三次多項(xiàng)式，形式如下：

17、p(x)＝ax3+bx2+cx+d；

18、步驟s2.3、建立方程組：為了確定系數(shù)，需要使用已知點(diǎn)的信息，有以下四個(gè)條件：

19、

20、步驟s2.4、求解方程組：求解上述線性方程組，得到系數(shù)a，b，c，d；

21、步驟s2.5、計(jì)算插值點(diǎn)：使用三次多項(xiàng)式p(x)計(jì)算任何在區(qū)間內(nèi)的點(diǎn)的插值，為了構(gòu)建使用gcn預(yù)測每個(gè)頂點(diǎn)的sdf值和偏移量，變形四面體網(wǎng)格與常規(guī)網(wǎng)格的偏移量的公式可以表示為：

22、

23、

24、其中，vi是的網(wǎng)格頂點(diǎn)，vi′是vi變形后的網(wǎng)格頂點(diǎn)，f0(v)代表從f0使用三次線性插值在v處提取出特征，為了提高網(wǎng)絡(luò)的空間靈敏度，在將特征向量傳遞給gcn之前，先將頂點(diǎn)位置添加到特征向量中。

25、優(yōu)選的，所述步驟s3中，空間觀測是從2d切片轉(zhuǎn)換到3d體積，使用2dunet網(wǎng)絡(luò)對信息進(jìn)行編碼并從二維切片中獲得二維特征圖，有效地對時(shí)間步長為t的s個(gè)二維切片進(jìn)行編碼，并創(chuàng)建一個(gè)三維體其中選定的切片填充了實(shí)際圖像數(shù)據(jù)，其他被零填充，利用3dnnunet去生成3d特征圖其中c是通道的數(shù)量。

26、優(yōu)選的，所述步驟s3中，在1d觀測中，對于像左心肌容量這樣的1d信號，使用2層mlp網(wǎng)絡(luò)將其進(jìn)行編碼，并參考transformer中的設(shè)計(jì)，將編碼結(jié)果作為位置嵌入其中c是特征維度。

27、優(yōu)選的，所述步驟s4中，聚合空間信息的具體公式如下所示：

28、

29、第一個(gè)公式表示頂點(diǎn)特征通過相應(yīng)位置的三次線性插值提取，后續(xù)三個(gè)公式來逐步更新頂點(diǎn)位置匯總空間信息，以上公式重復(fù)s次，以上結(jié)合了隱式方法現(xiàn)狀建模在細(xì)節(jié)形狀把控的優(yōu)勢，以及基于網(wǎng)格方法建模在運(yùn)動建模的優(yōu)勢，將兩者結(jié)合提出一種混合表示增強(qiáng)的建模方法，充分發(fā)揮出兩種方法的優(yōu)勢。

30、優(yōu)選的，所述步驟s5，監(jiān)督學(xué)習(xí)方法的具體步驟如下：

31、步驟s5.1、形狀重建階段：每次的迭代訓(xùn)練中，隨機(jī)選擇一個(gè)圖像i，以及它對應(yīng)的真實(shí)值網(wǎng)格和分割標(biāo)注進(jìn)一步的，假設(shè)是模型的預(yù)測值，其中是輸出四面體，lp是nnunet模型輸出的分割預(yù)測結(jié)果，訓(xùn)練的loss公式如下：

32、

33、其中是chamfer距離損失，用于衡量預(yù)測的網(wǎng)格與真實(shí)網(wǎng)格mgt之間的距離，chamfer距離損失是衡量兩個(gè)點(diǎn)集之間相似度的指標(biāo)，計(jì)算了兩個(gè)方向上的最小距離的平均值；是l1損失，用于監(jiān)督四面體網(wǎng)格頂點(diǎn)預(yù)測的符號距離函數(shù)sdf值與地面真實(shí)sdf值，用于懲罰預(yù)測值與真實(shí)值之間的差異；是交叉熵?fù)p失，用于計(jì)算預(yù)測的分割圖lp和真實(shí)值lgt的差異，即衡量模型預(yù)測的概率分布與真實(shí)標(biāo)簽的概率分布之間的差異，λcd、λsdf、λce是超參數(shù)，用于平衡各個(gè)損失值，這里分別取1.0、0.1以及0.1；

34、步驟s5.2、在運(yùn)動學(xué)習(xí)階段，目標(biāo)是訓(xùn)練一個(gè)模型，1d信號來預(yù)測心臟在3d空間中的動態(tài)變形，訓(xùn)練流程如下，首先初始化觀測編碼器，從形狀重建模型中初始化觀測編碼器，這個(gè)編碼器負(fù)責(zé)將2d或1d觀測數(shù)據(jù)轉(zhuǎn)換為特征圖，其次選擇4dm數(shù)據(jù)集和acdc數(shù)據(jù)集進(jìn)行訓(xùn)練，對于4dm數(shù)據(jù)集隨機(jī)選擇兩個(gè)幀作為訓(xùn)練樣本，對于acdc數(shù)據(jù)集，選擇ed或es幀作為起始幀，另一個(gè)隨機(jī)幀作為目標(biāo)幀，使用2d切片時(shí)，從標(biāo)記幀中隨機(jī)選擇1到d個(gè)2d切片，并構(gòu)建偽3d體積il，其中未選擇的切片位置被零填充，隨后使用nnunet從完整的3d圖像和偽3d體積中分別生成特征圖之后使用變形模型結(jié)合gcn和gru根據(jù)特征圖預(yù)測從起始幀到目標(biāo)幀的變形，最后計(jì)算損失函數(shù)，結(jié)合chamfer距離和特征蒸餾損失，具體公式如下所示：

35、

36、其中，是以作為輸入，經(jīng)過變形模型后生成的預(yù)測網(wǎng)格結(jié)果；ml是真實(shí)網(wǎng)格結(jié)果，是蒸餾損失，蒸餾損失通過比較部分觀測編碼的特征圖和完整編碼特征圖實(shí)現(xiàn)，是chamfer距離損失，用于衡量預(yù)測的變形網(wǎng)格和真實(shí)網(wǎng)格之間的距離，主要用于評估模型從部分觀測推斷出的運(yùn)動的準(zhǔn)確性。

37、優(yōu)選的，所述步驟s5.2中，訓(xùn)練的目標(biāo)為2dmri切片模型。

38、優(yōu)選的，所述步驟s5.2中，4dm數(shù)據(jù)集提供了所有幀的真實(shí)分割標(biāo)注和網(wǎng)格標(biāo)注，acdc數(shù)據(jù)集僅在舒張末期和收縮末期階段提供了標(biāo)注。

39、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果如下：

40、1、針對稀疏數(shù)據(jù)的重建問題，本發(fā)明使用deepmarchingtetrahedra技術(shù)，將3d空間離散化為一個(gè)可變形的四面體網(wǎng)格，每個(gè)頂點(diǎn)被賦予一個(gè)符號距離函數(shù)，用于估計(jì)整個(gè)體積中的目標(biāo)sdf，這種方法的理論分辨率是無限的，與基于體素的方法不同，同時(shí)能夠模擬對象表面內(nèi)部的交互，與簡單的三角剖分不同。

41、2、針對模態(tài)數(shù)據(jù)的融合問題，本發(fā)明設(shè)計(jì)一個(gè)通用的觀測編碼器來處理不同信號的信息，并且對于2d切片，該框架創(chuàng)建一個(gè)3d體積，其中選定的切片填充實(shí)際圖像數(shù)據(jù)，使用nnu-net生成3d特征圖，保證2d切片之間可以進(jìn)行交互，同時(shí)能夠處理任意數(shù)量的切片，對于1d信號，本發(fā)明使用一個(gè)2層mlp進(jìn)行編碼，作為位置嵌入，并將其廣播到的每個(gè)頂點(diǎn)，使模型在心臟成像和干預(yù)中富有多模態(tài)數(shù)據(jù)的處理能力。

42、3、針對保持解剖學(xué)一致性的問題，本發(fā)明通過結(jié)合圖卷積網(wǎng)絡(luò)和門控循環(huán)單元來預(yù)測每個(gè)頂點(diǎn)的偏移量，而不是直接預(yù)測最終位置，這種方法允許模型以自然和連貫的方式模擬心臟的動態(tài)變形，通過三線性插值提取特征、gcn聚合空間信息、gru更新頂點(diǎn)狀態(tài)，以及mlp預(yù)測頂點(diǎn)偏移，能夠有效地從前向流動變形中捕捉心臟的復(fù)雜運(yùn)動，同時(shí)保持計(jì)算效率和對實(shí)時(shí)數(shù)據(jù)變化的快速適應(yīng)性。

43、4、針對多方向運(yùn)動捕捉的問題，本發(fā)明通過使用gru和mlp的組合來實(shí)例化變形模型，這允許模型有效地聚合空間信息并更新頂點(diǎn)位置，gru層能夠處理時(shí)間序列數(shù)據(jù)，捕捉心臟運(yùn)動的動態(tài)變化，而mlp層則用于預(yù)測頂點(diǎn)的偏移量。這種組合使得模型能夠捕捉到心臟的多方向運(yùn)動，同時(shí)保持運(yùn)動的連貫性和合理性。