本發(fā)明涉及生物信息學(xué)，具體涉及基于概率圖模型的圖像配準(zhǔn)方法及系統(tǒng)。

背景技術(shù)：

1、基于下一代測序(ngs)的空間轉(zhuǎn)錄組學(xué)(spatial?transcriptomics,st)技術(shù)，系統(tǒng)地生成整個組織樣本中基因表達的空間測量值，從而彌合空間信息和整個轉(zhuǎn)錄組之間的差距(a.rao,d.barkley,g.s.fran，ca,and?i.yanai,“exploring?tissue?architectureusing?spatial?transcriptomics,”nature,vol.596,no.7871,pp.211–220,2021.)。先進的空間轉(zhuǎn)錄組學(xué)平臺，如stereo-seq(a.chen,s.liao,k.ma,l.wu,y.lai,j.yang,w.li,j.xu,s.hao,x.chen,et?al.,“l(fā)arge?field?ofview-spatially?resolvedtranscriptomics?at?nanoscale?resolution,”biorxiv,2021.)或seq-scope(c.-s.cho,j.xi,y.si,s.-r.park,j.-e.hsu,m.kim,g.jun,h.m.kang,and?j.h.lee,“microscopicexamination?of?spatial?transcriptome?using?seq-scope,”cell,vol.184,no.13,pp.3559–3572,2021.)實現(xiàn)了納米級分辨率，能夠確定rna測序數(shù)據(jù)的亞細(xì)胞劃分和可視化。然而，對于當(dāng)前具有納米級分辨率的st技術(shù)，很難將轉(zhuǎn)錄組圖像(基因表達矩陣圖像)的點準(zhǔn)確分配給特定的細(xì)胞器或細(xì)胞。

2、可以通過不同方式利用有關(guān)基因表達的信息，例如，表征基因表達模式或?qū)M織中的細(xì)胞類型進行分類(m.saiselet,j.rodrigues-vit′oria,a.tourneur,l.craciun,a.spinette,d.lar-simont,g.andry,j.lundeberg,c.maenhaut,and?v.detours,“transcriptional?output,cell-type?densities,and?normalization?in?spatialtranscriptomics,”journal?of?molecular?cell?biology,vol.12,no.11,pp.906–908,2020.；w.-t.chen,a.lu,k.craessaerts,b.pavie,c.s.frigerio,n.corthout,x.qian,j.lalakov′a,m.ku?hnemund,i.voytyuk,et?al.,“spatial?transcriptomics?and?insitu?sequencing?to?studyalzheimer’s?disease,”cell,vol.182,no.4,pp.976–991,2020.；k.rohr,landmark-based?image?analysis:using?geometric?and?intensitymodels,vol.21,springer?science&business?media,2001.)。然而，轉(zhuǎn)錄組圖像中缺乏明顯的細(xì)胞邊界給自動化分析帶來了巨大挑戰(zhàn)。轉(zhuǎn)錄組圖像和免疫染色圖像的快速準(zhǔn)確配準(zhǔn)有助于將表達的基因分配給特定細(xì)胞，從而能夠研究亞細(xì)胞基因表達模式。

3、先前關(guān)于空間轉(zhuǎn)錄組學(xué)圖像數(shù)據(jù)的自動配準(zhǔn)的工作中，介紹的方法較少。a.a.goshtasby發(fā)表的一篇文章了描述了一種基于多信息的方法，用于配準(zhǔn)來自人類細(xì)胞圖譜項目的多路原位測序(iss)數(shù)據(jù)集(a.a.goshtasby,2-d?and?3-d?imageregistration:for?medical,remote?sensing,and?industrial?applications,johnwiley&sons,2005.)，其中利用多信息定義為聯(lián)合分布和邊際分布乘積之間的kl散度，并與fri(有限創(chuàng)新率)采樣和群體優(yōu)化結(jié)合使用。然而，該方法的計算成本很高，因為多信息的計算成本很高。

4、盡管原位測序(生成轉(zhuǎn)錄組圖像)和免疫染色是在同一個組織上進行的，但有多種因素會導(dǎo)致空間偏移，例如樣品制備過程和組織透化后rna的分散。兩個圖像的手動對齊非常耗時，并且在大多數(shù)情況下只能實現(xiàn)部分對齊。因此，需要有效和準(zhǔn)確地配準(zhǔn)具有數(shù)萬個細(xì)胞的大規(guī)模轉(zhuǎn)錄組圖像和免疫染色圖像的方法。

技術(shù)實現(xiàn)思路

1、本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。為此，本發(fā)明的一個目的在于提供一種用于轉(zhuǎn)錄組圖像數(shù)據(jù)的多模態(tài)配準(zhǔn)的概率方法，該方法聯(lián)合利用強度信息和圖像特征，確定了免疫染色圖像和基因表達矩陣圖像之間的轉(zhuǎn)換關(guān)系。

2、為此，本發(fā)明第一方面提供一種基于概率圖模型的圖像配準(zhǔn)方法。根據(jù)本發(fā)明的實施方案，所述圖像配準(zhǔn)方法包括：

3、(1)獲取待檢測組織樣本的免疫染色圖像和基因表達矩陣圖像；

4、(2)利用所述免疫染色圖像和基因表達矩陣圖像中檢測到的點的位置信息，基于貝葉斯框架，使用互信息和點集距離作為度量，獲得所述度量最大化時對應(yīng)的將所述免疫染色圖像和基因表達矩陣圖像進行旋轉(zhuǎn)對齊的參數(shù)向量；

5、(3)基于所述參數(shù)向量，實現(xiàn)所述免疫染色圖像和基因表達矩陣圖像的配準(zhǔn)。

6、本發(fā)明提出了一種用于配準(zhǔn)和分析轉(zhuǎn)錄組圖像和免疫染色圖像的概率方法，該方法基于粒子濾波器，并聯(lián)合利用強度信息和圖像特征。將該方法應(yīng)用于合成數(shù)據(jù)以及真實轉(zhuǎn)錄組圖像和免疫染色顯微鏡圖像，能夠準(zhǔn)確地配準(zhǔn)了多模態(tài)圖像。在本發(fā)明的一些實施方案中，步驟(1)進一步包括利用無監(jiān)督網(wǎng)絡(luò)對所述基因表達矩陣圖像進行去噪。

7、在本發(fā)明的一些實施方案中，所述無監(jiān)督網(wǎng)絡(luò)為cyclegan網(wǎng)絡(luò)。

8、本發(fā)明所述的基于概率圖模型的圖像配準(zhǔn)方法，采用特定的無監(jiān)督網(wǎng)絡(luò)進行去噪，以利于后續(xù)的圖像處理算法能夠更好的進行特征提取和配準(zhǔn)。

9、在本發(fā)明的一些實施方案中，步驟(2)進一步包括利用粒子濾波器獲得最優(yōu)的所述參數(shù)向量。

10、在本發(fā)明的一些實施方案中，所述參數(shù)向量為5d參數(shù)向量。

11、本發(fā)明第二方面提供一種獲取具有細(xì)胞輪廓信息的多模態(tài)圖像的方法。根據(jù)本發(fā)明的實施方案，所述方法包括：

12、1)利用第一方面所述的基于概率圖模型的圖像配準(zhǔn)方法，獲得待檢測組織樣本的免疫染色圖像和基因表達矩陣圖像的配準(zhǔn)后的多模態(tài)圖像；

13、2)基于所述多模態(tài)圖像，利用空間分割算法，確定細(xì)胞區(qū)域，以便獲得具有細(xì)胞輪廓信息的多模態(tài)圖像。

14、傳統(tǒng)上，圖像處理和分析主要基于圖像的灰度值信息。然而，僅使用圖像灰度值信息可能會忽略圖像中的一些重要特征。因此，本發(fā)明利用獲得的多模態(tài)圖像，引入了特征點的信息，這些特征點通常代表了圖像中的顯著特征或關(guān)鍵結(jié)構(gòu)。基于配準(zhǔn)后的多模態(tài)圖像，利用空間分割算法，可獲得具有細(xì)胞輪廓信息的多模態(tài)圖像。利用多模態(tài)圖像數(shù)據(jù)進行特征提取，其中不僅包括了圖像的灰度值信息，還包括了特征點的信息。綜合利用這兩種數(shù)據(jù)源的信息，能夠得到更加精確的結(jié)果。

15、具體地，通過使用多模態(tài)數(shù)據(jù)進行特征提取，可以從不同的角度捕捉圖像的信息。圖像灰度值提供了圖像的整體視覺特征，而特征點信息則關(guān)注于圖像中的局部細(xì)節(jié)。這種綜合使用多模態(tài)數(shù)據(jù)的方法使得可以更全面地描述圖像，并且能夠更好地區(qū)分不同的目標(biāo)或圖像區(qū)域。

16、通過將多模態(tài)數(shù)據(jù)的特征進行融合，可以獲得更準(zhǔn)確的特征表示。這些更準(zhǔn)確的特征表示可以用于各種任務(wù)，例如目標(biāo)檢測、圖像分類或圖像分割等。因此，本發(fā)明在提高結(jié)果的精確性方面具有重要的意義，并對進一步的研究和應(yīng)用提供了有價值的啟示。

17、在本發(fā)明的一些實施方案中，所述空間分割算法包括選自voronoi鑲嵌、k-means聚類算法、dbscan密度聚類算法、層次聚類算法、高斯混合模型、均值漂移算法中的至少之一。

18、本發(fā)明第三方面提供一種基于概率圖模型的圖像配準(zhǔn)系統(tǒng)。根據(jù)本發(fā)明的實施方案，包括：

19、圖像獲取模塊，所述圖像獲取模塊用于獲取待檢測組織樣本的免疫染色圖像和基因表達矩陣圖像；

20、參數(shù)向量獲取模塊，所述參數(shù)向量獲取模塊與所述圖像獲取模塊相連，所述參數(shù)向量獲取模塊用于利用所述免疫染色圖像和基因表達矩陣圖像中檢測到的點的位置信息，基于貝葉斯框架，使用互信息和點集距離作為度量，獲得所述度量最大化時對應(yīng)的將所述免疫染色圖像和基因表達矩陣圖像進行旋轉(zhuǎn)對齊的參數(shù)向量；

21、圖像配準(zhǔn)模塊，所述圖像配準(zhǔn)模塊與所述參數(shù)向量獲取模塊相連，所述圖像配準(zhǔn)模塊用于基于所述參數(shù)向量，實現(xiàn)所述免疫染色圖像和基因表達矩陣圖像的配準(zhǔn)。

22、在本發(fā)明的一些實施方案中，所述圖像獲取模塊進一步包括用于利用無監(jiān)督網(wǎng)絡(luò)對所述基因表達矩陣圖像進行去噪。

23、在本發(fā)明的一些實施方案中，所述無監(jiān)督網(wǎng)絡(luò)為cyclegan網(wǎng)絡(luò)。

24、本發(fā)明所述的基于概率圖模型的圖像配準(zhǔn)系統(tǒng)，采用特定的無監(jiān)督網(wǎng)絡(luò)進行去噪，以利于后續(xù)的圖像處理算法能夠更好的進行特征提取和配準(zhǔn)。

25、在本發(fā)明的一些實施方案中，所述參數(shù)向量獲取模塊進一步包括利用粒子濾波器獲得最優(yōu)的所述參數(shù)向量。

26、在本發(fā)明的一些實施方案中，所述參數(shù)向量為5d參數(shù)向量。

27、本發(fā)明第四方面提供一種電子設(shè)備。根據(jù)本發(fā)明的實施方案，所述電子設(shè)備包括：

28、存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時，實現(xiàn)第一方面所述的基于概率圖模型的圖像配準(zhǔn)方法或者第二方面所述的獲取具有細(xì)胞輪廓信息的多模態(tài)圖像的方法。

29、本發(fā)明第五方面提供一種可讀存儲介質(zhì)。根據(jù)本發(fā)明的實施方案，所述可讀存儲介質(zhì)存儲有計算機可讀指令，所述計算機可讀指令用于使計算機執(zhí)行第一方面所述的基于概率圖模型的圖像配準(zhǔn)方法或者第二方面所述的獲取具有細(xì)胞輪廓信息的多模態(tài)圖像的方法。

30、通過基于圖像的空間轉(zhuǎn)錄組學(xué)技術(shù)觀察基因表達的空間特征，可以研究不同細(xì)胞和細(xì)胞內(nèi)結(jié)構(gòu)的基因活性。本發(fā)明提出了一種用于配準(zhǔn)和分析轉(zhuǎn)錄組圖像和免疫染色圖像的概率方法，該方法基于粒子濾波器，并聯(lián)合利用強度信息和圖像特征。將該方法應(yīng)用于合成數(shù)據(jù)以及小鼠大腦的真實轉(zhuǎn)錄組圖像和免疫染色顯微鏡圖像，能夠準(zhǔn)確地配準(zhǔn)了多模態(tài)圖像，并且比最先進的方法產(chǎn)生了更好的結(jié)果。

31、本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。