本公開內容涉及生成用于醫(yī)學成像裝置的協議的方法、訓練在該方法中使用的大語言模型的方法和數據處理裝置。

背景技術：

1、為了執(zhí)行醫(yī)學成像過程以使得獲得令人滿意的圖像，成像裝置必須被正確地配置。在成像任務期間所使用的一組輸入參數被稱為“成像協議”或“醫(yī)學成像協議”。醫(yī)學成像協議是概述如何進行特定醫(yī)學成像檢查的預定義過程或一組準則。這些協議旨在標準化成像處理，以確保一致性和再現性，同時還確保成像過程提供必要的診斷信息，并且使患者暴露于諸如輻射的潛在風險最小化?？梢栽卺t(yī)學成像協議中指定的值的示例包括模態(tài)，該模態(tài)是指所使用的成像技術的類型，例如，x射線、計算機斷層掃描(ct)、磁共振成像(mri)、超聲或正電子發(fā)射斷層掃描(pet)。該協議還包括由成像裝置使用的特定參數。例如，在mri協議中，這些特定參數可以包括磁場強度、回波時間、重復時間、反轉時間和翻轉角度。對于ct協議，參數可以包括管電流、管電壓、旋轉時間和切片厚度。一些協議可以指定對比劑的使用(包括對比劑的類型、劑量和其施用的時機)以增強特定組織或結構的可見性。協議還可以提供用于在掃描儀中定位患者的指令，并且對于模態(tài)如mri，協議可以指定在組織之間提供不同類型的對比的特定序列的使用。

2、醫(yī)學成像裝置的用戶例如放射照相技術員，通常需要廣泛的培訓以便熟悉裝置的(通常許多的)特征和各種輸入參數。為了針對預期成像任務選擇一組最佳的成像協議參數，用戶可以參考相關或類似的先前掃描、成像協議和患者結果。為了正確地解釋這樣的信息，用戶可能已經獲取了多年的經驗。

3、即使對于有經驗的成像裝置用戶，針對每個成像任務定義正確的協議也可能具有挑戰(zhàn)性。不正確或次優(yōu)的成像協議可能導致需要重復成像任務(假設檢測到協議缺陷)，甚至可能對患者護理產生不利影響。

4、為了改進編譯協議的步驟，成像裝置的供應商可以提供模板，例如，用于特定成像任務(例如，頸部ct、肩部mrt等)的模板。放射照相技術員可以選擇合適的協議并進行必要的調整，以使該協議適合于特定患者，并且交叉驗證以確保該協議符合任何相關的協議手冊，例如，該特定場所或診所的協議手冊。

5、此外，不同場所之間的標準化的缺乏以及有經驗的操作者之間不同的個人偏好可能導致圖像質量、輻射劑量和診斷結果的顯著差異，即使對于相同的患者和相同的成像任務也是如此。缺乏經驗的操作者可能發(fā)現很難組合出最佳協議或從手冊中選擇最合適的協議，并且所得到的診斷圖像的質量可能是次優(yōu)的，這對患者護理有不利影響。因此，已知的方法是耗時且容易出錯的。

6、克服這些問題的一種可能的方式可以是針對場所例如在醫(yī)院的放射科中建立令人滿意的協議集合。隨著時間的推移，該集合可以包括數千個協議。放射照相技術員可以帶著找到過去針對類似患者創(chuàng)建的用于特定成像任務的協議的期望搜索這個全面的“協議庫”。然而，編譯最初提交的這樣的集合將需要非常長的時間，在此期間將需要對許多不同類型的患者進行數千次成像任務，以便建立足夠大的數據庫。

7、在另一種情況下，若干場所將共享其醫(yī)學成像協議集合。然而，這個選項由于需要確保患者隱私而被有效地排除。通常，任何醫(yī)療場所都確保其患者數據被安全地存儲，例如，圖像和協議可以被存儲在本地pacs(圖片存檔和通信系統)中，該本地pacs僅對經授權的場所工作人員或安裝在該場所中的程序可訪問。

技術實現思路

1、因此，本發(fā)明的目的是提供一種獲得醫(yī)學圖像協議的安全且直接的方式。

2、該目的通過所要求保護的生成用于醫(yī)學成像裝置的協議并為此目的訓練大語言模型的計算機實現的方法以及通過所要求保護的數據處理裝置來實現。

3、例如由放射照相技術員使用本發(fā)明的生成醫(yī)學成像協議的計算機實現的方法以生成用于輸入至安裝在特定客戶地點處、例如在醫(yī)院或診所中的醫(yī)學成像裝置的協議。本發(fā)明的計算機實現的方法包括以下步驟：提供被訓練以生成同態(tài)加密醫(yī)學成像協議的同態(tài)加密大語言模型；獲得用于預期醫(yī)學成像任務的患者特定輸入數據；對患者特定輸入數據執(zhí)行同態(tài)加密；以及將經同態(tài)加密的患者特定輸入數據應用于經訓練的同態(tài)加密大語言模型。然后，對所生成的同態(tài)加密醫(yī)學成像協議執(zhí)行同態(tài)解密以獲得純文本醫(yī)學成像協議。在本發(fā)明的方法中，使用特定于客戶地點的第一加密方案和特定于大語言模型的供應商的第二加密方案來進行同態(tài)加密和解密。地點特定和供應商特定的加密/解密密鑰可以以已建立的方式存儲在密鑰存儲中，例如，存儲在經認證的網關裝置中。

4、本發(fā)明的訓練用于在上述方法中使用的大語言模型的計算機實現的方法包括以下步驟：修改大語言模型以包括同態(tài)加密層架構；基于用于安裝在特定客戶地點處的醫(yī)學成像裝置的成像協議來獲得同態(tài)加密訓練數據；以及在同態(tài)加密訓練數據上訓練同態(tài)加密大語言模型以生成同態(tài)加密醫(yī)學成像協議。此外，使用第一(即，地點特定的)加密方案和第二(即，供應商特定的)加密方案進行同態(tài)加密和解密。

5、本發(fā)明的方法的優(yōu)點在于，它提供了一種使用供應商提供的機器學習工具根據有利的大量醫(yī)學成像協議數據集合進行學習的方式，同時遵守患者數據隱私約束。同態(tài)加密大語言模型由供應商提供，該供應商還可以向各種其他客戶提供相同的大語言模型(llm)的實例。供應商還可以向多個客戶提供數據處理服務。由本發(fā)明的方法部署的雙方案加密允許在客戶地點處執(zhí)行數據處理步驟，但也允許異地(例如，在供應商地點處)執(zhí)行數據處理步驟，而不損害患者數據隱私。以這種方式，本發(fā)明的方法使得供應商(或該供應商的任何其他客戶)不可能在本發(fā)明的方法中的任何階段訪問任何患者數據。敏感的患者數據保留在現場(例如，在診所網絡內)，并且離開地點的任何數據不再是人類可讀的，即，不再是對人類讀者有意義的形式。

6、此外，本發(fā)明的計算機實現的方法可以快速地針對用戶生成成像協議，并且因此可以有助于優(yōu)化客戶地點(例如，醫(yī)院、診所或類似場所)處的成像工作流程。用戶(例如放射照相技術員)僅需要提供基本信息，例如，患者特定數據、預期成像任務的描述符等。

7、本發(fā)明的數據處理裝置包括：用于提供同態(tài)加密大語言模型的裝置；模型開發(fā)階段，其被配置成開發(fā)和訓練同態(tài)加密大語言模型以根據輸入文本創(chuàng)建同態(tài)加密輸出文本；用于獲得預期醫(yī)學成像任務的患者特定輸入文本的裝置；以及協議生成階段，其被配置成將患者特定輸入數據應用于經訓練的同態(tài)加密大語言模型以獲得用于預期成像任務的純文本醫(yī)學成像協議。

8、數據處理裝置可以以計算機程序模塊的形式實現，該計算機程序模塊可以在任何合適的平臺上運行并且包括用于執(zhí)行本發(fā)明的計算機實現的方法的步驟的程序單元。在本發(fā)明的上下文中，具有用于接收同態(tài)加密供應商模型和地點特定輸入數據的輸入的裝置以及輸出經訓練的大語言模型的裝置的計算機程序模塊在本文中被稱為數據處理裝置的“模型訓練階段”；具有接收經訓練的同態(tài)加密大語言模型和患者特定輸入數據的裝置以及輸出純文本醫(yī)學成像協議的裝置的計算機程序模塊在本文中被稱為數據處理裝置的“協議生成階段”。本發(fā)明的數據處理裝置可以是分布式系統，其中例如，單元和模塊適當地分布在客戶地點和供應商地點上。

9、本發(fā)明的計算機實現的方法可以由臨床醫(yī)生，例如，放射照相技術員或放射科醫(yī)生使用。計算機程序產品可以被配置成以任何合適的方式(例如，在諸如臺式計算機、平板計算機等的裝置的屏幕上顯示)向用戶呈現所生成的成像協議。

10、特別地，所生成的純文本醫(yī)學成像協議可以用于控制安裝在特定地點處的醫(yī)學成像裝置。在一個實施方式中，醫(yī)學成像協議可以用于管理醫(yī)學成像裝置的操作，例如，啟動、暫?；蚪K止成像過程。在另一實施方式中，醫(yī)學成像協議可以用于調整裝置的成像參數，所述成像參數包括但不限于成像信號(x射線信號、磁信號和射頻信號)的強度、頻率和持續(xù)時間。

11、本發(fā)明的目的還通過一種具有計算機程序的計算機程序產品來實現，所述計算機程序直接加載到數據處理裝置的存儲器中，并且所述計算機程序產品包括用于在執(zhí)行所述程序時執(zhí)行本發(fā)明的計算機實現的方法的步驟的程序單元。計算機程序產品可以存儲在計算機可讀數據載體上。

12、如在下面的描述中所揭示的，本發(fā)明的特別有利的實施方式和特征由從屬權利要求給出?？梢赃m當地組合不同權利要求類別的特征以給出本文中未描述的另外的實施方式。

13、如在本發(fā)明的上下文中所使用的，術語“患者特定輸入數據”可以指代對個體患者唯一并且在該患者的醫(yī)療保健管理的上下文中使用的任何數據。這樣的數據通常用于通知臨床決策、指導治療計劃和監(jiān)測患者進度，并且可以從各種來源獲得，所述來源包括病史、體檢、實驗室測試、成像研究和患者報告的結果?；颊咛囟ㄝ斎霐祿氖纠ㄈ丝诮y計信息(包括患者的年齡、性別、種族和可能影響健康結果的其他社會經濟因素)、病史(其涵蓋過去和現在的疾病、手術、過敏和藥物使用)、體檢發(fā)現(例如，由醫(yī)療保健提供者在體檢期間進行的觀察，例如，心率、血壓和來自各種身體系統的檢查的發(fā)現)和/或實驗室測試結果(從生物樣品，例如，血液或尿液的分析獲得的定量和定性數據，包括諸如血糖水平、膽固醇水平和全血細胞計數結果的值)。在成像協議的編譯中使用的任何患者特定輸入數據通常是單詞和數字的形式，并且也可以被稱為“患者特定輸入文本”。

14、在本發(fā)明的上下文中，供應商應當被理解為向客戶供應醫(yī)學成像裝置以及還向客戶供應用于操作裝置的軟件。相同供應商還可以向客戶提供用于執(zhí)行本發(fā)明的計算機實現的方法的數據處理裝置。

15、所生成或所合成的協議預期的成像模態(tài)或醫(yī)學成像裝置可以是ct裝置、mri裝置、pet裝置、單光子發(fā)射計算機斷層掃描(spect)裝置、x射線裝置等。術語“醫(yī)學成像協議”、“成像協議”和簡稱“協議”可以互換地使用。

16、在本發(fā)明的上下文中，諸如“機器學習算法”、“大語言模型”、“人工智能工具”和“ai模型”的表達應當被理解為同義詞，并且可以互換地使用。大語言模型是特別適合于涉及文本理解或文本生成的應用的人工神經網絡。機器學習算法被訓練成僅使用多個患者特定參數來生成用于預期成像任務的醫(yī)學成像協議?？梢允褂萌魏魏线m的llm架構，例如，長短期記憶(lstm)網絡架構。所選擇的llm架構由供應商進一步修改和更新，以包括用于根據本發(fā)明的高度安全的隱私保護機器學習方法的同態(tài)加密層架構。可以實現諸如交叉熵損失函數模塊和adam優(yōu)化器模塊的另外的算法。本發(fā)明的方法所需的任何算法可以由供應商和/或第三方提供。

17、在準備階段，利用如上所述的客戶加密方案和供應商加密方案來生成供應商模型的同態(tài)加密版本。如本領域技術人員已知的，同態(tài)加密是一種加密形式，其允許對密文執(zhí)行計算，從而生成加密結果，該加密結果在被解密時與對純文本執(zhí)行的操作的結果相匹配。該特性允許第三方系統在不需要解密數據的情況下處理數據，從而保護數據隱私性和數據安全性。在下文中將同態(tài)加密大語言模型稱為“he-llm”。

18、在本發(fā)明的方法中，訓練he-llm包括以下步驟：編譯訓練數據集；將地面真值分配給訓練數據集；以及將he-llm應用于訓練數據集以便近似于地面真值。針對所有可用的訓練數據集重復這些步驟并達合適的周期數，直到已經實現期望的準確度水平。

19、在本發(fā)明的方法中，訓練數據是基于先前已經在該客戶地點(本文中稱為場所)處創(chuàng)建的醫(yī)學成像協議的。例如，場所可以維護用于其成像模態(tài)的所有醫(yī)學成像協議的數據庫。如果需要，將協議轉換成通用格式，例如，合適的標記語言(例如，xml)。由于機器學習算法的準確性在很大程度上取決于其被訓練的數據集的數目，因此在本發(fā)明的優(yōu)選實施方式中，使用至少數百個醫(yī)學成像協議、更優(yōu)選地數千個醫(yī)學成像協議來訓練llm。

20、場所還可以部署醫(yī)學成像協議手冊，以確保在每個成像過程中場所特定的標準被遵守。因此，在本發(fā)明的特別優(yōu)選的實施方式中，協議數據包括用于醫(yī)學成像裝置的任何相關的醫(yī)學成像協議手冊。pdf格式的協議手冊可以被掃描和數字化，并且被轉換成用于協議的相同格式。

21、還可以利用以合成方式所生成的醫(yī)學成像協議和/或協議手冊來訓練llm，以便提高llm的準確性。通過在用于過去成像任務的數千個經驗證或經批準的協議上訓練llm，可以預期的是所合成的協議是非常精確的，使得本發(fā)明的方法可以有助于使患者被暴露的輻射劑量最小化。

22、為了準備訓練數據集，對每個輸入數據集執(zhí)行令牌化(tokenization)和填充。在令牌化期間，每個文檔的文本被轉換成令牌序列，并且每個令牌被分配一個數字。為了確保令牌化序列具有相同的長度，根據需要進行填充。在“清理”階段，去除重復或不相關的數據集。在完成該數據預處理階段時，經填充的令牌化數據集被劃分為訓練子集、驗證子集和測試子集。

23、然后使用如上面所說明的客戶加密方案和供應商加密方案對經填充的令牌化數據的每個子集執(zhí)行同態(tài)加密。在優(yōu)選的方法中，近似70％的同態(tài)加密數據集用于訓練模型，并且剩余的數據集用于測試階段和驗證階段，如本領域技術人員將已知的。當然，可以根據可用數據集的總數來調整子集大小，以進一步提高準確性。只有在該階段，即，在同態(tài)加密之后，改數據集才可以離開場所。由于數據不再是人類可讀的形式，因此確保了患者數據的安全性。

24、然后，嵌入層將加密令牌表示映射成保留加密令牌之間的語義關系的密集向量表示。所得到的加密密集向量傳遞通過具有整流線性單元(relu)形式的激活函數的加密密集(全連接)層。relu將非線性引入模型中，從而允許模型捕獲數據中的復雜關系。然后，應用softmax(歸一化指數函數)激活，以產生多個類別的概率分布，即，預測詞匯中的每個單詞是序列中的下一個單詞的可能性。結果是詞匯的概率分布。

25、然后，利用分類交叉熵損失函數的同態(tài)加密版本和adam優(yōu)化器的同態(tài)加密版本來編譯所構建的模型。分類交叉熵是用于多類分類問題的已知損失函數，該分類交叉熵將預測的概率分布與實際分布(通常是一次性編碼的向量)進行比較，從而允許模型確定其訓練進度。adam優(yōu)化器是一種用于在訓練期間使損失函數最小化的已知優(yōu)化算法。

26、然后，利用同態(tài)加密訓練數據和同態(tài)加密目標標簽來訓練所編譯的同態(tài)加密模型，以在給定單詞序列的情況下預測下一個單詞。在訓練期間，輸入數據包括來自訓練數據的令牌(單詞或子單詞)序列，并且目標標簽是緊接在訓練文本序列之后的令牌。

27、執(zhí)行訓練達合適的周期數，并且結果是經訓練的同態(tài)加密模型，該經訓練的同態(tài)加密模型在被饋送有適當的文本輸入時將合成同態(tài)加密醫(yī)學成像協議。訓練可以是被監(jiān)督的、無監(jiān)督的或自我監(jiān)督的。被監(jiān)督的訓練過程優(yōu)選地包括用于找到將使得he-llm能夠從輸入推斷出地面真值的最佳參數集的反向傳播的技術，在這種情況下，推斷最合適的協議條目以遵循先前的協議條目。訓練過程優(yōu)選地被配置成實現有利的低成本功能。當然，he-llm可以通過將任何經驗證的協議包括在訓練數據集中來繼續(xù)進行學習。

28、然后，每當用戶需要用于預期成像任務的醫(yī)學成像協議時，可以部署經訓練的同態(tài)加密模型。為了獲得成像協議，用戶準備初始輸入序列或種子文本。輸入序列可以包括多對字段描述符和字段值以表征患者(例如“patientid：pd0001”；“年齡：45”；“先前手術：無”等)。優(yōu)選地，協議生成階段對輸入序列執(zhí)行任何必要的令牌化和填充，并且對經令牌化和填充的數據執(zhí)行同態(tài)加密。利用該輸入，經訓練的同態(tài)加密模型(其可以在異地位置處、云計算平臺上等運行)創(chuàng)建同態(tài)加密文本，向場所處的用戶返回該同態(tài)加密文本。為了將所合成的協議轉換成可用的(即，人類可讀的)協議，隨后解密階段利用客戶加密方案和供應商加密方案應用同態(tài)解密以獲得純文本輸出協議，然后例如在臺式計算機的監(jiān)視器上向用戶呈現該純文本輸出協議。所合成的協議的字段可以與標準協議的字段一起呈現，使得用戶可以容易地識別這些字段的值之間的任何差異。例如，如果所合成的協議的參數“t1加權的tr”建議500ms的值，并且標準協議的對應字段給出400ms至800ms的范圍，則用戶可以確定建議值是可接受的。