本發(fā)明實(shí)施例涉及醫(yī)療數(shù)據(jù)處理，具體涉及一種基于健康體檢數(shù)據(jù)的數(shù)據(jù)治理方法、系統(tǒng)、設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、在當(dāng)今數(shù)字化醫(yī)療快速發(fā)展的時(shí)代，醫(yī)療數(shù)據(jù)的價(jià)值日益凸顯，尤其在健康管理領(lǐng)域，健康體檢數(shù)據(jù)作為重要的醫(yī)療信息來源，對于疾病預(yù)防、診斷和治療決策起著關(guān)鍵作用。然而，目前健康體檢數(shù)據(jù)的應(yīng)用面臨著諸多亟待解決的問題。

2、首先，“數(shù)據(jù)孤島”?現(xiàn)象嚴(yán)重。不同醫(yī)療機(jī)構(gòu)之間的數(shù)據(jù)難以實(shí)現(xiàn)有效共享與流通。各個(gè)醫(yī)療機(jī)構(gòu)往往基于自身的業(yè)務(wù)系統(tǒng)和管理模式來收集、存儲和管理數(shù)據(jù)，這些系統(tǒng)在數(shù)據(jù)格式、標(biāo)準(zhǔn)和接口等方面存在差異，導(dǎo)致數(shù)據(jù)無法在不同機(jī)構(gòu)間順暢交互。例如，一家私立?？漆t(yī)院可能采用一套特定的數(shù)據(jù)格式來記錄體檢結(jié)果，而與之相鄰的公立綜合醫(yī)院則使用另一套不同的標(biāo)準(zhǔn)，這使得當(dāng)患者需要在不同醫(yī)院之間進(jìn)行轉(zhuǎn)診或接受連續(xù)的醫(yī)療服務(wù)時(shí)，醫(yī)生難以獲取完整的體檢數(shù)據(jù)，進(jìn)而影響對患者健康狀況的全面評估和準(zhǔn)確診斷。這種數(shù)據(jù)的孤立狀態(tài)不僅限制了醫(yī)療資源的優(yōu)化配置，還阻礙了醫(yī)學(xué)研究的深入開展，因?yàn)榭蒲腥藛T無法整合大量分散的數(shù)據(jù)進(jìn)行全面分析，難以挖掘出有價(jià)值的醫(yī)學(xué)信息和規(guī)律。

3、其次，數(shù)據(jù)質(zhì)量不高是一個(gè)突出問題。在數(shù)據(jù)采集過程中，存在各種各樣的錯(cuò)誤和遺漏。一方面，由于部分醫(yī)護(hù)人員操作不規(guī)范或?qū)?shù)據(jù)采集標(biāo)準(zhǔn)理解不一致，可能導(dǎo)致采集的數(shù)據(jù)不準(zhǔn)確。比如在測量患者身高、體重等基本信息時(shí)，未按照標(biāo)準(zhǔn)的測量方法進(jìn)行操作，或者在記錄數(shù)據(jù)時(shí)出現(xiàn)筆誤，使得采集到的數(shù)據(jù)與患者實(shí)際情況不符。另一方面，一些醫(yī)療設(shè)備本身存在精度問題或故障，也會影響數(shù)據(jù)的準(zhǔn)確性。例如，某些老舊的血液檢測設(shè)備可能給出偏差較大的檢測結(jié)果，而這些錯(cuò)誤數(shù)據(jù)一旦進(jìn)入數(shù)據(jù)庫，后續(xù)的分析和應(yīng)用就會建立在錯(cuò)誤的基礎(chǔ)之上，嚴(yán)重影響醫(yī)療決策的科學(xué)性和可靠性。

4、再者，數(shù)據(jù)利用率低的問題十分明顯。當(dāng)前，盡管健康體檢數(shù)據(jù)的規(guī)模不斷增長，但由于缺乏有效的治理和分析手段，大量數(shù)據(jù)未能得到充分挖掘和利用。數(shù)據(jù)治理涉及數(shù)據(jù)的規(guī)劃、采集、存儲、處理、分析和共享等多個(gè)環(huán)節(jié)，需要一套完善的體系和方法來確保數(shù)據(jù)的質(zhì)量、安全性和可用性。然而，許多醫(yī)療機(jī)構(gòu)在數(shù)據(jù)治理方面缺乏統(tǒng)一的規(guī)劃和標(biāo)準(zhǔn)，數(shù)據(jù)管理混亂，導(dǎo)致數(shù)據(jù)難以被有效整合和分析。同時(shí)，數(shù)據(jù)分析技術(shù)的應(yīng)用也相對滯后，大部分醫(yī)療機(jī)構(gòu)僅僅停留在對數(shù)據(jù)的簡單統(tǒng)計(jì)和報(bào)表生成上，無法運(yùn)用先進(jìn)的數(shù)據(jù)分析算法和模型，從海量數(shù)據(jù)中提取有價(jià)值的信息，如疾病的發(fā)病趨勢、危險(xiǎn)因素分析等。這使得寶貴的健康體檢數(shù)據(jù)無法充分發(fā)揮其應(yīng)有的作用，無法為醫(yī)療決策、疾病預(yù)防和健康管理提供有力支持。

技術(shù)實(shí)現(xiàn)思路

1、為此，本發(fā)明實(shí)施例提供一種基于健康體檢數(shù)據(jù)的數(shù)據(jù)治理方法、系統(tǒng)、設(shè)備及存儲介質(zhì)，以解決現(xiàn)有技術(shù)存在數(shù)據(jù)孤島、數(shù)據(jù)利用率低管理混亂的技術(shù)問題。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供如下技術(shù)方案：

3、根據(jù)本發(fā)明實(shí)施例的第一方面，提供了一種體檢數(shù)據(jù)的數(shù)據(jù)治理方法，所述方法包括：

4、采集醫(yī)聯(lián)體的健康體檢數(shù)據(jù)并結(jié)合國際標(biāo)準(zhǔn)、國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)以及醫(yī)聯(lián)體體檢數(shù)據(jù)制定體檢數(shù)據(jù)標(biāo)準(zhǔn)；

5、建立健康數(shù)據(jù)模型并獲取預(yù)設(shè)維度，利用所述預(yù)設(shè)維度對所述健康體檢數(shù)據(jù)進(jìn)行清洗，進(jìn)行數(shù)據(jù)質(zhì)量實(shí)時(shí)監(jiān)控；

6、從caché數(shù)據(jù)庫中獲取正在解析的表并選擇需要進(jìn)行核查的表生成核查任務(wù)進(jìn)行核查；

7、核查完成后獲取比對明細(xì)數(shù)據(jù)并生成比對報(bào)告，將比對明細(xì)數(shù)據(jù)寫入數(shù)據(jù)湖的臨時(shí)存儲；

8、獲取需要修復(fù)的數(shù)據(jù)并發(fā)送至緩存解析器，利用所述緩存解析器重發(fā)數(shù)據(jù)至下游完成數(shù)據(jù)質(zhì)量問題修復(fù)。

9、進(jìn)一步地，采集醫(yī)聯(lián)體的健康體檢數(shù)據(jù)并結(jié)合國際標(biāo)準(zhǔn)、國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)以及醫(yī)聯(lián)體體檢數(shù)據(jù)制定體檢數(shù)據(jù)標(biāo)準(zhǔn)，包括：

10、采集醫(yī)聯(lián)體的健康體檢數(shù)據(jù)包括：通過5g專網(wǎng)建設(shè)數(shù)據(jù)從庫或根據(jù)數(shù)據(jù)表單進(jìn)行數(shù)據(jù)回傳；

11、基于nlp對健康體檢數(shù)據(jù)長文本進(jìn)行結(jié)構(gòu)化處理，提取所需的數(shù)據(jù)指標(biāo)；

12、通過預(yù)設(shè)術(shù)語體系對所述數(shù)據(jù)指標(biāo)進(jìn)行ai標(biāo)記，識別相同結(jié)論或疾病，通過術(shù)語映射將相同結(jié)論/疾病的不同表述方式統(tǒng)一；

13、利用jdbc連接caché數(shù)據(jù)庫，獲取表的元數(shù)據(jù)；

14、對元數(shù)據(jù)進(jìn)行解析，提取表結(jié)構(gòu)信息和字段類型，將不支持的字段類型過濾；

15、若元數(shù)據(jù)獲取失敗，則拋出異常并進(jìn)行日志記錄，利用重試機(jī)制進(jìn)行重新獲取表的元數(shù)據(jù)。

16、進(jìn)一步地，建立健康數(shù)據(jù)模型并獲取預(yù)設(shè)維度，利用所述預(yù)設(shè)維度對所述健康體檢數(shù)據(jù)進(jìn)行清洗，進(jìn)行數(shù)據(jù)質(zhì)量實(shí)時(shí)監(jiān)控，包括：

17、所述預(yù)設(shè)維度包括：完整性、規(guī)范性、唯一性、一致性、準(zhǔn)確性、邏輯性和可用性；

18、完整性檢查及清洗內(nèi)容包括：數(shù)據(jù)總量完整性、數(shù)據(jù)指標(biāo)完整性、數(shù)據(jù)值完整性；

19、規(guī)范性檢查及清洗內(nèi)容包括：數(shù)據(jù)變屬性和標(biāo)準(zhǔn)；

20、唯一性檢查及清洗內(nèi)容包括：數(shù)據(jù)結(jié)果唯一性、數(shù)據(jù)字段唯一性、個(gè)人識別唯一性；

21、一致性檢查及清洗內(nèi)容包括：數(shù)據(jù)集間信息一致性、隨訪個(gè)人唯一識別一致性、相同體檢結(jié)論的命名一致性；

22、準(zhǔn)確性檢查及清洗內(nèi)容包括：錯(cuò)誤內(nèi)容、異常值或離群值；

23、邏輯性檢查及清洗內(nèi)容包括：識別糾正沖突數(shù)據(jù)；

24、可用性檢查及清洗內(nèi)容包括：數(shù)據(jù)格式轉(zhuǎn)換、編碼。

25、進(jìn)一步地，從caché數(shù)據(jù)庫中獲取正在解析的表并選擇需要進(jìn)行核查的表生成核查任務(wù)進(jìn)行核查，包括：

26、為每個(gè)表構(gòu)造一個(gè)核查任務(wù)，核查任務(wù)信息包括表名、字段信息、任務(wù)id、任務(wù)狀態(tài)和任務(wù)創(chuàng)建時(shí)間，封裝sql查詢語句并剔除計(jì)算字段和流類型字段；

27、利用jdbc連接任務(wù)調(diào)度數(shù)據(jù)庫，插入生成的核查任務(wù)信息；

28、所述任務(wù)調(diào)度數(shù)據(jù)庫內(nèi)包括任務(wù)調(diào)度表，用于存儲核查任務(wù)的元數(shù)據(jù)；

29、所述任務(wù)調(diào)度表包含任務(wù)id、任務(wù)狀態(tài)、sql語句、表名、字段信息和執(zhí)行時(shí)間。

30、進(jìn)一步地，從caché數(shù)據(jù)庫中獲取正在解析的表并選擇需要進(jìn)行核查的表生成核查任務(wù)進(jìn)行核查，還包括：

31、根據(jù)任務(wù)中的sql語句構(gòu)造flink作業(yè)，flink作業(yè)從caché數(shù)據(jù)庫和數(shù)據(jù)湖中讀取任務(wù)并進(jìn)行比對核查；

32、其中，所述任務(wù)為分布式執(zhí)行。

33、進(jìn)一步地，核查完成后獲取比對明細(xì)數(shù)據(jù)并生成比對報(bào)告，將比對明細(xì)數(shù)據(jù)寫入數(shù)據(jù)湖的臨時(shí)存儲，包括：

34、依據(jù)日期、表名的維度分區(qū)進(jìn)行存儲，所述比對明細(xì)數(shù)據(jù)包括：比對成功記錄、不一致記錄和異常記錄；

35、當(dāng)數(shù)據(jù)缺失或不一致時(shí)，發(fā)送數(shù)據(jù)修復(fù)請求至緩存解析器；

36、其中，所述比對明細(xì)數(shù)據(jù)以parquet或orc格式存儲。

37、進(jìn)一步地，獲取需要修復(fù)的數(shù)據(jù)并發(fā)送至緩存解析器，利用所述緩存解析器重發(fā)數(shù)據(jù)至下游完成數(shù)據(jù)質(zhì)量問題修復(fù)，包括：

38、獲取需要修復(fù)的數(shù)據(jù)并判斷修復(fù)類型；

39、如果修復(fù)類型為數(shù)據(jù)不一致時(shí)，對所述比對報(bào)告中的比對結(jié)果進(jìn)行數(shù)據(jù)質(zhì)量分析并對不一致的數(shù)據(jù)進(jìn)行修正；

40、如果修復(fù)類型為數(shù)據(jù)缺失/不完整則自動觸發(fā)補(bǔ)數(shù)據(jù)流程，與緩存解析器進(jìn)行對接，實(shí)時(shí)補(bǔ)全丟失的數(shù)據(jù)。

41、根據(jù)本發(fā)明實(shí)施例的第二方面，提供了一種體檢數(shù)據(jù)的數(shù)據(jù)治理系統(tǒng)，所述系統(tǒng)包括：

42、數(shù)據(jù)采集模塊，用于采集醫(yī)聯(lián)體的健康體檢數(shù)據(jù)并結(jié)合國際標(biāo)準(zhǔn)、國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)以及醫(yī)聯(lián)體體檢數(shù)據(jù)制定體檢數(shù)據(jù)標(biāo)準(zhǔn)；

43、監(jiān)控模塊，用于建立健康數(shù)據(jù)模型并獲取預(yù)設(shè)維度，利用所述預(yù)設(shè)維度對所述健康體檢數(shù)據(jù)進(jìn)行清洗，進(jìn)行數(shù)據(jù)質(zhì)量實(shí)時(shí)監(jiān)控；

44、核查模塊，用于從caché數(shù)據(jù)庫中獲取正在解析的表并選擇需要進(jìn)行核查的表生成核查任務(wù)進(jìn)行核查；

45、報(bào)告生成模塊，用于核查完成后獲取比對明細(xì)數(shù)據(jù)并生成比對報(bào)告，將比對明細(xì)數(shù)據(jù)寫入數(shù)據(jù)湖的臨時(shí)存儲；

46、修復(fù)模塊，用于獲取需要修復(fù)的數(shù)據(jù)并發(fā)送至緩存解析器，利用所述緩存解析器重發(fā)數(shù)據(jù)至下游完成數(shù)據(jù)質(zhì)量問題修復(fù)。

47、根據(jù)本發(fā)明實(shí)施例的第三方面，提供了一種體檢數(shù)據(jù)的數(shù)據(jù)治理設(shè)備，所述設(shè)備包括：處理器和存儲器；

48、所述存儲器用于存儲一個(gè)或多個(gè)程序指令；

49、所述處理器，用于運(yùn)行一個(gè)或多個(gè)程序指令，用以執(zhí)行如上任一項(xiàng)所述的一種體檢數(shù)據(jù)的數(shù)據(jù)治理方法的步驟。

50、根據(jù)本發(fā)明實(shí)施例的第四方面，提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)上存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上任一項(xiàng)所述一種體檢數(shù)據(jù)的數(shù)據(jù)治理方法的步驟。

51、本發(fā)明實(shí)施例具有如下優(yōu)點(diǎn)：

52、本發(fā)明實(shí)施例通過采集醫(yī)聯(lián)體的健康體檢數(shù)據(jù)并結(jié)合國際標(biāo)準(zhǔn)、國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)以及醫(yī)聯(lián)體體檢數(shù)據(jù)制定體檢數(shù)據(jù)標(biāo)準(zhǔn)；建立健康數(shù)據(jù)模型并獲取預(yù)設(shè)維度，利用所述預(yù)設(shè)維度對所述健康體檢數(shù)據(jù)進(jìn)行清洗，進(jìn)行數(shù)據(jù)質(zhì)量實(shí)時(shí)監(jiān)控；從caché數(shù)據(jù)庫中獲取正在解析的表并選擇需要進(jìn)行核查的表生成核查任務(wù)進(jìn)行核查；核查完成后獲取比對明細(xì)數(shù)據(jù)并生成比對報(bào)告，將比對明細(xì)數(shù)據(jù)寫入數(shù)據(jù)湖的臨時(shí)存儲；獲取需要修復(fù)的數(shù)據(jù)并發(fā)送至緩存解析器，利用所述緩存解析器重發(fā)數(shù)據(jù)至下游完成數(shù)據(jù)質(zhì)量問題修復(fù)。本發(fā)明實(shí)施例能夠打破數(shù)據(jù)孤島，提升數(shù)據(jù)質(zhì)量，對健康體檢數(shù)據(jù)進(jìn)行統(tǒng)一規(guī)劃、采集、存儲、處理、分析和共享，確保數(shù)據(jù)的質(zhì)量、安全性和可用性，提高數(shù)據(jù)利用率，充分發(fā)揮健康體檢數(shù)據(jù)在醫(yī)療決策、疾病預(yù)防和健康管理等方面的作用，推動健康管理領(lǐng)域的發(fā)展。