本發(fā)明涉及數(shù)據(jù)管理，尤其涉及一種基于數(shù)據(jù)治理和數(shù)據(jù)價(jià)值提取的數(shù)據(jù)管理方法及系統(tǒng)。

背景技術(shù)：

1、隨著信息技術(shù)的飛速發(fā)展，企業(yè)積累了前所未有的海量數(shù)據(jù)資源。這些數(shù)據(jù)涵蓋了結(jié)構(gòu)化業(yè)務(wù)數(shù)據(jù)、非結(jié)構(gòu)化文檔、社交媒體內(nèi)容等多種形式，為企業(yè)決策、業(yè)務(wù)優(yōu)化和市場(chǎng)洞察提供了豐富的素材，然而，如何有效管理這些數(shù)據(jù)并從中提取出有價(jià)值的信息，成為了企業(yè)面臨的一大挑戰(zhàn)。

2、數(shù)據(jù)治理作為確保數(shù)據(jù)質(zhì)量、提升數(shù)據(jù)價(jià)值的關(guān)鍵手段，近年來(lái)得到了廣泛關(guān)注，傳統(tǒng)的數(shù)據(jù)治理方法通常包括數(shù)據(jù)匯集、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)存儲(chǔ)等環(huán)節(jié)，然而，這些方法在實(shí)際應(yīng)用中暴露出了一系列問(wèn)題：首先，各部門(mén)間數(shù)據(jù)共享不暢，導(dǎo)致數(shù)據(jù)孤島現(xiàn)象嚴(yán)重，數(shù)據(jù)價(jià)值難以被充分利用，其次，數(shù)據(jù)來(lái)源多樣，格式不一，缺乏統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和質(zhì)量控制機(jī)制，影響了數(shù)據(jù)的準(zhǔn)確性和可靠性，最后，面對(duì)海量數(shù)據(jù)，傳統(tǒng)數(shù)據(jù)處理方法往往力不從心，難以滿足實(shí)時(shí)分析和決策的需求。

3、數(shù)據(jù)價(jià)值提取是從數(shù)據(jù)中挖掘出有價(jià)值信息的過(guò)程，對(duì)于企業(yè)的戰(zhàn)略規(guī)劃和業(yè)務(wù)優(yōu)化至關(guān)重要，然而，現(xiàn)有的數(shù)據(jù)價(jià)值提取技術(shù)同樣面臨著諸多挑戰(zhàn)：如何從海量數(shù)據(jù)中提取出有用的特征，是數(shù)據(jù)價(jià)值提取的一大難題，傳統(tǒng)方法往往依賴(lài)于人工設(shè)計(jì)的特征工程，耗時(shí)耗力且難以保證效果。

4、綜上所述，現(xiàn)有的數(shù)據(jù)治理和數(shù)據(jù)價(jià)值提取技術(shù)雖然在一定程度上解決了數(shù)據(jù)管理和價(jià)值挖掘的問(wèn)題，但仍存在諸多局限性。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提出一種基于數(shù)據(jù)治理和數(shù)據(jù)價(jià)值提取的數(shù)據(jù)管理方法及系統(tǒng)，能夠?qū)崿F(xiàn)數(shù)據(jù)的全面治理和深度價(jià)值挖掘。

2、本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

3、一種基于數(shù)據(jù)治理和數(shù)據(jù)價(jià)值提取的數(shù)據(jù)管理方法，具體包括：

4、構(gòu)建數(shù)據(jù)治理系統(tǒng)，所述數(shù)據(jù)治理系統(tǒng)用于對(duì)數(shù)據(jù)進(jìn)行治理，包括數(shù)據(jù)匯集模塊、數(shù)據(jù)質(zhì)量篩選處理模塊和數(shù)據(jù)資源池構(gòu)建模塊；

5、構(gòu)建數(shù)據(jù)價(jià)值提取系統(tǒng)，所述數(shù)據(jù)價(jià)值提取系統(tǒng)以個(gè)體的指標(biāo)數(shù)據(jù)作為數(shù)據(jù)最小單位轉(zhuǎn)化為嵌入表達(dá)，作為深度學(xué)習(xí)模型的輸入，利用深度學(xué)習(xí)方法對(duì)嵌入表達(dá)進(jìn)行特征抽取，實(shí)現(xiàn)數(shù)據(jù)價(jià)值的抽取；

6、其中，所述數(shù)據(jù)匯集模塊依據(jù)數(shù)據(jù)采集策略對(duì)結(jié)構(gòu)化的業(yè)務(wù)數(shù)據(jù)和非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行采集；

7、所述數(shù)據(jù)質(zhì)量篩選處理模塊依據(jù)數(shù)據(jù)質(zhì)量監(jiān)控體系對(duì)采集到的數(shù)據(jù)進(jìn)行質(zhì)量評(píng)估和校驗(yàn)，并對(duì)無(wú)法共享或暫缺的數(shù)據(jù)進(jìn)行補(bǔ)充；

8、所述數(shù)據(jù)資源池構(gòu)建模塊依據(jù)完成質(zhì)量評(píng)估和校驗(yàn)的數(shù)據(jù)構(gòu)建數(shù)據(jù)資源池和指標(biāo)體系。

9、作為所述基于數(shù)據(jù)治理和數(shù)據(jù)價(jià)值提取的數(shù)據(jù)管理方法的進(jìn)一步可選方案，所述數(shù)據(jù)匯集模塊依據(jù)數(shù)據(jù)采集策略對(duì)結(jié)構(gòu)化的業(yè)務(wù)數(shù)據(jù)和非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行采集，具體包括：

10、明確數(shù)據(jù)匯集的目標(biāo)和需求，選擇適合的數(shù)據(jù)源；

11、依據(jù)ap?i接口技術(shù)或者數(shù)據(jù)庫(kù)同步技術(shù)從相對(duì)應(yīng)的數(shù)據(jù)源中采集結(jié)構(gòu)化數(shù)據(jù)；

12、依據(jù)文本挖掘技術(shù)或者自然語(yǔ)言處理技術(shù)或者網(wǎng)絡(luò)爬蟲(chóng)技術(shù)從相對(duì)應(yīng)的數(shù)據(jù)源中采集非結(jié)構(gòu)化數(shù)據(jù)。

13、作為所述基于數(shù)據(jù)治理和數(shù)據(jù)價(jià)值提取的數(shù)據(jù)管理方法的進(jìn)一步可選方案，所述數(shù)據(jù)質(zhì)量篩選處理模塊依據(jù)數(shù)據(jù)質(zhì)量監(jiān)控體系對(duì)采集到的數(shù)據(jù)進(jìn)行質(zhì)量評(píng)估和校驗(yàn)，并對(duì)無(wú)法共享或暫缺的數(shù)據(jù)進(jìn)行補(bǔ)充，具體包括：

14、在數(shù)據(jù)采集后，對(duì)數(shù)據(jù)進(jìn)行缺失值、異常值和重復(fù)值的問(wèn)題檢查；

15、使用etl工具，對(duì)數(shù)據(jù)的質(zhì)量進(jìn)行實(shí)時(shí)監(jiān)控；

16、定期生成數(shù)據(jù)質(zhì)量報(bào)告，評(píng)估數(shù)據(jù)質(zhì)量的趨勢(shì)和變化；

17、引入外部數(shù)據(jù)源或第三方分析模型；

18、依據(jù)外部數(shù)據(jù)源或第三方分析模型對(duì)無(wú)法共享或暫缺的數(shù)據(jù)進(jìn)行補(bǔ)充。

19、作為所述基于數(shù)據(jù)治理和數(shù)據(jù)價(jià)值提取的數(shù)據(jù)管理方法的進(jìn)一步可選方案，所述依據(jù)外部數(shù)據(jù)源或第三方分析模型對(duì)無(wú)法共享或暫缺的數(shù)據(jù)進(jìn)行補(bǔ)充時(shí)，需要對(duì)數(shù)據(jù)進(jìn)行集成和轉(zhuǎn)換，具體包括：

20、識(shí)別并確定所有需要合并的外部數(shù)據(jù)源或第三方分析模型；

21、根據(jù)外部數(shù)據(jù)源或第三方分析模型的類(lèi)型和訪問(wèn)權(quán)限，選擇相對(duì)應(yīng)的數(shù)據(jù)訪問(wèn)方式提取數(shù)據(jù)；

22、對(duì)提取到的數(shù)據(jù)進(jìn)行預(yù)處理；

23、根據(jù)不同數(shù)據(jù)源或第三方分析模型的字段信息，建立字段映射關(guān)系；

24、依據(jù)字段映射關(guān)系，將預(yù)處理后的數(shù)據(jù)合并到統(tǒng)一的存儲(chǔ)系統(tǒng)中。

25、作為所述基于數(shù)據(jù)治理和數(shù)據(jù)價(jià)值提取的數(shù)據(jù)管理方法的進(jìn)一步可選方案，所述數(shù)據(jù)資源池包括：

26、數(shù)據(jù)資源架構(gòu)，用于確定數(shù)據(jù)的組織、存儲(chǔ)和訪問(wèn)方式；

27、數(shù)據(jù)資源管理，用于確保數(shù)據(jù)的完整性、一致性和可用性，并支持?jǐn)?shù)據(jù)的訪問(wèn)和共享，以及滿足業(yè)務(wù)需求和數(shù)據(jù)法規(guī)要求；

28、數(shù)據(jù)資源優(yōu)化，用于優(yōu)化數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)、查詢(xún)語(yǔ)句和索引；

29、數(shù)據(jù)資源安全，用于確保數(shù)據(jù)的機(jī)密性、完整性和可用性，以及防止數(shù)據(jù)泄露、篡改和損壞；

30、其中，所述數(shù)據(jù)資源架構(gòu)包括：

31、數(shù)據(jù)模型設(shè)計(jì)，用于描述數(shù)據(jù)實(shí)體、屬性及其關(guān)系；

32、數(shù)據(jù)分區(qū)策略，用于將一個(gè)數(shù)據(jù)集分割成多個(gè)數(shù)據(jù)塊，每個(gè)數(shù)據(jù)塊稱(chēng)為一個(gè)分區(qū)；

33、數(shù)據(jù)索引策略，用于快速訪問(wèn)數(shù)據(jù)庫(kù)表中的數(shù)據(jù)。

34、作為所述基于數(shù)據(jù)治理和數(shù)據(jù)價(jià)值提取的數(shù)據(jù)管理方法的進(jìn)一步可選方案，所述深度學(xué)習(xí)方法包括使用監(jiān)督學(xué)習(xí)的模型，利用人工標(biāo)記好的數(shù)據(jù)集來(lái)訓(xùn)練模型，以使得模型可以根據(jù)輸入自動(dòng)的學(xué)習(xí)企業(yè)各項(xiàng)指標(biāo)的特征表達(dá)，并利用輸入和輸出對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)層中的權(quán)重進(jìn)行更新。

35、作為所述基于數(shù)據(jù)治理和數(shù)據(jù)價(jià)值提取的數(shù)據(jù)管理方法的進(jìn)一步可選方案，所述方法還包括：

36、集成迭代更新系統(tǒng)，根據(jù)業(yè)務(wù)變化和數(shù)據(jù)資源的變更，對(duì)數(shù)據(jù)資源池、指標(biāo)體系與數(shù)據(jù)價(jià)值抽取模型進(jìn)行相應(yīng)的更新。

37、一種基于數(shù)據(jù)治理和數(shù)據(jù)價(jià)值提取的數(shù)據(jù)管理系統(tǒng)，包括：

38、第一構(gòu)建模塊，用于構(gòu)建數(shù)據(jù)治理系統(tǒng)，所述數(shù)據(jù)治理系統(tǒng)用于對(duì)數(shù)據(jù)進(jìn)行治理，包括數(shù)據(jù)匯集模塊、數(shù)據(jù)質(zhì)量篩選處理模塊和數(shù)據(jù)資源池構(gòu)建模塊；

39、第二構(gòu)建模塊，用于構(gòu)建數(shù)據(jù)價(jià)值提取系統(tǒng)，所述數(shù)據(jù)價(jià)值提取系統(tǒng)以個(gè)體的指標(biāo)數(shù)據(jù)作為數(shù)據(jù)最小單位轉(zhuǎn)化為嵌入表達(dá)，作為深度學(xué)習(xí)模型的輸入，利用深度學(xué)習(xí)方法對(duì)嵌入表達(dá)進(jìn)行特征抽取，實(shí)現(xiàn)數(shù)據(jù)價(jià)值的抽?。?/p>

40、其中，所述數(shù)據(jù)匯集模塊依據(jù)數(shù)據(jù)采集策略對(duì)結(jié)構(gòu)化的業(yè)務(wù)數(shù)據(jù)和非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行采集；

41、所述數(shù)據(jù)質(zhì)量篩選處理模塊依據(jù)數(shù)據(jù)質(zhì)量監(jiān)控體系對(duì)采集到的數(shù)據(jù)進(jìn)行質(zhì)量評(píng)估和校驗(yàn)，并對(duì)無(wú)法共享或暫缺的數(shù)據(jù)進(jìn)行補(bǔ)充；

42、所述數(shù)據(jù)資源池構(gòu)建模塊依據(jù)完成質(zhì)量評(píng)估和校驗(yàn)的數(shù)據(jù)構(gòu)建數(shù)據(jù)資源池和指標(biāo)體系。

43、一種計(jì)算設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述基于數(shù)據(jù)治理和數(shù)據(jù)價(jià)值提取的數(shù)據(jù)管理方法的步驟。

44、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述基于數(shù)據(jù)治理和數(shù)據(jù)價(jià)值提取的數(shù)據(jù)管理方法的步驟。

45、本發(fā)明的有益效果是：通過(guò)明確的數(shù)據(jù)采集策略，能夠高效地匯集來(lái)自不同來(lái)源的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，這有助于打破數(shù)據(jù)孤島，實(shí)現(xiàn)數(shù)據(jù)的集中管理和利用，能夠處理多種類(lèi)型的數(shù)據(jù)，包括文本、圖像、音頻等，從而滿足多樣化的數(shù)據(jù)需求，通過(guò)完善的數(shù)據(jù)質(zhì)量監(jiān)控體系，對(duì)采集到的數(shù)據(jù)進(jìn)行嚴(yán)格的質(zhì)量評(píng)估和校驗(yàn)，這有助于確保數(shù)據(jù)的準(zhǔn)確性、完整性和一致性，提高數(shù)據(jù)的質(zhì)量，對(duì)無(wú)法共享或暫缺的數(shù)據(jù)進(jìn)行補(bǔ)充，確保數(shù)據(jù)的完整性和可用性，這有助于減少數(shù)據(jù)缺失對(duì)后續(xù)分析的影響，基于完成質(zhì)量評(píng)估和校驗(yàn)的數(shù)據(jù)構(gòu)建數(shù)據(jù)資源池，為后續(xù)的數(shù)據(jù)分析和應(yīng)用提供可靠的數(shù)據(jù)支持，構(gòu)建完善的指標(biāo)體系，有助于對(duì)數(shù)據(jù)進(jìn)行分類(lèi)、歸納和整理，提高數(shù)據(jù)的可讀性和可解釋性，以個(gè)體的指標(biāo)數(shù)據(jù)作為數(shù)據(jù)最小單位，進(jìn)行嵌入表達(dá)轉(zhuǎn)換，這有助于捕捉個(gè)體數(shù)據(jù)的特征，為后續(xù)的特征抽取提供基礎(chǔ)，將嵌入表達(dá)作為深度學(xué)習(xí)模型的輸入，利用深度學(xué)習(xí)方法進(jìn)行特征抽取，這能夠提取出更深層次的特征信息，提高數(shù)據(jù)價(jià)值提取的準(zhǔn)確性和效率，利用深度學(xué)習(xí)算法對(duì)嵌入表達(dá)進(jìn)行特征抽取，能夠自動(dòng)學(xué)習(xí)數(shù)據(jù)的內(nèi)在規(guī)律和特征，這有助于發(fā)現(xiàn)數(shù)據(jù)中的潛在信息和模式，為數(shù)據(jù)分析和應(yīng)用提供有力的支持，通過(guò)特征抽取，能夠提取出對(duì)業(yè)務(wù)決策有用的特征信息，提高數(shù)據(jù)的價(jià)值和利用率，這有助于企業(yè)更好地了解市場(chǎng)動(dòng)態(tài)、客戶(hù)需求和業(yè)務(wù)流程等方面的情況，為優(yōu)化業(yè)務(wù)決策提供數(shù)據(jù)支持，通過(guò)數(shù)據(jù)治理和數(shù)據(jù)價(jià)值提取系統(tǒng)的構(gòu)建，實(shí)現(xiàn)了數(shù)據(jù)的整合與利用，這有助于打破數(shù)據(jù)孤島，提高數(shù)據(jù)的共享和流通效率，為企業(yè)提供更全面、準(zhǔn)確的數(shù)據(jù)支持，通過(guò)數(shù)據(jù)質(zhì)量篩選處理模塊和數(shù)據(jù)資源池構(gòu)建模塊的作用，能夠確保數(shù)據(jù)的質(zhì)量和準(zhǔn)確性，這有助于減少數(shù)據(jù)錯(cuò)誤和冗余對(duì)后續(xù)分析的影響，提高數(shù)據(jù)分析和應(yīng)用的可靠性。