本發(fā)明涉及數(shù)據(jù)分析，尤其涉及一種基于人工智能的數(shù)據(jù)分析方法及系統(tǒng)。

背景技術(shù)：

1、數(shù)據(jù)分析技術(shù)領(lǐng)域涵蓋了廣泛的方法和工具，用于從大量數(shù)據(jù)中提取有用信息和見解，從而支持決策過(guò)程。在金融領(lǐng)域，數(shù)據(jù)分析尤其關(guān)鍵，因?yàn)樗婕暗绞袌?chǎng)趨勢(shì)的預(yù)測(cè)、風(fēng)險(xiǎn)管理、投資組合優(yōu)化以及客戶行為的分析等方面。金融數(shù)據(jù)分析利用統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)、計(jì)量經(jīng)濟(jì)學(xué)和時(shí)間序列分析等方法，不僅能處理結(jié)構(gòu)化數(shù)據(jù)，如股價(jià)和交易量，還能分析非結(jié)構(gòu)化數(shù)據(jù)，如新聞報(bào)道和社交媒體內(nèi)容。而現(xiàn)有技術(shù)在處理金融市場(chǎng)數(shù)據(jù)時(shí)常常局限于直接的統(tǒng)計(jì)分析和簡(jiǎn)單的預(yù)測(cè)模型，缺乏對(duì)數(shù)據(jù)深層次因果關(guān)系的挖掘，這可能導(dǎo)致策略制定基于表象而非市場(chǎng)的實(shí)際驅(qū)動(dòng)因素。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是解決現(xiàn)有技術(shù)中存在的缺點(diǎn)，而提出的一種基于人工智能的數(shù)據(jù)分析方法及系統(tǒng)。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案，一種基于人工智能的數(shù)據(jù)分析方法，包括以下步驟：

3、收集并整理金融市場(chǎng)的變量數(shù)據(jù)，變量數(shù)據(jù)包括資產(chǎn)價(jià)格、市場(chǎng)交易量和政策變動(dòng)信息，得到數(shù)據(jù)整合結(jié)果；基于所述數(shù)據(jù)整合結(jié)果，利用貝葉斯網(wǎng)絡(luò)構(gòu)建因果圖，確定變量間的潛在關(guān)系，得到因果圖構(gòu)建結(jié)果；

4、基于所述因果圖構(gòu)建結(jié)果，應(yīng)用do演算推導(dǎo)出目標(biāo)金融變量的因果效應(yīng)，剔除因混雜因素導(dǎo)致的干擾，得到凈化因果效應(yīng)；基于所述凈化因果效應(yīng)，選擇并分析工具變量，通過(guò)廣義矩估計(jì)來(lái)確定工具變量的有效性，得到工具變量分析結(jié)果；

5、利用所述工具變量分析結(jié)果，利用雙重差分模型剔除非政策關(guān)聯(lián)的噪聲，量化政策變動(dòng)對(duì)資產(chǎn)市場(chǎng)的影響，得到政策影響評(píng)估結(jié)果；基于所述政策影響評(píng)估結(jié)果，判斷每個(gè)時(shí)間窗口下的政策影響，得到動(dòng)態(tài)政策評(píng)估結(jié)果；

6、基于所述動(dòng)態(tài)政策評(píng)估結(jié)果，運(yùn)用時(shí)間序列模型預(yù)測(cè)資產(chǎn)價(jià)格趨勢(shì)，同時(shí)參照因果變量輸入，構(gòu)建資產(chǎn)價(jià)格與風(fēng)險(xiǎn)預(yù)測(cè)模型。

7、較佳的，所述數(shù)據(jù)整合結(jié)果的獲取步驟為：

8、從金融市場(chǎng)數(shù)據(jù)庫(kù)中收集資產(chǎn)價(jià)格、市場(chǎng)交易量和政策變動(dòng)信息，金融市場(chǎng)數(shù)據(jù)庫(kù)來(lái)源于交易所報(bào)告、政府公告以及市場(chǎng)分析報(bào)告，得到初步的數(shù)據(jù)集合；

9、基于所述初步的數(shù)據(jù)集合，執(zhí)行數(shù)據(jù)清洗和預(yù)處理，去除重復(fù)記錄、校準(zhǔn)數(shù)據(jù)格式和解決缺失值，得到清洗后的數(shù)據(jù)集合；

10、根據(jù)所述清洗后的數(shù)據(jù)集合，通過(guò)數(shù)據(jù)融合整合數(shù)據(jù)，得到數(shù)據(jù)整合結(jié)果。

11、較佳的，所述因果圖構(gòu)建結(jié)果的獲取步驟為：

12、根據(jù)所述數(shù)據(jù)整合結(jié)果，選擇節(jié)點(diǎn)和邊來(lái)設(shè)計(jì)貝葉斯網(wǎng)絡(luò)，節(jié)點(diǎn)代表各金融變量，包括資產(chǎn)價(jià)格和市場(chǎng)交易量，邊表示變量之間的潛在因果關(guān)系，得到初步的因果關(guān)系模型；

13、基于所述初步的因果關(guān)系模型，計(jì)算節(jié)點(diǎn)之間的條件依賴性，獲取概率分布，計(jì)算公式為：

14、

15、其中，xi代表金融變量，xpa(i)代表xi的父節(jié)點(diǎn)，xi代表xi的觀測(cè)值，μpa(i)和σpa(i)分別是xpa(i)的均值和標(biāo)準(zhǔn)差，p(xi∣xpa(i))表示在父節(jié)點(diǎn)xpa(i)的條件下xi的概率分布；

16、根據(jù)所述概率分布，更新貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)，得到因果圖構(gòu)建結(jié)果。

17、較佳的，所述凈化因果效應(yīng)的獲取步驟為：

18、根據(jù)所述因果圖構(gòu)建結(jié)果，確定目標(biāo)金融變量和影響因子，采用do演算方法確定每個(gè)因子對(duì)目標(biāo)變量的直接和間接影響，通過(guò)構(gòu)建影響鏈條得到變量間的因果路徑，得到因果效應(yīng)初步分析結(jié)果；

19、基于所述因果效應(yīng)初步分析結(jié)果，識(shí)別影響目標(biāo)變量的混雜因素并剔除，得到調(diào)整后的因果效應(yīng)分析結(jié)果；

20、利用所述調(diào)整后的因果效應(yīng)分析結(jié)果，重新計(jì)算和評(píng)價(jià)目標(biāo)金融變量的純凈因果關(guān)系，得到凈化因果效應(yīng)。

21、較佳的，所述工具變量分析結(jié)果的獲取步驟為：

22、基于所述凈化因果效應(yīng)，選擇與目標(biāo)金融變量關(guān)聯(lián)的潛在工具變量；

23、基于所述潛在工具變量，評(píng)估每個(gè)工具變量與目標(biāo)金融變量之間的關(guān)系強(qiáng)度，獲取估計(jì)參數(shù)，計(jì)算公式為：

24、

25、其中，w表示工具變量矩陣，m為從因果圖模型派生的權(quán)重矩陣，y是目標(biāo)變量的觀測(cè)值，表示估計(jì)參數(shù)；

26、根據(jù)所述估計(jì)參數(shù)，對(duì)工具變量的有效性進(jìn)行評(píng)估，驗(yàn)證工具變量能否估計(jì)目標(biāo)金融變量的因果效應(yīng)，得到工具變量分析結(jié)果。

27、較佳的，所述政策影響評(píng)估結(jié)果的獲取步驟為：

28、基于所述工具變量分析結(jié)果，計(jì)算政策實(shí)施前后的市場(chǎng)反應(yīng)差異，獲取政策影響量，計(jì)算公式為：

29、

30、其中，yt2和yt1分別代表實(shí)驗(yàn)組在政策實(shí)施后和前的市場(chǎng)表現(xiàn)，ct2和ct1分別代表對(duì)照組在相同時(shí)間的表現(xiàn)，n代表觀察數(shù)，δimpact為調(diào)整后參照時(shí)間效應(yīng)的政策影響量；

31、利用所述政策影響量，進(jìn)行政策影響的評(píng)估，驗(yàn)證政策改變是否有統(tǒng)計(jì)上的影響，確定政策影響在資產(chǎn)市場(chǎng)上的表現(xiàn)，得到政策影響評(píng)估結(jié)果。

32、較佳的，所述動(dòng)態(tài)政策評(píng)估結(jié)果的獲取步驟為：

33、基于所述政策影響評(píng)估結(jié)果，獲取每個(gè)時(shí)間窗口內(nèi)的市場(chǎng)表現(xiàn)數(shù)據(jù)，形成按時(shí)間窗口排序的組織數(shù)據(jù)集；

34、基于所述按時(shí)間窗口排序的組織數(shù)據(jù)集，識(shí)別政策變動(dòng)前后的市場(chǎng)響應(yīng)差異，通過(guò)對(duì)比分析各時(shí)間窗口內(nèi)的數(shù)據(jù)變化，確定每個(gè)窗口的政策影響，得到時(shí)間窗口政策影響分析結(jié)果；

35、基于所述時(shí)間窗口政策影響分析結(jié)果，通過(guò)連續(xù)的時(shí)間序列分析，評(píng)估政策變動(dòng)對(duì)市場(chǎng)的效應(yīng)，得到動(dòng)態(tài)政策評(píng)估結(jié)果。

36、較佳的，所述資產(chǎn)價(jià)格與風(fēng)險(xiǎn)預(yù)測(cè)模型的獲取步驟為：

37、基于所述動(dòng)態(tài)政策評(píng)估結(jié)果，應(yīng)用arima模型進(jìn)行資產(chǎn)價(jià)格趨勢(shì)的預(yù)測(cè)，獲取預(yù)測(cè)時(shí)點(diǎn)的資產(chǎn)價(jià)格，公式為：

38、pt＝α+βpt-1+∈t

39、其中，pt表示預(yù)測(cè)時(shí)點(diǎn)的資產(chǎn)價(jià)格，pt-1表示前一時(shí)點(diǎn)的資產(chǎn)價(jià)格，α和β為模型參數(shù)，∈t為誤差項(xiàng)；

40、基于所述預(yù)測(cè)時(shí)點(diǎn)的資產(chǎn)價(jià)格，整合因果變量的影響，構(gòu)建資產(chǎn)價(jià)格與風(fēng)險(xiǎn)預(yù)測(cè)模型。

41、本發(fā)明提供一種數(shù)據(jù)分析系統(tǒng)，包括：

42、數(shù)據(jù)收集模塊，整理金融市場(chǎng)的資產(chǎn)價(jià)格、市場(chǎng)交易量和政策變動(dòng)信息，獲得整合數(shù)據(jù)集；

43、關(guān)聯(lián)分析模塊，使用整合數(shù)據(jù)集，分析變量間潛在關(guān)系，構(gòu)建因果圖，得到因果關(guān)系圖；

44、凈化分析模塊，通過(guò)因果關(guān)系圖，分析并剔除混雜因素的影響，應(yīng)用雙重差分模型，得到凈化后的因果效應(yīng)結(jié)果；

45、工具變量分析模塊，利用因果效應(yīng)結(jié)果，選擇工具變量進(jìn)行廣義矩估計(jì)，確定有效性，得到工具變量有效性分析結(jié)果；

46、政策影響評(píng)估模塊，基于工具變量有效性分析結(jié)果，使用時(shí)間序列模型預(yù)測(cè)資產(chǎn)價(jià)格趨勢(shì)，構(gòu)建價(jià)格與風(fēng)險(xiǎn)預(yù)測(cè)模型，得到動(dòng)態(tài)政策評(píng)估結(jié)果。

47、與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)和積極效果在于：

48、本發(fā)明中，能夠識(shí)別和驗(yàn)證影響金融市場(chǎng)變量的關(guān)鍵因素，從而提高模型預(yù)測(cè)的準(zhǔn)確性。貝葉斯網(wǎng)絡(luò)幫助構(gòu)建變量間的直觀關(guān)系圖譜，有助于明晰變量間復(fù)雜的相互作用。而do演算的引入進(jìn)一步凈化了模型，通過(guò)精確控制變量剔除混雜因素，確保了因果效應(yīng)的估計(jì)不受外部噪聲的干擾。此外，利用雙重差分模型評(píng)估政策變動(dòng)的具體影響，能夠區(qū)分政策效應(yīng)與其他市場(chǎng)變動(dòng)因素，為政策制定和調(diào)整提供了科學(xué)依據(jù)。這種方法的綜合應(yīng)用不僅增強(qiáng)了數(shù)據(jù)處理的深度，也提升了決策的數(shù)據(jù)驅(qū)動(dòng)力。