本發(fā)明涉及人工智能，尤其涉及一種多智能體決策的可解釋分析方法、裝置和電子設備。

背景技術：

1、多智能體決策研究的是在一個系統(tǒng)中相互交互的多個智能體群體的行為。在協(xié)作式多智能體強化學習中，一組智能體通過訓練來學習策略，以解決那些需要作為一個團隊來實現(xiàn)某個共同目標的任務。近年來，人們越來越關注通過更好地理解因果關系為機器學習帶來的各種可能性，在人工智能中進行明確的因果建模對于實現(xiàn)通用智能至關重要。例如，在醫(yī)療診斷和治療方案推薦中，醫(yī)生和患者需要理解和信任系統(tǒng)的決策依據(jù)；在金融風險評估和投資決策中，金融機構需要明確系統(tǒng)的判斷邏輯，以符合監(jiān)管要求和內部審計標準；在無人駕駛最優(yōu)決策中，算法設計者需要明確駕駛策略的決策邏輯，以確保駕駛策略安全可靠。

2、多智能體決策過程中能夠獲得的輸入信息包含智能體對自身、周圍環(huán)境和任務目標的狀態(tài)特征、以及智能體的決策行為等信息，可解釋因果推理期望建立智能體行為與任務目標之間的因果關系。目前存在一些因果解釋的方法，比如：使用聚類的方法將不同智能體的決策行為進行聚類，分析不同類別的行為，給出決策的因果關系等方式，然而，雖然不同類別的決策行為可以輔助分析智能體在決策過程中的作用，但這種方法缺乏明確的因果關系，導致可解釋因果關系不明確。

技術實現(xiàn)思路

1、本發(fā)明提供一種多智能體決策的可解釋分析方法、裝置、電子設備、非暫態(tài)計算機可讀存儲介質和計算機程序產品，用以解決現(xiàn)有技術中決策的因果關系不明確的缺陷，實現(xiàn)提高決策因果關系的解釋能力的效果。

2、本發(fā)明提供一種多智能體決策的可解釋分析方法，包括如下步驟。

3、獲取多個智能體在執(zhí)行任務過程中的實時狀態(tài)數(shù)據(jù)和實時決策數(shù)據(jù)；

4、將所述實時狀態(tài)數(shù)據(jù)輸入至預先訓練的時間序列編碼器中，通過所述預先訓練的時間序列編碼器將所述實時狀態(tài)數(shù)據(jù)轉換為因果圖網(wǎng)絡；所述因果圖網(wǎng)絡中包含各所述智能體之間、以及各所述智能體與任務目標之間的因果關系；

5、根據(jù)所述實時狀態(tài)數(shù)據(jù)和所述實時決策數(shù)據(jù)，確定各所述智能體的每個狀態(tài)特征分別對決策的貢獻；

6、根據(jù)所述因果圖網(wǎng)絡和各所述智能體的每個狀態(tài)特征分別對決策的貢獻，生成多粒度可視化決策路徑。

7、根據(jù)本發(fā)明提供的一種多智能體決策的可解釋分析方法，所述預先訓練的時間序列編碼器的訓練步驟包括：

8、獲取多段樣本狀態(tài)數(shù)據(jù)；每段所述樣本狀態(tài)數(shù)據(jù)中包含一段時間序列下多個樣本智能體的狀態(tài)數(shù)據(jù)；

9、分別將每段所述樣本狀態(tài)數(shù)據(jù)劃分為包含多個預設時間步長的序列片段；

10、在每輪迭代中，選取多個所述序列片段輸入至待訓練的時間序列編碼器中，輸出預測的因果圖網(wǎng)絡，將所述預測的因果圖網(wǎng)絡和選取的序列片段輸入至待訓練的解碼器中，輸出各所述選取的序列片段分別對應的下一個時刻的預測狀態(tài)數(shù)據(jù)；

11、根據(jù)所述下一個時刻的預測狀態(tài)數(shù)據(jù)與所述樣本狀態(tài)數(shù)據(jù)中下一個時刻的真實狀態(tài)數(shù)據(jù)之間的差異，調整所述待訓練的時間序列編碼器和所述待訓練的解碼器的參數(shù)，進入下一輪迭代，直至停止迭代，得到訓練完成的時間序列編碼器。

12、根據(jù)本發(fā)明提供的一種多智能體決策的可解釋分析方法，所述獲取多段樣本狀態(tài)數(shù)據(jù)包括：

13、通過預先訓練的多智能體強化學習模型，對所述多個樣本智能體進行多輪動態(tài)決策；

14、根據(jù)所述多個樣本智能體在各輪動態(tài)決策過程中的狀態(tài)數(shù)據(jù)，得到多段樣本狀態(tài)數(shù)據(jù)。

15、根據(jù)本發(fā)明提供的一種多智能體決策的可解釋分析方法，所述根據(jù)所述實時狀態(tài)數(shù)據(jù)和所述實時決策數(shù)據(jù)，確定各所述智能體的每個狀態(tài)特征分別對決策的貢獻，包括：

16、將所述實時狀態(tài)數(shù)據(jù)中的每個狀態(tài)特征分別作為目標狀態(tài)特征，確定除所述目標狀態(tài)特征之外的各個狀態(tài)特征可組成的狀態(tài)特征子集；

17、根據(jù)所述實時決策數(shù)據(jù)，確定各所述狀態(tài)特征子集分別對應的第一決策、以及各所述狀態(tài)特征子集加上所述目標狀態(tài)特征后對應的第二決策；

18、根據(jù)各所述狀態(tài)特征子集分別對應的所述第一決策與所述第二決策之間的差異，確定所述目標狀態(tài)特征對決策的貢獻，得到各所述智能體的每個狀態(tài)特征分別對決策的貢獻。

19、根據(jù)本發(fā)明提供的一種多智能體決策的可解釋分析方法，所述根據(jù)各所述狀態(tài)特征子集分別對應的所述第一決策與所述第二決策之間的差異，確定所述目標狀態(tài)特征對決策的貢獻，包括：

20、分別針對每個所述狀態(tài)特征子集，根據(jù)對應的所述第一決策和所述第二決策之間的差異，計算所述目標狀態(tài)特征對于所述狀態(tài)特征子集的邊際貢獻；

21、計算每個所述狀態(tài)特征子集的權重，根據(jù)各所述狀態(tài)特征子集的權重，對相應的所述邊際貢獻進行加權求和，得到所述目標狀態(tài)特征對決策的貢獻。

22、根據(jù)本發(fā)明提供的一種多智能體決策的可解釋分析方法，所述根據(jù)所述因果圖網(wǎng)絡和各所述智能體的每個狀態(tài)特征分別對決策的貢獻，生成多粒度可視化決策路徑，包括：

23、根據(jù)所述因果圖網(wǎng)絡，確定重要智能體；

24、根據(jù)各所述智能體的每個狀態(tài)特征分別對決策的貢獻，確定各所述智能體分別對應的重要狀態(tài)特征；

25、根據(jù)所述重要智能體和所述重要狀態(tài)特征，生成多粒度可視化決策路徑。

26、本發(fā)明還提供一種多智能體決策的可解釋分析裝置，包括如下模塊：

27、數(shù)據(jù)獲取模塊，用于獲取多個智能體在執(zhí)行任務過程中的實時狀態(tài)數(shù)據(jù)和實時決策數(shù)據(jù)；

28、粗粒度因果發(fā)現(xiàn)模塊，用于將所述實時狀態(tài)數(shù)據(jù)輸入至預先訓練的時間序列編碼器中，通過所述預先訓練的時間序列編碼器將所述實時狀態(tài)數(shù)據(jù)轉換為因果圖網(wǎng)絡；所述因果圖網(wǎng)絡中包含各所述智能體之間、以及各所述智能體與任務目標之間的因果關系；

29、細粒度特征重要性分析模塊，用于根據(jù)所述實時狀態(tài)數(shù)據(jù)和所述實時決策數(shù)據(jù)，確定各所述智能體的每個狀態(tài)特征分別對決策的貢獻；

30、決策路徑可視化模塊，用于根據(jù)所述因果圖網(wǎng)絡和所述貢獻，生成多粒度可視化決策路徑。

31、本發(fā)明還提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如上述任一種所述多智能體決策的可解釋分析方法。

32、本發(fā)明還提供一種非暫態(tài)計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)如上述任一種所述多智能體決策的可解釋分析方法。

33、本發(fā)明還提供一種計算機程序產品，包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上述任一種所述多智能體決策的可解釋分析方法。

34、本發(fā)明提供的多智能體決策的可解釋分析方法、裝置、電子設備、非暫態(tài)計算機可讀存儲介質和計算機程序產品，將多個智能體在執(zhí)行任務過程中的實時狀態(tài)數(shù)據(jù)輸入至預先訓練的時間序列編碼器中，通過預先訓練的時間序列編碼器將實時狀態(tài)數(shù)據(jù)轉換為因果圖網(wǎng)絡，因果圖網(wǎng)絡中包含各智能體之間、以及各智能體與任務目標之間的因果關系，從而能夠粗粒度地反映出智能體對決策的影響，然后根據(jù)實時狀態(tài)數(shù)據(jù)和實時決策數(shù)據(jù)，確定各智能體的每個狀態(tài)特征分別對決策的貢獻，根據(jù)因果圖網(wǎng)絡和各智能體的每個狀態(tài)特征分別對決策的貢獻，生成多粒度可視化決策路徑，能夠細粒度地反映出智能體的狀態(tài)特征對決策的影響，實現(xiàn)了多粒度的智能體決策因果可解釋分析，提高了決策因果的可解釋能力。