本技術(shù)涉及人工智能，尤其涉及一種人工智能服務(wù)測試方法及相關(guān)裝置。

背景技術(shù)：

1、隨著科技的不斷進步，人工智能（artificial?intelligence，ai）領(lǐng)域也迎來了快速的發(fā)展，各類人工智能服務(wù)相繼涌現(xiàn)，其在各個領(lǐng)域的廣泛應(yīng)用已經(jīng)成為現(xiàn)實，并逐漸成為社會基礎(chǔ)設(shè)施的關(guān)鍵組成部分。針對開放環(huán)境、海量用戶的快速迭代的人工智能服務(wù)，用戶對于人工智能服務(wù)的可靠、穩(wěn)定和高效性提出更高的要求。測試作為軟件生產(chǎn)過程中重要一環(huán)，測試人員采用高質(zhì)量、高效率的測試方法，全面評估人工智能服務(wù)在不同場景下的表現(xiàn)，發(fā)現(xiàn)潛在問題并及時解決，從而保障其在實際應(yīng)用中的可靠、穩(wěn)定和高效性。

2、傳統(tǒng)的人工智能服務(wù)測試方式，需要專業(yè)測試人員人工進行測試用例設(shè)計、測試數(shù)據(jù)的構(gòu)造以及測試實施，該方式嚴重依賴測試人員的專業(yè)程度，導(dǎo)致測試用例的質(zhì)量良莠不齊、測試數(shù)據(jù)的構(gòu)造和維護比較困難、測試實施準備周期長，進而導(dǎo)致人工智能服務(wù)測試效率低下。

3、因此，如何提供一種人工智能服務(wù)測試方法，以提升人工智能服務(wù)測試的效率，成為本領(lǐng)域技術(shù)人員亟待解決的技術(shù)問題。

技術(shù)實現(xiàn)思路

1、鑒于上述問題，本技術(shù)提供了一種人工智能服務(wù)測試方法及相關(guān)裝置，以實現(xiàn)提升人工智能服務(wù)測試的效率的目的。具體方案如下：

2、本技術(shù)第一方面提供一種人工智能服務(wù)測試方法，包括：

3、獲取待測試人工智能服務(wù)的接口文檔；

4、將待測試人工智能服務(wù)的接口文檔轉(zhuǎn)化為預(yù)設(shè)格式的文件；

5、根據(jù)預(yù)設(shè)格式的文件，調(diào)用測試用例生成模型生成測試用例，所述測試用例生成模型為預(yù)先訓練得到的具備測試用例生成能力的生成式大模型；

6、根據(jù)所述測試用例，調(diào)用預(yù)設(shè)的測試數(shù)據(jù)生成器自動生成測試數(shù)據(jù)；所述預(yù)設(shè)的測試數(shù)據(jù)生成器具備多模態(tài)測試數(shù)據(jù)生成能力；

7、基于所述測試用例以及所述測試數(shù)據(jù)，對所述待測試人工智能服務(wù)進行測試。

8、在一種可能的實現(xiàn)中，所述將待測試人工智能服務(wù)的接口文檔轉(zhuǎn)化為預(yù)設(shè)格式的文件，包括：

9、確定文檔轉(zhuǎn)換prompt；所述文檔轉(zhuǎn)換prompt中包括文檔轉(zhuǎn)換任務(wù)描述和所述待測試人工智能服務(wù)的接口文檔；

10、將所述文檔轉(zhuǎn)換prompt提供給文檔轉(zhuǎn)換模型，得到所述文檔轉(zhuǎn)換模型生成的預(yù)設(shè)格式的文件，所述文檔轉(zhuǎn)換模型為預(yù)先訓練得到的具備文檔轉(zhuǎn)換能力的生成式大模型。

11、在一種可能的實現(xiàn)中，所述根據(jù)預(yù)設(shè)格式的文件，調(diào)用測試用例生成模型生成測試用例，包括：

12、確定測試用例生成prompt；所述測試用例生成prompt中包括測試用例生成任務(wù)描述以及所述預(yù)設(shè)格式的文件；

13、將所述測試用例生成prompt提供給所述測試用例生成模型，得到所述測試用例生成模型生成的測試用例。

14、在一種可能的實現(xiàn)中，在所述根據(jù)預(yù)設(shè)格式的文件，調(diào)用測試用例生成模型生成測試用例之后，所述方法還包括：

15、將所述測試用例返回測試人員進行修正，得到修正后的測試用例以及所述測試用例的使用建議；

16、利用所述修正后的測試用例，和/或，所述測試用例的使用建議，對所述測試用例生成模型進行優(yōu)化。

17、在一種可能的實現(xiàn)中，所述根據(jù)所述測試用例，調(diào)用預(yù)設(shè)的測試數(shù)據(jù)生成器自動生成測試數(shù)據(jù)，包括：

18、對所述測試用例進行解析，獲取關(guān)鍵信息，所述關(guān)鍵信息用于指示所述待測試人工智能服務(wù)的基本信息，所述待測試人工智能服務(wù)的基本信息包括該人工智能服務(wù)的業(yè)務(wù)類型、輸入數(shù)據(jù)類型以及預(yù)定義語義化規(guī)則；

19、基于所述關(guān)鍵信息確定測試數(shù)據(jù)生成prompt；

20、對所述測試數(shù)據(jù)生成prompt進行語義理解分類，得到分類結(jié)果；所述分類結(jié)果用于指示待生成的測試數(shù)據(jù)的類型；

21、基于所述分類結(jié)果，調(diào)用所述測試數(shù)據(jù)生成器自動生成測試數(shù)據(jù)。

22、在一種可能的實現(xiàn)中，所述測試數(shù)據(jù)生成器中包括預(yù)先訓練得到的具備測試數(shù)據(jù)生成能力的生成式大模型和其他垂直領(lǐng)域的人工智能服務(wù)。

23、在一種可能的實現(xiàn)中，如果所述分類結(jié)果指示待生成的測試數(shù)據(jù)的類型為文本，則所述基于所述分類結(jié)果，調(diào)用所述測試數(shù)據(jù)生成器自動生成測試數(shù)據(jù)，包括：

24、將所述測試數(shù)據(jù)生成prompt提供給所述生成式大模型，得到所述生成式大模型的生成結(jié)果；

25、根據(jù)所述生成式大模型的生成結(jié)果，確定所述測試數(shù)據(jù)。

26、在一種可能的實現(xiàn)中，如果所述分類結(jié)果指示待生成的測試數(shù)據(jù)的類型為非文本，則所述基于所述分類結(jié)果，調(diào)用測試數(shù)據(jù)生成器自動生成測試數(shù)據(jù)，包括：

27、將所述測試數(shù)據(jù)生成prompt提供給所述生成式大模型，得到所述生成式大模型的生成結(jié)果；

28、利用所述其他垂直領(lǐng)域的人工智能服務(wù)，對所述生成式大模型的生成結(jié)果進行二次編輯，得到所述測試數(shù)據(jù)。

29、本技術(shù)第二方面提供一種人工智能服務(wù)測試裝置，包括：

30、獲取單元，用于獲取待測試人工智能服務(wù)的接口文檔；

31、文檔轉(zhuǎn)化單元，用于將待測試人工智能服務(wù)的接口文檔轉(zhuǎn)化為預(yù)設(shè)格式的文件；

32、測試用例生成單元，用于根據(jù)預(yù)設(shè)格式的文件，調(diào)用測試用例生成模型生成測試用例，所述測試用例生成模型為預(yù)先訓練得到的具備測試用例生成能力的生成式大模型；

33、測試數(shù)據(jù)生成單元，用于根據(jù)所述測試用例，調(diào)用預(yù)設(shè)的測試數(shù)據(jù)生成器自動生成測試數(shù)據(jù)；所述預(yù)設(shè)的測試數(shù)據(jù)生成器具備多模態(tài)測試數(shù)據(jù)生成能力；

34、測試單元，用于基于所述測試用例以及所述測試數(shù)據(jù)，對所述待測試人工智能服務(wù)進行測試。

35、在一種可能的實現(xiàn)中，所述文檔轉(zhuǎn)化單元，具體用于：

36、確定文檔轉(zhuǎn)換prompt；所述文檔轉(zhuǎn)換prompt中包括文檔轉(zhuǎn)換任務(wù)描述和所述待測試人工智能服務(wù)的接口文檔；

37、將所述文檔轉(zhuǎn)換prompt提供給文檔轉(zhuǎn)換模型，得到所述文檔轉(zhuǎn)換模型生成的預(yù)設(shè)格式的文件，所述文檔轉(zhuǎn)換模型為預(yù)先訓練得到的具備文檔轉(zhuǎn)換能力的生成式大模型。

38、在一種可能的實現(xiàn)中，所述測試用例生成單元，具體用于：

39、確定測試用例生成prompt；所述測試用例生成prompt中包括測試用例生成任務(wù)描述以及所述預(yù)設(shè)格式的文件；

40、將所述測試用例生成prompt提供給所述測試用例生成模型，得到所述測試用例生成模型生成的測試用例。

41、在一種可能的實現(xiàn)中，所述裝置還包括：測試用例生成模型優(yōu)化單元，所述測試用例生成模型優(yōu)化單元，用于在所述根據(jù)預(yù)設(shè)格式的文件，調(diào)用測試用例生成模型生成測試用例之后，將所述測試用例返回測試人員進行修正，得到修正后的測試用例以及所述測試用例的使用建議；利用所述修正后的測試用例，和/或，所述測試用例的使用建議，對所述測試用例生成模型進行優(yōu)化。

42、在一種可能的實現(xiàn)中，所述測試數(shù)據(jù)生成單元，包括：

43、解析單元，用于對所述測試用例進行解析，獲取關(guān)鍵信息，所述關(guān)鍵信息用于指示所述待測試人工智能服務(wù)的基本信息，所述待測試人工智能服務(wù)的基本信息包括該人工智能服務(wù)的業(yè)務(wù)類型、輸入數(shù)據(jù)類型以及預(yù)定義語義化規(guī)則；

44、測試數(shù)據(jù)生成prompt確定單元，用于基于所述關(guān)鍵信息確定測試數(shù)據(jù)生成prompt；

45、分類單元，用于對所述測試數(shù)據(jù)生成prompt進行語義理解分類，得到分類結(jié)果；所述分類結(jié)果用于指示待生成的測試數(shù)據(jù)的類型；

46、測試數(shù)據(jù)生成子單元，用于基于所述分類結(jié)果，調(diào)用所述測試數(shù)據(jù)生成器自動生成測試數(shù)據(jù)。

47、在一種可能的實現(xiàn)中，所述測試數(shù)據(jù)生成器中包括預(yù)先訓練得到的具備測試數(shù)據(jù)生成能力的生成式大模型和其他垂直領(lǐng)域的人工智能服務(wù)。

48、在一種可能的實現(xiàn)中，如果所述分類結(jié)果指示待生成的測試數(shù)據(jù)的類型為文本，則所述測試數(shù)據(jù)生成子單元，具體用于：

49、將所述測試數(shù)據(jù)生成prompt提供給所述生成式大模型，得到所述生成式大模型的生成結(jié)果；根據(jù)所述生成式大模型的生成結(jié)果，確定所述測試數(shù)據(jù)。

50、在一種可能的實現(xiàn)中，如果所述分類結(jié)果指示待生成的測試數(shù)據(jù)的類型為非文本，則所述測試數(shù)據(jù)生成子單元，具體用于：

51、將所述測試數(shù)據(jù)生成prompt提供給所述生成式大模型，得到所述生成式大模型的生成結(jié)果；利用所述其他垂直領(lǐng)域的人工智能服務(wù)，對所述生成式大模型的生成結(jié)果進行二次編輯，得到所述測試數(shù)據(jù)。

52、本技術(shù)第三方面提供一種計算機程序產(chǎn)品，包括計算機可讀指令，當所述計算機可讀指令在電子設(shè)備上運行時，使得所述電子設(shè)備實現(xiàn)上述第一方面或第一方面任一實現(xiàn)方式的人工智能服務(wù)測試方法。

53、本技術(shù)第四方面提供一種電子設(shè)備，包括至少一個處理器和與所述處理器連接的存儲器，其中：

54、所述存儲器用于存儲計算機程序；

55、所述處理器用于執(zhí)行所述計算機程序，以使所述電子設(shè)備能夠?qū)崿F(xiàn)上述第一方面或第一方面任一實現(xiàn)方式的人工智能服務(wù)測試方法。

56、本技術(shù)第五方面提供一種計算機可讀存儲介質(zhì)，所述存儲介質(zhì)承載有一個或多個計算機程序，當所述一個或多個計算機程序被電子設(shè)備執(zhí)行時，能夠使所述電子設(shè)備上述第一方面或第一方面任一實現(xiàn)方式的人工智能服務(wù)測試方法。

57、借由上述技術(shù)方案，本技術(shù)提供的一種人工智能服務(wù)測試方法及相關(guān)裝置，預(yù)先訓練得到的具備測試用例生成能力的生成式大模型作為測試用例生成模型，并且預(yù)設(shè)具備多模態(tài)測試數(shù)據(jù)生成能力的測試數(shù)據(jù)生成器，在需要對待測試人工智能服務(wù)進行測試時，先獲取待測試人工智能服務(wù)的接口文檔；再將待測試人工智能服務(wù)的接口文檔轉(zhuǎn)化為預(yù)設(shè)格式的文件；然后根據(jù)預(yù)設(shè)格式的文件，調(diào)用測試用例生成模型生成測試用例，并根據(jù)測試用例，調(diào)用預(yù)設(shè)的測試數(shù)據(jù)生成器自動生成測試數(shù)據(jù)；最后基于測試用例以及測試數(shù)據(jù)，對待測試人工智能服務(wù)進行測試。本方案中，測試用例和測試數(shù)據(jù)都能自動生成，降低了對測試人員的依賴，能夠減少測試用例和測試數(shù)據(jù)的準備周期，因此，能夠提升人工智能服務(wù)測試的效率。