本發(fā)明涉及大模型應(yīng)用,尤其涉及一種大語言模型數(shù)據(jù)標(biāo)注方法、設(shè)備和介質(zhì)。
背景技術(shù):
1、通用大語言模型具有很強(qiáng)的自然語言理解和常識(shí)能力,但在特定領(lǐng)域的意圖理解任務(wù)中,由于專業(yè)詞匯及表達(dá)方式特殊性問題,一般需要利用微調(diào)數(shù)據(jù)對(duì)基座大模型進(jìn)行調(diào)優(yōu)。微調(diào)數(shù)據(jù)質(zhì)量對(duì)特定意圖理解模型的效果至關(guān)重要?,F(xiàn)存的微調(diào)數(shù)據(jù)標(biāo)注方法,需要大量的人工標(biāo)注、人工審核工作,投入大、耗時(shí)長(zhǎng),效率較低。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明提供了一種大語言模型數(shù)據(jù)標(biāo)注方法、設(shè)備和介質(zhì),旨在解決意圖理解大語言模型微調(diào)數(shù)據(jù)標(biāo)注效率低下、質(zhì)量難控問題,達(dá)到投入更小、耗時(shí)更短、效果更佳的模型效果。
2、根據(jù)本發(fā)明的一方面,提供了一種大語言模型數(shù)據(jù)標(biāo)注方法,所述方法包括:
3、根據(jù)業(yè)務(wù)需求定義意圖;
4、對(duì)所述意圖進(jìn)行標(biāo)注,得到意圖示例;
5、根據(jù)數(shù)據(jù)完備性審核規(guī)則,通過大語言模型審核所述意圖示例中的意圖數(shù)據(jù),若所述意圖數(shù)據(jù)的質(zhì)量不滿足,則對(duì)對(duì)應(yīng)的意圖重新進(jìn)行標(biāo)注。
6、根據(jù)本發(fā)明的另一方面,提供了一種電子設(shè)備,所述電子設(shè)備包括:
7、至少一個(gè)處理器;以及
8、與所述至少一個(gè)處理器通信連接的存儲(chǔ)器;其中,
9、所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被所述至少一個(gè)處理器執(zhí)行,以使所述至少一個(gè)處理器能夠執(zhí)行本發(fā)明任一實(shí)施例所述的大語言模型數(shù)據(jù)標(biāo)注方法。
10、根據(jù)本發(fā)明的另一方面,提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)指令,所述計(jì)算機(jī)指令用于使處理器執(zhí)行時(shí)實(shí)現(xiàn)本發(fā)明任一實(shí)施例所述的大語言模型數(shù)據(jù)標(biāo)注方法。
11、本發(fā)明實(shí)施例的技術(shù)方案,設(shè)計(jì)合理的提示詞,利用高性能大語言模型進(jìn)行數(shù)據(jù)擴(kuò)增,大幅減少人工工作量;設(shè)計(jì)合理的數(shù)據(jù)完備性審核規(guī)則,并利用高性能大語言模型實(shí)現(xiàn)數(shù)據(jù)自動(dòng)審核,保障數(shù)據(jù)質(zhì)量。
12、應(yīng)當(dāng)理解,本部分所描述的內(nèi)容并非旨在標(biāo)識(shí)本發(fā)明的實(shí)施例的關(guān)鍵或重要特征,也不用于限制本發(fā)明的范圍。本發(fā)明的其它特征將通過以下的說明書而變得容易理解。
1.一種大語言模型數(shù)據(jù)標(biāo)注方法,其特征在于,所述方法包括:
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,還包括:
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,還包括:
4.根據(jù)權(quán)利要求2所述的方法,其特征在于,還包括:
5.根據(jù)權(quán)利要求4所述的方法,其特征在于,所述在業(yè)務(wù)中實(shí)際應(yīng)用所述微調(diào)模型,包括:
6.根據(jù)權(quán)利要求5所述的方法,其特征在于,所述在業(yè)務(wù)中實(shí)際應(yīng)用所述微調(diào)模型,還包括:
7.根據(jù)權(quán)利要求1至6任一所述的方法,其特征在于,在對(duì)所述意圖進(jìn)行標(biāo)注,得到意圖示例之后,通過大語言模型審核所述意圖示例中的意圖數(shù)據(jù)之前,還包括:
8.根據(jù)權(quán)利要求1至6任一所述的方法,其特征在于,所述意圖至少包括任務(wù)名稱和任務(wù)描述之一。
9.一種電子設(shè)備,其特征在于,所述電子設(shè)備包括:
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其特征在于,所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)指令,所述計(jì)算機(jī)指令用于使處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-8中任一項(xiàng)所述的大語言模型數(shù)據(jù)標(biāo)注方法。