本發(fā)明涉及信息處理與資源分配,具體涉及一種媒資注入網(wǎng)關(guān)注入資源的動態(tài)分配系統(tǒng)及方法。
背景技術(shù):
1、在現(xiàn)有的媒資注入系統(tǒng)中,媒資注入網(wǎng)關(guān)作為媒資內(nèi)容上傳和分發(fā)的重要環(huán)節(jié),其主要任務(wù)是對來自不同終端或系統(tǒng)的媒資內(nèi)容進(jìn)行接收、解析、格式化處理,并將處理后的媒資內(nèi)容分發(fā)至存儲或播放系統(tǒng)。隨著多媒體技術(shù)的不斷發(fā)展,媒資內(nèi)容的類型和格式變得更加多樣化和復(fù)雜化,例如視頻、音頻、圖片、字幕以及各種數(shù)據(jù)文件,其編碼方式、容器格式和元數(shù)據(jù)結(jié)構(gòu)存在顯著差異。
2、當(dāng)前媒資注入網(wǎng)關(guān)通常采用預(yù)定義的規(guī)則或固定的解析模塊來處理這些媒資內(nèi)容。然而,當(dāng)媒資內(nèi)容的復(fù)雜性超出系統(tǒng)既有的解析處理能力時(shí),容易導(dǎo)致內(nèi)容解析失敗、元數(shù)據(jù)提取錯(cuò)誤或格式轉(zhuǎn)換錯(cuò)誤等問題。這些問題進(jìn)一步導(dǎo)致媒資內(nèi)容無法正確注入到目標(biāo)系統(tǒng)中,從而引發(fā)內(nèi)容加載失敗或分發(fā)中斷等現(xiàn)象。此外,媒資注入網(wǎng)關(guān)的資源分配策略也存在局限性。通常情況下,系統(tǒng)采用靜態(tài)分配策略對網(wǎng)絡(luò)帶寬、存儲空間以及處理單元進(jìn)行資源劃分,這種方式在媒資內(nèi)容流量突然增大的情況下難以快速調(diào)整資源分配,可能導(dǎo)致解析處理任務(wù)積壓,進(jìn)一步加劇內(nèi)容加載失敗的發(fā)生率??傮w而言,現(xiàn)有媒資注入系統(tǒng)在以下方面存在不足:面對多樣化的媒資內(nèi)容格式,系統(tǒng)的固定解析策略難以適應(yīng)所有情況,容易導(dǎo)致加載失敗;靜態(tài)的資源分配方式無法根據(jù)實(shí)時(shí)負(fù)載情況靈活調(diào)配資源,限制了系統(tǒng)的處理效率和適應(yīng)性。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的在于提供一種媒資注入網(wǎng)關(guān)注入資源的動態(tài)分配系統(tǒng)及方法,解決現(xiàn)有技術(shù)在媒資內(nèi)容格式多樣復(fù)雜的情況下由于解析處理能力有限導(dǎo)致出現(xiàn)的內(nèi)容加載失敗問題。
2、為實(shí)現(xiàn)上述目的,本發(fā)明提供如下技術(shù)方案:一種媒資注入網(wǎng)關(guān)注入資源的動態(tài)分配系統(tǒng),所述系統(tǒng)包括:
3、內(nèi)容識別模塊,用于基于內(nèi)容格式識別結(jié)果動態(tài)調(diào)整解析處理模塊的資源配置;
4、與內(nèi)容識別模塊連接的分類標(biāo)識模塊,用于將待注入資源的內(nèi)容格式進(jìn)行分類和標(biāo)識;
5、解析處理模塊,用于對分配到的媒資資源進(jìn)行解析和處理,包括根據(jù)媒資資源的內(nèi)容格式和大小,評估每個(gè)任務(wù)的預(yù)計(jì)處理時(shí)間,按照每個(gè)任務(wù)的預(yù)計(jì)處理時(shí)間從小到大排列任務(wù)隊(duì)列,優(yōu)先處理預(yù)計(jì)時(shí)間最短的任務(wù),具體公式為:tpriority=min(tprocess);
6、其中,tpriority表示當(dāng)前隊(duì)列中預(yù)計(jì)處理時(shí)間最短的任務(wù),tprocess表示每個(gè)媒資任務(wù)的預(yù)計(jì)處理時(shí)間;
7、與分類標(biāo)識模塊和解析處理模塊連接的分配模塊,用于將分類和標(biāo)識后的資源按照預(yù)設(shè)策略分配至相應(yīng)的解析處理模塊;
8、與解析處理模塊和分配模塊連接的監(jiān)控模塊,用于實(shí)時(shí)監(jiān)控各解析處理模塊的工作狀態(tài),并根據(jù)工作狀態(tài)動態(tài)調(diào)整資源分配。
9、優(yōu)選的,所述內(nèi)容識別模塊基于內(nèi)容格式識別結(jié)果動態(tài)調(diào)整解析處理模塊的資源配置包括:
10、對媒資內(nèi)容提取格式特征,生成特征矩陣,對高維特征矩陣進(jìn)行降維,保留主成分,具體公式為:y=xw;
11、其中,y表示降維后的特征矩陣,x表示媒資內(nèi)容特征矩陣,w表示降維后的主成分矩陣;
12、將降維后的特征輸入深度自編碼器,學(xué)習(xí)復(fù)雜內(nèi)容格式之間的映射關(guān)系,完成格式識別,具體公式為:h=f(zx+b),x′=g(z′h+b′);
13、其中,h表示隱藏層的特征表示,f表示激活函數(shù),z表示權(quán)重矩陣,x表示輸入媒資特征,b表示偏置項(xiàng),x′表示重構(gòu)后的媒資特征,z′表示解碼權(quán)重矩陣,b′表示解碼偏置項(xiàng)。
14、優(yōu)選的,所述分類標(biāo)識模塊將待注入資源的內(nèi)容格式進(jìn)行分類和標(biāo)識包括:
15、根據(jù)歷史數(shù)據(jù),統(tǒng)計(jì)各分類的先驗(yàn)概率,計(jì)算每個(gè)分類下特征的條件概率,計(jì)算后驗(yàn)概率,選擇后驗(yàn)概率最大的分類,將分類標(biāo)識附加到媒資資源,具體公式為:
16、
17、其中,c表示分類,x表示媒資任務(wù),p(c∣x)表示資源屬于分類c的后驗(yàn)概率,p(x∣c)表示分類c下特征x的條件概率,p(c)表示分類c的先驗(yàn)概率,p(x)表示特征x的總概率。
18、優(yōu)選的,所述分配模塊將分類和標(biāo)識后的資源按照預(yù)設(shè)策略分配至相應(yīng)的解析處理模塊包括實(shí)時(shí)獲取每個(gè)解析處理模塊的當(dāng)前負(fù)載,將任務(wù)優(yōu)先分配到負(fù)載最小的模塊,執(zhí)行分配操作,確保模塊負(fù)載均衡,將分配情況更新至監(jiān)控模塊。
19、優(yōu)選的,所述監(jiān)控模塊實(shí)時(shí)監(jiān)控各解析處理模塊的工作狀態(tài),并根據(jù)工作狀態(tài)動態(tài)調(diào)整資源分配包括:
20、實(shí)時(shí)記錄每個(gè)解析處理模塊的歷史負(fù)載值,計(jì)算負(fù)載的移動平均值,預(yù)測未來負(fù)載趨勢,通過比較當(dāng)前負(fù)載與預(yù)測值,檢測潛在的負(fù)載異常,將負(fù)載預(yù)測結(jié)果傳遞至分配模塊,動態(tài)調(diào)整任務(wù)分配策略,計(jì)算負(fù)載的移動平均值具體公式為:
21、
22、其中,st表示當(dāng)前時(shí)刻t的平均負(fù)載值,t表示時(shí)間,n表示用于計(jì)算移動平均的時(shí)間范圍長度,xt-i表示表示在時(shí)刻t-i時(shí)某解析處理模塊的實(shí)際負(fù)載值,i表示索引變量。
23、優(yōu)選的,所述內(nèi)容識別模塊還包括:
24、特征提取單元,用于提取待注入資源的格式特征;
25、格式匹配單元,用于將提取的格式特征與預(yù)設(shè)格式庫進(jìn)行匹配,生成內(nèi)容格式識別結(jié)果。
26、優(yōu)選的,所述分類識別模塊還包括:
27、分類規(guī)則存儲單元,用于存儲針對不同內(nèi)容格式的分類規(guī)則;
28、標(biāo)識生成單元,用于根據(jù)分類規(guī)則對待注入資源進(jìn)行分類并生成分類標(biāo)識。
29、優(yōu)選的,所述解析處理模塊還包括:
30、任務(wù)調(diào)度單元,用于根據(jù)任務(wù)優(yōu)先級解析待處理媒資資源;
31、格式處理單元,用于對不同格式的媒資資源進(jìn)行對應(yīng)的解析操作。
32、優(yōu)選的,所述分配模塊還包括:
33、任務(wù)分配單元,用于根據(jù)分類標(biāo)識模塊的分類結(jié)果和解析處理模塊的負(fù)載狀態(tài),將待注入資源分配至相應(yīng)的解析處理模塊;
34、優(yōu)化單元,用于基于資源利用率動態(tài)調(diào)整任務(wù)分配策略。
35、一種媒資注入網(wǎng)關(guān)注入資源的動態(tài)分配方法,采用所述的媒資注入網(wǎng)關(guān)注入資源的動態(tài)分配系統(tǒng),所述方法包括:
36、s1、基于內(nèi)容格式識別結(jié)果動態(tài)調(diào)整解析處理模塊的資源配置;
37、s2、將待注入資源的內(nèi)容格式進(jìn)行分類和標(biāo)識;
38、s3、將分類和標(biāo)識后的資源按照預(yù)設(shè)策略分配至相應(yīng)的解析處理模塊;
39、s4、實(shí)時(shí)監(jiān)控各解析處理模塊的工作狀態(tài),并根據(jù)工作狀態(tài)動態(tài)調(diào)整資源分配。
40、由上述技術(shù)方案可知,本發(fā)明具有如下有益效果:
41、該媒資注入網(wǎng)關(guān)注入資源的動態(tài)分配系統(tǒng)及方法,通過內(nèi)容識別模塊基于內(nèi)容格式識別結(jié)果動態(tài)調(diào)整解析處理模塊的資源配置,分類標(biāo)識模塊將待注入資源的內(nèi)容格式進(jìn)行分類和標(biāo)識,解析處理模塊,用于對分配到的媒資資源進(jìn)行解析和處理,分配模塊將分類和標(biāo)識后的資源按照預(yù)設(shè)策略分配至相應(yīng)的解析處理模塊,監(jiān)控模塊實(shí)時(shí)監(jiān)控各解析處理模塊的工作狀態(tài),并根據(jù)工作狀態(tài)動態(tài)調(diào)整資源分配,能夠適應(yīng)不同媒資內(nèi)容的復(fù)雜性,避免了傳統(tǒng)系統(tǒng)中固定解析策略無法處理復(fù)雜內(nèi)容的問題,從而顯著降低了解析失敗率和元數(shù)據(jù)提取錯(cuò)誤率,避免任務(wù)積壓或資源浪費(fèi),顯著提高系統(tǒng)的適應(yīng)能力和處理效率,避免了傳統(tǒng)靜態(tài)資源分配下因負(fù)載過高導(dǎo)致的任務(wù)積壓問題,提升了解析處理的實(shí)時(shí)性,確保各模塊高效運(yùn)行,縮短內(nèi)容解析和注入的總時(shí)延,確保媒資內(nèi)容能夠高效、準(zhǔn)確地注入目標(biāo)系統(tǒng),避免因解析失敗或資源不足導(dǎo)致內(nèi)容加載失敗,避免了分發(fā)中斷,保障媒資內(nèi)容分發(fā)的穩(wěn)定性和流暢性,易于根據(jù)新的媒資格式和標(biāo)準(zhǔn)進(jìn)行功能擴(kuò)展,滿足多媒體技術(shù)不斷發(fā)展的需求,提升整體系統(tǒng)的靈活性和擴(kuò)展能力,解決了現(xiàn)有技術(shù)在媒資內(nèi)容格式多樣復(fù)雜的情況下由于解析處理能力有限導(dǎo)致出現(xiàn)的內(nèi)容加載失敗問題。