本發(fā)明屬于信號(hào)處理領(lǐng)域中的方法研究，涉及一種函數(shù)展開(kāi)的核自適應(yīng)濾波器算法。

背景技術(shù)：

目前，在線學(xué)習(xí)在眾多領(lǐng)域都扮演重要角色，其中包括控制領(lǐng)域中的跟蹤、濾波、系統(tǒng)辨識(shí)，在計(jì)算機(jī)視覺(jué)中的濾波、視覺(jué)跟蹤，在信號(hào)處理領(lǐng)域中的去噪、預(yù)測(cè)等等。

而近年來(lái)關(guān)于在線核方法的研究也屢見(jiàn)不鮮，核方法依靠其強(qiáng)大的非線性能力和相關(guān)數(shù)學(xué)理論支撐逐漸被應(yīng)用在很多實(shí)際工程問(wèn)題當(dāng)中。mercel核可以將非線性數(shù)據(jù)通過(guò)核函數(shù)映射到超高維空間甚至無(wú)窮維空間當(dāng)中，然后在高維空間中運(yùn)用線性方法處理數(shù)據(jù)。支持向量機(jī)、核自適應(yīng)濾波都是工程實(shí)際中廣泛運(yùn)用的方法。

自適應(yīng)濾波是在維納濾波，卡爾曼濾波等線性濾波基礎(chǔ)上發(fā)展起來(lái)的一種最佳的濾波方法。在很多現(xiàn)實(shí)問(wèn)題中，系統(tǒng)處理信息的過(guò)程和其數(shù)學(xué)模型通常是不確定的，包含很多未知因素和隨機(jī)因素，這些不確定性有時(shí)表現(xiàn)在過(guò)程內(nèi)部，有時(shí)表現(xiàn)在過(guò)程外部。從過(guò)程內(nèi)部來(lái)講，系統(tǒng)設(shè)計(jì)者事先不一定能確定系統(tǒng)的數(shù)學(xué)模型的結(jié)構(gòu)和參數(shù)。同時(shí)外部環(huán)境也會(huì)對(duì)系統(tǒng)處理信息的過(guò)程產(chǎn)生影響，通常在工程上可以等效為擾動(dòng)。這些擾動(dòng)通常是不可測(cè)的，它們可能是確定性的，也可能是隨機(jī)的。同時(shí)，系統(tǒng)噪聲和量測(cè)噪聲也是客觀存在的不確定因素。如何綜合的處理這個(gè)信息過(guò)程，并且在某一種準(zhǔn)則下獲得最優(yōu)或者近似最優(yōu)的解，就是自適應(yīng)濾波所解決的問(wèn)題。核自適應(yīng)濾波用于再生核希爾伯特空間，是一種非線性濾波器。在眾多核自適應(yīng)濾波算法當(dāng)中，核最小均方誤差算法是最簡(jiǎn)單也最容易理解的算法。在這基礎(chǔ)之上，學(xué)者們針對(duì)如何提高算法性能做了大量研究。其中，包括核放射投影算法，該算法提供了一種靈活的非線性在線濾波方法，并且可以在計(jì)算復(fù)雜度與性能之間選擇合適的平衡點(diǎn)，同時(shí)核仿射投影算法在性能方面好于核最小均方誤差算法，通過(guò)對(duì)窗長(zhǎng)度k的選擇也可以控制計(jì)算復(fù)雜度。核最小二乘算法是另一種提高性能的核方法，其收斂速度通常比核最小均方誤差快一個(gè)量級(jí)。然而，這些方法都是通過(guò)增加計(jì)算量來(lái)獲取更好的性能。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種函數(shù)展開(kāi)的核自適應(yīng)濾波器算法。

為達(dá)到上述目的，本發(fā)明采用了以下技術(shù)方案。

一種基于函數(shù)展開(kāi)的核自適應(yīng)濾波器算法，通過(guò)正交基函數(shù)展開(kāi)模型將原始輸入數(shù)據(jù)進(jìn)行擴(kuò)維，然后利用核最小均方誤差算法進(jìn)行濾波，得到濾波器的輸出；其中，正交基函數(shù)展開(kāi)模型由切比雪夫正交多項(xiàng)式或者勒讓德正交多項(xiàng)式組成。

本發(fā)明進(jìn)一步的改進(jìn)在于，勒讓德正交多項(xiàng)式記為pn(·)，它是一組定義在(0,1)之間的正交多項(xiàng)式，其表達(dá)式為：

其中，n為階數(shù)，x為正交基函數(shù)的輸入；

勒讓德正交多項(xiàng)式的前4項(xiàng)為

p0(x)＝1

p1(x)＝x

更高階的展開(kāi)項(xiàng)由其遞推關(guān)系獲得。

本發(fā)明進(jìn)一步的改進(jìn)在于，切比雪夫正交多項(xiàng)式記為tn(x)，切比雪夫多項(xiàng)式展開(kāi)模型由以下遞推關(guān)系得到：

tn+1(x)＝2xtn(x)-tn-1(x)(2)

其中，n為階數(shù)，x為正交基函數(shù)的輸入；

切比雪夫多項(xiàng)式的前兩項(xiàng)為t0(x)＝1和t1(x)＝x，更高階的展開(kāi)項(xiàng)由公式(2)獲得。

本發(fā)明進(jìn)一步的改進(jìn)在于，若原始輸入數(shù)據(jù)為二維向量形式u＝[x1,x2]，其中，x1、x2分別為正交基函數(shù)的輸入數(shù)據(jù)的兩個(gè)元素；

利用階數(shù)為n的切比雪夫多項(xiàng)式，得到擴(kuò)維后的輸入為：

u′＝[1,t1(x1),t1(x2),t2(x1),t2(x2),...,tn(x1),tn(x2),x1x2](3)

u′表示擴(kuò)維后的數(shù)據(jù)。

本發(fā)明進(jìn)一步的改進(jìn)在于，其特征在于，階數(shù)n為3或4。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果體現(xiàn)在：本發(fā)明提出基于函數(shù)展開(kāi)的核自適應(yīng)濾波器算法，通過(guò)由切比雪夫正交多項(xiàng)式或者勒讓德正交多項(xiàng)式組成的正交基函數(shù)展開(kāi)模型，將輸入數(shù)據(jù)進(jìn)行擴(kuò)維，然后擴(kuò)維后的數(shù)據(jù)作為核最小二乘算法的輸入，運(yùn)用最小均方誤差算法進(jìn)行自適應(yīng)濾波，可以進(jìn)一步提高算法性能，給定合理嵌入維數(shù)，由于函數(shù)展開(kāi)模型僅僅增加了輸入空間的維度，所以不會(huì)明顯增加計(jì)算復(fù)雜度，該方法在不明顯增加計(jì)算復(fù)雜度的前提下能夠顯著提高濾波器收斂性能，具有較為重要的研究意義和廣泛的工程實(shí)用價(jià)值。

附圖說(shuō)明

圖1是本算法所述基于函數(shù)展開(kāi)的核自適應(yīng)濾波器算法的原理框圖；

圖2是一般的核自適應(yīng)濾波器算法的原理框圖；

圖3是本算法所述基于函數(shù)展開(kāi)的核自適應(yīng)濾波器結(jié)構(gòu)圖；

圖4是切比雪夫函數(shù)展開(kāi)的核最小均方誤差算法、勒讓德函數(shù)展開(kāi)的核最小均方誤差算法與傳統(tǒng)核最小均方誤差算法性能比較圖；

圖5是不同核寬度下傳統(tǒng)最小均方誤差算法與切比雪夫函數(shù)展開(kāi)的核最小均方誤差算法、勒讓德函數(shù)展開(kāi)的核最小均方誤差算法性能比較圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步說(shuō)明。

本發(fā)明中濾波器為非線性濾波器。本發(fā)明通過(guò)正交基函數(shù)展開(kāi)模型將原始輸入數(shù)據(jù)進(jìn)行擴(kuò)維，然后利用核最小均方誤差算法進(jìn)行濾波，得到核自適應(yīng)濾波器(flklms)的輸出；其中，正交基函數(shù)展開(kāi)模型由切比雪夫正交多項(xiàng)式或者勒讓德正交多項(xiàng)式組成。具體過(guò)程如下：

1.正交基多項(xiàng)式展開(kāi)

為了能夠在不明顯增加計(jì)算復(fù)雜度的情況下提高算法性能，本發(fā)明通過(guò)函數(shù)展開(kāi)模型將原始輸入數(shù)據(jù)進(jìn)行擴(kuò)維，然后利用核最小均方誤差算法濾波。

核自適應(yīng)濾波器的輸入數(shù)據(jù)通過(guò)一個(gè)正交基函數(shù)展開(kāi)模型，該正交基函數(shù)展開(kāi)模型由切比雪夫正交多項(xiàng)式或者勒讓德正交多項(xiàng)式φ＝{φ0(·),φ1(·),φ2(·),,...,φn(·)}組成，其中n為多項(xiàng)式展開(kāi)的階數(shù)，通常展開(kāi)模型主要由正交多項(xiàng)式的一個(gè)子集組成，階數(shù)可取3或4。通過(guò)正交基函數(shù)展開(kāi)模型將輸入數(shù)據(jù)映射到高維空間，然后將映射后的數(shù)據(jù)作為核自適應(yīng)濾波器的輸入進(jìn)行自適應(yīng)信號(hào)處理。若采用勒讓德正交多項(xiàng)式展開(kāi)將原始輸入進(jìn)行擴(kuò)維，在這里，將勒讓德正交多項(xiàng)式記為pn(·)，它是一組定義在(0,1)之間的正交多項(xiàng)式。其表達(dá)式為：

本發(fā)明運(yùn)用的多項(xiàng)式展開(kāi)模型，是正交多項(xiàng)式的一個(gè)子集φ＝{p0(·),p1(·),...,pn(·)}，其中，n為函數(shù)展開(kāi)模型的階數(shù)，x為一個(gè)被展開(kāi)的標(biāo)量。

其遞推關(guān)系為：

由以上等式可以得到勒讓德正交多項(xiàng)式的前4項(xiàng)，組成函數(shù)展開(kāi)模型。

更高階的展開(kāi)項(xiàng)也可由其遞推關(guān)系獲得。

切比雪夫正交多項(xiàng)式展開(kāi)是另外一種將輸入數(shù)據(jù)進(jìn)行擴(kuò)維的方法，它由切比雪夫微分方程得到，同樣是一組定義在(0,1)之間的正交多項(xiàng)式，在這里將切比雪夫正交多項(xiàng)式記為tn(x)。切比雪夫多項(xiàng)式展開(kāi)模型與勒讓德多項(xiàng)式展開(kāi)模型結(jié)構(gòu)相似，可由以下遞推關(guān)系得到。

tn+1(x)＝2xtn(x)-tn-1(x)(2)

切比雪夫多項(xiàng)式的前兩項(xiàng)為t0(x)＝1和t1(x)＝x。

更高階的展開(kāi)項(xiàng)也可由其遞推關(guān)系即公式(2)獲得。

同時(shí)，在函數(shù)展開(kāi)模型中加入輸入向量不同維度之間的外積，從而提高濾波器的性能。所以若原始輸入數(shù)據(jù)為二維向量形式u＝[x1,x2]，利用階數(shù)為n的切比雪夫多項(xiàng)式模型，得到擴(kuò)維后的輸入為：

u′＝[1,t1(x1),t1(x2),t2(x1),t2(x2),...,tn(x1),tn(x2),x1x2](3)

u′表示擴(kuò)維后的數(shù)據(jù)。如果后文不另作說(shuō)明，u′則統(tǒng)一表示擴(kuò)維后的數(shù)據(jù)。上述模型為函數(shù)展開(kāi)模型，原始輸入將通過(guò)函數(shù)展開(kāi)模型進(jìn)行擴(kuò)維，然后進(jìn)入核最小二乘濾波器進(jìn)行濾波，其原理圖參見(jiàn)圖1。在算法的實(shí)際運(yùn)用中，數(shù)據(jù)輸入的嵌入維度同樣可以用“takens嵌入理論”得到，即與原始嵌入維度相同。通過(guò)調(diào)制展開(kāi)式的階數(shù)來(lái)進(jìn)一步優(yōu)化系統(tǒng)的穩(wěn)態(tài)精度達(dá)到較為理想的效果。通常，展開(kāi)式的階數(shù)n取3或4便可達(dá)到提高性能的效果。

現(xiàn)有的核自適應(yīng)濾波器原理：以輸入和輸出信號(hào)的統(tǒng)計(jì)特性的估計(jì)為依據(jù)，運(yùn)用某種算法在迭代過(guò)程中不斷調(diào)整濾波器的系數(shù)，使濾波器在某種準(zhǔn)則下達(dá)到最優(yōu)特性的一種算法或裝置。自適應(yīng)濾波器包括連續(xù)域和離散域的。圖2表示的自適應(yīng)濾波器為離散自適應(yīng)濾波器，可用于模擬位置離散系統(tǒng)或預(yù)測(cè)時(shí)間序列等等。輸入數(shù)據(jù)按照算法步驟，進(jìn)行迭代，以更新、調(diào)整濾波器的訓(xùn)練參數(shù)。通過(guò)迭代將濾波器的輸出不斷逼近期望信號(hào)序列。

由于本發(fā)明中算法是在核最小均方誤差算法上的改進(jìn)，且本發(fā)明中算法也用到了核最小均方誤差算法，所以先對(duì)核最小均方誤差算法進(jìn)行簡(jiǎn)單介紹。

2.核最小均方誤差算法

對(duì)于一個(gè)非線性系統(tǒng)，假設(shè)有n個(gè)訓(xùn)練樣本，n>0，其輸入與期望值為其中，i表示離散的時(shí)間。當(dāng)處理第i個(gè)數(shù)據(jù)u(i)時(shí)，首先經(jīng)過(guò)上一步通過(guò)多項(xiàng)式對(duì)輸入經(jīng)過(guò)擴(kuò)維，得到擴(kuò)維后的輸入u′(i)，預(yù)測(cè)函數(shù)fi(·)會(huì)得到一個(gè)預(yù)測(cè)值自適應(yīng)濾波器就是通過(guò)不斷更新預(yù)測(cè)函數(shù)fi(·)→fi+1(·)，從而得到代價(jià)函數(shù)j＝1/2e²的最小值。通常假設(shè)預(yù)測(cè)函數(shù)f(u′)為參數(shù)權(quán)重向量與輸入的內(nèi)積，具有如下形式：

其中，既可以表示輸入本身，也可以表示一個(gè)函數(shù)對(duì)輸入的映射。公式中w為核最小均方誤差算法中的參數(shù)權(quán)向量，表示對(duì)輸入的一種映射關(guān)系，通過(guò)函數(shù)可以將輸入映射到高維的特征空間當(dāng)中。同時(shí)，運(yùn)用隨機(jī)梯度下降法來(lái)更新參數(shù)權(quán)重向量達(dá)到更新預(yù)測(cè)函數(shù)的目的，具體方法如以下公式所示：

若在第i-1次迭代中得到w(i-1)，那么預(yù)測(cè)誤差e(i)被定義為如下形式：

根據(jù)weifengliu和josec.principe等人的研究成果(liuw,pokharelpp,principejc.thekernelleast-mean-squarealgorithm[j].ieeetransactionsonsignalprocessing,2008,56(2):543-554.)，得到核最小均方誤差算法的參數(shù)權(quán)重向量的更新方法為：

同時(shí)核自適應(yīng)濾波器的輸出被定義為：

這里的κ(u′(j),u′)核函數(shù)被定義為高斯核其中，σ被定義為核寬度。核寬度在高斯核函數(shù)中起著非常重要的作用，如果核寬度過(guò)大，數(shù)據(jù)將具有很強(qiáng)的相似性，失去了擴(kuò)維的意義，系統(tǒng)將退化為線性回歸系統(tǒng)。如果核寬度太小，數(shù)據(jù)之間將會(huì)存在巨大差異，自適應(yīng)算法的效果也會(huì)變得很差。在實(shí)際工程問(wèn)題當(dāng)中，可以根據(jù)實(shí)際需求去定義不同的核函數(shù)。雖然函數(shù)將輸入映射到高維空間，但是其內(nèi)積卻可以通過(guò)核函數(shù)直接得到答案。

濾波器通過(guò)多次學(xué)習(xí)，參數(shù)權(quán)重向量將會(huì)收斂到一個(gè)固定值。對(duì)于同一個(gè)算法而言，步長(zhǎng)參數(shù)的大小決定了算法收斂速度和穩(wěn)態(tài)精度。對(duì)于核放射投影算法與核最小二乘算法，當(dāng)他們收斂速度與核最小二乘算法接近時(shí)，穩(wěn)態(tài)誤差更小，同時(shí)計(jì)算復(fù)雜度更大。

為了展現(xiàn)本發(fā)明的優(yōu)勢(shì)之處，本發(fā)明給出了在仿真環(huán)境下原始核最小均方誤差算法與本發(fā)明的信號(hào)處理效果對(duì)比圖，見(jiàn)圖3。

仿真設(shè)計(jì)如下：針對(duì)參數(shù)τ＝30的mackey-glass混沌時(shí)間序列預(yù)測(cè)問(wèn)題。根據(jù)“takens嵌入理論”選擇7作為本發(fā)明與最小均方誤差算法的嵌入維度。試驗(yàn)中，共有1500組訓(xùn)練數(shù)據(jù)，以及另外100組測(cè)試數(shù)據(jù)。在迭代過(guò)程中，分別計(jì)算每一次迭代后測(cè)試數(shù)據(jù)的mse并在圖4和圖5畫出收斂曲線。量測(cè)噪聲為均值為零，方差為0.01的高斯白噪聲。

從圖4中可以看到核最小均方誤差算法與本發(fā)明所述算法的比較，其中，基于切比雪夫函數(shù)展開(kāi)模型的核最小均方誤差算法，試驗(yàn)中展開(kāi)模型階數(shù)為4，選擇步長(zhǎng)為1.2。基于勒讓德函數(shù)展開(kāi)模型的核最小均方誤差算法，實(shí)驗(yàn)中展開(kāi)模型階數(shù)為6，選擇步長(zhǎng)為1。這些算法都選擇σ＝1作為它們的核寬度，實(shí)驗(yàn)結(jié)果為100次蒙特卡洛的平均。當(dāng)klms算法與基于函數(shù)展開(kāi)模型收斂速度相同時(shí)，本發(fā)明所述算法可以顯著提高核最小均方誤差算法的收斂精度。

從圖5中對(duì)核寬度不同的核最小均方誤差算法與核寬度為1的函數(shù)展開(kāi)的核最小均方誤差算法進(jìn)行比較，可以發(fā)現(xiàn)核最小均方誤差算法當(dāng)選取和寬度合適的時(shí)候會(huì)取得較好的性能，但是無(wú)論核寬度如何變化，其性能始終趕不上本發(fā)明所述的基于多項(xiàng)式展開(kāi)模型的核最小均方誤差算法。

核自適應(yīng)濾波方法由于其簡(jiǎn)單和萬(wàn)能逼近特性在非線性系統(tǒng)濾波方面取得了很好的效果。對(duì)于一個(gè)具體的非線性系統(tǒng)，一個(gè)關(guān)鍵問(wèn)題是如何選擇一個(gè)合適的嵌入維度(濾波器階數(shù))，目前主流的選擇嵌入維度的方法是通過(guò)“takens嵌入理論”。通常，當(dāng)濾波器的階數(shù)較小時(shí)，增加濾波器的階數(shù)可以提高濾波效果。但是，不斷增加濾波器的階數(shù)會(huì)導(dǎo)致過(guò)學(xué)習(xí)，從而影響濾波效果。本發(fā)明提出的函數(shù)展開(kāi)核自適應(yīng)濾波設(shè)計(jì)方法，將核自適應(yīng)濾波器的輸入向量通過(guò)函數(shù)多項(xiàng)式展開(kāi)進(jìn)行擴(kuò)維，然后將擴(kuò)維后的數(shù)據(jù)作為核自適應(yīng)濾波輸入。給定合理嵌入維數(shù)，該方法在不明顯增加計(jì)算復(fù)雜度的前提下進(jìn)一步顯著提高濾波器收斂性能，具有實(shí)際運(yùn)用的價(jià)值。

以上內(nèi)容是結(jié)合具體的優(yōu)選實(shí)施方式對(duì)本發(fā)明所作的進(jìn)一步詳細(xì)說(shuō)明，不能認(rèn)定本發(fā)明的具體實(shí)施方式僅限于此，對(duì)于本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡(jiǎn)單的推演或替換，都應(yīng)當(dāng)視為屬于本發(fā)明由所提交的權(quán)利要求書(shū)確定專利保護(hù)范圍。