
本發(fā)明涉及一種人臉表情識別技術(shù),特別是一種各個特征塊基于特征塊的權(quán)重化以及權(quán)重化bp(反向傳播)神經(jīng)網(wǎng)絡(luò)的方法。
背景技術(shù):
:人臉面部表情識別研究面對的最大問題就是如何提高面部表情識別的準確率,由于不同區(qū)域、種族的人面部大小、膚色、文化等的影響,導致現(xiàn)在的面部表情識別方法不具備較好的通用性,對不同人不具備魯棒性。面部表情的特征提取對于表情的識別非常關(guān)鍵,不同的特征提取方法從不同的角度對特征進行表示,然而,不同特征對于人臉表情的識別貢獻率不同。為了區(qū)分不同特征、面部不同區(qū)域的特征重要性,很多學者基于權(quán)重分析的方法,對每維特征賦予權(quán)重因子,并采取諸如最大化類間距離、最小化類內(nèi)距離等優(yōu)化原則對權(quán)重因子進行尋找,依此來區(qū)分不同特征對表情識別的貢獻率,提高面部表情的識別率。然而這些方法都面對以下3個問題:1、表情圖像提取的特征維數(shù)高達成千上萬,每維特征權(quán)重化,必然會導致權(quán)重因子數(shù)量較多,尋找權(quán)重因子必然會額外增加計算壓力,導致實時性不夠好。2、單獨對每維特征進行權(quán)重化,必然會導致各個特征失去原有的表示形式。3、權(quán)重因子的優(yōu)化尋找與分類器是兩個獨立的過程,權(quán)重因子的好壞要經(jīng)過分類器的檢測,利于分類器正確分類的才是好的?;谝陨弦螅景l(fā)明提出一種基于特征塊權(quán)重化的面部表情識別方法,針對問題1、2,提出對不同形式的特征、面部不同區(qū)域的特征基于特征塊水平進行權(quán)重化。針對問題3,提出權(quán)重化的bp神經(jīng)網(wǎng)絡(luò),將權(quán)重因子的優(yōu)化與神經(jīng)網(wǎng)絡(luò)各層權(quán)重和閾值的優(yōu)化同時進行。技術(shù)實現(xiàn)要素:針對現(xiàn)有技術(shù)存在的缺陷,本發(fā)明的目的在于提出一種基于特征塊權(quán)重化的面部表情識別方法,解決不同形式的特征、面部不同區(qū)域的特征對面部表情識別貢獻率不同的問題。為了實現(xiàn)上述目的,本發(fā)明的構(gòu)思是:本基于特征塊權(quán)重化的面部表情識別方法,包括面部gabor特征提取,面部幾何特征的提取、分塊對齊,基于特征塊權(quán)重化的bp神經(jīng)網(wǎng)絡(luò)。構(gòu)建gabor濾波器,提取面部表情的gabor紋理特征,針對gabor特征維數(shù)過高問題,采用pca進行特征降維。采用face++函數(shù)庫提取面部關(guān)鍵點的位置作為幾何特征,針對幾何特征,由于面部位置、大小的不同,需要將面部幾何特征對齊,降低定位不精確、尺寸大小不一等的影響,不少學者將面部的幾何特征采用procrustesanalysis對齊,取得了不錯的效果,而我們知道,人類判斷表情,主要是依靠嘴部、眼部的不同形狀,嘴部和眼部的變化是彼此獨立的,不互相干擾,因此,本方法提出將面部的幾何特征分成左眼、右眼、嘴巴三個幾何特征塊,分別采用procrustesanalysis對齊,有別于面部的整體對齊,該方法降低各個特征塊之間的干擾,相比于將整個面部的幾何特征進行對齊,樣本幾何特征的對齊效果更好。該操作有利于解決因不同人面部大小、面部器官大小不一樣導致的識別率低等問題。針對面部的不同區(qū)域、不同的面部表情特征表示形式對表情識別貢獻率不同的問題,傳統(tǒng)的方法將每維特征進行權(quán)重化,并結(jié)合最大化類間距離、最小化類內(nèi)距離等原則優(yōu)化迭代權(quán)重因子,但該方法存在三個缺點:1、破壞了原有的特征表示形式以及特征之間存在的關(guān)系,每個特征進行權(quán)重化必然失去整體的優(yōu)勢。2、單獨對每維特征進行權(quán)重化,必然會導致各個特征失去原有的表示形式。3、特征權(quán)重的優(yōu)化和分類器是一個分離的過程。因此,針對第1、2個缺點:本方法提出基于特征塊權(quán)重化的概念,將面部表情的gabor特征、左眼部幾何特征、右眼部幾何特征、嘴部幾何特征作為四個獨立的特征塊,對各個特征塊基于特征塊進行權(quán)重化。針對第3個缺點:提出基于特征塊權(quán)重化的bp神經(jīng)網(wǎng)絡(luò),結(jié)合bp神經(jīng)網(wǎng)絡(luò),在神經(jīng)網(wǎng)絡(luò)的輸入層前增加了一層權(quán)重層,該權(quán)重層實現(xiàn)對各個特征塊的權(quán)重化,將特征塊的權(quán)重化過程與分類器結(jié)合,通過訓練樣本的訓練,搜索優(yōu)化權(quán)重層權(quán)重因子,實現(xiàn)對特征塊的權(quán)重化。根據(jù)上述發(fā)明構(gòu)思,本發(fā)明采用下述技術(shù)方案:一種基于特征塊權(quán)重化的面部表情識別方法,其特征在于操作步驟如下:1)提取表情圖片的gabor紋理特征和幾何特征;2)對提取的gabor紋理特征采用pca算法降低特征維度,對提取的幾何特征分塊對齊,將幾何特征分為嘴部、左眼、右眼三個特征塊,并分別采用procrustesanalysis方法將各個幾何特征進行對齊;3)將pca降維后的gabor紋理特征與procrustesanalysis后的三個幾何特征塊進行融合,組成融合特征;4)將融合特征輸入到特征塊權(quán)重化的bp神經(jīng)網(wǎng)絡(luò),對神經(jīng)網(wǎng)絡(luò)進行訓練,尋求合適的各層權(quán)重系數(shù)。上述的提取表情圖片的gabor紋理和幾何特征是:采用gabor濾波器提取表情圖像的gabor紋理特征,采用face++函數(shù)庫提取表情圖像的幾何特征。上述的幾何特征塊對齊是:將幾何特征分為左眼幾何特征塊、右眼幾何特征塊和嘴部幾何特征塊,然后對各個特征塊分別采用procrustesanalysis進行對齊處理。上述的特征融合是:將gabor特征和各個幾何特征塊按列向量的方式進行排列組合。上述的特征塊權(quán)重化的bp神經(jīng)網(wǎng)絡(luò)方法是:在神經(jīng)網(wǎng)絡(luò)的輸入層前增加了權(quán)重層,權(quán)重層包含四個權(quán)重因子,并將這四個權(quán)重因子與bp神經(jīng)網(wǎng)絡(luò)各層的參數(shù)進行一起訓練優(yōu)化,實現(xiàn)對四個特征塊的權(quán)重化。本發(fā)明與現(xiàn)有技術(shù)相比較,具有如下顯而易見的突出實質(zhì)性特點和顯著技術(shù)進步:提高了表情幾何特征的共性,解決了不同特征表示形式、面部不同區(qū)域的特征對表情識別貢獻率不同的問題,進而提高了面部表情的識別正確率。附圖說明圖1是本發(fā)明實施例的整體流程框圖。圖2是本發(fā)明實施例的權(quán)重化bp神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖。圖3是本發(fā)明實施例的權(quán)重化bp神經(jīng)網(wǎng)絡(luò)輸入特征的計算流程圖。具體實施方式下面結(jié)合附圖對本發(fā)明優(yōu)選實施例作詳細說明。實施例一:參見圖1,本基于特征塊權(quán)重化的面部表情識別方法,其特征在于操作步驟如下:1)提取表情圖片的gabor紋理特征和幾何特征;2)對提取的gabor紋理特征采用pca算法降低特征維度,對提取的幾何特征分塊對齊,將幾何特征分為嘴部、左眼、右眼三個特征塊,并分別采用procrustesanalysis方法將各個幾何特征進行對齊;3)將pca降維后的gabor紋理特征與procrustesanalysis后的三個幾何特征塊進行融合,組成融合特征;4)將融合特征輸入到特征塊權(quán)重化的bp神經(jīng)網(wǎng)絡(luò),對神經(jīng)網(wǎng)絡(luò)進行訓練,尋求合適的各層權(quán)重系數(shù)。實施例二:本實施例與實施例一基本相同,特別之處如下:所述的提取表情圖片的gabor紋理和幾何特征是:采用gabor濾波器提取表情圖像的gabor紋理特征,采用face++函數(shù)庫提取表情圖像的幾何特征。所述的幾何特征塊對齊是:將幾何特征分為左眼幾何特征塊、右眼幾何特征塊和嘴部幾何特征塊,然后對各個特征塊分別采用procrustesanalysis進行對齊處理。所述的特征融合是:將gabor特征和各個幾何特征塊按列向量的方式進行排列組合。所述的特征塊權(quán)重化的bp神經(jīng)網(wǎng)絡(luò)方法是:在神經(jīng)網(wǎng)絡(luò)的輸入層前增加了權(quán)重層,權(quán)重層包含四個權(quán)重因子,并將這四個權(quán)重因子與bp神經(jīng)網(wǎng)絡(luò)各層的參數(shù)進行一起訓練優(yōu)化,實現(xiàn)對四個特征塊的權(quán)重化。實施例三:如圖1,采用gabor濾波器提取面部表情的gabor特征,由于gabor特征的特征維數(shù)較多,在高維的特征表示中,這些特征通常是線性相關(guān)性并且包含較多的無用或者用處較小變量,因此,采用pca算法對提取的gabor特征進行特征選擇。采用face++函數(shù)庫提取表情圖像的面部幾何特征,由于人臉結(jié)構(gòu)、大小的不同,眼睛、嘴巴的位置、尺寸大小不同,將提取的面部表情幾何特征分為嘴部、左眼、右眼幾何特征塊,然后將面部特征的各個特征塊單獨進行procrustesanalysis。將提取的gabor特征與幾何特征分塊對齊后的特征進行融合,組成融合特征,融合方式如下:上式中,f表示融合后的特征,fg表示經(jīng)過pca降維后的gabor特征。fl,fr,fm分別表示經(jīng)過procrustesanalysis之后的左眼、右眼、嘴部幾何特征。針對于融合特征中的各個特征塊,基于特征塊定義權(quán)重,分別對各個區(qū)域的特征整體賦予一定權(quán)重,本方法將提取的特征分為為四個獨立的特征塊:gabor紋理特征塊、左眼部幾何特征塊、右眼部幾何特征塊和嘴部幾何特征塊,分別將這四部分看作獨立的整體,賦予其一定的權(quán)重。權(quán)重因子的定義規(guī)則如下:bp神經(jīng)網(wǎng)絡(luò)在接受輸入特征向量時,將各個特征變量平等對待,而實際上不同的面部表情特征區(qū)域?qū)Ρ砬樽R別的貢獻率不同,因此,本方法提出特征塊權(quán)重化的bp神經(jīng)網(wǎng)絡(luò),如圖2,特征塊權(quán)重化神經(jīng)網(wǎng)絡(luò)在原bp神經(jīng)網(wǎng)絡(luò)的輸入層前增加了一層權(quán)重層,該權(quán)重層由上面兩個式子定義的四個權(quán)重因子組成,分別定義了四個特征塊的權(quán)重因子。權(quán)重層將首先對各個特征塊權(quán)重化,然后將權(quán)重化后的特征輸入到輸入層,其次隱含層,最后輸出層,這就是輸入特征的正向傳播。之后,根據(jù)計算誤差,更新輸出層的權(quán)重和閾值,然而更新隱含層、輸入層、權(quán)重層的權(quán)值,也就是誤差的背向傳播。具體的流程圖如圖3:網(wǎng)絡(luò)的權(quán)重和閾值初始化之后,對輸入特征首先進行特征塊的權(quán)重化運算,之后將其輸入到神經(jīng)網(wǎng)絡(luò)的輸入層,逐層計算各層的結(jié)果,分析比對實際輸出與期望輸出的差距,然后背向更新各層的權(quán)重,權(quán)重層的計算方式如下:將四個特征塊分別乘上對應(yīng)的權(quán)重因子,對四個特征塊進行基于特征塊的權(quán)重化。如下公式:上式子中,為特征塊權(quán)重化之后的融合特征。f為權(quán)重層的輸入特征,為權(quán)重層的輸出,并將作為輸入層的輸入。之后將逐步按照bp神經(jīng)網(wǎng)絡(luò)的計算步驟展開計算,對各層的權(quán)重系數(shù)進行迭代更新,直到滿足誤差要求。當前第1頁12