一種復(fù)雜圖像文字識(shí)別系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及圖像識(shí)別領(lǐng)域，特別設(shè)及一種復(fù)雜圖像文字識(shí)別系統(tǒng)。
【背景技術(shù)】
[0002] 圖像識(shí)別技術(shù)是目前智能識(shí)別技術(shù)領(lǐng)域中非常重要的發(fā)展方向，圖像識(shí)別的發(fā)展 經(jīng)歷了Ξ個(gè)階段:文字識(shí)別、數(shù)字圖像處理與識(shí)別、物體識(shí)別；其中在眾多的圖像識(shí)別技術(shù) 中，對(duì)圖像文字的識(shí)別技術(shù)顯得尤為重要，運(yùn)是因?yàn)閳D像文字往往比單純圖像包含更加重 要的可利用信息，文字識(shí)別一般是識(shí)別字母、數(shù)字和符號(hào)，從印刷文字識(shí)別到手寫文字識(shí) 另IJ，應(yīng)用非常廣泛。圖像識(shí)別問題的數(shù)學(xué)本質(zhì)屬于模式空間到類別空間的映射問題。目前， 在圖像識(shí)別的發(fā)展中，主要有Ξ種識(shí)別方法:統(tǒng)計(jì)模式識(shí)別、結(jié)構(gòu)模式識(shí)別、模糊模式識(shí)別。
[0003] 隨著圖像文字的深入發(fā)展，越來越多的種類的圖像文字資料，被納入圖像文字識(shí) 別的范疇中，其中表格作為文字?jǐn)?shù)據(jù)記錄匯總最精簡(jiǎn)表達(dá)方式，或者數(shù)據(jù)統(tǒng)計(jì)、結(jié)果分析中 最常用的表達(dá)格式，是各種數(shù)據(jù)分析工具中基礎(chǔ)工具。表格在各行各業(yè)應(yīng)用的廣泛性不言 而喻。不難看出對(duì)于表格式圖像文字識(shí)別的重要性，比如對(duì)一個(gè)企業(yè)年度業(yè)績(jī)報(bào)表，可能包 含企業(yè)年度業(yè)績(jī)中最重要的統(tǒng)計(jì)數(shù)據(jù)和分析結(jié)果，運(yùn)些信息的重要性和概括性是其他任何 材料所比擬不了的，目前的網(wǎng)絡(luò)信息中充斥著各種表格資料，但是很多表格都是W圖片的 形式提供，比如各種掃描檔案文件、PDF文件，自動(dòng)識(shí)別運(yùn)些圖像表格資料，將圖片類型的表 格內(nèi)容還原成數(shù)字資料是將運(yùn)些資料進(jìn)行快速處理和分析的基礎(chǔ)。
[0004] 表格的結(jié)構(gòu)復(fù)雜內(nèi)容豐富，而且相比于文檔圖片，對(duì)表格圖片的識(shí)別的準(zhǔn)率要求 很高，但是由于表格資料本身復(fù)雜的結(jié)構(gòu)特征，使得表格圖像文字的識(shí)別比一般的普通圖 像文字資料更加困難，現(xiàn)有技術(shù)中在進(jìn)行圖像中文字的識(shí)別時(shí)，首先需要將圖像中的字符 串切分開，形成包含單個(gè)文字的小圖片，然后使用一定的方法對(duì)切分后的文字進(jìn)行識(shí)別。而 進(jìn)行文字切分最常用的方法為投影法，即是將圖像文字二值化處理后，通過垂直投影找到 兩個(gè)文字之間的分界線，根據(jù)分界線將文字切分開來。由于表格的框線的存在，直接使用傳 統(tǒng)的投影發(fā)所實(shí)現(xiàn)的文字切分和識(shí)別就不太現(xiàn)實(shí)。同時(shí)由于表格本身結(jié)構(gòu)的復(fù)雜多變，復(fù) 雜多變的輪廓框線使得投影法難W實(shí)現(xiàn)將表格文字信息的切分和識(shí)別。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)中所存在的上述不足，提供一種復(fù)雜圖像文字識(shí) 別系統(tǒng)，能夠快速準(zhǔn)確的檢測(cè)出復(fù)雜結(jié)構(gòu)的圖像表格中的單元格;并在此基礎(chǔ)上快速完整 的將復(fù)雜的圖像表格中的文字信息切分識(shí)別出來。本發(fā)明系統(tǒng)首先檢測(cè)出待識(shí)別圖像表格 中的單元格輪廓;根據(jù)單元格輪廓所對(duì)應(yīng)的四角頂點(diǎn)坐標(biāo)將對(duì)應(yīng)單元格中的文字信息切分 出來;在此基礎(chǔ)上文字切分模塊利用投影法找出單元格內(nèi)容中文字塊的切分位置，并利用 貝葉斯分類器對(duì)切分位置進(jìn)行優(yōu)化，進(jìn)而將文字塊依次切分出來;切分出來的文字塊輸入 到文字識(shí)別模塊中，識(shí)別出對(duì)應(yīng)的文字內(nèi)容。本系統(tǒng)針對(duì)圖像表格運(yùn)種復(fù)雜的文本圖片的 結(jié)構(gòu)特征點(diǎn)，從先檢測(cè)和切分單元格到單元格內(nèi)容的切分和識(shí)別，將復(fù)雜的結(jié)構(gòu)逐層分解， 達(dá)到了化繁為簡(jiǎn)識(shí)別效果，使得復(fù)雜的圖像文字的識(shí)別得w快速的實(shí)現(xiàn)，系統(tǒng)結(jié)構(gòu)完整，識(shí) 別效率高。
[0006] 為了實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明提供W下技術(shù)方案：
[0007] -種復(fù)雜圖像文字識(shí)別系統(tǒng)，包含圖像輸入模塊，單元格檢測(cè)模塊，單元格切分模 塊，文字切分模塊W及文字識(shí)別模塊；
[0008] 其中，圖像輸入模塊將待識(shí)別的圖像表格輸入到所述單元格檢測(cè)模塊中，所述單 元格檢測(cè)模塊將待識(shí)別圖像表格中的單元格輪廓檢測(cè)出來，并輸入到所述單元格切分模塊 中；
[0009] 所述單元格切分模塊將待識(shí)別圖像表格中的各個(gè)單元格內(nèi)容切分出來，形成對(duì)應(yīng) 的子圖片；
[0010] 所述文字切分塊模塊將輸入其中的所述子圖片切分成待識(shí)別的文字塊；
[0011] 所述文字塊輸入到所述文字識(shí)別模塊中完成對(duì)應(yīng)內(nèi)容的識(shí)別。
[0012] 具體的，本復(fù)雜圖像文字識(shí)別系統(tǒng)中，所述單元格檢測(cè)模塊使用openCV圖像處理 工具中的f indcontours函數(shù)來檢測(cè)出圖像表格單元格輪廓。
[0013]所述單元格切分模塊通過調(diào)用minAreaRect函數(shù)，構(gòu)建出包含單元格輪廓點(diǎn)集的 面積最小的旋轉(zhuǎn)矩形區(qū)域，并提取出該旋轉(zhuǎn)矩形區(qū)域的四角頂點(diǎn)坐標(biāo)點(diǎn)；根據(jù)所述四角頂 點(diǎn)坐標(biāo)值將對(duì)應(yīng)單元格中的文字信息作為整體切分出來，形成對(duì)應(yīng)的子圖片。
[0014] 進(jìn)一步的，所述文字切分模塊，包括備用切分點(diǎn)檢測(cè)模塊和貝葉斯分類器模塊;所 述備用切分點(diǎn)檢測(cè)模塊與所述貝葉斯分類器模塊相連，所述貝葉斯分類器的分類類別包 括:文字部件，數(shù)字、字母，標(biāo)點(diǎn)符號(hào)。
[0015] 所述備用切分點(diǎn)檢測(cè)模塊通過投影法檢測(cè)出子圖片中文字塊的左右兩側(cè)備用切 分位置，并將檢測(cè)結(jié)果輸入到所述貝葉斯分類器模塊中，所述貝葉斯分類器模塊對(duì)文字塊 左右備用切分點(diǎn)之間內(nèi)容的類別進(jìn)行判斷，將屬于文字部件的相鄰左右兩個(gè)文字塊作為一 個(gè)文字塊切分出來。
[0016] 所述備用切分點(diǎn)檢測(cè)模塊對(duì)子圖片進(jìn)行側(cè)向投影，通過公式：
計(jì)算 出一行的非0像素的個(gè)數(shù)，并將該值放到pr〇jection_y類中，其中i是行數(shù)，j是列數(shù)，pix(i， j)是對(duì)應(yīng)像素值，η是最后一列的坐標(biāo)值；對(duì)pro^'6(：1:;[0]1_7類中的元素進(jìn)行遍歷；如果 pro jection_y[k] =0，p;ro jection_y[k+l] >0 ipro jection_y[k+2] >0,則判斷k為某一行 的起始切分點(diǎn)，并將其放到類vectoKintHop中；如果p;rojection_y[k] =0，p;rojection_y 比-1]>0,91'〇^'6(：1:;[0]1_7比-2]>0，則判斷1^為某一行的終點(diǎn)切分點(diǎn)，并將其放到類￥6(31:〇1'< int〉bottom中；基于類top和bottom中的元素值將單元格中的文字行向切分出來。
[0017] 所述備用切分點(diǎn)檢測(cè)模塊對(duì)于切分出來的每一行的文字圖像進(jìn)行垂直投影，采用 公式
計(jì)算出一列的非0像素的個(gè)數(shù)，并將該值放到projection_x類中，其 中j是列數(shù)，i是行數(shù)，pix(i，j)是對(duì)應(yīng)像素值，m是最后一行的坐標(biāo)值;對(duì)p;rojection_x類中 的元素進(jìn)行遍歷；女曰果 pro jection_x[k] = 0，pro jection_x[k+l ] >0，pro jection_x[k+2] >0，則判斷k為某一文字塊的起始切分點(diǎn)，并將其放到類vecto;r<int〉left中；如果 pro jection_x[k] = 0，p;ro jection_x[k-l] >0 ipro jection_x[k-2] >0,則判斷k為某一文 字塊的終點(diǎn)切分點(diǎn)，并將其放到類vectoKinOright中；類left和ri曲t中的元素值為單文 字的備用切分位置。
[0018] 所述貝葉斯分類器在給定的第一備用左側(cè)切分點(diǎn)坐標(biāo)后，判斷所述第一備用左側(cè) 切分點(diǎn)與第一備用右側(cè)切分點(diǎn)之間的內(nèi)容是否是文字部件，如果不是文字部件，則認(rèn)為該 內(nèi)容是數(shù)字、字母或標(biāo)點(diǎn)，直接將其切分出來；
[0019] 如果是文字部件，則繼續(xù)判斷第二備用左側(cè)切分點(diǎn)與第二備用右側(cè)切分點(diǎn)之間的 內(nèi)容是否是文字部件，如果是文字部件，則將第一備用左側(cè)切分點(diǎn)和第二備用右側(cè)切分點(diǎn) 之間的內(nèi)容切分出來。
[0020] 進(jìn)一步的，所述貝葉斯分類器實(shí)現(xiàn)分類的過程包括：
[0021 ]對(duì)待識(shí)別內(nèi)容提取特征值；
[0022] 將特征值輸入所述貝葉斯分類器中，計(jì)算該特征值屬于各類別的概率；
[0023] 將待識(shí)別內(nèi)容各特征值屬于該類的概率相乘，得到該內(nèi)容屬于該類的概率；
[0024] 選擇概最大的概率值對(duì)應(yīng)的類別，作為該內(nèi)容的類別；
[0025] 其中，判斷特征屬于某類概率值的計(jì)算公式為:p = (wXni+l)/(wXnj+q)，其中W 為所用的貝葉斯分類器中Ξ個(gè)類別總的特征向量樣本數(shù)量;ni為該對(duì)象的該特征在某一類 別中出現(xiàn)的次數(shù);nj為該類別中總的特征向量個(gè)數(shù);q為經(jīng)驗(yàn)值。
[0026] 進(jìn)一步的，所述文字識(shí)別模塊為神經(jīng)網(wǎng)絡(luò)分類器或者為基于OCR的識(shí)別系統(tǒng)。
[0027] 與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果:本發(fā)明提供一種復(fù)雜圖像文字識(shí)別系統(tǒng)，本 系統(tǒng)針對(duì)圖像表格文字運(yùn)樣的復(fù)雜文本，采用先檢測(cè)切分單元格，再對(duì)單元格內(nèi)的文字內(nèi) 容進(jìn)行切分的過程，實(shí)現(xiàn)了將復(fù)雜的文本結(jié)構(gòu)逐層分解分解的目的，本發(fā)明系統(tǒng)通過單元 格檢測(cè)模塊檢測(cè)出待識(shí)別圖像表格中的單元格，將每個(gè)單元格中的信息內(nèi)容整體切分出來 形成對(duì)應(yīng)子圖片，所述文字切分模塊采用投影法找出文字塊的切分點(diǎn)，通過切分點(diǎn)將文字 塊切分出來，為了提高文字塊切分的準(zhǔn)確率，本方系統(tǒng)采用貝葉斯分類器對(duì)通過投影法找 出的備用切分點(diǎn)進(jìn)行優(yōu)化，避免了將左右結(jié)構(gòu)的漢字因左右部件之間存在的間隙而被切分 成兩部分的問題，提高了文字塊切分的準(zhǔn)確率，并且將數(shù)字、字母、標(biāo)點(diǎn)符號(hào)分別切分出來， 運(yùn)樣準(zhǔn)確的分類切分為文字塊內(nèi)容的準(zhǔn)確識(shí)別創(chuàng)造了基礎(chǔ);在運(yùn)樣的基礎(chǔ)采用神經(jīng)網(wǎng)絡(luò)分 類器對(duì)文字塊的內(nèi)容進(jìn)行識(shí)別，識(shí)別的準(zhǔn)確率極高，快速、完整，效率極高，為復(fù)雜圖像文字 的大規(guī)模批量處理提供給了