本發(fā)明涉及機(jī)器視覺，具體涉及一種基于視覺的超聲波雷達(dá)零件表面打印字符缺陷檢測(cè)方法，尤其適用于如超聲波雷達(dá)零件等打印內(nèi)容不固定、無(wú)法提前設(shè)置模板進(jìn)行匹配的場(chǎng)景。

背景技術(shù)：

1、機(jī)器視覺作為一門交叉學(xué)科，融合了人工智能、神經(jīng)生物學(xué)、心理物理學(xué)、計(jì)算機(jī)科學(xué)、圖像處理、模式識(shí)別等多個(gè)領(lǐng)域的知識(shí)和技術(shù)。它利用計(jì)算機(jī)來(lái)模擬或再現(xiàn)與人類視覺相關(guān)的某些智能行為，從客觀事物的圖像中提取信息進(jìn)行處理和理解，最終應(yīng)用于實(shí)際檢測(cè)和控制中。在工業(yè)生產(chǎn)、質(zhì)量檢測(cè)、精密測(cè)控、自動(dòng)化生產(chǎn)線、郵政自動(dòng)化、糧食選優(yōu)、顯微醫(yī)學(xué)操作以及危險(xiǎn)場(chǎng)合工作的機(jī)器人等領(lǐng)域，機(jī)器視覺技術(shù)都發(fā)揮著重要作用。

2、在字符缺陷檢測(cè)方面，現(xiàn)有的機(jī)器視覺技術(shù)通常依賴于預(yù)先設(shè)置的模板進(jìn)行匹配。例如，專利“基于工業(yè)機(jī)器視覺的aoi字符缺陷檢測(cè)方法和裝置”(申請(qǐng)?zhí)?02010306399.1)通過(guò)圖像預(yù)處理并設(shè)置感興趣區(qū)域得到待檢測(cè)圖像，然后將待檢測(cè)圖像的字符區(qū)域圖像與預(yù)先創(chuàng)建的基準(zhǔn)圖像模板進(jìn)行模板匹配，根據(jù)匹配結(jié)果判斷字符是否存在缺陷。另一專利“一種基于視覺的圖文缺陷檢測(cè)方法”(申請(qǐng)?zhí)?02010683186.0)則采用彩色高清工業(yè)相機(jī)和鏡頭對(duì)印刷品進(jìn)行拍照，首先制作合格品的標(biāo)準(zhǔn)模板并提取特征信息，然后對(duì)隨意姿態(tài)放置的印刷樣本進(jìn)行拍照并與模板進(jìn)行高精度多尺度配準(zhǔn)矯正，最終識(shí)別出圖文印刷缺陷。

3、然而，上述方法在應(yīng)用于實(shí)時(shí)變化打印內(nèi)容的字符檢測(cè)時(shí)存在局限性。特別是在某些特定領(lǐng)域，如超聲波雷達(dá)零件的生產(chǎn)過(guò)程中，打印內(nèi)容可能隨著生產(chǎn)批次、產(chǎn)品型號(hào)或客戶需求的變化而實(shí)時(shí)變化，無(wú)法提前設(shè)置固定的模板內(nèi)容進(jìn)行匹配。這種情況下，傳統(tǒng)的基于模板匹配的字符缺陷檢測(cè)方法將無(wú)法有效應(yīng)用，因?yàn)闊o(wú)法確保模板與實(shí)時(shí)打印內(nèi)容的準(zhǔn)確性和一致性。

4、因此，亟需一種能夠適應(yīng)實(shí)時(shí)變化打印內(nèi)容的字符缺陷檢測(cè)方法，該方法應(yīng)能夠無(wú)需預(yù)先設(shè)置模板，即可對(duì)實(shí)時(shí)打印的字符進(jìn)行準(zhǔn)確、高效的缺陷檢測(cè)，以滿足工業(yè)生產(chǎn)中的實(shí)際需求。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于視覺的超聲波雷達(dá)零件表面打印字符缺陷檢測(cè)方法，該方法實(shí)現(xiàn)了對(duì)超聲波雷達(dá)零件表面不同打印內(nèi)容、光線差異、字體變形等環(huán)境下的缺陷識(shí)別與定位，并且能輸出缺陷的閾值以供后續(xù)過(guò)濾。

2、本發(fā)明通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)上述目的：

3、一種基于視覺的超聲波雷達(dá)零件表面打印字符缺陷檢測(cè)方法，包括以下步驟：

4、相機(jī)采集圖像步驟：對(duì)超聲波雷達(dá)零件表面的打印字符進(jìn)行拍照，以獲取包含所述打印字符的圖像；

5、內(nèi)容識(shí)別步驟：利用ocr文字識(shí)別技術(shù)對(duì)獲取的圖像進(jìn)行識(shí)別，判斷識(shí)別出來(lái)的打印內(nèi)容是否與指定的打印內(nèi)容一致；若不一致，則確定存在打印錯(cuò)誤；若一致，則進(jìn)一步判斷單個(gè)字符的打印是否存在缺陷；

6、單個(gè)字符目標(biāo)識(shí)別與定位步驟：將識(shí)別出的打印內(nèi)容拆分成單個(gè)字符，利用深度學(xué)習(xí)目標(biāo)檢測(cè)技術(shù)對(duì)單個(gè)字符進(jìn)行識(shí)別與定位，并從中截取出感興趣區(qū)域roi作為輸入圖像；

7、單個(gè)字符模板生成步驟：針對(duì)定位得到的每種單個(gè)字符的roi，分別訓(xùn)練圖像生成式神經(jīng)網(wǎng)絡(luò)算法，生成對(duì)應(yīng)的gan圖像生成模型；將每種單個(gè)字符的roi作為對(duì)應(yīng)gan圖像生成模型的輸入圖像，通過(guò)該模型生成對(duì)應(yīng)的單個(gè)字符圖像，并將生成的圖像作為模板；

8、缺陷定位步驟：利用圖像差分的方式得到單個(gè)字符的原始圖像與生成的單個(gè)字符圖像的差值，通過(guò)設(shè)定的閾值過(guò)濾出差異較大的像素點(diǎn)，從而定位出缺陷的具體像素位置；統(tǒng)計(jì)缺陷像素個(gè)數(shù)得到缺陷的面積占比，進(jìn)而得到缺陷的大小分?jǐn)?shù)。

9、根據(jù)本發(fā)明提供的一種基于視覺的超聲波雷達(dá)零件表面打印字符缺陷檢測(cè)方法，利用ocr文字識(shí)別技術(shù)識(shí)別出的打印內(nèi)容進(jìn)行一致性判斷的步驟，具體包括：

10、字符匹配：將識(shí)別出的打印內(nèi)容與指定的打印內(nèi)容進(jìn)行逐字符比對(duì)，檢查每個(gè)字符是否完全一致；

11、字符串匹配算法：若字符匹配步驟中因打印內(nèi)容較長(zhǎng)或存在輕微格式差異導(dǎo)致比對(duì)效率較低，則采用字符串匹配算法，計(jì)算識(shí)別出的打印內(nèi)容與指定的打印內(nèi)容之間的相似度，并設(shè)定一相似度閾值，當(dāng)計(jì)算出的相似度高于該閾值時(shí)，判定兩者內(nèi)容一致；

12、結(jié)果輸出：根據(jù)字符匹配或字符串匹配算法的結(jié)果，輸出識(shí)別出的打印內(nèi)容與指定的打印內(nèi)容是否一致的判斷結(jié)果。

13、根據(jù)本發(fā)明提供的一種基于視覺的超聲波雷達(dá)零件表面打印字符缺陷檢測(cè)方法，將識(shí)別出的打印內(nèi)容拆分成單個(gè)字符的步驟，具體包括：

14、字符區(qū)域分割：在識(shí)別出的打印內(nèi)容圖像中，利用圖像處理技術(shù)檢測(cè)字符的邊緣和輪廓，根據(jù)字符之間的間隔和布局，將連續(xù)的字符區(qū)域分割成多個(gè)獨(dú)立的字符區(qū)域；

15、字符提取與歸一化：從每個(gè)獨(dú)立的字符區(qū)域中提取字符圖像，對(duì)提取的字符圖像進(jìn)行歸一化處理，至少包括調(diào)整字符的大小、旋轉(zhuǎn)角度和位置，以確保字符圖像的一致性；

16、字符特征提取與識(shí)別：對(duì)歸一化后的字符圖像進(jìn)行特征提取，提取能夠表征字符信息的特征向量，將提取的特征向量與預(yù)訓(xùn)練的字符庫(kù)進(jìn)行比對(duì)，識(shí)別出每個(gè)字符的具體內(nèi)容；

17、字符拆分結(jié)果輸出：將識(shí)別出的單個(gè)字符按照原始打印內(nèi)容的順序進(jìn)行排列，輸出拆分后的單個(gè)字符序列。

18、根據(jù)本發(fā)明提供的一種基于視覺的超聲波雷達(dá)零件表面打印字符缺陷檢測(cè)方法，利用深度學(xué)習(xí)目標(biāo)檢測(cè)技術(shù)對(duì)單個(gè)字符進(jìn)行識(shí)別與定位，具體包括：

19、字符候選區(qū)域生成：通過(guò)深度神經(jīng)網(wǎng)絡(luò)模型對(duì)輸入圖像進(jìn)行特征提取，并基于提取的特征生成包含可能字符區(qū)域的候選框，所述候選框通過(guò)區(qū)域提議網(wǎng)絡(luò)rpn或其他區(qū)域生成算法生成；

20、字符特征提?。横槍?duì)每個(gè)候選框，使用卷積神經(jīng)網(wǎng)絡(luò)或其他特征提取器提取字符區(qū)域的特征圖，這些特征圖用于后續(xù)的字符分類和邊界框回歸；

21、字符分類與邊界框回歸：將提取的字符特征圖輸入到全連接層或其他分類器中，以判斷候選框內(nèi)是否包含字符，并對(duì)包含字符的候選框進(jìn)行邊界框回歸；

22、感興趣區(qū)域roi截取：根據(jù)字符分類和邊界框回歸的結(jié)果，從原始輸入圖像中截取包含單個(gè)字符的感興趣區(qū)域roi作為后續(xù)處理的輸入圖像。

23、根據(jù)本發(fā)明提供的一種基于視覺的超聲波雷達(dá)零件表面打印字符缺陷檢測(cè)方法，所述gan圖像生成模型具體包括以下步驟：

24、數(shù)據(jù)準(zhǔn)備：對(duì)于每種單個(gè)字符，收集并整理其對(duì)應(yīng)的roi圖像數(shù)據(jù)，形成訓(xùn)練數(shù)據(jù)集；

25、gan模型設(shè)計(jì)：設(shè)計(jì)適用于字符roi圖像生成的gan模型，包括生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)，其中生成器網(wǎng)絡(luò)用于生成逼真的字符roi圖像，而判別器網(wǎng)絡(luò)則用于區(qū)分生成的圖像與真實(shí)圖像；

26、模型訓(xùn)練：使用訓(xùn)練數(shù)據(jù)集對(duì)gan模型進(jìn)行訓(xùn)練；在訓(xùn)練過(guò)程中，生成器網(wǎng)絡(luò)不斷嘗試生成更逼真的字符roi圖像，以欺騙判別器網(wǎng)絡(luò)；而判別器網(wǎng)絡(luò)則不斷提升其區(qū)分能力，以識(shí)別生成的圖像與真實(shí)圖像；

27、模型評(píng)估與優(yōu)化：在訓(xùn)練完成后，對(duì)gan模型進(jìn)行評(píng)估，以驗(yàn)證其生成圖像的質(zhì)量和多樣性；

28、得到生成模型：得到針對(duì)每種單個(gè)字符的gan圖像生成模型，這些模型用于生成與真實(shí)字符roi圖像相似的高質(zhì)量圖像。

29、根據(jù)本發(fā)明提供的一種基于視覺的超聲波雷達(dá)零件表面打印字符缺陷檢測(cè)方法，將預(yù)處理后的roi圖像作為對(duì)應(yīng)gan圖像生成模型的輸入，將輸入圖像饋入gan模型的生成器網(wǎng)絡(luò)，生成器網(wǎng)絡(luò)根據(jù)學(xué)習(xí)到的字符圖像分布，生成與輸入roi圖像相似的新的字符圖像；

30、通過(guò)gan模型的生成器網(wǎng)絡(luò)，生成與輸入roi圖像對(duì)應(yīng)的單個(gè)字符圖像，其中生成的字符圖像在視覺上應(yīng)與真實(shí)的字符roi圖像相似，具有相似的形狀、紋理和細(xì)節(jié)特征；

31、對(duì)生成的字符圖像進(jìn)行后處理，將經(jīng)過(guò)后處理的生成字符圖像作為模板保存下來(lái)。

32、根據(jù)本發(fā)明提供的一種基于視覺的超聲波雷達(dá)零件表面打印字符缺陷檢測(cè)方法，在對(duì)所述gan生成式模型進(jìn)行測(cè)試時(shí)，觀察到當(dāng)輸入為字符0的roi圖像或與其相似的圖像，即輸入可視為表征0的特定模式或特征，模型的輸出圖像與輸入圖像差別不大，能夠保持字符0的形狀和特征，且能補(bǔ)齊輸入圖像中的缺陷位置，生成質(zhì)量更高的字符0圖像；

33、當(dāng)輸入為非字符0的其他數(shù)字的roi圖像時(shí)，模型輸出圖像傾向于生成與字符0相似的圖像，表現(xiàn)出模型對(duì)特定字符0的生成偏好。

34、根據(jù)本發(fā)明提供的一種基于視覺的超聲波雷達(dá)零件表面打印字符缺陷檢測(cè)方法，所述利用圖像差分的方式得到單個(gè)字符的原始圖像與生成的單個(gè)字符圖像的差值，包括：

35、對(duì)原始圖像和生成圖像的每個(gè)像素點(diǎn)進(jìn)行逐一比較，計(jì)算它們之間的絕對(duì)差值，得到差分圖像；其中，差分圖像中的每個(gè)像素值表示原始圖像與生成圖像在該位置的差異程度；

36、設(shè)定差異閾值，遍歷差分圖像中的每個(gè)像素點(diǎn)，將差值大于閾值的像素點(diǎn)標(biāo)記為差異較大的像素點(diǎn)，根據(jù)標(biāo)記的差異較大像素點(diǎn)，在原始圖像或生成圖像上定位出缺陷的具體像素位置；其中，生成一個(gè)缺陷標(biāo)記圖像，其中差異較大的像素點(diǎn)被突出顯示，以便直觀地查看缺陷的位置和分布。

37、根據(jù)本發(fā)明提供的一種基于視覺的超聲波雷達(dá)零件表面打印字符缺陷檢測(cè)方法，所述統(tǒng)計(jì)缺陷像素個(gè)數(shù)得到缺陷的面積占比，進(jìn)而得到缺陷的大小分?jǐn)?shù)，包括：

38、對(duì)缺陷區(qū)域內(nèi)的每個(gè)像素進(jìn)行標(biāo)記，并統(tǒng)計(jì)缺陷區(qū)域內(nèi)像素的總個(gè)數(shù)，記為n_defect；

39、同時(shí)，計(jì)算整個(gè)圖像區(qū)域的總像素個(gè)數(shù)，記為n_total；

40、根據(jù)缺陷像素個(gè)數(shù)和總像素個(gè)數(shù)，計(jì)算缺陷的面積占比t，公式為：

41、

42、預(yù)先設(shè)定一系列缺陷面積占比閾值和對(duì)應(yīng)的大小分?jǐn)?shù)等級(jí)，將計(jì)算得到的缺陷面積占比t與預(yù)設(shè)的閾值進(jìn)行比較，確定缺陷所屬的大小分?jǐn)?shù)等級(jí)；

43、輸出缺陷的大小分?jǐn)?shù)，該分?jǐn)?shù)用于反映缺陷在圖像中的相對(duì)大小和嚴(yán)重程度。

44、由此可見，與現(xiàn)有技術(shù)相比，本發(fā)明提出了一種基于視覺的超聲波雷達(dá)零件表面打印字符缺陷檢測(cè)方法，該方法針對(duì)現(xiàn)有激光打印設(shè)備因性能、功率衰減等原因?qū)е碌拇蛴∽址笔А㈠e(cuò)誤、錯(cuò)位等缺陷問(wèn)題，提供了一套完整、高效的解決方案。以下為本發(fā)明的有益效果：

45、1、本發(fā)明通過(guò)相機(jī)采集圖像，結(jié)合內(nèi)容識(shí)別技術(shù)，能夠?qū)崟r(shí)捕捉并分析超聲波雷達(dá)零件表面的打印內(nèi)容。通過(guò)單個(gè)字符目標(biāo)識(shí)別與定位，以及深度學(xué)習(xí)算法生成的單個(gè)字符模版，本發(fā)明能夠準(zhǔn)確識(shí)別出打印字符中的缺陷，如缺失、錯(cuò)誤、錯(cuò)位等，顯著提高了缺陷識(shí)別的準(zhǔn)確率。

46、2、本發(fā)明設(shè)計(jì)的解決方案能夠適應(yīng)打印內(nèi)容實(shí)時(shí)變化的情況，無(wú)論打印內(nèi)容如何變化，都能準(zhǔn)確地進(jìn)行缺陷識(shí)別。同時(shí)，本發(fā)明還能應(yīng)對(duì)不同光線差異、字體變形等復(fù)雜環(huán)境，確保缺陷識(shí)別的穩(wěn)定性和可靠性。

47、3、通過(guò)自動(dòng)化、智能化的缺陷檢測(cè)方法，本發(fā)明大大縮短了缺陷檢測(cè)的時(shí)間，提高了生產(chǎn)效率。缺陷的及時(shí)識(shí)別和定位，有助于及時(shí)發(fā)現(xiàn)問(wèn)題并進(jìn)行修復(fù)，減少了因缺陷導(dǎo)致的生產(chǎn)浪費(fèi)和返工成本。

48、4、本發(fā)明不僅能夠識(shí)別并定位缺陷，還能輸出缺陷的閾值，為后續(xù)過(guò)濾和處理提供了便利，通過(guò)設(shè)定合理的缺陷閾值，可以實(shí)現(xiàn)對(duì)缺陷的精準(zhǔn)控制和管理，進(jìn)一步提高產(chǎn)品質(zhì)量和生產(chǎn)效率。

49、5、本發(fā)明的實(shí)施有助于推動(dòng)超聲波雷達(dá)零件生產(chǎn)過(guò)程的智能化升級(jí)，提升生產(chǎn)線的自動(dòng)化水平，通過(guò)引入視覺檢測(cè)和深度學(xué)習(xí)技術(shù)，為傳統(tǒng)制造業(yè)注入了新的活力，推動(dòng)了行業(yè)的技術(shù)進(jìn)步和創(chuàng)新發(fā)展。

50、綜上所述，本發(fā)明提出的基于視覺的超聲波雷達(dá)零件表面打印字符缺陷檢測(cè)方法，具有提高缺陷識(shí)別準(zhǔn)確率、適應(yīng)性強(qiáng)、提升生產(chǎn)效率、提供缺陷閾值輸出以及促進(jìn)智能化升級(jí)等有益效果。該方法的實(shí)施將為超聲波雷達(dá)零件的生產(chǎn)過(guò)程帶來(lái)顯著的改善和提升，具有廣闊的應(yīng)用前景和市場(chǎng)價(jià)值。

51、下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。