本發(fā)明涉及半導(dǎo)體檢測，特別涉及一種基于深度學(xué)習(xí)與圖像處理的針痕檢測方法及系統(tǒng)。

背景技術(shù)：

1、在微電子組裝、pcb板制造等場景中，在封裝測試環(huán)節(jié)需要使用到探針進(jìn)行晶圓電氣性能檢測，探針在接觸過程中可能會出現(xiàn)壓傷等針痕缺陷，而針痕的微小缺陷就可能導(dǎo)致產(chǎn)品失效。

2、傳統(tǒng)的針痕檢測方法主要依賴于基于規(guī)則的圖像處理算法（邊緣檢測、模板匹配），傳統(tǒng)的圖像處理針痕檢測方法在以下情況下準(zhǔn)確率較低：1.復(fù)雜背景干擾：背景紋理復(fù)雜、多變，容易導(dǎo)致誤檢和漏檢等誤判操作。2.光照變化影響：針痕區(qū)域的光照條件不均勻，使得特征提取不穩(wěn)定。3.針痕多樣性：針痕的形狀、大小、深淺不一，單一特征無法有效描述，對于不同類型的針痕，缺乏通用性，需要手動設(shè)計特征或規(guī)則。

3、現(xiàn)有的深度學(xué)習(xí)的針痕檢測方法則存在以下缺陷：1.數(shù)據(jù)依賴性強(qiáng)，訓(xùn)練模型需要大量標(biāo)注數(shù)據(jù)。2.難以解釋針痕檢測的結(jié)果，不利于工業(yè)應(yīng)用中的可靠性分析。

4、目前，傳統(tǒng)圖像處理方法和深度學(xué)習(xí)方法的結(jié)合點(diǎn)往往較淺，僅在輸入或后處理階段進(jìn)行簡單結(jié)合，未能充分利用兩種方法的優(yōu)勢。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述問題，本發(fā)明提供一種基于深度學(xué)習(xí)與圖像處理的針痕檢測方法及系統(tǒng)，結(jié)合了深度學(xué)習(xí)與傳統(tǒng)圖像處理技術(shù)，旨在顯著提升針痕檢測的準(zhǔn)確率和魯棒性。

2、為實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

3、本發(fā)明提供一種基于深度學(xué)習(xí)與圖像處理的針痕檢測方法，包括以下步驟：

4、步驟1：建立針痕圖像數(shù)據(jù)集，針痕圖像數(shù)據(jù)集中包括不同類型的針痕圖像；

5、步驟2：對針痕圖像進(jìn)行圖像預(yù)處理；

6、步驟3：對預(yù)處理后的針痕圖像進(jìn)行數(shù)據(jù)標(biāo)注；

7、步驟4：構(gòu)建分析模型，利用步驟3得到的針痕圖像進(jìn)行模型訓(xùn)練，該模型訓(xùn)練過程包括對圖像中潛在針痕區(qū)域的特征提取、候選區(qū)域生成和分類定位；

8、步驟5：利用訓(xùn)練好分析模型對針痕圖像進(jìn)行識別，檢測出針痕候選區(qū)域；

9、步驟6：對步驟5所得針痕候選區(qū)域進(jìn)行圖像后處理，識別出針痕區(qū)域。

10、進(jìn)一步地，在本發(fā)明提供的基于深度學(xué)習(xí)與圖像處理的針痕檢測方法中：步驟2的圖像預(yù)處理包括依次進(jìn)行的去噪處理、光照均衡、邊緣特征增強(qiáng)、圖像標(biāo)準(zhǔn)化、幾何校正。

11、進(jìn)一步地，在本發(fā)明提供的基于深度學(xué)習(xí)與圖像處理的針痕檢測方法中：去噪處理采用了高斯濾波方法；光照均衡采用自適應(yīng)直方圖均衡化操作；邊緣特征增強(qiáng)采用拉普拉斯算子計算圖像的二階導(dǎo)數(shù)，提取邊緣特征后與原始圖像疊加，以達(dá)到增強(qiáng)效果；圖像標(biāo)準(zhǔn)化將圖像的像素值范圍歸一化到固定區(qū)間（[0,?1]），同時統(tǒng)一分辨率；幾何校正采用了基于仿射變換的校正方法，通過對圖像進(jìn)行旋轉(zhuǎn)、縮放和平移操作，將針痕區(qū)域調(diào)整到標(biāo)準(zhǔn)位置。

12、進(jìn)一步地，在本發(fā)明提供的基于深度學(xué)習(xí)與圖像處理的針痕檢測方法中：步驟4中特征提取所采用特征提取網(wǎng)絡(luò)如下：使用faster?resnet-50模型作為主干網(wǎng)絡(luò)，同時引入了dcn模塊動態(tài)調(diào)整卷積核的采樣位置，自適應(yīng)針痕的不規(guī)則形狀和邊緣特征，網(wǎng)絡(luò)輸出的多尺度特征經(jīng)過fpn網(wǎng)絡(luò)整合后輸出。

13、進(jìn)一步地，在本發(fā)明提供的基于深度學(xué)習(xí)與圖像處理的針痕檢測方法中：步驟4中候選區(qū)域生成是采用rpn提取候選框網(wǎng)絡(luò)對提取的特征圖進(jìn)行處理，具體包括以下操作：

14、1）錨點(diǎn)生成：在特征圖上生成多個預(yù)定義錨框，預(yù)定義錨框的尺寸、寬高比覆蓋了潛在的針痕大小范圍；

15、2）候選區(qū)域篩選：通過輕量級的卷積操作，計算每個預(yù)定義錨框的目標(biāo)分?jǐn)?shù)和邊界回歸參數(shù)，根據(jù)目標(biāo)分?jǐn)?shù)篩選出目標(biāo)可能性較高的錨框，并通過邊界回歸調(diào)整錨框位置。

16、進(jìn)一步地，在本發(fā)明提供的基于深度學(xué)習(xí)與圖像處理的針痕檢測方法中：步驟4中分類定位在是在生成候選區(qū)域后，對每個候選框進(jìn)行針痕與非針痕的分類以及針痕區(qū)域位置的定位，具體包括以下操作：

17、1）類分支：將每個候選框的特征送入全連接層，輸出該候選框?qū)儆卺樅刍蚍轻樅鄣母怕史謹(jǐn)?shù)，此過程使用交叉熵?fù)p失函數(shù)進(jìn)行優(yōu)化，公式如下：

18、

19、式中，?為分類損失；為第?i?個樣本的預(yù)測概率，取值?[0,1]；?為第?i個樣本的真實(shí)標(biāo)簽，取值為?0或1；n為樣本總數(shù)；log?為自然對數(shù)運(yùn)算；?表示對所有樣本的損失求和；?表示對總損失取平均；

20、2）回歸分支：通過回歸網(wǎng)絡(luò)預(yù)測候選框的位置偏移量，包括框的中心坐標(biāo)、寬度和高度的調(diào)整量，最終生成針痕區(qū)域，回歸損失使用平滑l1損失函數(shù)，公式如下：

21、

22、式中，為回歸損失；n為樣本總數(shù)；?為第?i?個樣本的真實(shí)類別指示符，取值為0或1，僅正樣本參與回歸計算；為模型預(yù)測的回歸參數(shù)；為第i個樣本的真實(shí)回歸目標(biāo)參數(shù)；為平滑?l1損失函數(shù)；表示對所有樣本的損失求和；表示對總損失取平均。

23、進(jìn)一步地，在本發(fā)明提供的基于深度學(xué)習(xí)與圖像處理的針痕檢測方法中：模型訓(xùn)練通過多任務(wù)損失函數(shù)優(yōu)化，公式如下：

24、

25、式中，是模型的損失，是分類損失，是回歸損失，是權(quán)重平衡因子，表示乘法運(yùn)算。

26、進(jìn)一步地，在本發(fā)明提供的基于深度學(xué)習(xí)與圖像處理的針痕檢測方法中：模型訓(xùn)練過程中使用數(shù)據(jù)增強(qiáng)技術(shù)模擬實(shí)際場景中的多樣性，數(shù)據(jù)增強(qiáng)技術(shù)包括隨機(jī)旋轉(zhuǎn)、裁剪、翻轉(zhuǎn)。

27、進(jìn)一步地，在本發(fā)明提供的基于深度學(xué)習(xí)與圖像處理的針痕檢測方法中：步驟6的圖像后處理包括以下操作：

28、1）對候選區(qū)域進(jìn)行邊緣驗證，篩選出符合針痕特征的區(qū)域，去除誤檢區(qū)域；

29、2）對候選區(qū)進(jìn)行形態(tài)學(xué)操作，通過開運(yùn)算去除噪聲點(diǎn)和小偽檢區(qū)域，同時保留針痕的整體結(jié)構(gòu)，結(jié)合閉運(yùn)算修復(fù)邊緣斷裂；

30、3）對候選區(qū)進(jìn)行區(qū)域特征計算，首先計算面積、長寬比、形狀因子，根據(jù)計算結(jié)果過濾非針痕區(qū)域，然后對保留下的區(qū)域計算其像素強(qiáng)度分布，通過亮度和紋理特征驗證其是否符合針痕的光學(xué)特性，根據(jù)驗證結(jié)果進(jìn)一步過濾非針痕區(qū)域；

31、4）使用模板匹配對檢測結(jié)果進(jìn)行驗證。

32、本發(fā)明還提供一種針痕檢測系統(tǒng)，用于實(shí)現(xiàn)如上述的基于深度學(xué)習(xí)與圖像處理的針痕檢測方法，包括：圖像輸入模塊，用于輸入待識別的針痕圖像；圖像預(yù)處理模塊，用于對針痕圖像進(jìn)行預(yù)處理；數(shù)據(jù)標(biāo)注模塊，用于對針痕圖像進(jìn)行數(shù)據(jù)標(biāo)注；圖像初步檢測模塊，通過分析模型對圖像中潛在針痕區(qū)域的特征提取、候選區(qū)域生成和分類定位，檢測出針痕候選區(qū)域；圖像精細(xì)識別模塊，通過邊緣驗證、形態(tài)學(xué)操作、區(qū)域特征計算、模板匹配操作，從針痕候選區(qū)域中篩選出針痕區(qū)域。

33、與現(xiàn)有技術(shù)相比，本發(fā)明的具有以下有益效果：

34、1）提高了檢測精度：本發(fā)明通過深度學(xué)習(xí)模型的特征提取能力，結(jié)合傳統(tǒng)算法的規(guī)則性約束，能顯著減少誤檢和漏檢率。

35、2）增強(qiáng)了魯棒性：本發(fā)明采用圖像預(yù)處理和自適應(yīng)增強(qiáng)算法，有效減弱光照和背景干擾的影響。

36、3）降低了數(shù)據(jù)需求：本發(fā)明通過傳統(tǒng)方法生成偽標(biāo)注數(shù)據(jù)，緩解深度學(xué)習(xí)模型對大規(guī)模標(biāo)注數(shù)據(jù)的依賴。

37、4）提升了工業(yè)適應(yīng)性：本發(fā)明通過結(jié)合傳統(tǒng)方法的規(guī)則性和深度學(xué)習(xí)的自適應(yīng)性，使結(jié)果更具解釋性，適合工業(yè)場景部署。