本發(fā)明涉及圖像處理領(lǐng)域，尤其涉及一種缺陷目標(biāo)檢測(cè)網(wǎng)絡(luò)及方法。

背景技術(shù)：

1、集成電路是信息技術(shù)的基石，隨著信息化和智能化的快速發(fā)展，集成電路已經(jīng)滲透到了各個(gè)領(lǐng)域中。芯片封裝是生產(chǎn)芯片的重要步驟，隨著集成電路芯片尺寸越來(lái)越小、封裝工藝越來(lái)越復(fù)雜，缺陷產(chǎn)生的機(jī)會(huì)也更多，而企業(yè)對(duì)于品質(zhì)的要求也在不斷提高，因此缺陷檢測(cè)變得日趨重要。人工目檢的方式效率低、穩(wěn)定性差，正在被自動(dòng)光學(xué)檢測(cè)技術(shù)代替。缺陷自動(dòng)光學(xué)檢測(cè)技術(shù)能夠準(zhǔn)確識(shí)別并定位集成電路封裝和測(cè)試過(guò)程中的微小缺陷，如異物、崩邊崩角、劃痕等，保證了集成電路的質(zhì)量和可靠性。

2、傳統(tǒng)圖像處理檢測(cè)方法，需要經(jīng)驗(yàn)豐富的工程師根據(jù)成像和缺陷特點(diǎn)，設(shè)定繁雜的檢測(cè)算法和參數(shù)，適應(yīng)性受到限制，漏檢率和誤檢率難于滿足客戶期望。開(kāi)發(fā)適用性強(qiáng)、使用門檻低、能夠快速、準(zhǔn)確地檢測(cè)封測(cè)缺陷的方法，是當(dāng)前亟待解決的問(wèn)題。隨著人工智能技術(shù)的發(fā)展，越來(lái)越多的基于深度學(xué)習(xí)的方法被應(yīng)用于集成電路的缺陷檢測(cè)。按照訓(xùn)練方式，可分為有監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)。無(wú)監(jiān)督學(xué)習(xí)無(wú)法直接定義缺陷類型，半監(jiān)督學(xué)習(xí)的準(zhǔn)確率還有待提高，有監(jiān)督學(xué)習(xí)更適合于實(shí)際應(yīng)用。有監(jiān)督學(xué)習(xí)的方案主要是采用faster?rcnn、yolo等目標(biāo)檢測(cè)方法，其中yolo算法以其精確度和速度的優(yōu)秀平衡性而著稱。與常規(guī)目標(biāo)檢測(cè)任務(wù)不同，在缺陷檢測(cè)中，缺陷在圖片中具有“異?！毙?，但當(dāng)前方法并未利用這一特性。芯片缺陷具有多尺度性，但多數(shù)目標(biāo)較小而且缺少紋理特征，目標(biāo)難于捕捉。芯片具有纖維異物、裂紋、劃傷等條狀缺陷，標(biāo)準(zhǔn)的方形卷積核，不利于對(duì)此類目標(biāo)的特征提取。芯片缺陷檢測(cè)的這些特性，使得yolo算法對(duì)于芯片缺陷的檢測(cè)效果仍然不理想。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供一種缺陷目標(biāo)檢測(cè)網(wǎng)絡(luò)及方法，采用本網(wǎng)絡(luò)進(jìn)行檢測(cè)能夠顯著提升對(duì)集成電路封裝缺陷的檢測(cè)效果。

2、為實(shí)現(xiàn)上述目的，本技術(shù)實(shí)施例提供一種缺陷目標(biāo)檢測(cè)網(wǎng)絡(luò)，包括：孿生異常注意力機(jī)制子網(wǎng)絡(luò)、第一尺度檢測(cè)子網(wǎng)絡(luò)、第二尺度檢測(cè)子網(wǎng)絡(luò)和第三尺度檢測(cè)子網(wǎng)絡(luò)；所述孿生異常注意力機(jī)制子網(wǎng)絡(luò)的輸出端與所述第一尺度檢測(cè)子網(wǎng)絡(luò)的輸入端相連；所述第一尺度檢測(cè)子網(wǎng)絡(luò)的第一輸出端與所述第二尺度檢測(cè)子網(wǎng)絡(luò)的第一輸入端相連，所述第一尺度檢測(cè)子網(wǎng)絡(luò)的第二輸出端與所述第二尺度檢測(cè)子網(wǎng)絡(luò)的第二輸入端相連，所述第一尺度檢測(cè)子網(wǎng)絡(luò)的第三輸出端與所述第三尺度檢測(cè)子網(wǎng)絡(luò)的第一輸入端相連；所述第二尺度檢測(cè)子網(wǎng)絡(luò)的輸出端和所述第三尺度檢測(cè)子網(wǎng)絡(luò)的第二輸入端相連相連；

3、所述孿生異常注意力機(jī)制子網(wǎng)絡(luò)包括孿生的第一focus模塊、孿生的第二focus模塊、孿生的第一c2f模塊、acm模塊和孿生的第三focus模塊；所述第一focus模塊與所述第二focus模塊相連；所述第二focus模塊相連與所述第一c2f模塊相連；所述第一c2f模塊相連與所述第三focus模塊相連；所述第三focus模塊相連與所述acm模塊相連。

4、在一種可能的實(shí)現(xiàn)方式中，所述第一focus模塊包括并行的且共享權(quán)重的第一孿生focus子模塊和第二孿生focus子模塊；所述第二focus模塊包括并行的且共享權(quán)重的第三孿生focus子模塊和第四孿生focus子模塊；所述第一c2f模塊包括并行的且共享權(quán)重的第一孿生c2f子模塊和第二孿生c2f子模塊；所述第三focus模塊包括并行的且共享權(quán)重的第五孿生focus子模塊和第六孿生focus子模塊；

5、其中，所述第一孿生focus子模塊的輸出端與所述第三孿生focus子模塊的輸入端相連；所述第三孿生focus子模塊的輸出端與所述第一孿生c2f子模塊的輸入端相連；所述第一孿生c2f子模塊的輸出端與所述第五孿生focus子模塊的輸入端相連；所述第五孿生focus子模塊的輸出端與所述acm模塊的第一輸入端相連；所述第二孿生focus子模塊的輸出端與所述第四孿生focus子模塊的輸入端相連；所述第四孿生focus子模塊的輸出端與所述第二孿生c2f子模塊的輸入端相連；所述第二孿生c2f子模塊的輸出端與所述第六孿生focus子模塊的輸入端相連；所述第六孿生focus子模塊的輸出端與所述acm模塊的第二輸入端相連；所述acm模塊的輸出端與所述第一尺度檢測(cè)子網(wǎng)絡(luò)的輸入端相連。

6、在一種可能的實(shí)現(xiàn)方式中，所述acm模塊的輸出的方式為：

7、

8、其中，f∈rb×c×h×w表示輸入的訓(xùn)練圖片，表示對(duì)應(yīng)的參考圖片，r表示實(shí)數(shù)集，b表示批次數(shù)目，c表示圖像通道，h表示圖像高度，w表示圖像寬度，r^(b×c×h×w)描述了一個(gè)四維張量，其中每個(gè)元素都是實(shí)數(shù)，且這個(gè)張量的形狀由批量大小b、圖像通道數(shù)c、圖像高度h和圖像寬度w這四個(gè)維度決定，{；}表示拼接操作，fc表示1*1的卷積。

9、在一種可能的實(shí)現(xiàn)方式中，所述第一focus模塊、第二focus模塊、第一c2f模塊和第三focus模塊是使用共享權(quán)重進(jìn)行訓(xùn)練的。

10、在一種可能的實(shí)現(xiàn)方式中，所述第一尺度檢測(cè)子網(wǎng)絡(luò)包括：第一c2fghost模塊、第七focus模塊、第二c2fghost模塊、第八focus模塊、第三c2fghost模塊、sppf模塊、第四c2fghost模塊、第五c2fghost模塊、第一拼接模塊、第一上采樣模塊、第二拼接模塊、第二上采樣模塊和第一ambc檢測(cè)模塊；所述第一c2fghost模塊的輸入端與所述孿生異常注意力機(jī)制子網(wǎng)絡(luò)的輸出端相連；所述第四c2fghost模塊的第一輸出端與所述第二尺度檢測(cè)子網(wǎng)絡(luò)的第一輸入端相連；所述第五c2fghost模塊的輸出端與所述第二尺度檢測(cè)子網(wǎng)絡(luò)的第二輸入端相連；所述sppf模塊的輸出端與所述第三尺度檢測(cè)子網(wǎng)絡(luò)的第一輸入端相連；

11、其中，所述第一c2fghost模塊的第一輸出端與所述第七focus模塊的輸入端相連，所述第一c2fghost模塊的第二輸出端與所述第一拼接模塊的第一輸入端相連；所述第七focus模塊的輸出端與所述第二c2fghost模塊的輸入端相連；所述第二c2fghost模塊的第一輸出端與所述第八focus模塊的輸入端相連，所述第二c2fghost模塊的第二輸出端與所述第二拼接模塊的第一輸入端相連；所述第八focus模塊的輸出端與所述第三c2fghost模塊的輸入端相連；所述第三c2fghost模塊的輸出端與所述sppf模塊的輸入端相連；所述sppf模塊的輸出端與所述第一上采樣模塊的輸入端相連；所述第一上采樣模塊的輸出端與所述第二拼接模塊的第二輸入端相連；所述第二拼接模塊與所述第四c2fghost模塊的輸入端相連；所述第四c2fghost模塊的第二輸出端與所述第二上采樣模塊的輸入端相連；所述第二上采樣模塊的輸出端與所述第一拼接模塊的第二輸入端相連；所述第一拼接模塊的輸出端與所述第五c2fghost模塊的輸入端相連；所述第五c2fghost模塊的輸出端與所述第一ambc檢測(cè)模塊的輸入端相連。

12、在一種可能的實(shí)現(xiàn)方式中，第一conv模塊、第三拼接模塊、第六c2fghost模塊和第二ambc檢測(cè)模塊；所述第一conv模塊的輸入端與所述第一尺度檢測(cè)子網(wǎng)絡(luò)的第二輸出端相連；所述第三拼接模塊的第二輸入端與所述第一尺度檢測(cè)子網(wǎng)絡(luò)的第一輸出端相連；所述第六c2fghost模塊的第一輸出端與所述第三尺度檢測(cè)子網(wǎng)絡(luò)的第二輸入端相連

13、其中，所述第一conv模塊的輸出端與所述第三拼接模塊的第一輸入端相連所述第三拼接模塊的輸出端與所述第六c2fghost模塊的輸入端相連；所述第六c2fghost模塊的第二輸出端與所述第二ambc檢測(cè)模塊的輸入端相連。

14、在一種可能的實(shí)現(xiàn)方式中，所述第二尺度檢測(cè)子網(wǎng)絡(luò)包括第二conv模塊、第四拼接模塊、第七c2fghost模塊和第三ambc檢測(cè)模塊；所述第二conv模塊的輸入端與所述第二尺度檢測(cè)子網(wǎng)絡(luò)的輸出端相連；所述第四拼接模塊的第一輸入端與所述第一尺度檢測(cè)子網(wǎng)絡(luò)的第一輸出端相連；

15、其中，所述第二conv模塊的輸出端與所述第四拼接模塊的第一輸入端相連；所述第四拼接模塊的輸出端與所述第七c2fghost模塊的輸入端相連；所述第七c2fghost模塊的輸出端與所述第三ambc檢測(cè)模塊的輸入端相連。

16、在一種可能的實(shí)現(xiàn)方式中，各個(gè)c2fghost模塊均包括第一conv子層、第二conv子層、split子層、第一ghostbottleneck子層、第二ghostbottleneck子層和一個(gè)拼接子模塊；

17、其中，第一conv子層的輸出端與所述split子層的輸入端相連；所述split子層的第一輸出端與第一ghostbottleneck子層的輸入端相連；一個(gè)ghostbottleneck子層的第一輸出端與第二ghostbottleneck子層的輸入端相連；第二ghostbottleneck子層的第一輸出端與所述拼接子模塊的第一輸入端相連；所述拼接子模塊的第二輸入端分別與兩個(gè)ghostbottleneck子層的第二輸出端、所述split子層的第二輸入端相連；所述拼接子模塊的輸出端與第二conv子層的輸入端相連。

18、在一種可能的實(shí)現(xiàn)方式中，各個(gè)ambc檢測(cè)模塊包括兩個(gè)變形蟲(chóng)卷積分路網(wǎng)絡(luò)。

19、在一種可能的實(shí)現(xiàn)方式中，各個(gè)ambc檢測(cè)模塊包括第一變形蟲(chóng)卷積分路網(wǎng)絡(luò)和第二變形蟲(chóng)卷積分路網(wǎng)絡(luò)；所述第一變形蟲(chóng)卷積分路網(wǎng)絡(luò)的輸入端和所述第二變形蟲(chóng)卷積分路網(wǎng)絡(luò)的輸入端相連；

20、其中，第一變形蟲(chóng)卷積分路網(wǎng)絡(luò)包括依次串聯(lián)的第一ambconv層、第二ambconv層、第一conv2d層和boxloss層；所述第一ambconv層的輸入端與所述第二變形蟲(chóng)卷積分路網(wǎng)絡(luò)的輸入端相連；第二變形蟲(chóng)卷積分路網(wǎng)絡(luò)包括依次串聯(lián)的第三ambconv層、第四ambconv層、第二conv2d層和clsloss層；所述第三ambconv層的輸入端與所述第一變形蟲(chóng)卷積分路網(wǎng)絡(luò)的輸入端相連。

21、本技術(shù)實(shí)施例另一方面提供一種缺陷目標(biāo)檢測(cè)方法，該方法應(yīng)用如上所述的缺陷目標(biāo)檢測(cè)實(shí)現(xiàn)。

22、相比于現(xiàn)有技術(shù)，本發(fā)明實(shí)施例提供一種缺陷目標(biāo)檢測(cè)網(wǎng)絡(luò)及方法，通過(guò)將傳統(tǒng)yolo網(wǎng)絡(luò)主干提取特征的范式改變?yōu)閷\生異常注意力機(jī)制子網(wǎng)絡(luò)，孿生異常注意力機(jī)制子網(wǎng)絡(luò)中對(duì)待測(cè)芯片和正常芯片進(jìn)行特征對(duì)比，使網(wǎng)絡(luò)在后半部分的特征提取和特征融合中更多地關(guān)注異常區(qū)域，達(dá)到突出缺陷目標(biāo)的目的，增強(qiáng)網(wǎng)絡(luò)的特征提取能力。其次，針對(duì)小目標(biāo)類缺陷將傳統(tǒng)yolo網(wǎng)絡(luò)中的下采樣模塊替代為focus模塊以保留更多的細(xì)節(jié)信息。然后，加入ghost卷積簡(jiǎn)化網(wǎng)絡(luò)，對(duì)focus模塊輸出的通道進(jìn)行調(diào)整；針對(duì)曲線類缺陷，將傳統(tǒng)yolo網(wǎng)絡(luò)中的檢測(cè)頭中堆疊兩個(gè)變形蟲(chóng)卷積，以及一個(gè)普通卷積，將檢測(cè)頭中的卷積改為更適合曲線特征及其他多種連續(xù)性特征提取的變形蟲(chóng)卷積，使其變?yōu)樽冃蜗x(chóng)卷積檢測(cè)頭。

23、通過(guò)上述三方面的改進(jìn)，能夠顯著提升對(duì)集成電路封裝缺陷的檢測(cè)效果，采用本發(fā)明提供的缺陷目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行缺陷檢測(cè)具有良好的應(yīng)用前景。