本發(fā)明屬于目標(biāo)檢測，具體涉及一種基于半監(jiān)督學(xué)習(xí)的軸承表面缺陷檢測方法。

背景技術(shù)：

1、軸承作為機械設(shè)備中的關(guān)鍵部件，其表面質(zhì)量直接影響設(shè)備的性能和使用壽命。有效檢測軸承表面的缺陷，如裂紋、凹坑和劃痕等，不僅能夠提高產(chǎn)品質(zhì)量，減少設(shè)備故障和停機時間，還能降低維修成本，延長設(shè)備的使用周期。但是在工業(yè)生產(chǎn)線條件下往往只能獲取到少量有代表性的缺陷樣本，難以覆蓋所有可能出現(xiàn)的缺陷情況。同時收集和標(biāo)注缺陷樣本是一項勞動密集型工作，特別是對于高精度的標(biāo)注要求，這在經(jīng)濟和時間成本上都是巨大的負擔(dān)。此外小樣本條件下，傳統(tǒng)的機器學(xué)習(xí)算法容易過擬合，難以泛化到未見過的缺陷類型上，不能滿足高效、精準(zhǔn)的檢測需求。因此通過研究并應(yīng)用先進的圖像處理和深度學(xué)習(xí)技術(shù)，實現(xiàn)對軸承表面缺陷的自動檢測和分類，有助于提高檢測效率和準(zhǔn)確性，推動制造業(yè)向智能化和高效化方向發(fā)展。這不僅對提高生產(chǎn)效率和產(chǎn)品質(zhì)量具有重要意義，還能夠增強企業(yè)的市場競爭力，推動整個行業(yè)的技術(shù)進步。

2、近年來，隨著深度學(xué)習(xí)技術(shù)的迅猛發(fā)展，基于深度學(xué)習(xí)的缺陷目標(biāo)檢測算法逐漸取代了傳統(tǒng)的機器學(xué)習(xí)方法。深度學(xué)習(xí)等先進技術(shù)雖然在圖像識別等領(lǐng)域展現(xiàn)出卓越性能，但其成功往往基于大數(shù)據(jù)支持。目前基于深度學(xué)習(xí)的表面缺陷檢測通常采用全監(jiān)督模型，這種模型依賴大量精確的人工標(biāo)注樣本進行訓(xùn)練，需要耗費大量的時間和人力資源。如何在缺陷檢測的小樣本場景下，減少模型參數(shù)量并提升對細微缺陷的檢測精度，成為亟待解決的關(guān)鍵問題。

3、因此，本發(fā)明提出了一種基于yolov7的半監(jiān)督軸承表面缺陷檢測方法，用以解決現(xiàn)有軸承表面缺陷檢測模型參數(shù)量大、軸承缺陷尺度小以及當(dāng)前公開數(shù)據(jù)集不足標(biāo)注成本高的問題，以提高在有限樣本基礎(chǔ)上的檢測精度、速度和泛化能力。

技術(shù)實現(xiàn)思路

1、(一)解決的技術(shù)問題

2、為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提出了一種基于yolov7的半監(jiān)督軸承表面缺陷檢測方法，用以解決現(xiàn)有軸承表面缺陷檢測模型參數(shù)量大、軸承缺陷尺度小以及當(dāng)前公開數(shù)據(jù)集不足標(biāo)注成本高的問題，該方法能夠在有限樣本的基礎(chǔ)上，有效提升檢測精度、速度和泛化能力。

3、(二)技術(shù)方案

4、本發(fā)明為了實現(xiàn)上述目的具體采用以下技術(shù)方案：

5、一種基于改進yolov7的半監(jiān)督軸承表面缺陷檢測方法，該方法包括以下步驟：

6、s1.采集軸承表面缺陷圖像，劃分?jǐn)?shù)據(jù)集并標(biāo)注；

7、s2.基于yolov7算法進行優(yōu)化改進，得到改進后的yolov7-rbe缺陷檢測算法；

8、s3.使用yolov7-rbe模型作為基準(zhǔn)檢測網(wǎng)絡(luò)，構(gòu)建一個教師網(wǎng)絡(luò)和一個學(xué)生網(wǎng)絡(luò)；

9、s4.在監(jiān)督階段，有標(biāo)簽數(shù)據(jù)輸入學(xué)生網(wǎng)絡(luò)中進行預(yù)訓(xùn)練，將預(yù)訓(xùn)練權(quán)重復(fù)制給教師網(wǎng)絡(luò)；

10、s5.在半監(jiān)督階段，無標(biāo)簽數(shù)據(jù)輸入教師網(wǎng)絡(luò)進行結(jié)果預(yù)測，獲得初步偽標(biāo)簽；

11、s6.有標(biāo)簽數(shù)據(jù)和帶偽標(biāo)簽的無標(biāo)簽數(shù)據(jù)共同訓(xùn)練檢測模型,并且實時將學(xué)生網(wǎng)絡(luò)的權(quán)重參數(shù)傳遞給教師網(wǎng)絡(luò)。

12、進一步地，所述的s1：采集軸承表面缺陷圖像，劃分?jǐn)?shù)據(jù)集并標(biāo)注，具體為：

13、本次實驗數(shù)據(jù)集為自制的軸承表面缺陷數(shù)據(jù)集，從不同光照方向采集軸承表面缺陷圖像共2174張，圖片像素大小為1280×1024，該數(shù)據(jù)集中包含了缺口、擦傷、劃痕和銹斑4種缺陷類型。其中缺口圖片436，擦傷圖片602張，劃痕圖片611，銹斑圖片525張。

14、將軸承表面缺陷數(shù)據(jù)集按照設(shè)定的比例9：1劃分為無標(biāo)簽數(shù)據(jù)集和有標(biāo)簽數(shù)據(jù)集，使用labelimg軟件對劃分為有標(biāo)簽數(shù)據(jù)集的圖像進行標(biāo)注，標(biāo)注出軸承表面缺陷的類型和位置，其中缺口的標(biāo)簽為breath，擦傷的標(biāo)簽為abrade，劃痕的標(biāo)簽為scratch，銹斑的標(biāo)簽為rust。標(biāo)注完成后得到y(tǒng)olo格式的txt標(biāo)注文件，最后將有標(biāo)簽數(shù)據(jù)集按照8：2的比例劃分為訓(xùn)練集和測試集。

15、進一步地，s2中所述的改進yolov7網(wǎng)絡(luò)結(jié)構(gòu)包括以下步驟；

16、步驟一：將主干網(wǎng)絡(luò)中四個elan模塊替換為包含重參數(shù)卷積(repconv)的elan-rep模塊，降低的模型參數(shù)量；

17、步驟二：在特征融合階段引入雙向特征金字塔重構(gòu)頸部網(wǎng)絡(luò)，使網(wǎng)絡(luò)具有更高的特征融合效率和能力，提高模型對小目標(biāo)的檢測性能；

18、步驟三：在預(yù)測階段使用focal-eiou作為邊框回歸損失函數(shù)，通過調(diào)節(jié)低質(zhì)量樣本和高質(zhì)量樣本對損失函數(shù)的影響，精細優(yōu)化邊框回歸，從而使模型更加關(guān)注高質(zhì)量錨框，提高檢測性能和穩(wěn)定性。

19、進一步地，步驟一所述的將主干網(wǎng)絡(luò)中四個elan模塊替換為包含重參數(shù)卷積(repconv)的elan-rep模塊，具體為：

20、原始yolov7架構(gòu)大量采用了elan模塊，這種設(shè)計雖然可以增強特征表達，但其密集的堆疊大幅增加了模型的參數(shù)量與復(fù)雜性，影響了檢測性能。為了解決這一問題并促進更高效的特征提取，對elan模塊進行了優(yōu)化。引入高效重參數(shù)卷積來提升模型的特征提取效率及檢測精度，通過簡化模型架構(gòu)，有效加速了推理過程，實現(xiàn)了性能與效率的雙重優(yōu)化。

21、重參數(shù)主要是在訓(xùn)練階段和推理階段對網(wǎng)絡(luò)進行優(yōu)化處理，實現(xiàn)模型計算效率和性能的提升。重參數(shù)化主要包括兩個步驟：一是訓(xùn)練階段的多分支結(jié)構(gòu)，如圖1所示，即在訓(xùn)練階段，使用包含多個分支的卷積結(jié)構(gòu)來增加模型的表達能力和訓(xùn)練效果。這些分支可以包括卷積(conv)以及不同的歸一化層(bn)和激活函數(shù)等。二是推理階段的單分支結(jié)構(gòu)，在推理階段，將訓(xùn)練階段的多分支結(jié)構(gòu)通過參數(shù)重排合并成一個單分支卷積結(jié)構(gòu)。這一步通過數(shù)學(xué)轉(zhuǎn)換，將多個分支的權(quán)重和偏置合并到一個標(biāo)準(zhǔn)的卷積層中，從而減少計算開銷，提高推理效率，同時保持訓(xùn)練階段的性能優(yōu)勢。

22、為了進一步提高yolov7網(wǎng)絡(luò)在推理階段的效率，本發(fā)明采用重參數(shù)卷積設(shè)計了elan-rep模塊，替換原算法主干網(wǎng)絡(luò)四個elan模塊中的特定普通卷積層。

23、進一步地，步驟二所述的在特征融合階段引入雙向特征金字塔重構(gòu)頸部網(wǎng)絡(luò)，具體為：

24、原始的yolov7算法在頸部層中采用特征金字塔和路徑聚合網(wǎng)絡(luò)，從不同特征層中提取信息。然而在面對軸承表面微小缺陷時，存在因特征細節(jié)丟失而導(dǎo)致檢測準(zhǔn)確率下降的問題。為增強不同尺度間的特征融合并提高檢測精度，本發(fā)明引入了一種加權(quán)雙向特征融合網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過智能加權(quán)融合不同層級的特征并構(gòu)建跨尺度的特征連接，從而顯著增強了模型在小尺度目標(biāo)檢測上的精確性，同時優(yōu)化了特征利用效率。

25、相比于傳統(tǒng)的特征金字塔和路徑聚合網(wǎng)絡(luò)的疊加，雙向特征金字塔(bifpn)刪除了只存在一條輸入邊的節(jié)點，減少了冗余計算；雙向特征金字塔中所有節(jié)點都有兩條以上的輸入邊，增加了模型的特征融合能力；此外通過增加跳躍連接，可以以較小代價獲取更多特征的融合。雙向特征金字塔能夠?qū)Σ煌斎胩卣鬟M行區(qū)分性融合，賦予其不同權(quán)重，并采用快速歸一化的加權(quán)特征融合。雙向特征金字塔加權(quán)特征融合計算方法為：

26、

27、其中，ω為可學(xué)習(xí)權(quán)重；ii為輸入特征；ε＝0.0001。

28、本發(fā)明優(yōu)化了yolov7模型的頸部結(jié)構(gòu)，用一種加權(quán)的雙向特征金字塔網(wǎng)絡(luò)取代了原有的特征金字塔與路徑聚合結(jié)構(gòu)。實現(xiàn)對主干網(wǎng)絡(luò)輸出的三個特征圖的更高效融合，增強了模型的特征融合效率和能力。

29、進一步地，步驟三所述的在預(yù)測階段使用focal-eiou作為邊框回歸損失函數(shù)，具體為：

30、yolo系列的損失函數(shù)由邊框回歸損失、置信度損失和分類損失三部分組成。，yolov7選用了ciou損失來優(yōu)化邊界框回歸，以此克服giou損失函數(shù)在在某些情境下退化為iou損失的局限，如當(dāng)預(yù)測框被真實框完全包圍時。ciou通過將預(yù)測框與真實框的高寬比引入損失值進行計算，有效解決了當(dāng)預(yù)測框與真實框不重疊時仍能指導(dǎo)邊界框正確移動方向的問題。但與giou損失一樣，二者均未充分考慮到預(yù)測框與真實框之間的定向偏差，這這限制了收斂效率和定位精度。

31、本發(fā)明采用focal-eiou損失函數(shù)該損失函數(shù)通過對eiou損失值進行iou加權(quán)，調(diào)節(jié)低質(zhì)量和高質(zhì)量樣本對損失函數(shù)的影響，精細優(yōu)化邊框回歸，從而使模型更加專注于高質(zhì)量錨框，提高檢測性能和穩(wěn)定性，同時加快模型的收斂速度。

32、進一步地，s3所述的使用yolov7-rbe模型作為基準(zhǔn)檢測網(wǎng)絡(luò)，構(gòu)建一個教師網(wǎng)絡(luò)和一個學(xué)生網(wǎng)絡(luò)，具體為：

33、教師-學(xué)生網(wǎng)絡(luò)的核心思想是使用已有的有標(biāo)簽數(shù)據(jù)作為“教師”來指導(dǎo)無標(biāo)簽數(shù)據(jù)的學(xué)習(xí)過程，從而讓無標(biāo)簽數(shù)據(jù)也能積極參與模型訓(xùn)練。在這個過程中，教師網(wǎng)絡(luò)往往是首先在一個小的、有標(biāo)簽的數(shù)據(jù)集上訓(xùn)練得到的一個較為成熟的模型，然后基于其現(xiàn)有的知識，為無標(biāo)簽數(shù)據(jù)分配偽標(biāo)簽(pseudo-labels)，即預(yù)測的類別標(biāo)簽。然后，學(xué)生網(wǎng)絡(luò)利用這些帶有偽標(biāo)簽的無標(biāo)簽數(shù)據(jù)以及原始的有標(biāo)簽數(shù)據(jù)進行訓(xùn)練。為了促進模型權(quán)重的穩(wěn)健性與預(yù)測穩(wěn)定性，采用學(xué)生網(wǎng)絡(luò)參數(shù)的指數(shù)移動平均值對教師網(wǎng)絡(luò)進行更新，伴隨迭代進程的深入，教師網(wǎng)絡(luò)的權(quán)重會愈發(fā)穩(wěn)定，進而逐漸提高偽標(biāo)簽的質(zhì)量和模型的泛化能力。

34、為了增強半監(jiān)督缺陷檢測模型的魯棒性，在不同階段分別采用了強、弱兩種數(shù)據(jù)增強策略，其中強增強包括覆蓋、模糊、改變色度等，弱增強包括旋轉(zhuǎn)、平移、鏡像等。

35、進一步地，s4所述的在監(jiān)督階段，有標(biāo)簽數(shù)據(jù)輸入學(xué)生網(wǎng)絡(luò)中進行預(yù)訓(xùn)練，將預(yù)訓(xùn)練權(quán)重復(fù)制給教師網(wǎng)絡(luò)，具體為：

36、首先有標(biāo)簽數(shù)據(jù)進行弱增強后輸入學(xué)生網(wǎng)絡(luò)中進行有監(jiān)督訓(xùn)練，得到一個預(yù)訓(xùn)練權(quán)重，然后將預(yù)訓(xùn)練權(quán)重復(fù)制給教師網(wǎng)絡(luò)，進行教師網(wǎng)絡(luò)學(xué)習(xí)。訓(xùn)練的輪數(shù)設(shè)定為200，分組尺寸設(shè)定為32，圖片尺寸設(shè)定為640×640。這一階段的損失為有監(jiān)督損失，即ls，有監(jiān)督損失定義為：

37、

38、其中，表示第i個已標(biāo)注布匹圖像，為置信度損失，lcls為缺陷分類損失，lbox為候選框回歸損失，kl為已標(biāo)注圖像數(shù)量。

39、進一步地，s5所述的在半監(jiān)督階段，無標(biāo)簽數(shù)據(jù)輸入教師網(wǎng)絡(luò)進行結(jié)果預(yù)測，獲得初步偽標(biāo)簽，具體為：

40、無標(biāo)簽數(shù)據(jù)進行弱增強后輸入教師網(wǎng)絡(luò)，并使用更新權(quán)重參數(shù)后的教師網(wǎng)絡(luò)進行推理預(yù)測，然后將預(yù)測結(jié)果通過nms(non-maximum?suppression)過濾去除冗余框，獲得初步偽標(biāo)簽，隨后采用框抖動(box?jittering)中的方差濾波算法對偽標(biāo)簽進行篩選，將濾波之后的高質(zhì)量偽標(biāo)簽數(shù)據(jù)進行強增強用于指導(dǎo)學(xué)生網(wǎng)絡(luò)學(xué)習(xí)無標(biāo)簽數(shù)據(jù)的特征。這一階段的損失為無監(jiān)督損失，即lu，無監(jiān)督損失定義為：

41、

42、其中，表示第個未標(biāo)注布匹圖像，為置信度損失，lcls為缺陷分類損失，lbox為候選框回歸損失，ku為未標(biāo)注圖像數(shù)量。

43、本發(fā)明采用的框抖動方法是由soft?teacher提出的，通過度量回歸結(jié)果的一致性來判斷一個邊界框的定位是否可靠。給定一個教師網(wǎng)絡(luò)生成的偽邊界框bi，在其周圍采樣一個抖動框，并將抖動框輸入教師模型，得到精細化的邊界框

44、

45、重復(fù)進行上面的操作，就能夠收集到一系列的經(jīng)過精細化調(diào)整的框，這些框的方差越小，定位可靠性越高，這一方法有效改善了偽標(biāo)簽的可靠性。以下是用來篩選抖動框的方差濾波算法公式：

46、

47、式中σk是提取抖動框集合，{bi，j}中第k個坐標(biāo)的標(biāo)準(zhǔn)推導(dǎo)規(guī)則，是σk的歸一化，h(bi)和w(bi)分別為候選框的高和寬，為候選框bi的抖動框回歸方差均值，也是抖動框生成的依據(jù)。

48、進一步地，s6所述的有標(biāo)簽數(shù)據(jù)和帶偽標(biāo)簽的無標(biāo)簽數(shù)據(jù)共同訓(xùn)練檢測模型,并且實時將學(xué)生網(wǎng)絡(luò)的權(quán)重參數(shù)傳遞給教師網(wǎng)絡(luò)，具體為：

49、有標(biāo)簽數(shù)據(jù)和帶偽標(biāo)簽的無標(biāo)簽數(shù)據(jù)共同訓(xùn)練檢測模型，并且實時將學(xué)生網(wǎng)絡(luò)的權(quán)重參數(shù)通過指數(shù)移動平均方法(exponential?moving?average，ema)傳遞給教師網(wǎng)絡(luò)進行更新，如此循環(huán)反復(fù)，以獲得更加穩(wěn)定可靠的偽標(biāo)簽，逐漸提高整個模型的檢測準(zhǔn)確率。這一階段的損失為半監(jiān)督損失，半監(jiān)督損失為監(jiān)督損失和無監(jiān)督損失之和，半監(jiān)督損失定義為：

50、l＝ls+λμlu

51、其中，ls有是監(jiān)督損失，lu是無監(jiān)督損失，λμ是無監(jiān)督損失權(quán)重，用來平衡有監(jiān)督損失和無監(jiān)督損失。

52、本發(fā)明采用指數(shù)滑動平均(ema)策略用學(xué)生模型對教師模型進行更新，使偽標(biāo)簽可以和缺陷檢測網(wǎng)絡(luò)互相加強，提升了檢測模型的健壯性，其公式如下：

53、ema[t]＝α*x[t]+(1-α)*ema[t-1]

54、其中，t表示時間步，x[t]表示第t個時間點的原始數(shù)據(jù)，α是平滑因子，通常取值在0到1之間，表示當(dāng)前樣本的權(quán)重，本實驗設(shè)置為0.999，(1-α)則表示歷史數(shù)據(jù)的權(quán)重，ema[t-1]表示上一個時間點的ema值。

55、(三)有益效果

56、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為：

57、1.本發(fā)明引入重參數(shù)卷積對網(wǎng)絡(luò)進行優(yōu)化，實現(xiàn)模型計算效率和性能的提升。在訓(xùn)練階段，repconv通過使用多分支卷積結(jié)構(gòu)，增加了模型的表達能力，使其能夠更好地捕捉和表示復(fù)雜的特征，從而提高了模型的整體性能。在推理階段，repconv將多分支卷積結(jié)構(gòu)重參數(shù)化為單一分支卷積。這大大降低了計算復(fù)雜度和內(nèi)存消耗，從而加快了推理速度，使其更高效且易于部署。

58、2.本發(fā)明引入雙向特征金字塔，通過雙向特征融合和加權(quán)連接，捕捉到更多的上下文信息，提高模型對小尺度目標(biāo)的檢測能力。同時雙向特征金字塔通過刪除只存在一條輸入邊的節(jié)點，減少了計算冗余，提高了計算效率，使得模型更輕量化。引入加權(quán)特征融合機制，對不同輸入特征賦予不同權(quán)重，進行快速歸一化的加權(quán)融合，使得特征融合過程更加靈活和精細，進一步提升檢測精度。

59、3.本發(fā)明將損失函數(shù)更換為focal-eiou，可通過對eiou損失進行加權(quán)處理，使模型在邊框回歸時能夠更加精細地優(yōu)化邊框的定位，同時減少容易樣本的損失貢獻，從而使模型更關(guān)注困難樣本和小物體的檢測。focal-eiou可以調(diào)整低質(zhì)量樣本和高質(zhì)量樣本對損失函數(shù)的影響，使模型更關(guān)注高質(zhì)量錨框，有助于模型更快地收斂。

60、4.本發(fā)明以教師-學(xué)生網(wǎng)絡(luò)作為半監(jiān)督學(xué)習(xí)框架，通過結(jié)合少量的標(biāo)注數(shù)據(jù)和大量的未標(biāo)注數(shù)據(jù)進行訓(xùn)練，有助于模型更全面地理解數(shù)據(jù)的分布特性，不僅提升了學(xué)習(xí)效率和模型的泛化能力，還顯著減少了對標(biāo)注數(shù)據(jù)的依賴，降低了數(shù)據(jù)準(zhǔn)備的成本。其中在不同階段分別采用強、弱兩種數(shù)據(jù)增強策略，增強了半監(jiān)督缺陷模型的魯棒性；采用框抖動方差濾波算法對偽標(biāo)簽進行篩選，有效改善了偽標(biāo)簽的可靠性；采用指數(shù)滑動平均(ema)策略用學(xué)生模型對教師模型進行更新，實現(xiàn)偽標(biāo)簽與軸承缺陷檢測網(wǎng)絡(luò)的相互促進，增強了檢測模型的健壯性。