本發(fā)明屬于玻璃缺陷檢測(cè)領(lǐng)域，具體涉及一種基板玻璃缺陷檢測(cè)方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、隨著我國(guó)基板玻璃生產(chǎn)技術(shù)不斷成熟，基板玻璃產(chǎn)量逐步增加，但是，基板玻璃在生產(chǎn)過程中容易出現(xiàn)瑕疵，而帶有瑕疵的產(chǎn)品是無法直接進(jìn)行銷售的，因此，在產(chǎn)品出產(chǎn)線前需要對(duì)生產(chǎn)的基板玻璃進(jìn)行質(zhì)量檢測(cè)。

2、相關(guān)技術(shù)中，對(duì)于基板玻璃的檢測(cè)主要采用人工觀察，對(duì)基板玻璃表面進(jìn)行觀察，看是否有氣泡、結(jié)石、條紋以及裂紋等缺陷特征。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，通過卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖片進(jìn)行特征提取的方式來檢測(cè)基板玻璃的缺陷也逐漸被應(yīng)用在缺陷檢測(cè)中。

3、針對(duì)上述相關(guān)技術(shù)，傳統(tǒng)的特征提取只能提取到較為表面的淺層圖像特征，在卷積過程中，圖片有較多的信息丟失導(dǎo)致對(duì)缺陷檢測(cè)的準(zhǔn)確性降低。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問題是提供一種基板玻璃缺陷檢測(cè)方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)，提高了特征提取的準(zhǔn)確性，避免卷積過程中的信息丟失，提高檢測(cè)的準(zhǔn)確性。

2、一種基板玻璃缺陷檢測(cè)方法，包括：

3、對(duì)訓(xùn)練數(shù)據(jù)庫(kù)中的訓(xùn)練圖片通過不同標(biāo)簽的標(biāo)注框進(jìn)行標(biāo)注，得到標(biāo)注圖片，所述標(biāo)簽代表基板玻璃不同的缺陷類型；

4、根據(jù)所述標(biāo)注圖片，提取深層圖像特征和淺層圖像特征；

5、將所述淺層圖像特征和所述深層圖像特征融合，得到融合特征；

6、將所述融合特征輸入到訓(xùn)練模型中對(duì)訓(xùn)練模型進(jìn)行訓(xùn)練，改變所述訓(xùn)練模型的權(quán)重，得到優(yōu)化訓(xùn)練模型；

7、根據(jù)所述優(yōu)化訓(xùn)練模型以及待檢測(cè)基板玻璃圖像的融合特征，輸出不同標(biāo)簽對(duì)應(yīng)的特征點(diǎn)，根據(jù)所述特征點(diǎn)生成多個(gè)預(yù)測(cè)框；

8、根據(jù)所述預(yù)測(cè)框、所述標(biāo)注框以及損失函數(shù)，得到所述預(yù)測(cè)框和所述標(biāo)注框的相似度；

9、根據(jù)所述相似度從多個(gè)所述預(yù)測(cè)框中選擇得到最優(yōu)預(yù)測(cè)框；

10、根據(jù)所述最優(yōu)預(yù)測(cè)框?qū)?yīng)的標(biāo)簽，輸出基板玻璃的缺陷的類型。

11、可選的，所述根據(jù)所述標(biāo)注圖片，提取深層圖像特征和淺層圖像特征包括：

12、將所述標(biāo)注圖片輸入到卷積神經(jīng)網(wǎng)絡(luò)模型中，得到淺層圖像特征；

13、將所述標(biāo)注圖片通過卷積神經(jīng)網(wǎng)絡(luò)模型的第一層卷積層進(jìn)行輸入，然后通過卷積神經(jīng)網(wǎng)絡(luò)模型的第二層卷積層進(jìn)行增維，得到增維特征；

14、將所述增維特征通過卷積神經(jīng)網(wǎng)絡(luò)模型的第三層卷積層進(jìn)行深度可分離卷積，得到中間特征；

15、對(duì)所述中間特征通過卷積神經(jīng)網(wǎng)絡(luò)模型的第四層卷積層降維，得到降維特征，將所述降維特征作為深層圖像特征。

16、可選的，所述將所述淺層圖像特征和所述深層圖像特征融合，得到融合特征包括：

17、獲取卷積神經(jīng)網(wǎng)絡(luò)模型的每一層卷積層的卷積權(quán)重；

18、根據(jù)每一層卷積層的所述卷積權(quán)重、所述淺層圖像特征、所述增維特征、所述中間特征、所述深層圖像特征以及融合公式，得到所述融合特征。

19、可選的，所述將所述融合特征輸入到訓(xùn)練模型中對(duì)訓(xùn)練模型進(jìn)行訓(xùn)練，改變所述訓(xùn)練模型的權(quán)重，得到優(yōu)化訓(xùn)練模型包括：

20、獲取訓(xùn)練模型的初始權(quán)重；

21、將所述融合特征輸入到所述訓(xùn)練模型中對(duì)訓(xùn)練模型進(jìn)行訓(xùn)練，得到輸出圖像；

22、將所述輸出圖像通過驗(yàn)證集驗(yàn)證，得到損失值；

23、根據(jù)所述損失值調(diào)整所述訓(xùn)練模型的初始權(quán)重，得到優(yōu)化訓(xùn)練模型。

24、可選的，根據(jù)所述相似度從多個(gè)所述預(yù)測(cè)框中選擇得到最優(yōu)預(yù)測(cè)框包括：

25、通過損失函數(shù)，計(jì)算每一個(gè)所述預(yù)測(cè)框和所述標(biāo)注框的相似度，獲取相似度最高的預(yù)測(cè)框作為最優(yōu)預(yù)測(cè)框。

26、可選的，所述損失函數(shù)包括：

27、；

28、其中，、分別表示最小外接矩形的寬和高，最小外接矩形為預(yù)測(cè)框和標(biāo)注框重疊區(qū)域的矩形，為標(biāo)注框的寬度，為標(biāo)注框的高度，為預(yù)測(cè)框的寬度，為預(yù)測(cè)框的高度，表示標(biāo)注框和預(yù)測(cè)框在寬度上的歐式距離，表示標(biāo)注框和預(yù)測(cè)框在高度上的歐式距離，為預(yù)測(cè)框和標(biāo)注框重疊區(qū)域面積占預(yù)測(cè)框和標(biāo)注框并集面積的百分比，為標(biāo)注框的中心坐標(biāo)，為預(yù)測(cè)框的中心坐標(biāo)。

29、可選的，對(duì)訓(xùn)練數(shù)據(jù)庫(kù)中的訓(xùn)練圖片通過不同標(biāo)簽的標(biāo)注框進(jìn)行標(biāo)注，得到標(biāo)注圖片包括：

30、初始化標(biāo)簽類型；

31、根據(jù)所述標(biāo)簽類型，將訓(xùn)練數(shù)據(jù)庫(kù)中的訓(xùn)練圖片通過labeliming標(biāo)注，得到所述標(biāo)注圖片。

32、一種基板玻璃缺陷檢測(cè)系統(tǒng)，包括：

33、標(biāo)注模塊，用于對(duì)訓(xùn)練數(shù)據(jù)庫(kù)中的訓(xùn)練圖片通過不同標(biāo)簽的標(biāo)注框進(jìn)行標(biāo)注，得到標(biāo)注圖片，所述標(biāo)簽代表基板玻璃不同的缺陷類型；

34、提取模塊，用于根據(jù)所述標(biāo)注圖片，提取深層圖像特征和淺層圖像特征；

35、融合模塊，用于將所述淺層圖像特征和深層圖像特征融合，得到融合特征；

36、訓(xùn)練模塊，用于將所述融合特征輸入到訓(xùn)練模型中對(duì)訓(xùn)練模型進(jìn)行訓(xùn)練，改變所述訓(xùn)練模型的權(quán)重，得到優(yōu)化訓(xùn)練模型；

37、預(yù)測(cè)模塊，用于根據(jù)所述優(yōu)化訓(xùn)練模型以及待檢測(cè)基板玻璃圖像的融合特征，輸出不同標(biāo)簽對(duì)應(yīng)的特征點(diǎn)，根據(jù)所述特征點(diǎn)生成多個(gè)預(yù)測(cè)框；

38、比較模塊，用于根據(jù)所述預(yù)測(cè)框、所述標(biāo)注框以及損失函數(shù)，得到所述預(yù)測(cè)框和所述標(biāo)注框的相似度；

39、選擇模塊，用于根據(jù)所述相似度從多個(gè)所述預(yù)測(cè)框中選擇得到最優(yōu)預(yù)測(cè)框；

40、輸出模塊，用于根據(jù)所述最優(yōu)預(yù)測(cè)框?qū)?yīng)的標(biāo)簽，輸出基板玻璃的缺陷的類型。

41、一種終端設(shè)備，包括存儲(chǔ)器、處理器，所述存儲(chǔ)器儲(chǔ)存有能夠在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器加載并執(zhí)行所述計(jì)算機(jī)程序時(shí)，采用了一種基板玻璃缺陷檢測(cè)方法。

42、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器加載并執(zhí)行時(shí)，采用了一種基板玻璃缺陷檢測(cè)方法。

43、本發(fā)明的有益效果是：首先將數(shù)據(jù)庫(kù)中的圖片通過帶有不同標(biāo)簽的標(biāo)注框進(jìn)行標(biāo)注，然后對(duì)標(biāo)注圖像進(jìn)行特征提取，得到深層圖像特征和淺層圖像特征，并將深層圖像特征和淺層圖像特征進(jìn)行融合，得到融合特征，將融合特征輸入到訓(xùn)練模型中對(duì)訓(xùn)練模型進(jìn)行訓(xùn)練，得到優(yōu)化訓(xùn)練模型，然后將待檢測(cè)基板玻璃圖像的融合特征輸入到優(yōu)化訓(xùn)練模型中，輸出多個(gè)帶有不同標(biāo)簽的特征點(diǎn)，根據(jù)特征點(diǎn)隨機(jī)生成多個(gè)預(yù)測(cè)框，然后將預(yù)測(cè)框和標(biāo)注框通過損失函數(shù)計(jì)算相似度，選擇最高相似度的預(yù)測(cè)框作為最優(yōu)預(yù)測(cè)框，最后根據(jù)最優(yōu)預(yù)測(cè)框?qū)?yīng)的標(biāo)簽類型以及相似度輸出基板玻璃的缺陷類型以及該類型的概率。通過深層圖像特征和淺層圖像特征使得圖像的語義信息更加完整，提高檢測(cè)的準(zhǔn)確性。

技術(shù)特征：

1.一種基板玻璃缺陷檢測(cè)方法，其特征是，包括：

2.如權(quán)利要求1所述的基板玻璃缺陷檢測(cè)方法，其特征是，所述根據(jù)所述標(biāo)注圖片，提取深層圖像特征和淺層圖像特征包括：

3.如權(quán)利要求2所述的基板玻璃缺陷檢測(cè)方法，其特征是，所述將所述淺層圖像特征和所述深層圖像特征融合，得到融合特征包括：

4.如權(quán)利要求1所述的基板玻璃缺陷檢測(cè)方法，其特征是，所述將所述融合特征輸入到訓(xùn)練模型中對(duì)訓(xùn)練模型進(jìn)行訓(xùn)練，改變所述訓(xùn)練模型的權(quán)重，得到優(yōu)化訓(xùn)練模型包括：

5.如權(quán)利要求1所述的基板玻璃缺陷檢測(cè)方法，其特征是，對(duì)訓(xùn)練數(shù)據(jù)庫(kù)中的訓(xùn)練圖片通過不同標(biāo)簽的標(biāo)注框進(jìn)行標(biāo)注，得到標(biāo)注圖片包括：

6.一種基板玻璃缺陷檢測(cè)系統(tǒng)，其特征是，包括：

7.一種終端設(shè)備，包括存儲(chǔ)器和處理器，其特征在于，所述存儲(chǔ)器儲(chǔ)存有能夠在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器加載并執(zhí)行所述計(jì)算機(jī)程序時(shí)，采用如權(quán)利要求1至5中任一項(xiàng)所述的方法。

8.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器加載并執(zhí)行時(shí)，采用如權(quán)利要求1至5中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本發(fā)明屬于玻璃缺陷檢測(cè)領(lǐng)域，具體涉及一種基板玻璃缺陷檢測(cè)方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)，其方法包括：對(duì)標(biāo)注圖像進(jìn)行特征提取，得到深層圖像特征和淺層圖像特征，并將深層圖像特征和淺層圖像特征進(jìn)行融合，得到融合特征，將融合特征輸入到訓(xùn)練模型中進(jìn)行訓(xùn)練，得到優(yōu)化訓(xùn)練模型，將待檢測(cè)基板玻璃圖像的融合特征輸入到優(yōu)化訓(xùn)練模型中，輸出多個(gè)帶有不同標(biāo)簽的特征點(diǎn)，根據(jù)特征點(diǎn)生成多個(gè)預(yù)測(cè)框，計(jì)算預(yù)測(cè)框和標(biāo)注框的相似度，選擇最高相似度的預(yù)測(cè)框作為最優(yōu)預(yù)測(cè)框，根據(jù)最優(yōu)預(yù)測(cè)框?qū)?yīng)的標(biāo)簽類型以及相似度輸出基板玻璃的缺陷類型以及該類型的概率。通過提取深層圖像特征和淺層圖像特征使得圖像的語義信息更加完整，提高檢測(cè)的準(zhǔn)確性。

技術(shù)研發(fā)人員：趙乾柏
受保護(hù)的技術(shù)使用者：湖南邵虹特種玻璃股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21