本發(fā)明屬于圖像處理，具體涉及一種基于離散小波變換(dwt)和交叉融合神經(jīng)網(wǎng)絡(cfnet)的模型和裂縫圖像分類判別方法

背景技術(shù)：

1、由于混凝土裂縫的人工識別和監(jiān)測存在效率低和成本高等缺點，采用計算機視覺與無人機技術(shù)進行自動化監(jiān)測已成為結(jié)構(gòu)健康監(jiān)測領域的重要手段之一。然而無人機獲取裂縫圖像時可能存在運動模糊和陰影遮蔽，這影響著對裂縫輪廓的提取與裂縫參數(shù)的估計。因此，需要對模糊圖像、陰影圖像和正常清晰圖像進行準確識別，以選出低質(zhì)量圖像。

2、現(xiàn)有的圖像分類判別使用深度學習算法自動提取圖像特征從而解決圖像分類問題已成為通用方法。卷積神經(jīng)網(wǎng)絡(cnn)作為圖像分類領域的一種常用算法已經(jīng)在圖像分類問題上展示了其優(yōu)越的性能。在cnn中，卷積層和池化層被用于提取圖像的全局和局部特征信息，全連接層被用于輸出分類結(jié)果。人們通過改進神經(jīng)網(wǎng)絡結(jié)構(gòu)提升模型性能，如增加網(wǎng)絡層數(shù)、添加注意力機制和特征金字塔方法等，不同的網(wǎng)絡結(jié)構(gòu)獲得了不同的圖像分類判別效果。為了提高圖像分類判別準確性，本領域技術(shù)人員習慣于采用增加卷積神經(jīng)網(wǎng)絡的深度。在采用圖像處理模塊構(gòu)建合適的圖像分類模型實施分類判別的技術(shù)路線上，文獻“基于小波時頻圖與swin?transformer的柴油機故障診斷方法”，劉子昌等人，系統(tǒng)工程與電子技術(shù),2023年2986-2998頁記載的一種方法，它將小波時頻分析在處理非線性非平穩(wěn)信號方面的優(yōu)勢和swintransformer強大的圖像分類能力有效結(jié)合，通過連續(xù)小波變換將原始信號表示為小波時頻圖，將小波時頻圖作為特征圖輸入到swintransformer進行訓練，實現(xiàn)柴油機故障狀態(tài)識別。但是，該方法沒有考慮結(jié)合離散小波變換算法構(gòu)建適配的新的神經(jīng)網(wǎng)絡，這將影響后續(xù)圖像分類結(jié)果的準確性。

3、為充分利用圖像信息，需要在與離散小波變換算法結(jié)合的狀態(tài)下，重新構(gòu)建合理的深度神經(jīng)網(wǎng)絡用于挖掘圖像細節(jié)特征。另外，現(xiàn)有圖像分類判別方法應用于裂縫低質(zhì)量圖像的情況較少，對模糊裂縫圖像和陰影裂縫圖像等類型分類識別的適應性較差。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)存在的問題，本發(fā)明所要解決的技術(shù)問題就是提供一種交叉融合神經(jīng)網(wǎng)絡模型，它能準確判別模糊圖像、陰影圖像和正常清晰圖像，從而提高圖像分類判別的準確性及建筑工程的監(jiān)測效率。本發(fā)明還提供一種使用該模型的裂縫圖像分類判別方法。

2、為了解決上述技術(shù)問題，本發(fā)明的技術(shù)方案是：

3、本發(fā)明提供的一種交叉融合神經(jīng)網(wǎng)絡模型(簡稱cfnet模型)，包括離散小波變換dwt和交叉融合神經(jīng)網(wǎng)絡(簡稱cfnet神經(jīng)網(wǎng)絡)，離散小波變換dwt提取圖像低頻分量，將原始圖像和圖像低頻分量作為特征信息輸入cfnet神經(jīng)網(wǎng)絡；

4、cfnet神經(jīng)網(wǎng)絡包括有與原圖和dwt低頻分量圖對應的上下兩條特征提取路線、se模塊、卷積層和全連接層，每條特征提取路線具有從左至右的三級卷積單元；上下特征提取路線的兩個第一級卷積單元輸出的特征信息交互相加，輸入至對應的兩個第二級卷積單元，兩個第二級卷積單元的特征信息交互相加，輸入至對應的兩個第三級卷積單元，兩個第三級卷積單元輸出的特征信息相加，輸入至通道注意力模塊se，se模塊后連接兩個卷積層，將卷積層輸出的特征傳至全連接層中，三個全連接層獲取圖像分類的三個類別。

5、本發(fā)明的交叉融合神經(jīng)網(wǎng)絡模型信息處理過程是：利用dwt提取圖像低頻信息，將dwt分解的圖像低頻分量作為特征信息與原始圖像共同作為神經(jīng)網(wǎng)絡的輸入，再使用包含兩條特征提取路線的cfnet神經(jīng)網(wǎng)絡，具有結(jié)構(gòu)簡單和精度高等特點；兩條特征提取路線分別對應圖像低頻分量和原圖，在兩條路線之間采取特征交互相加融合的方法以充分利用特征信息；接入通道注意力模塊se用以提升cfnet模型對關鍵特征信息的識別能力；最后通過全連接層輸出所需的圖像分類結(jié)果。

6、本發(fā)明還提供一種使用該模型的裂縫圖像分類判別方法，包括以下步驟：

7、步驟1、收集并構(gòu)建裂縫圖像數(shù)據(jù)集

8、在包含裂縫正常圖像、裂縫模糊圖像和裂縫陰影圖像的裂縫圖像數(shù)據(jù)集中，隨機選取一定數(shù)量的圖片作為訓練集和測試集；

9、步驟2、cfnet神經(jīng)網(wǎng)絡訓練，獲取神經(jīng)網(wǎng)絡權(quán)重

10、按批次將圖像傳入cfnet模型中獲取對應的圖像分類結(jié)果，利用損失函數(shù)與標簽圖像計算該批次cfnet神經(jīng)網(wǎng)絡的總損失值，利用梯度反向傳播方法更新神經(jīng)網(wǎng)絡的權(quán)重，直到所有圖像均計算完畢后進入下一個迭代周期，重復更新計算直到迭代周期滿足使用要求；神經(jīng)網(wǎng)絡中各級、各模塊、各層均為同步訓練；網(wǎng)絡權(quán)重在每一次訓練結(jié)束后被保存為權(quán)重文件；

11、步驟3、向cfnet模型輸入裂縫圖像并進行圖像分類，輸出圖像分類結(jié)果。

12、本發(fā)明的技術(shù)效果是：

13、由于本發(fā)明采用了圖像處理模塊構(gòu)建了交叉融合神經(jīng)網(wǎng)絡模型，能挖掘圖像細節(jié)特征進行圖像分類判別，提高了圖像分類判別的準確性，適用于裂縫低質(zhì)量圖像的分類判別。

技術(shù)特征：

1.一種交叉融合神經(jīng)網(wǎng)絡模型，其特征是：包括離散小波變換dwt和cfnet神經(jīng)網(wǎng)絡，離散小波變換dwt提取圖像低頻分量，將原始圖像和圖像低頻分量作為特征信息輸入cfnet神經(jīng)網(wǎng)絡；

2.根據(jù)權(quán)利要求1所述的交叉融合神經(jīng)網(wǎng)絡模型，其特征是：所述卷積單元包含2個卷積模塊和1個池化模塊，每個卷積模塊后均連接了正則歸一化層和relu激活層。

3.根據(jù)權(quán)利要求2所述的交叉融合神經(jīng)網(wǎng)絡模型，其特征是：三個全連接層的輸出通道數(shù)分別被設置為4096、4096和3。

4.一種使用權(quán)利要求1、2或3所述交叉融合神經(jīng)網(wǎng)絡模型的裂縫圖像分類判別方法，其特征是，包括以下步驟：

5.根據(jù)權(quán)利要求4所述的裂縫圖像分類判別方法，其特征是：

6.根據(jù)權(quán)利要求5所述的裂縫圖像分類判別方法，其特征是：在步驟4中，用交叉熵損失作為cfnet神經(jīng)網(wǎng)絡的訓練損失函數(shù)，交叉熵損失計算公式為:

技術(shù)總結(jié)
本發(fā)明公開了一種交叉融合神經(jīng)網(wǎng)絡模型及使用該模型的裂縫圖像分類判別方法，屬于圖像處理技術(shù)領域。該模型包括離散小波變換和交叉融合神經(jīng)網(wǎng)絡，將原始圖像和離散小波變換提取圖像低頻分量作為特征信息輸入CFNet神經(jīng)網(wǎng)絡；CFNet神經(jīng)網(wǎng)絡包括上下兩條特征提取路線，每條特征提取路線具有從左至右的三級卷積單元；兩個第一級卷積單元輸出的特征信息交互相加，輸入至對應的兩個第二級卷積單元，兩個第二級卷積單元的特征信息交互相加，輸入至對應的兩個第三級卷積單元，兩個第三級卷積單元輸出的特征信息相加，輸入至通道注意力模塊SE、兩個卷積層、全連接層中，三個全連接層獲取圖像分類的三個類別。本發(fā)明提高了圖像分類判別的準確性。

技術(shù)研發(fā)人員：孫瑞,李旭明,劉綱,陳民軒,于笑晗
受保護的技術(shù)使用者：重慶大學
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21