本發(fā)明屬于管道檢修，具體的說是一種基于多模態(tài)多層注意力網(wǎng)絡(luò)的油氣管道漏磁缺陷識別方法。

背景技術(shù)：

1、作為石油和天然氣的主要運輸方式，油氣管道的安全在現(xiàn)代社會中至關(guān)重要。然而，管道老化、自然災(zāi)害、人為破壞等因素會對管道造成不同程度的損壞，從而產(chǎn)生巨大的安全隱患，嚴(yán)重時會造成管道泄漏甚至爆炸。因此，必須定期對油氣管道進(jìn)行檢修，以確保其安全可靠地運營。漏磁檢測作為一種廣泛應(yīng)用的無損檢測技術(shù)，能采集到大量管道漏磁信號，通過分析缺陷處漏磁信號的變化或漏磁圖像特征，能有效地識別腐蝕、凹陷和變形等缺陷，從而做出相應(yīng)的處理措施。

2、傳統(tǒng)的管道漏磁信號缺陷識別方法主要通過人工提取與缺陷相關(guān)的信號特征，并基于提取出來的缺陷特征，采用傳統(tǒng)機(jī)器學(xué)習(xí)算法，比如人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)和隨機(jī)森林等進(jìn)行缺陷分類。但這些方法受限于人工特征提取，僅能應(yīng)用于一些標(biāo)準(zhǔn)缺陷，且嚴(yán)重依賴人工選擇和專家經(jīng)驗，耗時耗力。另一方面，通過圖像識別手段，針對管道漏磁圖像進(jìn)行缺陷識別也是一種常用的方法，但是傳統(tǒng)圖像識別方法的特征提取能力有限，難以處理大規(guī)模和特征類型多樣的漏磁圖像。近年來，隨著深度學(xué)習(xí)的發(fā)展，越來越多的深度學(xué)習(xí)方法被應(yīng)用于管道缺陷識別。然而，現(xiàn)有的管道缺陷識別方法通常僅利用單模態(tài)漏磁數(shù)據(jù)進(jìn)行缺陷識別，隨著管道缺陷復(fù)雜性的增加，單模態(tài)漏磁數(shù)據(jù)無法提供完整的缺陷表征。此外，在實際中存在漏磁信號波動較弱或尺寸較小的弱缺陷，僅利用單模態(tài)漏磁數(shù)據(jù)難以捕捉其缺陷特征。

技術(shù)實現(xiàn)思路

1、本發(fā)明是為了解決上述現(xiàn)有技術(shù)存在的不足之處，提出一種基于多模態(tài)多層注意力網(wǎng)絡(luò)的油氣管道漏磁缺陷識別方法，以期能充分利用漏磁信號和漏磁熱圖多模態(tài)的漏磁數(shù)據(jù)進(jìn)行缺陷表征，并能自適應(yīng)地增強(qiáng)和融合多模態(tài)的缺陷特征，從而能提升油氣管道漏磁缺陷識別效果。

2、本發(fā)明為達(dá)到上述發(fā)明目的，采用如下技術(shù)方案：

3、本發(fā)明一種基于多模態(tài)多層注意力網(wǎng)絡(luò)的油氣管道漏磁缺陷識別方法的特點在于，是按如下步驟進(jìn)行：

4、步驟1、構(gòu)建油氣管道漏磁的多模態(tài)數(shù)據(jù)集d；

5、步驟1.1、采集油氣管道漏磁信號并以m×p的窗口進(jìn)行劃分，得到漏磁信號集合s={s1,?s2,…,si,…,sn}，其中，si表示第i個漏磁信號樣本，且si={si1,?si2,…,?sim,…,?sim}，其中，sim表示si中第m個傳感器的漏磁信號，且sim={si1m,?si2m,…,?sipm,…,?sipm}，sipm表示sim中第p個采樣點；n是樣本的總數(shù)；m表示傳感器的總數(shù)；p表示采樣點的總數(shù)；

6、步驟1.2、根據(jù)磁場強(qiáng)度，將s線性映射到色彩空間中并生成漏磁熱圖，從而得到漏磁熱圖集合h={h1,?h2,…,hi,…,hn}，其中，hi∈l×w，hi表示第i個漏磁熱圖樣本，l和w分別為漏磁熱圖的長度和寬度；

7、步驟1.3、構(gòu)建標(biāo)簽集合y={y1,?y2,…,yi,…,yn}，其中，yi表示第i個樣本對應(yīng)的油氣管道缺陷類別的獨熱編碼；

8、步驟1.4、由h、s以及y組成多模態(tài)數(shù)據(jù)集d={h,?s,?y}；

9、步驟2、搭建多模態(tài)多層注意力網(wǎng)絡(luò)，包含：多模態(tài)特征提取注意模塊、多模態(tài)特征增強(qiáng)注意模塊、多模態(tài)特征融合注意模塊和全連接缺陷識別模塊；

10、步驟2.1、定義當(dāng)前迭代次數(shù)為z，并初始化z=1，最大迭代次數(shù)為z；

11、步驟2.2、所述多模態(tài)特征提取注意模塊分別對hi和si進(jìn)行第z次處理，相應(yīng)得到第z次迭代時的跨層融合熱圖特征矩陣fi(z)和多尺度融合信號特征矩陣oi(z)；

12、步驟2.3、所述多模態(tài)特征增強(qiáng)注意模塊分別對fi(z)和oi(z)進(jìn)行第z次處理，相應(yīng)得到第z次迭代時的增強(qiáng)熱圖特征和增強(qiáng)信號特征；

13、步驟2.4、所述多模態(tài)特征融合注意模塊對和進(jìn)行第z次融合，得到第z次迭代時的多模態(tài)融合特征ri(z)；

14、步驟2.5、所述全連接缺陷識別模塊利用式(13)對ri(z)進(jìn)行第z次處理，輸出第z次迭代時的油氣管道缺陷類別的預(yù)測向量；

15、????????????????????(13)

16、式(13)中，wi(z)為第z次迭代時的第i個線性變換矩陣，bi(z)為第z次迭代時的第i個偏置，softmax表示激活函數(shù)；

17、步驟3、利用式(14)計算第z次迭代時的交叉熵?fù)p失函數(shù)loss(z)：

18、???????????????????(14)

19、式(14)中，λ表示l2正則化項的懲罰系數(shù)，θ表示要學(xué)習(xí)的最優(yōu)參數(shù)；

20、步驟4、基于油氣管道漏磁的多模態(tài)數(shù)據(jù)集d，以所述交叉熵?fù)p失函數(shù)loss(z)最小化為目標(biāo)，并通過反向傳播算法對多模態(tài)多層注意力網(wǎng)絡(luò)中的參數(shù)進(jìn)行優(yōu)化更新，直到z＞z為止，從而得到最優(yōu)管道漏磁缺陷識別模型，用于識別油氣管道的缺陷類別。

21、本發(fā)明所述的基于多模態(tài)多層注意力網(wǎng)絡(luò)的油氣管道漏磁缺陷識別方法的特點也在于，所述步驟2.2包括以下步驟：

22、步驟2.2.1、利用式(1)對hi進(jìn)行處理，得到第z次迭代時第l層卷積特征ui,l(z)，從而得到第z次迭代時的l層卷積特征ui(z)={ui,1(z),?ui,2(z),…,?ui,l(z),…,?ui,l(z)}：

23、ui,l(z)=φ(kl(z)?hi?+bl(z))?????????????????????????(1)

24、式(1)中，kl(z)為第z次迭代時第l層卷積結(jié)構(gòu)采用的卷積核，bl(z)是第z次迭代時第l層卷積結(jié)構(gòu)的偏置，表示卷積操作，φ表示relu激活函數(shù)；l表示卷積結(jié)構(gòu)的總層數(shù)；

25、步驟2.2.2、利用式(2)對ui(z)進(jìn)行處理，得到第z次迭代時的第l個跨層融合特征fi,l(z)，從而得到第z次迭代時的跨層融合熱圖特征矩陣fi(z)=[fi,1(z);?fi,2(z);…;fi,l(z);…;?fi,l-1(z)]，其中，“;”表示拼接操作：

26、fi,l(z)=?ui,l(z)(gap(w1×1?ui,l+1(z)+bf(z)))+up(w1×1ui,l+1(z)+bf(z))????(2)

27、式(2)中，w1×1表示維度為1×1的卷積核，gap表示全局平均池化，表示逐元素乘積，up表示上采樣，bf(z)表示第z次迭代時的偏置；

28、步驟2.2.3、利用式(3)對si進(jìn)行處理，得到第z次迭代時的第e個尺度特征ci,e(z)，從而得到第z次迭代時的多尺度特征矩陣ci(z)=[ci,1(z);?ci,2(z);…;?ci,e(z);…;?ci,e(z)]：

29、ci,e(z)=φ(ke(z)si?+be(z))??????????????????????(3)

30、式(3)中，ke(z)為第z次迭代時第e個多尺度卷積結(jié)構(gòu)采用的卷積核，be(z)是第z次迭代時第e個多尺度卷積結(jié)構(gòu)的偏置；e表示多尺度卷積結(jié)構(gòu)的總數(shù)；

31、步驟2.2.4、將ci(z)投影到h個不同的注意力頭上，從而得到所有注意力頭的輸入矩陣ci,1(z),?ci,2(z),?…,ci,h(z),?…?,?ci,h(z)，其中，ci,h(z)表示第z次迭代時第h個注意力頭的輸入矩陣，h為注意力頭的總數(shù)；

32、步驟2.2.5、利用式(4)得到第z次迭代時第h個注意力頭的注意力權(quán)重ai,h(z)：

33、????????????????(4)

34、式(4)中，qh(z)和kh(z)分別表示第z次迭代時第h個注意力頭對應(yīng)的查詢矩陣和鍵矩陣，dk表示k的維度，softmax表示激活函數(shù)；t表示轉(zhuǎn)置；

35、步驟2.2.6、利用式(5)得到第z次迭代時第h個注意力頭的多尺度融合特征oi,h(z)，從而得到第z次迭代時的多尺度融合信號特征矩陣oi(z)=[oi,1(z);?oi,2(z);…;?oi,h(z);…;oi,h(z)]：

36、oi,h(z)=ai,h(z)ci,h(z)vh(z)???????????????????????(5)

37、式(5)中，vh(z)表示第z次迭代時第h個注意力頭對應(yīng)的值矩陣。

38、所述步驟2.3包括以下步驟：

39、步驟2.3.1、對所述跨層融合熱圖特征矩陣fi(z)進(jìn)行維度變換得到，使與所述多尺度融合信號特征矩陣oi(z)的維度一致，分別采用全局平均池化捕獲和oi(z)的整體性特征并進(jìn)行拼接后得到第z次迭代時的第i個拼接向量coni(z)，從而利用式(6)得到第z次迭代時的第i個融合向量fusi(z)：

40、fusi(z)=φ(wfc1(z)?coni(z)?+bfc1(z))???????????????????(6)

41、式(6)中，wfc1(z)和bfc1(z)分別是第z次迭代時第一層全連接的權(quán)值和偏置；

42、步驟2.3.2、利用式(7)和(8)分別得到第z次迭代時的第i個熱圖模態(tài)通道注意力權(quán)重ωhi(z)和第i個信號模態(tài)通道注意力權(quán)重ωsi(z)：

43、ωhi(z)=σ(wh(z)fusi(z)+bh(z))???????????????????(7)

44、ωsi(z)=σ(ws(z)?fusi(z)+bs(z))????????????????????(8)

45、式(7)和(8)中，σ表示sigmoid激活函數(shù)，wh(z)和bh(z)分別為第z次迭代時第二層全連接中熱圖模態(tài)的權(quán)值和偏置；ws(z)和bs(z)分別為第z次迭代時第二層全連接中信號模態(tài)的權(quán)值和偏置；

46、步驟2.3.3、利用式(9)和(10)分別得到第z次迭代時的增強(qiáng)熱圖特征和增強(qiáng)信號特征：

47、???????????????????????(9)

48、???????????????????????(10)。

49、所述步驟2.4包括以下步驟：

50、步驟2.4.1、將所述增強(qiáng)的熱圖特征和增強(qiáng)的信號特征按元素相加后，再采用全局平均池化進(jìn)行處理，得到第z次迭代時的第i個整體性特征avgi(z)，從而利用式(11)得到第z次迭代時的第i個通道注意力權(quán)重ωi(z)：

51、ωi(z)=σ(w1×1(φ(w1×1?avgi(z)+bfus1(z)))+bfus2(z))???????????????(11)

52、式(11)中，w1×1表示維度為1×1的卷積核，bfus1(z)和bfus2(z)分別表示第一層卷積和第二層卷積的偏置；

53、步驟2.4.2、利用式(12)得到第z次迭代時的第i個多模態(tài)融合特征ri(z)：

54、????????????????(12)。

55、本發(fā)明一種電子設(shè)備，包括存儲器以及處理器的特點在于，所述存儲器用于存儲支持處理器執(zhí)行所述油氣管道漏磁缺陷識別方法的程序，所述處理器被配置為用于執(zhí)行所述存儲器中存儲的程序。

56、本發(fā)明一種計算機(jī)可讀存儲介質(zhì)，計算機(jī)可讀存儲介質(zhì)上存儲有計算機(jī)程序的特點在于，所述計算機(jī)程序被處理器運行時執(zhí)行所述油氣管道漏磁缺陷識別方法的步驟。

57、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：

58、1、本發(fā)明使用多模態(tài)多層注意力網(wǎng)絡(luò)，使構(gòu)建的深度神經(jīng)網(wǎng)絡(luò)模型能夠有效地利用漏磁熱圖和漏磁信號的多模態(tài)數(shù)據(jù)，并具備了自適應(yīng)關(guān)注預(yù)測缺陷相關(guān)信息的能力，克服了現(xiàn)有方法難以處理復(fù)雜缺陷和弱缺陷的問題，從而提高了油氣管道漏磁缺陷識別的魯棒性和泛化能力。

59、2、本發(fā)明通過多層卷積，充分提取漏磁熱圖的底層細(xì)節(jié)特征和高層抽象特征，并利用跨層注意力自適應(yīng)地融合不同層次的漏磁熱圖特征；同時，通過并行的多尺度卷積來捕獲不同尺度上漏磁信號的動態(tài)特征和變化規(guī)律，并采取尺度注意力實現(xiàn)多尺度漏磁信號特征融合。獲得了更具魯棒性和代表性的多模態(tài)缺陷特征，進(jìn)而提升了油氣管道漏磁缺陷識別的性能。

60、3、本發(fā)明利用通道注意力機(jī)制，通過多模態(tài)缺陷特征之間的相關(guān)性，增強(qiáng)各模態(tài)對關(guān)鍵缺陷特征的表征能力，并能區(qū)分不同模態(tài)對缺陷識別的差異性，在保留了各個模態(tài)的貢獻(xiàn)的基礎(chǔ)上，剔除了冗余信息，實現(xiàn)了多模態(tài)特征的深度融合，從而提高了油氣管道漏磁缺陷識別的準(zhǔn)確性。