本發(fā)明涉及火災(zāi)檢測(cè)，具體涉及一種基于雙光融合的遠(yuǎn)距離視頻火災(zāi)檢測(cè)方法。

背景技術(shù)：

1、建筑施工現(xiàn)場(chǎng)存在動(dòng)火作業(yè)、可燃材料存儲(chǔ)、交叉施工面多等安全隱患，極易產(chǎn)生火災(zāi)類安全事故，嚴(yán)重威脅著施工人員的生命財(cái)產(chǎn)安全。目前，建筑工地上應(yīng)對(duì)這類問題的重要措施之一就是提高現(xiàn)有的火災(zāi)檢測(cè)水平，使火災(zāi)在發(fā)生初期就能被準(zhǔn)確識(shí)別并報(bào)警。

2、目前的火災(zāi)檢測(cè)技術(shù)主要通過對(duì)視頻圖像進(jìn)行分析，進(jìn)而確定是否發(fā)生火災(zāi)。傳統(tǒng)的視頻火災(zāi)檢測(cè)技術(shù)主要是將人為設(shè)置的火焰和煙霧特征與其他干擾特征區(qū)分開來，但是這樣提取特征表征的能力有限，準(zhǔn)確率和誤報(bào)率也達(dá)不到要求。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，其在物體檢測(cè)和視頻跟蹤等計(jì)算機(jī)視覺任務(wù)中表現(xiàn)出了卓越的性能。與人工特征提取器相比，深度神經(jīng)網(wǎng)絡(luò)能提取更多抽象和本質(zhì)的圖像特征，準(zhǔn)確率和召回率相較于上述方法有明顯提升。目前大多數(shù)火災(zāi)檢測(cè)技術(shù)僅對(duì)于可見光圖像或紅外圖像進(jìn)行處理。但是，建筑工地背景復(fù)雜，光線和遮擋的影響會(huì)導(dǎo)致在可見光圖像中火焰及煙霧特征不明顯，造成檢測(cè)準(zhǔn)確率的下降，其次，紅外光的波長較長，所需能量較大，相同的探測(cè)器尺寸下所包含的像素?cái)?shù)量就會(huì)減少，導(dǎo)致其相較于同尺寸可見光圖像具有較低的分辨率，圖像中所包含的特征也就隨之較少；最后，該場(chǎng)景空間開闊，一旦相較于探測(cè)器較遠(yuǎn)的地方發(fā)生火災(zāi)，以目前的技術(shù)也很難對(duì)其進(jìn)行識(shí)別與預(yù)警。

3、綜上所述，現(xiàn)有火災(zāi)檢測(cè)方法的主要缺點(diǎn)如下：1)僅采用單一探測(cè)器進(jìn)行火災(zāi)的檢測(cè)，導(dǎo)致復(fù)雜背景下的火災(zāi)檢測(cè)精度不高，存在漏報(bào)、誤報(bào)等問題；2)對(duì)于空間開闊的室外場(chǎng)景，小目標(biāo)檢測(cè)性能并不理想，遠(yuǎn)距離火焰識(shí)別較困難。

技術(shù)實(shí)現(xiàn)思路

1、為了克服以上現(xiàn)有技術(shù)存在的問題，本發(fā)明的目的在于提供一種基于雙光融合的遠(yuǎn)距離視頻火災(zāi)檢測(cè)方法，該檢測(cè)方法實(shí)現(xiàn)對(duì)建筑工地初期火災(zāi)和遠(yuǎn)距離火災(zāi)的檢測(cè)，提高了火災(zāi)預(yù)防能力。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明，采用的技術(shù)方案是：

3、一種基于雙光融合的遠(yuǎn)距離視頻火災(zāi)檢測(cè)方法，包括以下步驟；

4、s1、建立火災(zāi)數(shù)據(jù)集，收集火焰和煙霧的可見光圖像及紅外熱圖像，包括不同天氣、光線和距離；

5、s2、標(biāo)注數(shù)據(jù)集；

6、s3、建立改進(jìn)后的yolov5的深度學(xué)習(xí)算法框架進(jìn)行可見光圖像檢測(cè)；

7、s4、建立改進(jìn)的svm框架對(duì)圖像進(jìn)行準(zhǔn)確分割，并配合分割區(qū)域的圓形度與填充率進(jìn)行檢測(cè)結(jié)果的輸出，進(jìn)行紅外熱圖像檢測(cè)；

8、s5、訓(xùn)練模型，通過可見光圖像數(shù)據(jù)集對(duì)改進(jìn)后的yolov5模型進(jìn)行預(yù)訓(xùn)練，通過紅外熱圖像的數(shù)據(jù)集對(duì)改進(jìn)后的svm模型進(jìn)行訓(xùn)練；

9、s6、建立可見光與紅外熱圖像檢測(cè)結(jié)果決策融合策略，根據(jù)白天和夜晚的不同光線，對(duì)紅外熱圖像與可見光圖像的輸出結(jié)果進(jìn)行不同權(quán)重的融合，最終給出是否發(fā)生火災(zāi)及火災(zāi)發(fā)生的位置信息。

10、所述步驟s2中，將標(biāo)注后的數(shù)據(jù)集隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集；

11、像素區(qū)域不清楚的正樣本不被標(biāo)記，其中，訓(xùn)練集用于擬合模型，通過設(shè)置分類器的參數(shù)，訓(xùn)練分類模型；后續(xù)結(jié)合驗(yàn)證集作用時(shí)，根據(jù)修改參數(shù)值來擬合出多個(gè)分類器；驗(yàn)證集數(shù)據(jù)用于各個(gè)模型對(duì)同一數(shù)據(jù)集的準(zhǔn)確率評(píng)估，進(jìn)而選出效果最佳的模型所對(duì)應(yīng)的參數(shù)；通過訓(xùn)練集和驗(yàn)證集得出最優(yōu)模型后，使用測(cè)試集進(jìn)行模型預(yù)測(cè)，用來衡量該最優(yōu)模型的性能和泛化能力。

12、所述步驟s3中，采用改進(jìn)后的yolov5算法在可見光圖像中進(jìn)行目標(biāo)檢測(cè)；

13、所述改進(jìn)后的yolov5算法的網(wǎng)絡(luò)結(jié)構(gòu)主要包括input、backbone、neck和prediction四個(gè)部分，分別負(fù)責(zé)輸入圖片預(yù)處理、特征提取、特征融合、輸出檢測(cè)信息，且每個(gè)模塊的輸入都來源于前一個(gè)模塊的輸出。

14、在backbone和neck中采用ghost?module，同時(shí)將ghost?module嵌入到c3模塊中，形成c3ghost模塊，此外，c3ghost模塊中包括ghostbottleneck；

15、其中g(shù)hostbottleneck由兩個(gè)堆疊的ghost?module組成，第一個(gè)ghost?module作為擴(kuò)展層增加通道數(shù)量，第二個(gè)ghost?module減少了通道的數(shù)量以匹配第一步的輸入，使兩者可以進(jìn)行元素加法。

16、每個(gè)ghost?module分為三步：常規(guī)卷積、ghost生成和特征圖拼接，先使用普通卷積、批量歸一化和一個(gè)激活函數(shù)，將輸入圖像進(jìn)行通道壓縮，生成一些固有的特征映射，然后將特征圖應(yīng)用一系列簡單的線性操作獲得更多的特征圖，增加特征；其中簡單的線性操作由深度可分離卷積和批量歸一化以及一個(gè)激活函數(shù)組成，然后將獲得的更多特征圖通過concat，與第一步中生成的特征圖進(jìn)行組合，最終獲得的特征圖即為該模塊的輸出。

17、改進(jìn)后的yolov5算法中，采用640×640×3的彩色圖片作為模型輸入；之后將圖像輸入backbone部分進(jìn)行特征提取，backbone通過一系列的卷積層和池化層對(duì)輸入圖像進(jìn)行處理，逐漸降低特征圖的尺寸，同時(shí)增加通道數(shù)，保留和提取圖像中重要的特征，采用focus模塊、ghost?module、c3ghost模塊、spp和ca模塊堆疊而成，其中第2、4、6層的c3ghost的輸出特征圖會(huì)傳入neck部分，與其它特征圖進(jìn)行多尺度融合；在neck部分中，實(shí)現(xiàn)淺層圖形特征和深層語義特征的融合，采用bifpn實(shí)現(xiàn)特征金字塔相鄰級(jí)別之間的雙向連接，使信息能夠在網(wǎng)絡(luò)中同時(shí)進(jìn)行自底向上和自頂向下的流動(dòng)。

18、coordattention(ca)模塊被嵌入到backbone中的四個(gè)c3ghost之后，通過突出火焰檢測(cè)的關(guān)鍵信息來增強(qiáng)網(wǎng)絡(luò)的特征提取能力，ca模塊被分為兩部分，坐標(biāo)信息嵌入和坐標(biāo)注意力生成，可表示為：

19、

20、其中xc(i，j)表示網(wǎng)絡(luò)感興趣目標(biāo)的定位輸入，和為不同注意力權(quán)重輸出；使用efficientdet-bifpn實(shí)現(xiàn)自上而下和自下而上的深度特征雙向融合。

21、所述步驟s4具體包括：

22、s41、對(duì)紅外熱圖像預(yù)處理；

23、s42、圖像分割，采用svm算法對(duì)預(yù)處理后的紅外熱圖像中進(jìn)行目標(biāo)分割，并對(duì)其針對(duì)火災(zāi)的先驗(yàn)知識(shí)進(jìn)行改進(jìn)；

24、s43、火災(zāi)目標(biāo)特征判別，通過對(duì)分割出的區(qū)域進(jìn)行圓形度和填充率的判別，進(jìn)而對(duì)疑似區(qū)域進(jìn)行進(jìn)一步分析，來排除干擾目標(biāo)，判斷火災(zāi)是否真實(shí)發(fā)生。

25、所述s41具體為：首先以當(dāng)前像素點(diǎn)及其鄰域作為一個(gè)窗口，窗口尺寸一般為奇數(shù)，然后在窗口內(nèi)依次取中心點(diǎn)(i，j)所在的行、列及兩個(gè)對(duì)角線方向像素點(diǎn)灰度的中值，之后取這四個(gè)中值中的最大值來代替原中心點(diǎn)的灰度值，即得到最終的濾波結(jié)果。

26、所述s42中，svm算法的l1-svm定義如下：

27、

28、s.t.wtxi+b≥1-ηi，xi∈w+

29、wtxj+b≤-1+δj，xj∈w-

30、||η||0≤δ，δ≥0，η≥0

31、

32、其中，w為權(quán)重樣本，||w||1為引入l1范數(shù)的權(quán)重樣本，xi為正樣本特征，xj為負(fù)樣本特征，b為常數(shù)，l1為正樣本個(gè)數(shù)，l2為負(fù)樣本個(gè)數(shù)，c1，c2為誤分類的代價(jià)參數(shù)，ηi為正樣本的松弛變量，δj為負(fù)樣本的松弛變量，a為讓火災(zāi)探測(cè)率，||η||0≤δ即為將l0范數(shù)引入火災(zāi)正樣本的約束，該約束用于對(duì)火災(zāi)樣本誤分類的精確控制；

33、分割區(qū)域圓形度判別如下：

34、

35、其中，lk表示第k個(gè)疑似區(qū)域的周長，ak表示第k個(gè)疑似區(qū)域的面積，n表示疑似區(qū)域的個(gè)數(shù)，圓形度ck越接近1，說明物體形狀越接近圓，ck∈[1，∞)。ct表示圓形度閾值，當(dāng)圓形度判別值dk1等于1時(shí)，則判定該疑似目標(biāo)區(qū)域滿足圓形度特征；

36、分割區(qū)域填充率判別如下：

37、

38、其中，a1表示第k個(gè)疑似區(qū)域的面積，a2表示外接矩形的面積。

39、所述s43具體為：圓形度衡量了物體邊緣的復(fù)雜程度，其最小值取1，物體邊緣越復(fù)雜，圓形度的取值越高；通過圓形度可排除邊緣復(fù)雜度不高的高溫物體；填充率是指某一空間或容器中實(shí)際充滿的物質(zhì)與該空間或容器的總?cè)萘恐g的比例關(guān)系，同一容器或空間中實(shí)際填充物越多，其值越接近1，反之越接近0，火焰具有尖角的特性，火焰填充率相較于一般形狀規(guī)則的高溫干擾更接近0，用來區(qū)別火災(zāi)和高溫干擾。

40、所述步驟s5中，對(duì)步驟s3和s4中提到的改進(jìn)后的yolov5和svm分別進(jìn)行訓(xùn)練；

41、對(duì)于改進(jìn)后的yolov5算法，把640×640的輸入圖像劃分成n×n(本發(fā)明所提yolov5算法為160×160、80×80、40×40、20×20)的網(wǎng)格，然后對(duì)網(wǎng)格的每個(gè)格子都預(yù)測(cè)三個(gè)指標(biāo)：矩形框、置信度、分類概率；

42、損失函數(shù)的作用為度量神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)信息與期望信息(標(biāo)簽)的距離，預(yù)測(cè)信息越接近期望信息，損失函數(shù)值越小。由上述每個(gè)格子的預(yù)測(cè)信息可知，訓(xùn)練時(shí)主要包含三個(gè)方面的損失：矩形框損失(lossrect)、置信度損失(lossobj)、分類損失(lossclc)。因此yolov5網(wǎng)絡(luò)的損失函數(shù)定義為：

43、loss＝a*lossobj+b*lossrect+c*lossclc

44、通常置信度損失取最大權(quán)重，矩形框損失和分類損失的權(quán)重次之。

45、本發(fā)明所提的改進(jìn)的yolov5使用ciou?loss計(jì)算矩形框損失，使用bce?loss計(jì)算置信度與分類損失。ciou?loss計(jì)算公式如下：

46、

47、

48、lossciou＝1-ciou

49、其中(xp1，yp1)為預(yù)測(cè)框左上角坐標(biāo)，(xp2，yp2)為預(yù)測(cè)框右下角坐標(biāo)，(xl1，yl1)為標(biāo)簽矩形框的左上角坐標(biāo)，(xl2，yl2)為標(biāo)簽矩形框的右下角坐標(biāo)，ρ為框a和框b的中心點(diǎn)距離，c為框a和框b的最小包圍矩形的對(duì)角線長度，v為框和框的寬高比相似度，α為影響因子。

50、bce?loss計(jì)算公式如下：

51、lossbce(z，x，y)＝-l(z，x，y)*log?p(z，x，y)-(1-l(z，x，y))*log(1-p(z，x，y))

52、假設(shè)置信度標(biāo)簽為矩陣l，預(yù)測(cè)置信度為矩陣p。

53、為定量評(píng)估可見光火災(zāi)檢測(cè)模型性能，本發(fā)明采用最常用的五種評(píng)估指標(biāo)。

54、準(zhǔn)確率p的定義為：

55、

56、其中，tp表示預(yù)測(cè)為正類的正樣本數(shù)，即預(yù)測(cè)框和真實(shí)框的交并比大于等于閾值的樣本數(shù)；fp表示預(yù)測(cè)為正的負(fù)樣本數(shù)，即被視為正樣本但預(yù)測(cè)框和真實(shí)框的交并比小于等于閾值的樣本數(shù)。

57、召回率r的定義如下：

58、

59、其中，fn表示預(yù)測(cè)為負(fù)的正樣本數(shù)。

60、f1數(shù)作為召回率和準(zhǔn)確率的調(diào)和平均值，可以更全面地反映檢測(cè)性能，其定義如下：

61、

62、map(mean?average?precision，平均均值精度)則表示每類目標(biāo)ap的平均值。其定義如下：

63、

64、其中，n為測(cè)試集中樣本數(shù)，p表示精度，δr(k)表示從k-1個(gè)樣本到k個(gè)樣本的召回率的變化，c表示多分類任務(wù)中需要識(shí)別的類別數(shù)。

65、對(duì)于紅外火災(zāi)檢測(cè)模型的評(píng)價(jià)指標(biāo)，采用以下兩種：

66、召回率ptpr：

67、

68、虛警率pfpr：

69、

70、其中，ntp表示正確檢測(cè)出的目標(biāo)像素?cái)?shù)目，nfp表示背景像素被錯(cuò)誤識(shí)別為目標(biāo)像素的數(shù)目，ntn表示正確檢測(cè)出的背景像素?cái)?shù)目，nfp表示目標(biāo)像素被錯(cuò)誤識(shí)別為背景像素的數(shù)目，ntp+nfn表示目標(biāo)像素的總數(shù)目，nfp+ntn表示背景像素的總數(shù)目。

71、所述步驟s6中，對(duì)可見光與紅外結(jié)果決策融合的過程包括：

72、s61、整理可見光與紅外結(jié)果信息，包括識(shí)別到的類別、預(yù)測(cè)框位置信息，以及預(yù)測(cè)置信度；

73、s62、依次計(jì)算雙波段檢測(cè)結(jié)果中所有預(yù)測(cè)框的iou；

74、s63、確定判斷兩框是否檢測(cè)的為同一目標(biāo)的iou閾值，大于等于該閾值則說明在可見光與紅外中檢測(cè)到的目標(biāo)為同一目標(biāo)，小于該閾值則說明可見光與紅外中檢測(cè)到的不是同一個(gè)目標(biāo)；

75、s64、若為同一個(gè)目標(biāo)，則將兩框位置進(jìn)行加權(quán)融合，將融合結(jié)果作為最終結(jié)果；若為不同目標(biāo)，則說明該目標(biāo)僅在單波段中被檢測(cè)到，則該波段的檢測(cè)結(jié)果即為最后結(jié)果。

76、具體的，根據(jù)白天和夜晚的不同光線，對(duì)可見光與紅外進(jìn)行不同權(quán)重的融合，白天可見光圖像檢測(cè)結(jié)果一般較準(zhǔn)確，因此可以適當(dāng)提高可見光的融合權(quán)重；夜晚紅外圖像較敏感，更容易在火災(zāi)初期階段進(jìn)行檢測(cè)，因此可以適當(dāng)提高紅外的融合權(quán)重。檢測(cè)框融合公式如下：

77、bm＝λibi+λvbv

78、其中，bi表示紅外圖像中火災(zāi)目標(biāo)f的準(zhǔn)確檢測(cè)框位置，表示可見光圖像中目標(biāo)f的準(zhǔn)確檢測(cè)框位置，λi和λv分別表示紅外與可見光目標(biāo)檢測(cè)框的加權(quán)系數(shù)，λi，λv∈[0，1]且λi+λv＝1，bm表示加權(quán)融合后目標(biāo)f在雙波段圖像中的準(zhǔn)確檢測(cè)框位置。

79、本發(fā)明的有益效果：

80、1、本發(fā)明所提方法在原始yolov5基礎(chǔ)上，首先，將backbone和neck中的普通卷積替換為ghost?module，并嵌入到c3模塊中，提高了網(wǎng)絡(luò)的計(jì)算效率，保證算法檢測(cè)的實(shí)時(shí)性；其次，在neck中將原始網(wǎng)絡(luò)中的panet層替換為bifpn，實(shí)現(xiàn)自上而下和自下而上的深度特征雙向融合，加強(qiáng)不同網(wǎng)絡(luò)層之間的特征信息傳遞；最后，增加一層小目標(biāo)檢測(cè)層，提高了算法對(duì)小目標(biāo)的檢測(cè)性能；

81、2、本發(fā)明所提方法在原始svm算法中將先驗(yàn)知識(shí)(不同誤分類的代價(jià)不同)引入模型設(shè)計(jì)中；為保證高檢出率，將l0范數(shù)約束引入火災(zāi)(正)類；同時(shí)為減少誤報(bào)率，將其擴(kuò)展到核誘導(dǎo)的(非線性)l1-svm上，極大提高了svm的分類準(zhǔn)確度，為后續(xù)火災(zāi)的識(shí)別打下了堅(jiān)實(shí)的基礎(chǔ)；

82、3、本發(fā)明所提方法對(duì)可見光與紅外算法都進(jìn)行了具有針對(duì)性的改進(jìn)，分別提高了兩者各自的檢測(cè)精度，同時(shí)采用了可見光與紅外決策融合的方式進(jìn)行火災(zāi)檢測(cè)，極大避免了因可見光或紅外各自的缺陷而造成的火災(zāi)漏檢，而且考慮到不同光線的影響，可見光與紅外的檢測(cè)效果不同，調(diào)整了兩者的融合權(quán)重，總體提升了本發(fā)明所提方法的檢測(cè)準(zhǔn)確率。

83、4、本發(fā)明所提出的方法，火災(zāi)檢測(cè)精度高，時(shí)間成本低，能夠在復(fù)雜環(huán)境中實(shí)現(xiàn)以非接觸式的方式檢測(cè)火災(zāi)。