本申請(qǐng)涉及人工智能,特別是涉及一種數(shù)字域紅外視覺圖案生成方法、裝置、設(shè)備和存儲(chǔ)器。
背景技術(shù):
1、近年來,人工智能(ai)已經(jīng)徹底改變了計(jì)算機(jī)視覺,展示了遠(yuǎn)遠(yuǎn)超出人類的能力,這激發(fā)了探索人工智能視覺系統(tǒng)脆弱性的興趣。為了實(shí)現(xiàn)這一目標(biāo),研究者在數(shù)字域提出了各種揭露ai脆弱性的算法。通常,在圖像中添加微妙的、高維的、物理上不可解釋的擾動(dòng)可以改變視覺模型輸出,包括快速梯度符號(hào)法(fgsm)、carlini-wagner法和投影梯度下降法(pgd)。這些算法還結(jié)合了簡(jiǎn)單的物理手段來實(shí)現(xiàn)真實(shí)世界視覺輸出錯(cuò)誤,例如通過打印一些特定的圖像或補(bǔ)丁來干擾分類算法,通過特定的眼鏡框架、帽子或化妝來誤導(dǎo)人類面部識(shí)別系統(tǒng),通過制造特定的3d物體、紋理或光學(xué)錯(cuò)覺以逃避物體探測(cè)器。
2、但這些算法生成的擾動(dòng)在黑盒場(chǎng)景下的效果有限,且很少考慮到真實(shí)世界中的制造難度。具體如下:(1)這些細(xì)微的擾動(dòng)可能在不同視角、不同距離、不同分辨率和不同天氣條件下被傳感器捕捉到,而這些客觀物理因素可能會(huì)影響成像質(zhì)量,從而影響這些擾動(dòng)所應(yīng)呈現(xiàn)的效果。(2)在數(shù)字空間中,這些細(xì)微擾動(dòng)可以添加到圖像中的任何部分,包括背景。然而,對(duì)于物理空間中的目標(biāo),其通常沒有固定的背景,因此設(shè)計(jì)在背景中的擾動(dòng)一般不具有魯棒性。(3)在制造理論上可行的擾動(dòng)時(shí),其每個(gè)像素都應(yīng)該能用現(xiàn)有設(shè)備打印出來。但現(xiàn)代打印設(shè)備受色域限制和環(huán)境光線變化,理論上的顏色可能無法被準(zhǔn)確還原,導(dǎo)致效果不佳。
技術(shù)實(shí)現(xiàn)思路
1、基于此,有必要針對(duì)上述技術(shù)問題,提供一種數(shù)字域紅外視覺圖案生成方法、裝置、設(shè)備和存儲(chǔ)器。
2、一種數(shù)字域紅外視覺圖案生成方法,該方法包括:
3、建立基于預(yù)定任務(wù)的圖像數(shù)據(jù)集。
4、選擇多個(gè)預(yù)訓(xùn)練的視覺目標(biāo)檢測(cè)模型,并采用圖像數(shù)據(jù)集對(duì)所有預(yù)訓(xùn)練的視覺目標(biāo)檢測(cè)模型進(jìn)行微調(diào)。
5、對(duì)圖像樣本采用二維傅里葉變換、濾波、二維傅里葉逆變換進(jìn)行處理后,并利用邊緣標(biāo)簽去除物體邊緣標(biāo)簽之外的特征,得到預(yù)處理結(jié)果。
6、根據(jù)預(yù)處理結(jié)果采用微調(diào)后的所有視覺目標(biāo)檢測(cè)模型進(jìn)行處理后得到的分割、識(shí)別輸出結(jié)果以及圖像樣本的信息熵值,對(duì)圖像樣本進(jìn)行綜合評(píng)估,篩選出候選視覺樣本。
7、根據(jù)預(yù)設(shè)的最佳二值閾值對(duì)候選視覺樣本進(jìn)行二值化處理,得到數(shù)字域紅外視覺圖案。
8、在其中一個(gè)實(shí)施例中,建立基于預(yù)定任務(wù)的圖像數(shù)據(jù)集,包括:
9、根據(jù)多種開源數(shù)據(jù)集采用目標(biāo)關(guān)鍵詞搜索方法,收集大量目標(biāo)的圖像;目標(biāo)包括非顯著目標(biāo)、紅外目標(biāo)和衛(wèi)星目標(biāo)。
10、對(duì)每張圖像的邊界框、類別、對(duì)象實(shí)例和邊緣標(biāo)簽進(jìn)行精細(xì)標(biāo)注,得到圖像數(shù)據(jù)集。
11、在其中一個(gè)實(shí)施例中,預(yù)訓(xùn)練的代理視覺模型為基于深度學(xué)習(xí)的計(jì)算機(jī)視覺目標(biāo)檢測(cè)模型。
12、在其中一個(gè)實(shí)施例中,對(duì)圖像樣本采用二維傅里葉變換、濾波、二維傅里葉逆變換進(jìn)行處理后,并利用邊緣標(biāo)簽去除物體邊緣標(biāo)簽之外的特征,得到預(yù)處理結(jié)果,包括:
13、采用二維傅里葉變換將圖像樣本變換到頻域,得到頻域的圖像特征。
14、將頻域的圖像特征采用圓形巴特沃斯濾波器進(jìn)行濾波,將濾波后的圖像頻譜特征進(jìn)行二維傅里葉逆變換,得到空間域的圖像特征。
15、對(duì)空間域的圖像特征采用邊緣標(biāo)簽去除物體邊緣標(biāo)簽之外的特征,得到預(yù)處理結(jié)果。
16、在其中一個(gè)實(shí)施例中,根據(jù)預(yù)處理結(jié)果采用微調(diào)后的所有視覺目標(biāo)檢測(cè)模型進(jìn)行處理后得到的分割、識(shí)別輸出結(jié)果以及圖像樣本的信息熵值,對(duì)圖像樣本進(jìn)行綜合評(píng)估,篩選出候選視覺樣本,包括:
17、將預(yù)處理結(jié)果輸入到微調(diào)后的所有視覺目標(biāo)檢測(cè)模型中,得到視覺目標(biāo)檢測(cè)模型的分割、識(shí)別輸出結(jié)果。
18、根據(jù)所有微調(diào)后的視覺目標(biāo)檢測(cè)模型輸出的分割、識(shí)別輸出結(jié)果以及圖像樣本的信息熵值,對(duì)圖像樣本進(jìn)行綜合評(píng)估,篩選出候選視覺樣本。
19、在其中一個(gè)實(shí)施例中,根據(jù)預(yù)設(shè)的最佳二值閾值對(duì)候選視覺樣本進(jìn)行二值化處理,得到數(shù)字域紅外視覺圖案,步驟中預(yù)設(shè)的最佳二值閾值的確定步驟包括:
20、對(duì)圖像樣本進(jìn)行直方圖分析,在圖像樣本的像素灰度值范圍內(nèi)以預(yù)設(shè)數(shù)量為間隔探索,確定預(yù)選二值閾值。
21、根據(jù)所述預(yù)選二值閾值、經(jīng)過微調(diào)后的所有所述視覺目標(biāo)檢測(cè)模型進(jìn)行處理后得到的分割、識(shí)別輸出結(jié)果以及圖像樣本的信息熵值,確定最佳二值閾值。
22、在其中一個(gè)實(shí)施例中,根據(jù)預(yù)設(shè)的最佳二值閾值對(duì)候選視覺樣本進(jìn)行二值化處理,得到數(shù)字域紅外視覺圖案,包括:
23、將圖像樣本中大于或等于預(yù)設(shè)的最佳二值閾值的像素值設(shè)置為255,將圖像樣本中小于預(yù)設(shè)的最佳二值閾值的像素值設(shè)置為0,得到數(shù)字域紅外視覺圖案。
24、一種數(shù)字域紅外視覺圖案生成裝置,該裝置包括:
25、圖像數(shù)據(jù)集構(gòu)建模塊,用于建立基于預(yù)定任務(wù)的圖像數(shù)據(jù)集。
26、視覺目標(biāo)檢測(cè)模型微調(diào)模塊,用于選擇多個(gè)預(yù)訓(xùn)練的視覺目標(biāo)檢測(cè)模型,并采用圖像數(shù)據(jù)集對(duì)所有預(yù)訓(xùn)練的視覺目標(biāo)檢測(cè)模型進(jìn)行微調(diào)。
27、圖像樣本預(yù)處理模塊,用于對(duì)圖像樣本采用二維傅里葉變換、濾波、二維傅里葉逆變換進(jìn)行處理后,并利用邊緣標(biāo)簽去除物體邊緣標(biāo)簽之外的特征,得到預(yù)處理結(jié)果。
28、數(shù)字域紅外視覺圖案生成模塊,用于根據(jù)預(yù)處理結(jié)果采用微調(diào)后的所有視覺目標(biāo)檢測(cè)模型進(jìn)行處理后得到的分割、識(shí)別輸出結(jié)果以及圖像樣本的信息熵值,對(duì)圖像樣本進(jìn)行綜合評(píng)估,篩選出候選視覺樣本;根據(jù)預(yù)設(shè)的最佳二值閾值對(duì)候選視覺樣本進(jìn)行二值化處理,得到數(shù)字域紅外視覺圖案。
29、一種計(jì)算機(jī)設(shè)備,包括存儲(chǔ)器和處理器,所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序,所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述任一方法的步驟。
30、一種計(jì)算機(jī)可讀存器,其上存儲(chǔ)有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任一方法的步驟。
31、上述數(shù)字域紅外視覺圖案生成方法、裝置、設(shè)備和存儲(chǔ)器,所述方法包括:建立基于預(yù)定任務(wù)的圖像數(shù)據(jù)集;選擇多個(gè)預(yù)訓(xùn)練的視覺目標(biāo)檢測(cè)模型,并采用圖像數(shù)據(jù)集對(duì)所有預(yù)訓(xùn)練的視覺目標(biāo)檢測(cè)模型進(jìn)行微調(diào);對(duì)圖像樣本進(jìn)行二維傅里葉變換、濾波、二維傅里葉逆變換處理后,并利用邊緣標(biāo)簽去除物體邊緣標(biāo)簽之外的特征,得到預(yù)處理結(jié)果,根據(jù)預(yù)處理結(jié)果采用微調(diào)后的所有視覺目標(biāo)檢測(cè)模型進(jìn)行處理后得到的分割、識(shí)別輸出結(jié)果以及圖像樣本的信息熵值,對(duì)圖像樣本進(jìn)行綜合評(píng)估,篩選出候選視覺樣本;根據(jù)預(yù)設(shè)二值閾值對(duì)候選視覺樣本進(jìn)行二值化處理,篩選出更好的視覺圖案,得到數(shù)字域紅外視覺圖案。本方法利用物體關(guān)鍵特征生成的數(shù)字域視覺樣本在ai視覺模型中有較高檢出率,可提高視覺的魯棒性;由于相關(guān)特征被高度壓縮、簡(jiǎn)化并增強(qiáng),物體特征復(fù)雜程度顯著降低,使其更容易在物理域被復(fù)制和實(shí)現(xiàn)。
1.一種數(shù)字域紅外視覺圖案生成方法,其特征在于,所述方法包括:
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,建立基于預(yù)定任務(wù)的圖像數(shù)據(jù)集,包括:
3.根據(jù)權(quán)利要求1所述的方法,其特征在于,預(yù)訓(xùn)練的代理視覺模型為基于深度學(xué)習(xí)的計(jì)算機(jī)視覺目標(biāo)檢測(cè)模型。
4.根據(jù)權(quán)利要求1所述的方法,其特征在于,對(duì)圖像樣本采用二維傅里葉變換、濾波、二維傅里葉逆變換進(jìn)行處理后,并利用邊緣標(biāo)簽去除物體邊緣標(biāo)簽之外的特征,得到預(yù)處理結(jié)果,包括:
5.根據(jù)權(quán)利要求1所述的方法,其特征在于,根據(jù)所述預(yù)處理結(jié)果采用微調(diào)后的所有所述視覺目標(biāo)檢測(cè)模型進(jìn)行處理后得到的分割、識(shí)別輸出結(jié)果以及圖像樣本的信息熵值,對(duì)圖像樣本進(jìn)行綜合評(píng)估,篩選出候選視覺樣本,包括:
6.根據(jù)權(quán)利要求1所述的方法,其特征在于,根據(jù)預(yù)設(shè)的最佳二值閾值對(duì)所述候選視覺樣本進(jìn)行二值化處理,得到數(shù)字域紅外視覺圖案,步驟中預(yù)設(shè)的最佳二值閾值的確定步驟包括:
7.根據(jù)權(quán)利要求1所述的方法,其特征在于,根據(jù)預(yù)設(shè)的最佳二值閾值對(duì)所述候選視覺樣本進(jìn)行二值化處理,得到數(shù)字域紅外視覺圖案,包括:
8.一種數(shù)字域紅外視覺圖案生成裝置,其特征在于,所述裝置包括:
9.一種計(jì)算機(jī)設(shè)備,包括存儲(chǔ)器和處理器,所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序,其特征在于,所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的方法。
10.一種計(jì)算機(jī)可讀存儲(chǔ)器,其上存儲(chǔ)有計(jì)算機(jī)程序,其特征在于,所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的方法。