本發(fā)明涉及圖像處理，具體地講，涉及一種基于水印圖像差值的主動deepfake檢測方法。

背景技術(shù)：

1、隨著虛假信息在媒體上的傳播愈加泛濫，如今，數(shù)字內(nèi)容的可信度可能因制造虛假事實的簡便性而受到削弱。信息在傳達給潛在用戶之前，可能會經(jīng)過多次修改。人工智能的最新進展，尤其是在圖像和視頻處理領(lǐng)域，使得更改信息內(nèi)容的可能性越來越大，因為媒體內(nèi)容可能會受到各種類型的操縱。隨著圖像合成技術(shù)的快速發(fā)展，如gan，diffusion，ai生成的圖像已經(jīng)達到了很高的水平，使它們幾乎無法與人類觀察者的真實圖像區(qū)分開來。在各種可能的媒體操縱方法中，deepfake是一種最近出現(xiàn)的技術(shù)，能夠生成合成的人類圖像。

2、當前的deepfake檢測技術(shù)主要依賴于被動地捕捉偽造過程中留下的痕跡，這些痕跡針對不同的偽造方式位置會有所區(qū)別，因此在面對跨域檢測時效果會不盡人意。為了解決這一問題，從主動檢測的角度來充分發(fā)掘這些偽造痕跡，通過水印區(qū)域的變化來進行deepfake檢測?，F(xiàn)有的deepfake檢測方法主要面臨的是泛化性不足與魯棒性問題，在面對未知的偽造方法或者說是跨域檢測時，這些方法的性能會顯著下降，其具體原因為模型對于偽造痕跡捕捉不夠準確從而進行了誤判。

技術(shù)實現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問題是提供一種基于水印圖像差值的主動deepfake檢測方法，利用四元數(shù)極諧傅里葉矩（qpfhm）作為水印嵌入的工具，并且利用嵌入的水印圖像與原始圖像差值作為deepfake檢測的主要依據(jù)。

2、本發(fā)明采用如下技術(shù)方案實現(xiàn)發(fā)明目的：

3、一種基于水印圖像差值的主動deepfake檢測方法，其特征在于，包括以下步驟：

4、s1：構(gòu)造兩階段的主動deepfake檢測框架，包括訓練水印攻擊網(wǎng)絡(luò)階段與deepfake檢測；

5、s2：訓練水印攻擊網(wǎng)絡(luò)階段；

6、s21：利用四元數(shù)極諧傅里葉矩作為水印嵌入的工具，來嵌入水印信息并且利用水印攻擊網(wǎng)絡(luò)來移除水??；

7、s22：為了保證水印攻擊網(wǎng)絡(luò)能準確的移除四元數(shù)極諧傅里葉矩水印，采用三個損失：mse損失、局部損失及感知損失進行優(yōu)化；

8、s3：deepfake檢測階段；利用訓練水印攻擊網(wǎng)絡(luò)階段訓練的水印攻擊網(wǎng)絡(luò)進行水印攻擊，使輸入的含水印圖像能夠去除其中的水印信息，因此便得到含水印圖像與去除水印圖像的差值，再通過一個xception?分類器網(wǎng)絡(luò)進行差值的偽造痕跡的真?zhèn)畏诸悺?/p>

9、作為本技術(shù)方案的進一步限定，所述s21的具體流程為：

10、s211：對于極坐標系下的彩色圖像，四元數(shù)極諧傅里葉矩表示為：

11、（1）

12、其中：為極坐標的徑向距離；

13、為極坐標角度；

14、為單位純四元數(shù)；

15、為階數(shù)；

16、為重復度；

17、表示徑向基函數(shù)：

18、（2）

19、s212：在由式（2）計算出彩色圖像的四元數(shù)極諧傅里葉矩后，利用有限個四元數(shù)極諧傅里葉矩來近似重構(gòu)，在極坐標系下利用有限個四元數(shù)極諧傅里葉矩近似重構(gòu)彩色圖像函數(shù)的表達式寫為：

20、（3）

21、s213：嵌入流程；

22、首先將原始彩色人臉圖像轉(zhuǎn)換到極坐標系上，并將其表示為；

23、然后根據(jù)正交矩定義及四元數(shù)理論，計算出的高階四元數(shù)正交矩，其中和分別表示階數(shù)和重復度；

24、從中篩選出魯棒的四元數(shù)正交矩集合；

25、選擇的水印為長度的二值隨機序列，根據(jù)密鑰和水印序列調(diào)整矩幅值得到含水印的矩集合；

26、分別將和通過式（3）進行重構(gòu)得到圖像和，最后得到含水印的圖像；

27、s214：將含水印圖像與原始圖像輸入到水印攻擊網(wǎng)絡(luò)中，水印攻擊網(wǎng)絡(luò)采用的unet網(wǎng)絡(luò)，移除水印，輸出圖像。

28、作為本技術(shù)方案的進一步限定，unet網(wǎng)絡(luò)為對稱的u形結(jié)構(gòu)，由編碼器和解碼器兩部分組成，編碼器逐步提取圖像特征，并通過下采樣減少空間維度；解碼器逐步恢復空間維度，并通過上采樣重建圖像，同時結(jié)合編碼器的特征信息通過殘差的方式相連接。

29、作為本技術(shù)方案的進一步限定，所述s22的具體流程為：

30、s221：mse損失；mse損失函數(shù)是圖像恢復任務(wù)中最常用的逐像素損失函數(shù)之一，從水印攻擊網(wǎng)絡(luò)中得到的輸出為圖像，將mse損失表示為：

31、（4）

32、s222：局部損失；根據(jù)四元數(shù)極諧傅里葉矩的原理，最終嵌入水印的位置總是在圖像的最大內(nèi)切圓之內(nèi)，設(shè)計一個新穎的局部損失函數(shù)：

33、（5）

34、其中：表示輸入張量在圖像坐標處的索引值；

35、表示輸入張量在圖像坐標處的索引值；

36、表示在輸入張量中定義的最大內(nèi)嵌圓區(qū)域的索引集合；

37、具體來說，對于每個批次中的圖像，包含所有滿足以下條件的索引：

38、，是以圖像中心為原點的坐標， h和 w分別是圖像的高度和寬度；

39、 n m是掩碼區(qū)域內(nèi)的像素總數(shù)，即中元素的數(shù)量；

40、s223：感知損失：因此，利用一個預訓練的?vgg16模型來提取關(guān)鍵的特征圖，感知損失網(wǎng)絡(luò)計算的是在選定的網(wǎng)絡(luò)層上，原始圖像與水印攻擊網(wǎng)絡(luò)輸出的圖像之間的歐氏距離，具體的損失函數(shù)定義如下：

41、（6）

42、其中：是?vgg16網(wǎng)絡(luò)中第層的特稱圖輸出；

43、、及分別為第層特征圖的通道、高度及寬度；

44、s224：水印攻擊網(wǎng)絡(luò)的總損失表示為：

45、?（7）

46、其中：與為控制損失函數(shù)權(quán)重的超參數(shù)。

47、作為本技術(shù)方案的進一步限定，所述s3的具體流程為：

48、固定好在訓練水印攻擊網(wǎng)絡(luò)階段訓練好的水印攻擊網(wǎng)絡(luò)，并且將含水印圖像作為第二階段的輸入；

49、s31：先對含水印圖像進行?deepfake?得到檢測圖像；

50、s32：將含水印圖像與檢測圖像輸入到水印攻擊網(wǎng)絡(luò)中，分別得到?jīng)]有偽造過的攻擊后圖像與偽造過的攻擊后圖像；

51、s33：由于差值信息無法輕易察覺，因此利用放大后的差值信息進行偽造檢測，表示為：

52、（8）

53、其中：表示利用?xception?網(wǎng)絡(luò)對差值圖像進行真?zhèn)畏诸悾?/p>

54、表示對于差值圖像放大的倍數(shù)；

55、為?xception?網(wǎng)絡(luò)對于輸入的預測結(jié)果；

56、采用一個簡單的bce損失即能夠訓練?xception?網(wǎng)絡(luò)：

57、（9）

58、其中：表示人臉的標簽，0?代表為真，1?代表為假；

59、表示?xception?預測出的結(jié)果。

60、與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點和積極效果是：本發(fā)明提出了一種新穎的主動deepfake?檢測方法。通過利用水印圖像偽造后的差值信息，可以實現(xiàn)?deepfake?高精度的檢測。本發(fā)明設(shè)計了一種兩階段的主動?deepfake?檢測框架。并且設(shè)計了一種新型的局部損失函數(shù)來輔助水印攻擊網(wǎng)絡(luò)進行水印的去除。現(xiàn)有的主動deepfake檢測方法主要集中在利用解碼器提取出的水印信息與嵌入信息進行比對，從而判斷該圖像是否偽造。本方法從另一個角度出發(fā)，設(shè)計了一種兩階段的主動?deepfake?檢測框架，通過嵌入水印后的差值信息進行偽造檢測。與此同時，針對于水印攻擊網(wǎng)絡(luò)，本發(fā)明提出了一種新型的局部損失函數(shù)來幫助網(wǎng)絡(luò)更好的攻擊嵌入水印的區(qū)域。鑒于?qphfm?對常規(guī)攻擊的魯棒性，本發(fā)明在面對壓縮時也會保持較高的檢測率；水印圖像無論是經(jīng)過哪種?deepfake，其基本原理都是會生成高度逼真的肉眼無法區(qū)分是否偽造的圖像，但這總是會改變水印區(qū)域的特征，利用這一特性，本發(fā)明在面對不同的?deepfake?偽造方式時也可保持優(yōu)秀的檢測率。