本發(fā)明屬于圖像信息隱藏，尤其涉及一種深度偽造人臉圖像防御方法和裝置、存儲介質(zhì)。

背景技術(shù)：

1、當前的被動檢測深度偽造人臉圖像防御方案無法實現(xiàn)對深度偽造的實時管控，大多數(shù)情況下只能事后追溯。而在主動防御方面，許多方案通過設(shè)計具有對抗性、魯棒性或脆弱性特性的水印來抵御深度偽造攻擊。具體而言，對抗性能能夠使深度偽造模型無法生成正常圖像；魯棒性能則確保在深度偽造發(fā)生后，水印仍能用于追蹤源頭；脆弱性則與魯棒性相反，其特性使水印在圖像受到深度偽造干擾時同步被破壞，從而實現(xiàn)對深度偽造的快速檢測。

2、這類主動防御方案存在一個關(guān)鍵問題：即便通過水印或其他擾動方式使深度偽造失效，攻擊者仍可能通過其他途徑獲取同樣的原始人臉圖像，而該人臉圖像未攜帶水印。這樣一來，攻擊者即可利用該無水印人臉圖像再次進行深度偽造，從而使上述主動防御方法失去效果。

技術(shù)實現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問題是，提供一種深度偽造人臉圖像防御方法和裝置、存儲介質(zhì)，解決現(xiàn)有深度偽造防御無法同時滿足及時管控和保證深度偽造經(jīng)過水印方案的問題，通過水印形式對深度偽造生成進行條件管控，保證深度偽造的生成圖像中一定帶有方案指定生成的水印，從而保證攻擊者的行為在水印的監(jiān)管之下，同時還可以根據(jù)水印進行事后的追根溯源，同時滿足了對深度偽造防御的及時性和魯棒性。

2、為實現(xiàn)上述目的，本發(fā)明采用如下的技術(shù)方案：

3、一種深度偽造人臉圖像防御方法，包括：

4、步驟s1、利用編碼器和解碼器聯(lián)合訓練好的水印網(wǎng)絡(luò)，生成水印圖像；

5、步驟s2、使用水印圖像和原圖像訓練深度偽造網(wǎng)絡(luò)，實現(xiàn)對深度偽造生成進行條件管控。

6、作為優(yōu)選，編碼器和解碼器采用u-net結(jié)構(gòu)，注意力機制部分采用ecablock。

7、作為優(yōu)選，步驟s1中，選擇水印信息作為指定水印，將指定水印嵌入到主機圖像ig中，作為水印圖像iwg；隨機選擇水印信息嵌入到主機圖像ig中，作為水印圖像i′wg，根據(jù)水印圖像iwg和水印圖像i′wg通過編碼器解碼器聯(lián)合訓練得到水印網(wǎng)絡(luò)，水印網(wǎng)絡(luò)的損失函數(shù)如下所示：

8、lst1＝λenclenc+λdecldec+λadvladv

9、其中，lenc，ldec，ladv分別是編碼器、解碼器和鑒別器的損失，λenc，λdec，λadv分別是編碼器，解碼器和鑒別器的超參數(shù)。

10、作為優(yōu)選，步驟s1中，對編碼器參數(shù)進行修改，將修改的參數(shù)位置相關(guān)信息設(shè)置為密鑰。

11、作為優(yōu)選，步驟s2中，深度偽造網(wǎng)絡(luò)的損失函數(shù)如下所示：

12、lst2＝λcflcf+λrflrf+λaflaf

13、其中，lcf,lrf,laf分別是分類損失、重構(gòu)損失和對抗損失，λcf,λrf,λaf分別為分類損失、重構(gòu)損失和對抗損失的超參數(shù)；分類損失lcf包含：原圖分類到原屬性的損失lcfr、生成圖像分類到正確生成屬性的損失lcf1和生成圖像分類到錯誤生成屬性的損失lcf2。

14、作為優(yōu)選，采用聯(lián)合編碼器解碼器訓練的水印網(wǎng)絡(luò)對解碼器進行單獨訓練，以提升水印的魯棒性。

15、本發(fā)明還提供一種深度偽造人臉圖像防御裝置，包括：

16、第一處理模塊，用于利用編碼器和解碼器聯(lián)合訓練好的水印網(wǎng)絡(luò)，生成水印圖像；

17、第二處理模塊，用于使用水印圖像和原圖像訓練深度偽造網(wǎng)絡(luò)，實現(xiàn)對深度偽造生成進行條件管控。

18、本發(fā)明還提供一種存儲介質(zhì)，所述存儲介質(zhì)上存儲有計算機程序，所述計算機程序在運行時執(zhí)行深度偽造人臉圖像防御方法。

19、本發(fā)明采用結(jié)合密鑰的魯棒水印方案，通過對水印訪問的精確控制，顯著提升了水印的隱私性和整體方案的安全性；水印嵌入網(wǎng)絡(luò)受密鑰控制，水印的生成與提取效果直接依賴密鑰的正確性；當密鑰錯誤增多時，生成的水印圖像質(zhì)量和水印提取的準確率都會顯著下降，從而有效保護水印的安全性和專屬性。

20、本發(fā)明采用基于水印的深度偽造生成管控防御策略，深度偽造的生成過程僅限于包含指定水印的人臉圖像，對于其他圖像則無法生成正確的輸出；這一機制確保了深度偽造生成的所有有效輸出圖像均攜帶方案生成的水印，并且該水印可以被成功提取，從而實現(xiàn)對生成過程的有效管控。

技術(shù)特征：

1.一種深度偽造人臉圖像防御方法，其特征在于，包括：

2.如權(quán)利要求1所述的深度偽造人臉圖像防御方法，其特征在于，編碼器和解碼器采用u-net結(jié)構(gòu)，注意力機制部分采用ecablock。

3.如權(quán)利要求2所述的深度偽造人臉圖像防御方法，其特征在于，步驟s1中，選擇水印信息作為指定水印，將指定水印嵌入到主機圖像ig中，作為水印圖像iwg；隨機選擇水印信息嵌入到主機圖像ig中，作為水印圖像i′wg，根據(jù)水印圖像iwg和水印圖像i′wg通過編碼器解碼器聯(lián)合訓練得到水印網(wǎng)絡(luò)，水印網(wǎng)絡(luò)的損失函數(shù)如下所示：

4.如權(quán)利要求3所述的深度偽造人臉圖像防御方法，其特征在于，步驟s1中，對編碼器參數(shù)進行修改，將修改的參數(shù)位置相關(guān)信息設(shè)置為密鑰。

5.如權(quán)利要求4所述的深度偽造人臉圖像防御方法，其特征在于，步驟s2中，深度偽造網(wǎng)絡(luò)的損失函數(shù)如下所示：

6.如權(quán)利要求5所述的深度偽造人臉圖像防御方法，其特征在于，采用聯(lián)合編碼器解碼器訓練的水印網(wǎng)絡(luò)對解碼器進行單獨訓練，以提升水印的魯棒性。

7.一種深度偽造人臉圖像防御裝置，其特征在于，包括：

8.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)上存儲有計算機程序，所述計算機程序在運行時執(zhí)行如權(quán)利要求1至6任意一項所述的深度偽造人臉圖像防御方法。

技術(shù)總結(jié)
本發(fā)明公開一種深度偽造人臉圖像防御方法和裝置、存儲介質(zhì)，包括：步驟S1、利用編碼器和解碼器聯(lián)合訓練好的水印網(wǎng)絡(luò)，生成水印圖像；步驟S2、使用水印圖像和原圖像訓練深度偽造網(wǎng)絡(luò)，實現(xiàn)對深度偽造生成進行條件管控。采用本發(fā)明的技術(shù)方案，解決現(xiàn)有深度偽造防御無法同時滿足及時管控和保證深度偽造經(jīng)過水印方案的問題。

技術(shù)研發(fā)人員：馮丙文,郭易之,劉子嶠,楊曦,張曉倩
受保護的技術(shù)使用者：暨南大學
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/8