论文阅读《SELECTIVE DOMAIN-INVARIANT FEATURE FOR GENERALIZABLE DEEPFAKEDETECTION》

作者：Yingxin Lai、 Guoqing Yang1、Yifan He2、Zhiming Luo、Shaozi Li

期刊：ICASSP-2024

目的：解决泛化性的问题，提出了3个模块

论文整体的架构图：（挑选域特征不变，减少对图像内容或者风格融合的依赖）

整个框架是由三部分组成：多样式样本生成器、动态特征提取器和域识别模块(感觉这个不是很重要)

1.首先，用最远的样本的点进行模型的训练的策略，FPS使样本点尽可能多样化

2.提出了一个动态特征提取的模块，提高模型的特征提取能力的泛化和有效性

3.域分离策略，保留域相关的特征，用于帮助区别真实和伪造人脸

做法：使得所有得样本点尽可能得远，因此样本分离and不统一

采样：

采用最远样本采样来采样不同风格的样本点，从N个个种类的全部样本点中，迭代选择C个样本点，以此避免真假样本相互作用。每次选择的点都是距离其他样本点最远的点。

多样性域感知模块：

用于融合内容特征和风格特征在高位特征感知任务中嵌入域知识

首先将输入x输入到特征提取器G中，对样式样本x '进行FPS采样到G '中，得到特征嵌入。

然后使用自适应实例规范化(AdaIN)将内容特征和任意统计修改的样式特征混合到域不变鉴别器D中，使D能够专注于输入域不变特征。（更具有共性的特征）

采样之后采用特征提取器去获得特征嵌入。使用一个特征提取器捕捉多尺度低级图像信息。

AdaIN是一个自适应风格化模块;给定一个内容输入a和一个随机选择的输入样式输入a’，程式化归一化可以形成如下:

其中µ(·)和σ(·)表示通道均值和标准差。

通过生成的样式，多样性样式xd是:

动态特征提取：

引入了动态特征提取模块(DFE)，一部分馈入动态卷积支路，另一部分馈入静态卷积支路。动态卷积分支获取一半通道的表示。该模块是在每个特征提取器的卷积层之后添加的。通道分割后，输入特征M被分割成Ma和Mb两部分。

其中ν(·)表示动态卷积操作，Conv是一个卷积块，其中ν依赖于输入实例Ma，⊗表示元素乘法。然后我们在通道维度中连接Ma和Mb，得到一个卷积块δ(·)，产生输出特征F，记为:

域辨别模块：

更具有泛化性的内容特征，总结为优化问题：

其中N表示域的数量，也就是不同的操作方法所生成的伪造样本，x表示训练集的样本，y表示对应的标签，Yn表示独热编码，G表示内容特征生成器，D表示域鉴别器，为了同步优化G和D，梯度反转层被用于反向传播中用于翻转梯度。

损失函数

思考

感觉模型的讲述有点混乱

实验