ACM Computing Surveys | 港大等基于可靠性视角的深度伪造检测综述，覆盖主流基准库、模型

AIxiv专栏是人工智能站发布学术、技术内容的栏目。过去数年，人工智能站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本文作者包括香港大学的王天一、Kam Pui Chow，湖南大学的廖鑫 (共同通讯)，圭尔夫大学的林晓东和齐鲁工业大学 (山东省科学院) 的王英龙 (第一通讯)。

基于深度神经网络对人脸图像进行编辑和篡改，深度伪造的发展为人们的生活带来了便利，但对其错误的应用也同时危害着人们的隐私和信息安全。

近年来，针对深度伪造对人们隐私安全造成的危害，虽然领域内的研究者们提出了基于不同角度和不同算法的检测手段，但是在实际的深度伪造相关案例中，鲜有检测模型被成功应用于司法判决，并真正做到保障人们的隐私安全。

近日， 一篇基于可靠性视角的深度伪造检测综述收录在 ACM Computing Surveys (IF=23.8)。文章作者分析，在当前深度伪造领域内的研究中，尚缺乏一条完整的桥梁，可以将成熟的深度伪造检测模型与其在实际案例中的潜在应用联系起来。

• 论文标题：Deepfake Detection: A Comprehensive Survey from the Reliability Perspective

• arXiv 地址: https://arxiv.org/abs/2211.10881

本综述由香港大学、齐鲁工业大学、湖南大学、圭尔夫大学联合发布，从可靠性的角度全面回顾了当前领域内的常用深度伪造基准数据库 (表 1) 和代表性检测模型，并基于现有检测模型的类型和优缺点，提出了三个值得领域内研究者们持续探索的话题和挑战 (图 1)： 迁移性、可解释性和鲁棒性。

                                       ^{表 1: 依据质量、多样性、难度等特点而划分的三代深度伪造基准数据库信息。}

三大话题和挑战

迁移性话题关注已完成训练的深度伪造检测模型是否能够在未曾见过的数据和篡改算法上依然维持令人满意的检测准确率。

详细来说，当一个深度伪造检测器在被广泛使用的 FaceForensics++ 数据集上完成训练后，除了在 FaceForensics++ 的测试集上展现出色的检测准确率，仍需要能够在 cross-dataset 和 cross-manipulation 设定下，维持较为稳定的效果。此目标旨在避免针对持续迭代出现的新的伪造数据和伪造算法时无休止地增加模型训练成本。

可解释性话题侧重于检测模型在判断真伪的同时能否额外提供令人信服的证据和通俗易懂的解释。

详细来说，当一个深度伪造检测器判断一张图片的真伪时，通常只能提供对其真或假的判断结论，以及在各个实验数据集上测试时的检测准确率。然而，对于需要依赖于检测模型来保护个人隐私信息的非专业人士，能够提供除准确率指标之外通俗易懂的额外证据 (例如，被标记的伪造区域定位或被可视化的伪造痕迹和噪声) 是极其重要的。

鲁棒性话题则基于已有的客观模型检测效果，着眼于实际生活场景，关注深度伪造素材在传播中遭受主观和客观画质损失后，是否依然可以被检测器正确判断。

详细来说，深度伪造素材的危害随着其在网络中的持续性传播而不断增加，而在上传、下载、转载等传播过程中，受不同平台对素材属性的限制和协议要求，该素材将不可避免地遭受质量上的折损和降低。另一方面，当攻击者 (即深度伪造素材的制造者) 已知领域内已有针对各类深度伪造算法的检测手段时，其会刻意向伪造的素材内有针对性地添加能够一定程度上扰乱深度伪造检测器的噪声。以上两类情况，都需要依赖于深度伪造检测模型的鲁棒性，从而可以持续地在实际生活案例中发挥作用。

                                       ^{图 1 : 关于三种话题和挑战的阐述}

评估与实验

除了深入探讨三个话题和挑战的意义以及综述性地总结领域内的相关工作之外，本文还着重提出了一个 针对模型可靠性的评估方法 (图 2)。

该方法受到司法鉴定中对 DNA 比对过程的启发，通过模拟和构建真实世界中的深度伪造数据的总 population，引入统计学中随机采样的方法，科学且严谨地评估深度伪造检测模型的可靠性，从而提供关于模型性能的统计学指标，以作为法庭审判的潜在证据和辅助证据。基于该指标，可得出在不同置信度条件下的模型检测准确率结论。该可靠性评估方法的初步探索，旨在提供一条路线可以使众多深度伪造检测模型能够在实际生活案例中真正发挥价值。

同时，该综述通过进行大量实验，在不同的样本集大小、置信度、采样次数等环境设定下，对为解决三种话题和挑战的七个深度伪造检测模型进行模型复现和可靠性分析。

                                         ^{图 2: 深度伪造检测模型可靠性分析算法。}

此外，该综述将实验中的深度伪造检测模型应用在受害者分别为明星、政客、普通人的实际深度伪造案例中的假视频进行鉴伪和分析，并针对检测结果提供基于特定置信度条件下的模型检测准确率结论 (图 3)。

实验结果表明，当前领域内的现存深度伪造检测模型分别在迁移性、可解释性、鲁棒性话题方面各有建树，但当令其兼顾两个或三个话题和挑战时，在模型效果上则展现出了显著的权衡和取舍。

然而，通常来说，人们希望，一个可靠的深度伪造检测模型应同时具备良好的迁移性、通俗易懂的可解释性、稳定的鲁棒性，以便能够在实际生活中的深度伪造案例中保护和保障受害者的隐私安全。

因此，本综述论文所总结的理念、发现、结论也为深度伪造检测领域的研究者们提供了新的研究挑战与研究方向。

                                       ^{图 3: 深度伪造检测模型在四个实际案例中的视频上的检测结果以及其对应的 95% 置信度可靠性结论。}

第一作者信息

王天一，本科毕业于美国华盛顿大学西雅图分校，修习计算机科学和应用数学双专业；博士毕业于香港大学，研究方向为多媒体取证；现为南洋理工大学在职博士后研究员。

^引用信息

^{Tianyi Wang, Xin Liao, Kam Pui Chow, Xiaodong Lin, and Yinglong Wang. 2024. Deepfake Detection: A Comprehensive Survey from the Reliability Perspective. ACM Comput. Surv. 57, 3, Article 58 (March 2025), 35 pages. https://doi.org/10.1145/3699710}