作为引领第四次科技革命的战略性技术，人工智能给社会建设和经济发展带来了重大而深远的影响。但作为前沿创新技术，数据隐私、技术滥用等伴生安全问题也正给社会公共治理带来严峻挑战，其中围绕“深度伪造”的伦理和法律争议一直是公众高度关注的热点话题。

“深度伪造”是指利用深度学习算法实现音频和视频的模拟和伪造，包括语音模拟、换脸、表情操纵等。2019年国内红极一时的换脸软件“ZAO”就是公众最为熟知的应用，用户只需上传一张照片，就能秒变“戏精”，甚至还能与偶像同台飙戏，效果极其逼真。不久前，短视频领域出现的“蚂蚁呀嘿”热潮，其基础也是深度伪造技术。

凭借极强的娱乐性与传播性，“深度伪造”技术一路走红。但同时，其“低门槛、高效率、高质量”的特性，使其被大规模滥用于伪造身份、混淆视听，以实现网络欺诈、虚假宣传与操纵舆论等目的。

针对这一威胁与挑战，7月9日，北京瑞莱智慧科技有限公司首席执行官田天在上海世界人工智能大会演讲时明确指出，人工智能产业正进入高质量发展阶段，以深度伪造为代表各类安全问题层出不穷，亟待解决。这次大会期间，瑞莱智慧也发布了基于第三代人工智能的DeepReal深度伪造内容检测平台，具备工业级检测性能，能够快速、精准地对多种格式与质量的图像进行真伪鉴别，为遏制和防范深度伪造技术的大规模滥用提供有效技术支撑。

一、低门槛高效率放大了潜在威胁

与传统图像视频处理技术相比，深度伪造技术具有“门槛低、效率高、质量好”的特点，所以它也被探索用于影视、医疗、虚拟现实等商业，比如在影视后期制作中，表情操纵、全脸替换等深度合成技术可以被用于影视剧本地化嘴型修改、虚拟IP打造等场景中。

然而，与正面效应相比，这些特性也同步放大了潜在威胁和安全隐患。

当前，深度伪造的技术门槛正大幅降低，网络上充斥着大量伪造教程和开源可用的计算机程序，即便是不具备专业算法能力的普通用户，也可以在很短时间内轻松上手。尤其依托深度学习算法特性，在海量图像和视频数据的驱动下，深度合成技术不断演进迭代，仿真精度不断得到提升。所以，制作一段高逼真度的虚假音视频成本极低，却可以借助社交媒体等平台短时间风靡互联网。对于这样一种技术，如果不进行规制，无疑将产生可怕的后果。

二、危害社会利益乃至国家安全

深度伪造技术的大规模滥用正侵害到社会公众的合法权益。比如深度伪造技术最常见的非法运用方式，将一些知名歌星、影星等公众人物的脸“移花接木”到色情明星身上，伪造色情片非法牟利，或者是伪造恶搞视频，这对个人名誉权与肖像权构成严重侵害。

其次是公众财产安全，不法分子可以利用漏洞劫持手机识别摄像头，利用照片活化、表情操纵等深度伪造技术冒充机主，进而对机主的微信好友实行转账诈骗。同样的，电信诈骗中也有类似利用“语音伪造”技术的案例。

不仅如此，深度伪造还将会对社会安全和国家安全造成威胁。例如，借助互联网平台捏造虚假新闻、炮制政治谣言，深度伪造技术大大增加了网络内容监管的复杂性，也带来了社会信任危机与网络政治安全风险。在病毒式传播的深度伪造视背后，可能蕴藏着操纵社会舆论、激化社会矛盾与扰乱正常社会经济秩序等系统性的危害。

“比如公安机关、司法机关的图像鉴别工作，深度伪造技术的出现将导致举证工作存在风险。”田天补充道，“深度伪造技术也可能成为国家之间发起虚假信息战争的最新武器，抹黑政治人物、伪造政治制度和破坏国家间关系，甚至在未来军事战场上损毁特定军事或情报行动。在这种背景下，国内外政府高度重视，都出台了相关的监管制度。”

三、国内外政府相继出台监管政策

为防范深度伪造技术所造成的危害，全球各国政府积极推进立法管制。比如美国的《2019年深度伪造报告法案》，欧盟的《通用数据保护条例》、《反虚假信息行为准则》和德国出台的《社交媒体管理法》等都对相关的内容进行了规制。

我国也针对深度伪造的问题出台了相关监管办法。2019年11月，网信办发布《网络音视频信息服务管理规定》，指出自2020年1月1日起，AI造假视频不得随意发布。其中相关规定主要有四条:“按照国家有关规定开展安全评估”、“以显著方式予以标识”非真实音频信息、不得利用AI造假技术发布虚假新闻、部署AI伪造音视频鉴别技术和健全辟谣机制等。

2020年5月，《中华人民共和国民法典》通过，其中人格权编明确界定“禁止利用信息技术手段伪造等方式侵害他人的肖像权和声音”，这一系列的政策措施为深度伪造技术划定了应用边界。

值得注意的是，2021年3月，针对部分语音社交软件和涉“深度伪造”技术的应用未履行安全评估程序，国家网信办、公安部指导各地网信部门、公安机关依法约谈了11家企业，督促其认真开展安全评估，完善风险防控机制和措施。不同于以往的事后监管，此次安全评估工作和约谈给有关的互联网新技术新应用提前划“红线”，“事前规制”有利于企业及时发现安全隐患，整改安全问题。

四、AI存在天然的“局限性”

关于人工智能安全性的担忧，一方面需要依靠法律法规和政府监管来约束，另一方面，需要从源头加强安全评估，提升鉴别技术等能力，借助技术手段提前布局。

田天表示，以深度伪造为代表的安全问题，正是目前人工智能产业当前所面临的瓶颈。人工智能产业正经历从高速增长向高质量发展的转变，一方面产业期待进一步提升，金融、医疗等更复杂的高价值场景的应用需求不断增加，智能化场景从单一感知向多元认知发展；另一方面，各种安全问题的爆发，要求在追求性能效率的同时关注安全性的提升与保障。

针对于此，中科院院士、清华大学人工智能研究院院长、北京瑞莱智慧科技有限公司首席科学家张钹教授提出了“第三代人工智能”的概念，也就是安全、可靠、可信的人工智能。安全性将成为下一阶段人工智能发展必须的基础。

瑞莱智慧在此次大会上发布的DeepReal深度伪造内容检测平台，就是基于第三代人工智能所研发的能够高效、快速鉴别深度伪造内容的平台，将成为遏制深度伪造作恶的重要手段。

五、技术防范是深伪治理的基础

北京瑞莱智慧科技有限公司副总裁唐家渝认为，深度伪造技术持续进化，网络数字内容多变、隐匿性强，监管难度大，因此开展主动技术防范与检测工作是必要的。

但他也表示，深度伪造技术检测工作当前面临两大难点，一是肉眼难以辨别，传统人工内容审核团队无法应对，二是深度伪造检测面临“强对抗性”，新型伪造方法层出不穷、网络传播环境复杂、算法模型存在结构性缺陷等。因此他建议，首先监管部门需要设立专业技术检测团队，其次检测工作需遵守动态平衡机制，技术能力需不断升级迭代。

瑞莱智慧RealAI基于第三代AI技术研发的DeepReal深度伪造内容检测平台，具备工业级检测性能，能够快速、精准地对多种格式与质量的图像进行真伪鉴别，实现输出判断结果、生成检测图像、提供检测报告等功能，具有响应快速、准确率高、算力节约等特点。

据唐家渝透露，在结果准确度方面，DeepReal在学术数据集和ZAO等主流方式生成的网络数据集中，已达到99%以上的准确率。而在实际应用中，DeepReal的检测准确率也已达到业界顶尖水平，远超Facebook此前举办的Deepfake检测挑战赛所公布的最好成绩。在检测速度方面，DeepReal可实现每帧画面的检测时间仅用时30毫秒。

此前，瑞莱智慧RealAI团队在国际安全极客大赛 GeekPwn 2020 首届 CAAD 虚假人脸 AI 识别大赛上，以绝对比分优势夺得冠军；在网信办与公安部共同指导的第二届“中国人工智能·多媒体信息识别技术大赛”中，斩获“创新之星”奖以及深伪检测竞赛A类奖。此外，DeepReal在深伪相关领域也已发表顶级会议和期刊论文十余篇。

针对深度伪造技术的防范，瑞莱智慧RealAI还在持续发力，并且与工信部、公安部、国家互联网应急中心、工信安全中心、中国信通院、公安三所等多家机构展开了深入的项目合作。瑞莱智慧RealAI还与国家工信安全中心联合制定了我国人脸模型算法自身安全相关的第一个标准《信息安全技术人脸比对模型安全技术规范 》，作为第二编写单位与信通院在工信部网安局指导下联合编制了《人工智能安全框架（2020年）》蓝皮书。

唐家渝表示，开展主动技术防范与检测评估工作是防范深度伪造技术作恶的必由之路。未来，DeepReal检测平台将在网络虚假内容甄别、人脸资料审核以及影像物证真实性检验等实际应用场景中发挥强大作用，瑞莱智慧RealAI也将持续迭代技术、打磨产品，和相关单位一起，全力以赴，确保在这场深度伪造的“攻防战”中保持始终立于不败之地。

虚拟动作捕捉技术

VR交互手套

VR交互手套