图灵奖得主杨立昆（Yann LeCun）说：“让AI向善发展的关键是开源。”
香港中文大学汤晓鸥说：“机器怎么可能超越那么有趣的灵魂。”
在7月6日开幕的世界人工智能大会中，多方专家热议AI。
在2023全球数字经济大会上，多款生成式AI产品亮相，AI音乐、AI照片玩法、AI明星带货……AI已经能够实现语音、图片、视频的深度合成。但是，AI深度合成也被用在了非法领域。近日，各地曝出多起AI诈骗案件，一些不法分子利用AI深度伪造冒充领导干部行骗。
AI深度合成是利用AI生成多媒体内容的技术，它并不是一项新鲜的技术。自2017年代码开源以来，相关应用如雨后春笋般涌现。
那么，AI深度合成的技术原理是什么？“换脸版”影视剧等相关行为违法吗？晃晃手指、说几句方言就能识别AI换脸诈骗吗？技术上如何对其进行防范？针对这些问题，《人民邮电》报记者联系了法律界、学界、业界专家进行解答。
我只是和明星换脸娱乐一下，犯什么法了？
AI换脸娱乐玩法大家一定不陌生。在图片生成应用中，用户能够通过上传自己照片的方式获得不同风格、不同种类的图片。这是最基本的AI换脸应用。在手机应用商店搜索“AI换脸”可以发现不少相关软件，其中在苹果应用商店的下载量已达24万。
记者在短视频平台上体验了与明星换脸，上传一张照片即可快速替换明星脸，在“剧中”疯狂飙戏。
在社交平台上的“换脸版”影视剧动辄就有百万的播放量，使用开源工具进行AI换脸的教程也同样火爆。那么，我换了明星脸，发了个短视频，这犯法吗？我用开源工具训练出合成模型这也犯法吗？
上海大邦律师事务所游云庭律师对《人民邮电》报记者解释，对上传者来说，未经授权在平台上使用明星的肖像和声音，涉及侵害明星的人格权。对平台来说，平台需要对AI生成的内容做显著标识。《民法典》为网络平台设置了“通知—删除”义务，规定网络用户利用网络服务实施侵权行为的，权利人有权通知网络服务提供者采取删除、屏蔽、断开链接等必要措施，平台及时删除侵权内容的，可以免责。但若平台知晓并参与了AI换脸玩法（比如存在推荐行为），且未经明星授权的，也可能被追究责任。
游云庭进一步补充，如果上传者使用他人的肖像进行合成，涉及侵害他人的人格权，“换脸版”影视作品构成对该影视作品著作权的侵犯。
针对AI换脸诈骗，游云庭提到，《民法典》和《刑法》中都对该行为有相关规定。提取他人肖像和语音数据、训练伪造模型、编写诈骗脚本等分别涉及侵犯公民人格权的民事权利以及《刑法》中的帮信罪等。
我国在《民法典》《生成式人工智能服务管理办法（征求意见稿）》《互联网信息服务深度合成管理规定》等法律法规中已经对AI深度合成不得侵害肖像权、名誉权、知识产权等内容有所规定。
近日，中央网信办决定开展为期两个月的“清朗·2023年暑期未成年人网络环境整治”专项行动，将对网络欺凌、利用AI换脸等技术生成涉未成年人低俗色情图片视频等情况进行处置处罚。
目前已有相关案例出现。今年1月，上海市金山区人民法院审结一起AI换脸APP违法使用他人视频的肖像权纠纷案件，判决运营公司赔礼道歉并赔偿损失。能够预见，AI深度合成将在法律规定的范围内合法运行。
怎样把我的脸换成迪丽热巴的？
AI换脸背后是怎样的技术原理，经历了怎样的发展过程？
安全通用人工智能基础设施提供商瑞莱智慧（）高级产品经理张天奕对《人民邮电》报记者表示，AI深度合成目前最主要使用的技术还是生成式对抗网络（GAN），它将数据生成的逼真度推到一个新的高度，大大降低了深度合成的门槛。其生成过程简单来说就是，把A和B的人脸信息通过编码器和解码器在数字世界相互转换。
2014年，lan 及其同事发明了生成式对抗网络（GAN），其中的生成器负责伪造图像，判别器负责鉴别图像，二者相互监督不断进步，AI伪造能力日渐强大，生成的图像越来越真实，GAN也衍生出越来越多的变体。
2017年，国外平台上名为的用户将AI伪造图像代码开源并应用在色情产业中，自此，AI深度伪造进入大众视野并引发追捧，越来越多的换脸应用和网站出现，其应用范围也从色情产业扩展到政治演讲等，2018年“AI奥巴马”怒怼特朗普“笨蛋”“蠢货”的视频火爆全网。此后，也逐渐成为基于深度学习的多媒体合成与篡改技术的代名词。
在国内，2019年，一款名为“ZAO”的换脸应用一时间登上榜首，但该应用“昙花一现”，上线不久后因数据安全和用户隐私问题被工信部要求整改。
如今，在社交平台上可以见到相关技术被大量应用在影视制作、广告营销、电子商务、社交娱乐等场景中。随着技术的开放开源、深度合成产品和服务的增多，深度合成内容制作的技术门槛越来越低，技术逐步“平民化”。无论是在国内还是国外，通过深度合成技术生成视频、图像、音频等内容，数量呈指数级增长，生成质量也越来越高。
镜头前晃一下手指，说几句方言，就能识别吗？
如今，AI深度合成已经可以实现一键换脸、一秒即得。对于AI换脸诈骗，用户可以从眨眼、纹理特征、五官位置、面部轮廓变化、视频连贯性、人物的面部表情与动作、声音等特征进行判别。但是，不断升级的技术已经可以弥补视觉伪影等各类图像失真。
中国信息通信研究院相关负责人表示，当前人工智能“辅助”诈骗存在四大趋势。随着人工智能技术的普及应用，不法分子实施诈骗的精准性、迷惑性、隐蔽性增强，公安、检察等政法机关办案将面临侦查破案难、电子证据调取难、认定处理难等现实困难。
专家提到，“让对方大幅度晃动”“说方言”难不倒高水平不法分子，目前方言合成方法和工具也非常丰富，音色稳定、自然度也很高。专家认为，随着深度伪造内容越来越逼真且多元，人眼和技术鉴别难度都非常高，并且在逐步提升。
对此，专家提示，用户可以追问几个只有你与好友之间才知道的私密信息，来核实对方身份。在防止自己上当受骗的同时，还要注意保护好个人图像，尽量避免在公开平台大量晒自己的照片和视频，不给不法分子提供便利。“深度伪造制作的原材料是个人音频、图片、视频，这些数据越多，训练出的视频也就越逼真、越难以鉴别。”
张天奕向《人民邮电》报记者介绍，目前技术上的鉴别方法主要是，通过真实数据和伪造数据之间的特征差异进行伪造鉴别，如频域信息、伪造痕迹、生物和物理特征等。
除此之外，通过“数字水印”的鉴别方式也较为有效。《生成式人工智能服务管理办法（征求意见稿）》中提到，利用生成式人工智能产品向公众提供服务前，应当履行算法备案和变更、注销备案手续。《互联网信息服务深度合成管理规定》中规定，应当采取技术措施添加不影响用户使用的标识，并依照法律、行政法规和国家有关规定保存日志信息。
微软首席技术官凯文·斯科特在近日接受采访时表示，微软3年来一直在研究“媒体来源系统”——在AI生成的内容里放置加密水印，可以使用软件解密水印以获取来源信息，以检测虚假信息。
张天奕提到，瑞莱智慧（）发布了生成式人工智能内容检测平台，依托第三代人工智能技术，通过辨识伪造内容和真实内容的表征差异性、挖掘不同生成途径的合成内容一致性特征，能够快速、精准地对图像、视频、音频、文本内容进行合成鉴别，有效打击财产诈骗、色情黑产、虚假宣传、证据造假等违法行为。
深度合成和检测在不断学习攻防过程中会自我进化，规避上一代的对抗技术，加上基于深度神经网络的检测算法存在结构性缺陷等，反深伪检测技术也面临“强对抗性”，这类似于“猫鼠游戏”。未来反深伪检测技术的发展需融合多模态内容的取证分析、基于数字水印的溯源技术等多方面能力，实现伪造内容的精准识别，打造可信内容体系。
瑞莱智慧（）高级产品经理张旭东建议，对涉及政务、安防、金融、消费等重要应用的人脸识别技术漏洞进行完善和升级，防范不法分子通过后台劫持手机摄像头权限。“尤其是涉众、涉密、涉及公共利益的相关平台和技术服务提供商，需优先完成技术加固，对手机模拟器做好防范。同时，鼓励和引导更多手机厂商在系统升级时支持3D人脸识别技术。”张旭东说。
（实习生谭心琪对本文亦有贡献）
平台
（图片来源：王怡、杨洪辰《一种AI换脸方法生成的伪造视频分析》）
扫一扫，观看视频
AIGC成世界人工智能大会热点
7月6日，以“智联世界生成未来”为主题的2023世界人工智能大会在上海世博中心和世博展览馆开幕。
数据显示，今年大会参展企业超400家，首发首展新品达30余款。讯飞星火、华为盘古、阿里通义、百度文心、商汤日日新等30余个大模型悉数登场，并展示大模型赋能千行百业的多元生态。
2023世界人工智能大会重点关注大模型、智能芯片、科学智能、机器人、类脑智能、元宇宙、自动驾驶、数据论坛、法治与安全、区块链等十大前沿风向，充分发挥“科技风向标、应用展示台、产业加速器、治理议事厅”重要作用，汇聚融通全球人工智能领域思想智慧、前沿技术、产业动向和人文生态，助推人工智能健康创新发展。
大会的九大“镇馆之宝”也已揭晓，包括“蚁鉴AI安全检测平台2.0”“ ”“文心一格”“ 处理器PCIe卡”“昇腾AI‘大模型超级工厂’”“AI药物研发自动化解决方案”“云燧智算集群”“智能换电无人驾驶商用车Q-Truck”“腾讯多媒体实验室”九大产品。
所有入围展品都是在行业内有突出贡献及领先技术的创新成果，旨在引导和激励人工智能企业追求优秀品质，持续提升技术、产品及企业核心竞争力。
以蚂蚁科技集团股份有限公司打造的“蚁鉴AI安全检测平台2.0”为例，其融合千余项专利，自主研发，保障AI的安全性、可靠性和透明性，致力于提供AI安全可信一站式解决方案。
在安全性方面，蚁鉴2.0自研的诱导生成技术已应用于AIGC安全性检测，助力AIGC的产出符合安全规范与社会伦理；在可靠性方面，平台构建一套实战性攻击标准，对AI系统提供全面多维度的鲁棒性测评服务，有助于AI系统的改进和优化；在透明性方面，融合逻辑推理、因果推断等技术，提供涵盖完整性、准确性等7个维度及20项评估指标，对AI系统的解释性进行全面和客观的量化分析。目前，蚁鉴2.0解决方案已应用于金融、保险、安全、政务、智能客服等10多个场景，为AI系统提供全方位的安全保障。
由亚马逊云科技打造的 ，是一项完全托管的生成式AI服务，通过API提供来自领先的AI初创公司和亚马逊自研的基础模型，帮助客户便捷安全地构建和扩展生成式AI应用。随着机器深度学习、大模型等关键技术的出现，新一轮科技革命和产业变革的驱动力也不断提升，推动我们加速向通用人工智能的新时代迈进。
新一轮技术创新风暴正席卷而来，在生成式人工智能应用持续渗透到我们工作、生活、娱乐等各领域的同时，也给我们带来了更多安全领域的考验和挑战。在人工智能浪潮下，如何实现新一代人工智能健康发展，仍需要产业链各端在这条赛道上凝聚共识，不断探索人工智能前沿技术，共同推进人工智能在行业走深向实，为迎接智能新时代营造更加安全、稳定、规范、有序的发展环境
相关文章
