日前，中央网信办开展为期2个月的“清朗·2023年暑期未成年人网络环境整治”专项行动，整治重点聚焦包括“AI换脸”“AI绘图”等在内的新技术新应用风险问题。南都记者调查发现，随着AI技术的普及，其带来的隐患在网络中广泛存在。其中，AI绘图不仅轻松生成涉及未成年人的低俗色情图片视频，AI换脸生成说话视频仅需几十元，这些新技术的产生正在给未成年人带来看不见的隐患和风险。
部分“AI绘图”涉未成年软色情
2019年，国家互联网信息办公室发布的《儿童个人网络信息保护规定》于同年10月1日执行，里面对儿童个人网络信息保护做了详细规定。其中，儿童个人信息影响最为恶劣的，是持有、传播儿童色情信息。
南都记者注意到，近期有网友反映在国内的一些视频网站上已出现了涉嫌儿童色情的AI绘图内容，声称一些博主训练AI，将女童的脸放在各种有挑逗意味的动作上，让幼童向镜头掀裙子、穿“下衣失踪装”，并附有图文。微博上，一篇强烈抨击AI绘图生成“二次元女童怀孕照”的热帖，获得了网友上万点赞。
南都记者进一步调查发现，一些视频网站正为此类AI生成的未成年软色情图片、视频提供了传播渠道。在搜索实测中，记者轻松就能搜索出很多衣着暴露、姿势带有性暗示的AI生成女性图片。如果关键词再详细一点，也不乏未成年女孩的软色情生成图片。有发布视频的人更在评论区留下图片链接，以换取观众的点赞和关注；也有的留下QQ号和联系方式用来“接单”，声称如有具体的需求，可以在绘图模型中设置详细描述词生成。
暗访中记者还发现，在电商平台上，可搜索出大量利用打着“AI绘图”“AI换脸”等旗号生成美女视频的店家。“傻瓜式操作，小白轻松上手，海量关键词描述免费使用”，一店家打着上述广告语，表示只需要输入一系列关键词就可智能生成自己想要的图片。
尝试购买后，客服会发送来云链接和提取码，其售卖内容包含SD模型包、绘画速成、变现方式及安装说明。在对方发来的图片素材和描述词汇中，不少涉及低俗色情内容，且轻松便能生成未成年少女的软色情图。此外，评论处还晒出了不少由AI生成的学生图片，这些少女看上去脸庞幼稚，姿势带有着未成年软色情的擦边之嫌。
多个商家在页面上宣称，支持面容转换一步到位。
“AI脱衣”技术盯上学生群体
今年3月，一则“女子地铁照被AI一键脱衣”的消息冲上微博热搜。照片上的女子是一名博主，在社交平台发布了一组在地铁上拍摄的穿搭照片，却被人用AI软件“一键脱衣”，故意在网上散播。对此，该博主表示会采取相应的维权措施，并希望能够引起人们对于隐私权和个人形象保护的关注。
其实，“AI脱衣”的危害甚至祸及未成年人。记者通过商家了解到，部分AI绘图软件同样支持一键脱衣。一名卖家声称自己“资源众多”，不仅售卖绘图软件，还有海量图片素材，在网页详细地将图集分为“二次元”“国风”“动漫”“机甲”等多个种类，在对方介绍的图片素材中，出现了“女孩”“少女”等多个字眼。还有商家表示专门售卖“AI绘画校服写真”的图片素材，形象为穿着校服的女学生，却衣着暴露、表情挑逗。
有商家售卖“AI绘画校服写真”的图片素材，形象为穿着校服的女学生。
这些提供“AI脱衣”相关技术或服务的商家，有的会通过隐藏的地址逃避监管，输入验证码后方可查看；还有的需要先关注某公众号，再发送暗号两字获取验证码；或者是通过客服咨询，在对话中对方提供网页链接，通过链接下载最新版的APP。记者实测发现，对于这些软件下载，未成年人无需进行身份识别，输入关键词找到渠道便可轻易操作。
生成换脸说话视频仅需几十元
除了生成低俗色情图片视频外，这些新技术也容易在其他渠道上带来风险和隐患。
随着“AI换脸”越来越广泛的传播，许多网友提出警示，人贩子有通过盗取家长的面容、声音信息，在未成年人单独行动时，用视频电话AI换脸冒充家长，引导未成年人脱离人群，实施诱拐的可能。记者在短视频平台进行检索，会弹出大量相关的短视频广告，下附AI换脸软件的链接。在一款叫“AI随拍”软件的链接后，各式各样的明星、素人短视频浮现在主页上。只需观看25秒的广告，就可以用这款APP免费制作一个十多秒的视频。通常，这些短视频下方都附有下载链接，广告流量可观，很多视频评论过千，转发量过万。
除此之外，记者在电商平台上搜索发现多个商家页面，支持面容转换一步到位，月销量数百乃至上千。有客服向记者表示，其售卖的是一款软件，无论是图片或是视频都支持一键换脸，售卖价格仅几十元。
专家： 压实平台主体责任 探索消费者集体诉讼制度
对此，中国互联网协会法工委副秘书长胡钢认为，人工智能，特别是以为代表的生成式人工智能，已经引发新一轮颠覆性技术革命，并给全人类带来巨大机遇和强劲挑战。而近年来，我国先后发布的《生成式人工智能服务管理暂行办法》《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》等，就是对人工智能法律体系的细化完善。
中国社会科学院大学互联网法治研究中心执行主任刘晓春则认为，传统对于软色情等不良信息治理更多基于传播端的控制，比如禁止传播或者限制传播，有专门的内容生产者，用户只需要获取再进一步的传播。“而现在的难题恰恰在于AI技术能使内容生产变得非常简单，不需要专业的人士和机构，每个人都能成为生成者，那么以前对于传播环节的控制就有点失灵了。”
刘晓春表示，现在要做的，除了沿用传统对不良信息传播端口的控制，还要转变为对技术工具本身、包括对技术工具开发过程的干预和控制。“比如在一些高风险场景下，要求这些AI工具提供标识，在生成的图片视频中标明合成及非真实的，或在AI工具中插入隐性标识，能够追溯特定的工具和使用用户。”而治理的重点，要针对一些关键环节去介入，比如能获取这些不良信息的电商平台、APP应用市场、包括直播间等，对其进行严格的控制及作出相应的处罚，压实平台责任主体。
而此次中央网信办专项行动聚焦的七大重点之一，即剑指新技术新应用风险问题，包括利用“AI换脸”“AI绘图”“AI一键脱衣”等技术生成涉未成年人低俗色情图片视频等。“说明问题已经凸显出来，引起了有关部门的重视，并把它作为重点打击的对象。”刘晓春说，希望有关部门能有一些更创新的治理举措，并针对性地采取举措，“相信总体还是可控的。”
关于国内人工智能治理与维权，胡钢表示，要深化消保组织和检察机关消费公益诉讼机制，探索建立消费者集体诉讼制度，进一步完善行政监管、民事公益诉讼、民事私益诉讼、综合调处衔接协调机制，构建及时、高效、一体化、网络化的消费纠纷解决机制。
出品：南都记者帮
采写：南都记者 张思琦 实习生 姚楚翘
相关文章
