文章作者丨普华永道：李睿，胡怡，樊梦迪
个人微信丨
慎思行编者按：
近日，的“政变”事件反转不断、沸沸扬扬，最终以原CEO Sam 的回归并更换董事会成员收尾。
虽然目前尚未有确凿的证据解释董事会解雇Sam的原因，但据多家媒体猜测，此次“政变”，爆发的原因可能是管理层就AI商业性和安全性的平衡性问题发生冲突，进而导致了CEO被踢出董事会的“政变”。
这提醒了我们，在不断加速的AI浪潮下，我们同样不能忽视其伴随着的安全性问题以及合规风险。希望这篇文章能够在基于日益严苛的AI监管要求下为您理清相关风险给您一些启示。
01
《生成式人工智能服务管理暂行办法》
风险提示及应对措施
近年来，国内外科技巨头不断在人工智能领域发力，新兴的人工智能生成内容（ , AIGC）技术带动了新一轮AI浪潮，或将对全行业产生颠覆性影响。2022是AIGC的爆发之年，人们看到了AIGC无限的创造潜力和应用的广泛前景。目前对于AIGC这一概念尚无统一的界定。国内研学界对于AIGC的理解是继专业生成内容和用户生成内容之后，利用人工智能技术自动生成内容的新型生产方式。中国信息通信研究院发表的《人工智能生产内容白皮书（2022年）》认为，AIGC既是从内容生产者视角进行分类的一类内容，又是一种内容生产方式，还是用于内容自动化生产的一类技术集合1。
AIGC技术的使用场景可以包括个人应用（To C）和商业应用（To B）两个大类：
一是偏生活化和智能化的To C应用，这类应用能降低内容生成成本，可用于搜索引擎内容结构优化，文娱类中的小说、短视频等内容生成，游戏、动漫的角色形象优化等。例如一些AI绘画模型，可以通过数据库中大量的绘画作品和图像，快速高效地生成绘画作品；电商行业通过智能客服完成常见问题解答等。未来To C人工智能将具有更强的人机交互能力，使用场景也将更加丰富。
其二，在传统企业数字化转型进程中，人工智能技术的应用能帮助企业降低转型成本，提高运营效果。例如，智能客服、智能办公软件、支持汽车直销、用户运营战略转型等。To B人工智能技术以提升生产效率为核心，针对不同行业差异进行定制化。在金融服务业中集中于提供数据分析与投资分析支持，在制造业中则可帮助企业逐步实现流程自动化与智能化；另外，还可以将AI技术与ERP系统相结合，为企业提供更精准的财务管理和库存管理建议等。To B的人工智能未来将不仅关注生成式AI领域，也将进一步完善决策式AI的使用场景，并通过增强垂类领域的细分功能提升产品可用性。
根据技术咨询机构预测，目前由人工智能生产的数据占所有数据的不足1%，到2025年，这个数字将达到10%2；在医疗领域，到2025年，超过30%的药物和材料将通过生成式人工智能（AIGC的工具之一）被发现3。国外商业咨询机构 and 预测，2023年全球AIGC市场规模将有望达到1100亿美元，亦有国内智库预测，2023年国内AIGC市场有望突破170亿人民币。
随着人工智能技术的快速发展，AI已成为企业和个人提高工作效率和质量的重要工具，因其基于数据和算法的本质，数据使用的安全性和规范性变得愈发重要，各国对于AI技术应用的法规也逐渐完善。
一、AI立法监管趋势
2020和2021年，美国先后发布了《生成人工智能网络安全法案》和《人工智能能力与透明度法案》，在推动人工智能发展的同时，对数据隐私等多个方面提出了规范要求。
欧盟作为首个对数据经济发布单独政策的地区，对人工智能的发展及数据使用也提出了较多要求。2023年6月，在历经多次起草修订后，欧盟发布了《人工智能法案》最新草案以确保人工智能在欧盟市场中能够安全使用。此外，其他国家也陆续对人工智能监管做出回应，普华永道对此简单归纳如下：
*以上信息，根据各国/地区的公开资料整理。
为应对不断变化的技术发展和市场情况，我国相关监管机构也迅速做出回应，2023年7月13日国家网信办联合六部门共同发布《生成式人工智能服务管理暂行办法》（以下简称《暂行办法》），其将于2023年8月15日起正式施行，作为中国针对AIGC的首份监管文件，为飞速发展的AIGC技术提供政策支持。
《暂行办法》依托《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》《中华人民共和国科学技术进步法》等上位法规定，由国家网信办、国家发展改革委、教育部、科技部、工业和信息化部、公安部、广电总局等进行多重监管。由此可见，不论是从立法还是执法层面，《暂行办法》均与现有数据与网络安全合规体系进行呼应与衔接。《暂行办法》的实施落地揭开我国AI治理体系化的序章，随着更多人工智能领域专门立法及实施细则的出台，未来将逐步形成针对生成式人工智能的体系化治理框架。
二、《暂行办法》重点内容解读
1. 明确了规范主体及适用范围
《暂行办法》明确适用于“利用生成式人工智能技术向中华人民共和国境内公众提供生成文本、图片、音频、视频等内容的服务。”
1）对于“境内公众”的界定
《暂行办法》针对的是向中华人民共和国境内公众提供服务的场景，对境外公众提供服务的行为则不落入规制范围。此外，对于“公众”的范围，《暂行办法》明确生成式人工智能服务若仅限于部分人员或内部使用，无需遵循《暂行办法》的相关规定，例如公司对生成式人工智能服务的研发、应用活动等。
2）对于“提供”行为的认定
生成式人工智能服务提供者（“服务提供者”）向境内公众提供相关服务，不论其直接向境内公众提供或通过API接口、利用境外大模型等方式间接向境内公众提供服务，均应遵循《暂行办法》的相关规定。另外，若企业使用境外技术提供服务涉及数据出境，则需满足国内数据出境合规要求。
2. 明确了相关主体合规义务要求
AI系统覆盖从前期研发，到中期投入使用再到后期基于人机交互而进行的模型优化等各环节，其中涉及生成式人工智能服务开发者（“开发者”）、服务提供者以及服务使用者等多方主体。
《暂行办法》明确规定服务提供者应履行如下主要义务：
1）内容合规义务
作为网络信息内容的生产者，应采取必要措施保障内容的合法合规，对不良信息定期进行监控并及时处置。同时，为用户使用服务提供明确指导，并对未成年人采取额外保护措施，采取有效措施防止未成年人过度依赖或沉迷。
2）数据处理及标注合规义务
服务提供者所使用的数据和基础模型应具有合法来源，着重提高训练数据质量，增强训练数据的真实性、准确性、客观性及多样性。同时，内部应落实数据标注的明确规则，对相关数据进行标注，并通过开展质量评估或人员培训等提高标注数据的准确率。
3）隐私数据合规义务
在提供AIGC相关服务过程中，服务提供者应保护个人信息主体的相关权利，如使用个人信息训练AIGC的应在收集处理前获得个人信息主体的授权同意，并建立个人信息主体权利响应机制、个人信息风险评估机制等。
4）安全评估和算法备案义务
服务提供者提供的生成式人工智能服务具备舆论属性或者社会动员能力的，应当开展安全评估并落实算法备案等行政流程。结合相关法律法规4，新闻、社交、直播、教育、写作、聊天等AIGC服务提供者开展评估或备案的可能性较高。
《暂行办法》同时要求开发者及服务使用者应履行如下义务：
在开发、使用AIGC产品服务过程中不得制作、复制或发布损害国家利益、社会公共利益和他人合法权益的信息，并应积极抵制色情暴力、煽动性、诱导性、低俗化等不良影响信息。
3. 与知识产权及不正当竞争合规要求相衔接
AIGC技术依赖于大量数据的挖掘和训练，包含图片、音频、论文等。这些数据多数非原创数据，是通过一些机构提供内容或是网络爬虫收集，因此也受到知识产权及不正当竞争相关法律法规的规制。
三、AI应用过程中不同主体合规
风险提示
1. 开发者可能面临的合规风险
开发者深度参与AIGC技术模型的研发和优化，其中主要存在以下合规风险：
2. 服务提供者可能面临的合规风险
服务提供者作为《暂行办法》主要责任主体，相较其他主体而言承担较重的合规义务，其可能面临的合规风险主要包括：
3. 使用者可能面临的合规风险
使用者主要参与AIGC技术模型的使用及优化阶段，随着AIGC技术的成熟与发展，越来越多企业作为使用者接入AICG技术，过程中可能输入含有公司商业秘密或其他敏感数据（如重要数据，员工敏感个人信息），该等信息若被用作模型训练并未被合理保护，将可能发生敏感数据泄露事件，直接导致使用者个人及企业遭受财产损失及声誉损害。
四、AIGC应用与服务合规建议及
应对措施
基于前述分析，AIGC技术模型在研发、使用、优化等过程中涉及数据提供方、开发者、服务提供者、使用者等不同主体，各主体面临的合规风险亦有差异，普华永道建议企业通过采取以下措施开展有效的风险管理：
1. 规范数据处理活动，重点关注数据来源合法性
AIGC技术模型的研发、使用等可能会涉及个人信息或重要数据的收集、处理，应保障关注数据来源合法性。即便服务提供者获取的训练数据来源于网络、语料库、论文等公开渠道，也应当避免不正当使用爬虫等技术手段收集训练数据，同时加强对数据提供方等第三方的管控，厘清各方权责。另外，因AIGC技术的不可预测性，或是使用不当都易发生数据泄露风险，应加强防泄漏，建立应急预案。
2. 开展安全评估及算法备案
具有舆论属性或者社会动员能力的AIGC服务的服务提供者需依法履行安全评估及备案的行政手续，鉴于立法或执法实践中尚未对“有舆论属性或者社会动员能力的生成式人工智能服务”形成统一明确标准，企业需密切关注法律动向，并结合自身经营情况判断是否需履行评估及备案手续。
3. 识别数据跨境场景，开展数据出境安全评估
无论是境内服务提供者通过接入境外API接口后向境内使用者提供服务，还是境外开发者直接面向境内公众提供服务，均可能发生数据出境，从而触发数据出境的相关监管。服务提供者应梳理数据流转情况，识别其中跨境情形，按规定履行评估申报、合同备案义务，依法开展数据出境活动。
4. 定期开展AI模型安全测评
企业应对AI模型开展安全测评，测评内容包括网络安全测评和内容安全测评。网络安全测评通过渗透测试、代码扫描等安全性测试手段，检测AI应用软件和插件的安全漏洞，并及时进行修复，避免安全性漏洞造成网络攻击和数据泄露。内容安全检测主要检测模型是否会产生有害的、有偏见的、侵权的、虚假内容，并进一步确认在训练数据集、模型、安全模块或二次开发调用接口等安全问题。
5. 加强员工培训，提高风险意识
考虑到AI应用场景的复杂性，针对与AI技术相关的团队和人员开展培训至关重要。AI从业人员应提高自身的认知及风险意识，合理合法使用AI技术，避免因为人员的偏见与歧视影响AI模型的可靠性、透明性、可解释性、公平性和隐私性，触发监管风险。
6. 引入AI风险管理专业角色
普华永道最近一项调查显示，首席数据官（Chief ）的设立极大助力于AI数据使用的风险管理。同时，人工智能风险官也逐渐在企业AI风险管理闭环中发挥关键作用。建议企业配备相应管理人员，将人工智能与风险管理流程相结合，融入日常风险管理流程中。
02
管理AI工具风险，打造负责任AI
随着人工智能（AI）技术不断进步和成熟，近年来在各个行业得到爆发式增长，尤其是等生成式人工智能（以下简称“AIGC”）工具的问世，拓宽了AI工具在各个行业应用的可能性。但与此同时，AI工具的应用也将为企业带来新的挑战和风险。AI技术的有效治理，已成为其赋能社会生产和商业应用的关键前提和基础，以及业内广泛关注的话题。
2023年7月13日网信办公布《生成式人工智能服务管理暂行办法》迎来首个国家AIGC监管文件，面对颠覆性技术所带来的新型风险提供意见和指导。各个国家地区的法案也在积极筹备之中，AI全生命周期的监管将会愈发严格，AI治理将不再浮于原则讨论，其工程化落地已是大势所趋。
AI工具的典型应用场景
AI技术已逐渐融入到我们日常生活和商业活动中，其应用场景按技术角度来看，当前AIGC技术主要在文本（如Large model，简称LLM）、跨模态（如）、视觉（如 model，简称SAM）等方向快速发展，并赋能至办公、金融、泛娱乐、教育、智能驾驶等多种行业。在编码领域，AI编程辅助工具能够帮助开发人员自动识别、扩展补全代码，还可进行实时交互问答，显著降低软件使用门槛并提升生产力及工作效率。在文本领域，国内外厂商发布了融合AI的办公应用工具，包含提供智能校对、智能辅助写作、优化和续写文字内容、自动汇总会议纪要、搜索公司内部知识库等一系列的AI辅助办公功能，旨在帮助用户提高工具生产力。在企业资源计划解决方案（ ，简称ERP）系统中，通过增加AIGC工具功能，提高企业内部运营流程的效率和效果。
AIGC工具的挑战和制约
企业应用AI工具提高企业运营效率、降低成本，助力企业实现数字化、智能化战略转型，但应用AIGC工具可能带来的风险也不容忽视。目前AIGC工具仍面临部分技术瓶颈与挑战，主要体现为：
模型准确性与丰富性挑战：
对于AIGC工具，影响其模型准确性和丰富性的关键因素，包括算法和模型的技术能力，要求模型参数规模至少在100亿以上级别，部分头部厂商甚至在千亿、万亿级别；大量用于训练使用的技术资源；大规模的算力、电力和资金投入；顶级的开发者团队与工程构架能力。
内容合规性挑战（知识产权）：
AIGC工具生成的内容可能存在涉黄、暴恐、违禁、个人隐私等风险，或开发者使用爬虫工具抓取数据用于模型训练，导致其产品或服务侵害社会公众利益、他人合法权利等内容合规问题。
模型训练带来的高额成本：
目前大模型训练仍会产生高额成本，AIGC厂商的工程架构能力对于降低大模型训练成本至关重要。
数据安全与隐私保护挑战：
新的技术工具应用及技术漏洞可能带来的安全问题，以及满足各国数据安全、个人隐私保护合规要求的挑战，例如训练数据的主体权利等问题。
AIGC工具风险评估框架
使用AIGC技术，可能给企业带来战略、市场、运营、合规、甚至是财务风险。例如：
建立有效的AIGC工具治理评价体系，是应用AI技术的重要基础。为了降低风险，企业在使用AIGC工具之前，应通过整合的“AIGC工具风险评估框架”，对工具能力进行综合评定。其评定的方向和内容建议包括以下四个方面：
企业自身也应采取一系列的措施，以应对AIGC工具应用所带来的风险，如制定严格的数据安全和隐私保护政策、实施有效的内容审查和过滤机制、加强员工培训、扩充团队及合作伙伴的知识技能、建立完善的法律合规和知识产权保护机制、重新审视公司的风险管理体系、以及调整“三道防线”的责任等。同时，企业需要与利益相关者进行沟通和合作，共同制定行业标准、规范和道德准则，以确保AIGC工具合法、合理和可持续的使用。
编辑 | Dean Liu
进一步交流
进入专业社群展开深度讨论
慎思行通过微信等平台覆盖超过10万战略人、咨询人等各类专业人士。我们也构建了专业社群，推动战略与咨询领域的问题讨论、信息交流和机会分享，社群已有超过5年历史，并成为了顶尖专业人士感知市场前沿，获得实践经验的首要选择。入群请添加慎思君微信，并提供名片。
///
现在微信公众号更改规则，如果你不特地点进来，很可能看不到我们的推送了。希望喜欢【慎思行】的读者朋友们将本号【设为星标★】，方便找到我们；也欢迎点击右下角的【在看】。
相关文章
