来源
《中国药物警戒》2023年
作者
王涛，郑明节，刘红亮，王青，沈传勇
国家药品监督管理局药品评价中心，国家药品监督管理局药物警戒研究与评价重点实验室；
清华大学药物警戒信息技术与数据科学创新中心
摘要
目的：论述人工智能在美国药物警戒中的应用现状，以期为我国的药品上市后监管工作提供借鉴。
方法：通过查阅文献, 从药品上市后监管视角，系统介绍人工智能相关定义和性能指标，美国食品药品管理局（FDA）应用人工智能的背景，FDA在人工智能的实践进展和考量，以及在药物警戒工作中的挑战等。
结果：近10余年，FDA已广泛探索人工智能在药物警戒中的应用，现阶段FDA主要专注于人工智能在处理和评价提交至FDA不良事件报告系统中的个例安全性报告中的应用，并在ICSRs关键信息提取和分析，ICSRs关联性评价等方面取得了主要进展。
结论：借鉴FDA经验，建议我国加快引入人工智能技术、加强相关人员培训和人才培养与引进、建立人工智能社会技术与管理体系、促进人工智能领域国际领域交流和合作。
关键词
人工智能；机器学习；药物警戒；不良事件；个例安全性报告
正文
美国食品药品管理局（FDA）将药物警戒定义为“与不良事件的检测、评估和理解有关的所有科学和数据收集活动”[1]。FDA关于药物警戒的定义包含：使用包括个例安全性报告（ICSRs）、药物流行病学研究、登记研究、临床药理学研究等多种科学研究手段开展药物警戒活动。目前，人工智能（ , AI）相关工具FDA对药物警戒的定义较宽泛，使用包括个例和方法在增强药物警戒活动方面的应用越来越受到各方关注。FDA在多个领域探索人工智能在药物警戒中的应用，现阶段FDA主要专注于人工智能在处理和评价提交至FDA不良事件报告系统（FAERS）中的个例安全性报告（ICSRs）中的应用。本文从上市后药品监管视角，系统介绍人工智能相关概念定义和性能指标，FDA应用人工智能的背景，FDA在人工智能的实践进展和考量，以及在药物警戒工作中的挑战等，论述人工智能在美国药物警戒中的应用情况及启示，以期为我国的药品上市后监管工作提供借鉴和参考。
人工智能定义和性能指标
1.1 相关概念和定义
FDA目前尚未对用于药物警戒的人工智能进行正式定义，但在其发布的关于《人工智能和机器学习（AI/ML）软件作为医疗设备行动计划》的文件[2]中指出，“人工智能已被广泛定义为制造智能机器尤其是智能计算机程序的科学和工程”。虽然上述行动计划侧重于人工智能在医疗设备中的应用，但它所阐述的科学概念也可有效地应用于药物警戒领域的人工智能。机器学习（ , ML）是最常见的一种应用技术, 其被定义为“可用于设计和训练软件算法以从数据中学习并对数据采取行动的技术”[2]，机器学习包括未定向或无监督学习、定向或监督学习以及强化学习等类型[3]。此外，人工智能的一个重要部分涉及在计算语言学中使用计算机分析语言，这其中又涉及到使用自然语言处理（ , NLP）技术，NLP被定义为是“计算技术在自然语言和语音分析和合成中的应用”[4]。
1.2 算法性能指标
人工智能算法性能的关键因素是为测量该性能而选择的度量指标以及这些指标值对实施工作的影响。人工智能算法性能的一些指标见图1[5]。
图1 人工智能算法性能的标准指标
of
召回率（灵敏度, , ）、精确率（阳性预测值, value，PPV）和F1分数（F1-）是常用的指标。
灵敏度=召回率=TP/(TP+FN)（公式1）
阳性预测值=精确率=TP/(TP+FP)（公式2）
F1分数=2×(精确率×召回率)/(精确率+召回率)（公式3）
F1分数是召回率和精确率的综合指标，在本文中使用该指标作为说明和比较的手段，但需要说明的是，它不一定是所有工作和研究目的的选择指标。例如，召回率（灵敏度）可能是一个非常重要的指标，用于识别符合向监管机构报告标准的不良事件。
F1分数可以看作是精确率和召回率的一种加权平均，它的最大值是1，最小值是0。F1分数的下限取决于人工智能系统在操作环境中实施并增加有效价值的能力。完全自动化，或在没有人类专家审查的情况下使用人工智能系统的输出结果，需要F1分数接近1。系统中出现错误分类的风险概率越高，F1分数需要接近1的程度越高；反之，出现错误分类的风险概率越低，F1分数需要接近1的容忍度越高。例如，如果人工智能算法的错误分类导致错过了一个重要的安全性信号，那么可能需要一个近乎完美（几乎接近1）的F1分数。
文章内容由凡默谷小编查阅文献选取，排版与编辑为原创。如转载，请尊重劳动成果，注明【来源：凡默谷公众号】。
人工智能应用背景
尽管FDA正在探索人工智能在诸多领域的应用[6]，例如在哨点系统中应用非结构化数据评估过敏反应病例报告分类[7]，使用关联的医保健康数据库对感兴趣的健康结果进行电子化表型分析[8]等，但这些领域的研究还不够成熟，无法从药品监管的角度进行广泛的实施。FDA目前重点关注人工智能在处理多个不同来源的不良事件报告等方面的应用，以识别这些报告中符合监管报告要求的不良事件，并在ICSRs层面对这些不良事件进行分析和评价。
FDA之所以重点关注上述工作，主要是基于以下5点考虑：①新的安全性问题在药品获批上市后频繁出现[9]，而ICSRs在识别安全性问题尤其是新的安全性信号方面是非常可靠的数据来源[10]。②需要评估安全性信息的数据源数量和种类越来越多，这导致制药行业和监管机构处理、提交和评价安全性信号的ICSRs数量不断增加，导致有限数量的人工专家的成本和工作量显著增加。③全球监管机构均要求制药企业提交ICSRs，相关方法的协调统一提高了效率并促进了数据标准化，为人工智能技术的应用奠定了基础。④尽管研究者对基于人群队列的数据源分析以识别和评估安全性信号越来越感兴趣[11, 12]，但对这些方法如何在药物警戒中发挥最佳作用的全面评估仍有待完成，因此ICSRs可能会继续作为药品安全性信号的早期预警数据来源而发挥重要作用，尤其是罕见的药品不良事件，在可预见的未来，针对ICSRs处理和评价等工作仍将是制药企业药物警戒工作的重要组成部分。⑤虽然已经提出了针对现有ICSRs报告方法的优化，例如ICH的E2D相关指南文件，但仅凭这些方法，不太可能解决待评估的庞大数据源和提交的ICSRs数量不断增加而难以有效评估的问题。
人工智能应用现状及考量
FDA将人工智能应用于其药物警戒工作过程，以提高其ICSRs分析的效率和科学价值。除了FDA每年从制药行业收到的近200万份FAERS报告外，FDA还将公众直接提交给其的数十万份报告处理后传输至FAERS数据库。2011年至今，FDA将人工智能应用于药物警戒活动的主要进展见表1[5]：
FDA在决定人工智能算法是否已准备好并可以在药物警戒工作中实施时，其认为必须考虑如下因素：算法性能（例如，有效性、可推广性、无偏倚性以及在真实世界场景中输入不断变化的情况下的稳健性）。此外，文件分类、透明度、可解释性（即算法预测的原因），真实世界数据收集和监测的质量控制，以及算法变更控制等也是非常重要的。围绕数据管理、特征提取、算法训练、解释能力、评价和文件分类的人工智能最佳实践目前仍在开发。用于药物警戒的人工智能必须与上述最佳实践保持一致，才能达到成熟状态[13]。
目前FDA重点关注需要提交给其数据库的病例报告因报告识别的潜在自动化所带来的问题，FDA认为要解决上述问题，必须制定科学严格的程序，以确保不良事件识别过程具有高灵敏度和高特异性。实施不够完美的人工智能算法的决定应该由管理工作流程的组织或机构根据自己的分析判断做出，但最重要的是，需要进行质量检查，以确保人工智能与人工的组合系统性能至少与它正在复制的纯人工系统一样好。这种使用人工智能来支持而不是替代人类专家且包括“人机回环”的方法有时被称为“增强智能”[14]。此外，对于机器学习，其算法应在新数据集上定期重新训练，或者继续开发新的算法。每次对算法进行再训练时，都需要对系统性能进行正式验证。任何给定人工智能系统的性能都应在拟使用工作流程中的“真实世界”中进行有效评估。
人工智能应用的挑战
FDA认为，人类专家的时间最好花在对公共卫生有影响的复杂任务上，而不是花费大量时间从ICSRs中提取和组织进行评价所需的信息，尤其是那些主要包含在非结构化叙述文本中的重要临床信息[5]。鉴于美国FDA每年收到的庞大的ICSRs数量，其药物警戒工作的核心挑战是如何理解、分析并利用这些庞大而异构的海量数据，FDA的研发活动重点是应用人工智能来应对这一工作挑战，从对FDA工作进展的描述中可以看出，大多数工作都涉及到使用自然语言处理（NLP）从ICSRs叙述中自动提取涉及因果关联性评价的关键性特征，少数工作试图开发可预测的机器学习（ML）算法，试图将ICSRs关键信息要素提取、整合和分析的人类认知过程自动化。虽然这些工作成功地开发了相关算法，但人工智能算法性能尚未达到完全自动化（取代人类专家）所需的水平。此外，FDA还认为[5]，由于需要保护个人隐私信息，研究者等可能无法获得包括不良事件叙述性描述在内的具有完整报告信息的大规模、可公开使用的ICSRs数据集；将这些目前不完美的人工智能算法集成到现有的工作流程和信息技术系统中也是一个持续的挑战。
启示
目前，包括美国在内的多个国家及相关国际组织对人工智能在药物警戒工作的探索应用越来越重视，例如国际药品监管机构联盟（ICMRA）于2021年8月发布了《人工智能的地平线扫描评估报告》，在其报告里系统阐述了加拿大、日本、欧盟、瑞士以及澳大利亚药品监管机构在人工智能探索性应用的进展情况[15]。在我国，2017年7月，国务院发布了《新一代人工智能发展规划》[16]，旨在抢抓人工智能发展的重大战略机遇，构筑我国人工智能发展的先发优势，加快建设创新型国家和世界科技强国。目前AI技术在我国药物警戒中已进行了探索性研究并取得了较好的应用成果，国家药品监督管理局药品评价中心（以下简称“评价中心”）与清华大学共建药物警戒信息技术与数据科学创新中心，以“药品监测评价信息技术支撑能力提升”和“智慧监测”为主要目标，借助人工智能等技术，以课题形式合作开展了老年人多重用药风险智能监测、持有人药物警戒工作评估模型、药品不良反应监测数据网关、药品不良反应报告智能辅助评价等研究工作。通过对人工智能在美国药物警戒中应用现状介绍，有以下四方面值得参考和借鉴。
5.1 在我国药物警戒中加快引入人工智能技术
根据已发布的2022年国家药品不良反应监测年度报告显示[17]，2022年全国药品不良反应监测网络收到不良反应报告202.3万份；1999年至2022年，全国药品不良反应监测网络累计收到不良反应报告2085.6万份。鉴于每年接受的庞大ICSRs数量，如何处理、分析、评价和利用这些庞大而异构的海量数据，如何更好地利用ICSRs为上市后药品监管工作服务，是我国药物警戒工作的重大挑战之一。借助高校院所、科研机构等三方力量，将人工智能技术加快引入我国药物警戒实践中，在包括患者不良事件报告自动编码、不良事件报告因果关联性评价、疾病风险预测及其在信号验证过程中支持安全专家决策等方面积极开展探索性研究，将有效的减轻监测与评价技术人员的工作负担，使其将宝贵精力用在对药品监管工作更有影响更有价值的复杂任务上；并极大的促进我国药物警戒工作的发展和上市后药品监管能力的提升。目前评价中心与清华大学共建的药物警戒信息技术与数据科学创新中心，借助信息化、人工智能与大数据技术，已在药物警戒信息技术与数据科学领域中开展了多项创新探索和应用。
5.2 加强人工智能相关人员培训和人才培养与引进
目前，人工智能技术在我国药物警戒中的应用仍属于初级阶段。在我国从事药物警戒工作相关专业人员，主要来自于临床医学、药学和流行病学等相关领域，在定量数据分析和人工智能算法等方面的培训及知识有限，因此“引智”工作显得尤为重要。无论是在制药行业还是药品监管机构，对非人工智能专家的药物警戒工作者进行系统培训，有计划和针对性地培养人工智能相关技术人才，以及多渠道引进精通机器学习和自然语言处理相关技术人才来支持人工智能在药物警戒中应用，都将是成功实施人工智能药物警戒系统的关键组成部分。此外，通过项目或课题合作等形式，积极引导人工智能领域专家关注和致力于在药物警戒领域的多维度探索研究，也是当前应该启动的工作。
5.3 建立人工智能社会技术与管理体系
旨在将人工智能系统引入高度监管的药物警戒工作中并实施，意味着需要整合现有的工作流程，将特定的人类专家和人工智能系统共同嵌入到一个通用的评价过程中，同时需要开发人工智能的质量保证方法确保监管目标不受到影响，这对我国上市后药品监管工作带来了一种技术和管理上的挑战。解决这一挑战的一种方法是开发和建立一套人工智能社会技术与管理体系，该体系涉及到患者、经营企业、药品上市许可持有人和监管机构，将药物警戒相关技术和评价人员、工作流程、共识标准、信息沟通、相关部门机构政策以及外部法规指南相有机整合[18]。应用该体系，可充分了解将人工智能集成到现有药物警戒工作流程中所需的所有技术和管理步骤，有利于人工智能技术顺利引入我国药物警戒实践中。在该体系技术层面，需要与监管机构、制药企业、学术界、非盈利组织等共同合作，积极探索和开发自然语言处理、机器学习等人工智能相关方法和工具，通过更多的训练数据集，开发更多优秀的人工智能算法/方法，提高药品安全性信号检测与分析能力，实现跨数据来源的药物警戒决策支持[19]。同时，应重视人工智能驱动的药物警戒研究发展过程中的科研伦理规范，促进其健康可持续发展。
5.4 促进人工智能领域国际领域交流和合作
目前，人工智能技术已在包括美国在内的多个国家开展了较为广泛的探索和应用，包括检测重复报告、个例报告初步分类和评价（如严重性、预期性）、不良事件报告因果关联性评价及其在信号验证过程中支持安全专家决策的作用等。加强与WHO及各成员国在药物警戒管理、技术、数据等方面全方位合作，尤其是自然语言处理和机器学习等人工智能技术领域的共享和交流，有利于我国自身监管能力与水平的快速提升，更好的促进国内人工智能相关工具和方法的开发和探索性应用，助力药品安全性风险信号的发掘和评价。
参考文献
详见《中国药物警戒》2023年
凡默谷近期的免费公开课
8月16日周三，凡默谷将邀请美国 Plus公司的 Chapa和 分享《采用PBPK模型评估药物相互作用并指导法规决策的最佳实践及工业界案例分享》。届时课程将采用英文讲解+中英文字幕的方式直播，周海英博士也将参与问答互动环节。
欢迎制药界同仁报名参加本次公开课。
相关文章
