大语言模型‌ 大语言模型和小语言模型协同的民生诉求事件分拨方法技术

默认分类4天前发布 admin
4,487 0
ChatGPT国内版

本申请涉及信息处理技术领域,特别是一种大语言模型和小语言模型协同的民生诉求事件分拨方法。大语言模型和小语言模型协同,充分利用大模型准确度高,小模型速度快的特点,实现民生诉求事件的快速分拨,使用大语言模型的过程中并非完全使用大语言模型,而是通过小语言模型的语义检索模型粗推荐责任部门,通过大语言模型和小语言模型结合的方式,充分利用大语言模型的推理判断能力,同时利用小语言模型的高效率问题,实现高效、准确的事件分拨方法。

全部详细技术资料下载

【技术实现步骤摘要】

本申请涉及信息处理,特别是一种大语言模型和小语言模型协同的民生诉求事件分拨方法。

技术介绍

1、市民、企业、政府工作人员通过系统上报的投诉、举报、建议、咨询、求助等民生问题,通常需要事件分拨到对应的责任部门解决相关的问题,目前存在如下两点问题:1、需要经过分配人员的判断,通过人工手动的对任务进行分拨,分配人员常常凭借自身经验按照事件的来源、类型及问题描述等内容进行人工判断进行分配,分拨的准确率不高;2、每条积累的民生诉求数据量大,通常会存在事件堆压。大语言模型作为当前人工智能的最关键技术之一,业界大模型相关的技术目前基本趋于成熟,大语言模型随着高质量、事实性、思维链等训练数据的不断增加准确率还会不断提升,然而大语言模型推理效率低,占用显存资源大,本专利提出一种大模型小模型协同的民生诉求事件分拨方法,提升事件的分拨处理准确性及效率,对于提升市民、企业、政府工作人员的运营效率有极大的价值。

技术实现思路

1、市民、企业、政府工作人员通过系统上报的投诉、举报、建议、咨询、求助等民生问题,通常需要事件分拨到对应的责任部门解决相关的问题,然而有些模棱两可的问题,通常会出现责任部门相互推诿等,同时民生事件提交量通常非常多,人工判断或者通过大语言模型判断分拨对应的责任部门,通常效率很低。本专利通过大语言模型和小语言模型结合的方式,充分利用大语言模型的推理判断能力,同时利用小语言模型的高效率问题,实现高效、准确的事件分拨方法。

2、一种大语言模型和小语言模型协同的民生诉求事件分拨方法,包括如下步骤:

3、s1.任务文本准备

4、待处理民生诉求事件中提取对应诉求的责任部门,诉求事件对应生成新的诉求工单和历史工单,民生诉求事件工单需对应的责任部门建立关系;

5、s2.责任部门职责简述

大语言模型‌ 大语言模型和小语言模型协同的民生诉求事件分拨方法技术

6、责任部门使用大语言模型提取职责简述和职责解释,大语言模型选用开源通用大语言模型,如阿里qwen系列模型或谷歌gemma系列模型,也即通过指令将所有责任部门名称进行职责解释,通过大语言模型提取方式,从而为每个责任部门名称形成职责简述,该职责简述通常包含该对应部门要处理解决的诉求,对于所有责任部门形成职责简述后,包含了民生诉求相关的事件,将责任部门职责简述通过语义向量化模型-base–向量化,向量化矩阵包含了责任部门职责的语义信息,将民生诉求事件中民生诉求内容向量化,针对民生诉求的问题和责任部门职责简述,语义匹配责任部门;

7、s3.历史工单向量化保存

8、历史工单首先删除工单文字内容较短的工单,即20字以内工单全部删除,建立已处理工单库,通过小语言模型-base–将已处理工单库全部向量化表示,工单总量为n,每条工单用768维度向量进行表示,从而形成(n,768)维的数组,每个工单的向量和对应的责任部门建立关系;

9、s4.用户提交诉求工单处理

10、用户提交事件任一工单先通过小语言模型-base–向量化处理,任一工单通过语义相似度的faiss检索模型搜索相似度,通过faiss搜索引擎在(n,768)搜索相似度高的top-k个向量并取出相似值,即相似度数值排序高的k个向量,并设置判断使用大模型的阈值判断条件记为,预设数值,当任一工单最高相似度低于预设数值,选择大语言模型处理,当k个向量中任一个最高相似度高于预设数值,则将跟用户提交的事件工单最相似历史工单对应的责任部门取出来,作为当前用户提交事件工单的责任部门,推荐给用户,即完成一次诉求事件工单分拨处理。

11、所述s3中工单总量为n,n=,每条工单用768维度向量进行表示,从而形成(,768)维的数组。

12、所述s4中预设数值0.85,通过faiss搜索引擎在(n,768)搜索相似度高的top-k个向量并取出相似值,k=5。

13、所述诉求工单通过faiss搜索引擎在(,768)历史工单向量搜索相似度高的top-5个向量并取出相似值,即获取5个责任部门的责任部门简述,当前输入大模型的内容为当前用户提交的事件工单,记为{text},该工单潜在推荐的候选责任部门,这5个责任部门的职责简述,记为{nt:on},当5个向量中任一个最高相似度高于预设数值,则将跟用户提交的事件工单最相似历史工单对应的责任部门取出来。

14、本专利的主要创新点体现在提出了一种基于大语言模型和小语言模型协同的完整的民生诉求事件自动分拨方案,通过建立合适的人工办理诉求工单的责任部门,用户现在提交工单则通过语义检索相似的工单,推荐相似工单的责任部门,此时一条诉求工单速度为毫秒级,当相似度不够高,则意味着推荐相似的几个工单的责任部门及其职责阐述,形成背景知识,让大模型在几个和用户当前工单相关的责任部门中,精调细选,因为政府职责部门很多,让大模型在几个相关的责任部门精选,从而完成责任部门精准推荐,此时每个工单办理事件分拨的速度通常在秒级别,也即速度很低,但是精确推荐部门。本专利的技术特点类似于一个诉求事件工单,如果小语言模型无法匹配出历史经验,则通过大模型来精准推荐,如果小模型匹配出历史经验,则推荐历史工单的责任部门及职责描述给大语言模型做参考。从而充分利用小语言模型速度快的特点,对于难度较大的诉求事件工单,则通过大语言模型在几个相关的责任部门精选。

【技术保护点】

1.一种大语言模型和小语言模型协同的民生诉求事件分拨方法,其特征在于包括如下步骤:

2.根据权利要求1所述的一种大语言模型和小语言模型协同的民生诉求事件分拨方法,其特征在于所述S3中工单总量为N,N=,每条工单用768维度向量进行表示,从而形成(,768)维的数组。

3.根据权利要求1所述的一种大语言模型和小语言模型协同的民生诉求事件分拨方法,其特征在于所述S4中预设数值0.85,通过faiss搜索引擎在(N,768)搜索相似度高的top-k个向量并取出相似值,k=5。

大语言模型‌ 大语言模型和小语言模型协同的民生诉求事件分拨方法技术

4.根据权利要求3所述的一种大语言模型和小语言模型协同的民生诉求事件分拨方法,其特征在于所述诉求工单通过faiss搜索引擎在(,768)历史工单向量搜索相似度高的top-5个向量并取出相似值,即获取5个责任部门的责任部门简述,当前输入大模型的内容为当前用户提交的事件工单,记为{Text},该工单潜在推荐的候选责任部门,这5个责任部门的职责简述,记为{nt:on},当5个向量中任一个最高相似度高于预设数值,则将跟用户提交的事件工单最相似历史工单对应的责任部门取出来。

【技术特征摘要】

1.一种大语言模型和小语言模型协同的民生诉求事件分拨方法,其特征在于包括如下步骤:

2.根据权利要求1所述的一种大语言模型和小语言模型协同的民生诉求事件分拨方法,其特征在于所述s3中工单总量为n,n=,每条工单用768维度向量进行表示,从而形成(,768)维的数组。

3.根据权利要求1所述的一种大语言模型和小语言模型协同的民生诉求事件分拨方法,其特征在于所述s4中预设数值0.85,通过faiss搜索引擎在(n,768)搜索相似度高的top-k个向量并取出相似值,k=5。

4.根据权利要…

【专利技术属性】

技术研发人员:曹肖攀,马国祖,魏帮财,刘博,段明江,

申请(专利权)人:中电万维信息技术有限责任公司,

类型:发明

国别省市:

全部详细技术资料下载 我是这个专利的主人

323AI导航网发布

© 版权声明
广告也精彩

相关文章

暂无评论

暂无评论...