原理与应用分享2023年5月行业报告资源群进群福利：进群即领万份行业研究、管理方案及其他学习资源，直接打包下载行研精选：每日分享6+份行业精选报告及3个行业主题研究资料严禁广告：本群仅限行业报告交流，禁止一切无关信息目录原理简介的局限性多维应用提示技巧是什么是一款由公司开发的基于GPT架构的与AI聊天的产品。GPT（）是一种大语言模型（），其核心为模型。通过在大量文本数据上进行预训练，学习语言模式、知识、推理等能力。然后，通过在特定任务上进行微调，应对各种不同的自然语言处理任务，如文本生成、问答、摘要等。为什么GPT令人兴奋？因为他真的好像能理解人说的话了。从“人工智障”迈出了一大步。01为什么能引起如此大的轰动-强大的泛化能力，通用人工智能的曙光具备了理解上下文、连贯性等诸多先进特征，解锁了海量应用场景。可实现连续对话，提升了交互模式下的用户体验。
同时，也会屏蔽敏感信息，对于不能回答的内容也能给予相关建议。人类意图传统AI专事专办，短期快，长期慢01为什么传统AI泛化能力弱？大模型大力出奇迹，短期慢，长期快01为什么是大语言模型，与传统AI的区别？01GPT的核心技术-核心优势：通过自注意机制（Self-），可以有效地处理长距离依赖，也就是说，在理解一个词的含义时，它可以同时考虑到序列中所有其他词的上下文信息。关键问题：这种自注意力的长度并不是无限的。01GPT实际上在做文字接龙游戏-是如何工作的AI本质上是一个概率问题GPT实际的处理步骤：将用户的“提示词”转换为token+token的位置。将以上信息“向量化”，作为大模型“函数”的输入参数。大模型根据处理好的参数，预测最适合回复用户的词汇，并进行回复。回复的词汇（token）加入到输入参数中，重复上述步骤，直到最高概率的词汇是【END】，从而实现一次完整的回答。01大模型为何能做到文字接龙？–大语言模型之“大”以GPT为代表的大模型学习分三步：自监督学习：海量的文本，使其具备预测上下文的基本能力监督学习：由人类专家，提供大量案例，帮助其理解人类喜好的对话方式，以及期望的答案。
强化学习：大量用户直接参与，持续优化改进回答质量。数据量与参数：训练数据量大：即训练大模型的数据规模，以GPT-3为例，其训练数据源为互联网的各种精选信息以及经典书籍，规模达到了45TB，相当于阅读了一亿本书。模型参数量大：参数是神经网络中的一个术语，用于捕捉数据中的规律和特征。通常，宣称拥有百亿、千亿级别参数的大型模型，指的都是其参数量。GTP-3拥有1750亿参数。01参数的“涌现效应”-只有参数足够多，才能量变引起质变如果要求大模型根据emoji猜电影名称，如表《海底总动员》。可以看到，当模型参数达到千亿级别时，匹配准确度大幅度提升。处理其他多类型任务时的表现01参数的“涌现效应”-WHY目前主流观点认为，要完整完成一个任务，实际上需要经过很多子步骤。当模型大小不足时，大语言模型无法理解或执行所有步骤，导致最终结果不正确，达到千亿级参数时，其解决问题的全链路能力已经足够。人们以最终结果的正误作为评判标准，导致认为是一种“涌现”。大脑容量X301大模型练习生GPT的训练之路1.17亿参数)有一定的泛化能力，能够用于和监督任务无关的NLP任务中是一个经过微调的新版GPT-3，可以将有害不真实的和有偏差的输出最小化2022..亿参数)GPT-3作为一个自监督模型可以完成自然语言处理的绝大部分任务：将网页描述转换为相应代码、模仿人类叙事、作定制诗歌、生成游戏剧本甚至模仿已故的哲学家预测生命的真谛除了理解能力外，GPT-2在生成方面表现出了强大的天赋：阅读摘要编故事，甚至可以生成假新闻钓鱼邮件或在线进行角色扮演衍生产品，它将人类的反馈纳入训练过程，更好地使模型输出与用户意图保持一致亿参数)-.的几个局限性逻辑不透明：需要找到好的约束结果响应速度慢：不能用于高并发的产品场景行业认知浅：不能解决公司里非常具体的业务场景得益于自注意力机制（self-），具备了多轮对话能力。
然而，它的记忆长度相当有限，GPT-3.5模型仅支持向前追溯4096个用于回复的参考。更糟糕的是，这4096个还包括之前回复用户的部分！这使得其捉襟见肘的记忆更加难堪，堪称电子金鱼。的多维应用：依靠电脑的重复劳动都会消失主要指以下几类产品：1.本体2.套壳产品3.特定场景的聊天机器人基于补充的知识库，如智能客服、房产经纪人助手。聊天能力日常应用频率场景：咨询任何问题优点：可以基于场景回答问题的高级“百度百科”缺点：回答具有随机性，未被人工筛选过正确性，需要使用者具备一定基本的判断力。的多维应用主要指以下几类用法：1.文章提炼总结2.文章改写3.依据大纲扩写4.情绪分析语言能力日常应用频率优点：1.识别文章要点较强。2.可用于文章初润色缺点：1.不能总结超长文本（上限为）2.长文本扩写质量很差，只能生成口水文文本能力日常应用频率优点：1.极大提升使用EXCEL的效率及效果。只要描述清楚自己的需求，EXCEL公式直接奉上。主要指以下几类用法：1.写代码片段2.提数SQL3.提供EXCEL公式等的多维应用主要指以下几类用法：1.语义识别，驱动业务流2.串联业务场景中的通用数据，自动化任务流推理能力日常应用频率优点：1.潜力很高缺点：1.缺少行业知识04提升输出效果的三种核心做法调优方法优势缺点提示词优化提升效果明显成本极低占用token多，影响上下文关联长度扩展GPT知识调优成本较低GPT并非真的理解了相关的内容，而是在遇到相关问题时，能够基于给定的知识库回答。
微调技术搭建真正的私有模型，GPT能理解相关的问题成本较高，需要大量的“问答对”，训练过程非常消耗token。提示词优化：通过探索找到最优提示词模板，预留特定槽位以供用户输入。仅通过提示词优化就能实现广泛功能，许多基于GPT的产品，其底层就是基于特定提示词的包装。好的提示词需包含角色、背景、GPT需执行的任务、输出标准等。根据业界的研究，好的提示词能使GPT3.5结果的可用性由30%飙升至80%以上。提示词优化毫无疑问是这 三种方法中最重要的。 04 GPT用于产品个体的提示技巧 使用GPT提示应当遵循的原则： 给GPT赋予一个角色 提示清晰：对问题的准确描述 提供案例：如果要求GPT以某种形式进行输出，给其提供相应的案例。 告知思考步骤：在已经明确一个问题应当如何解决的前提下，告知其思考步骤，可以提升输出的质 量，节省宝贵的自己实施的时间。 指定交付的格式：如要求在100字内总结，要求以json输出，要求以excel输出，要求以 输出等。 最后：没有完美的，如果结果不满意，就再去试，你觉得缺什么就补什么。 04 GPT用于方案设计的理念-用法1-AIGC 通过提示词设计，让能够产出有质量的文案。
要点：需要设计实验机制，逐步提升GPT的输出质量。 04 GPT用于方案设计的理念-用法2-对话式系统操作，如 几个关键的思考点： 1.用于系统设计，必须考虑输入输出的稳定性。 2.不管采用何种方法应用GPT，其内核是“对话” 3.如何让GPT对用户的理解，转化为对系统的控制？ GPT的 语意理解 AGENT 脑子 其他系统工具 领域知识 强约束提 进群福利：进群即领万份行业研究、管理方案及其他学习资源，直接打包下载 行研精选：每日分享6+份行业精选报告及3个行业主题研究资料
相关文章
