近期,火爆出圈,上线仅仅2个月,的活跃用户就突破一亿。不少和“聊过天”的网友纷纷感叹,“只有你想不到,没有办不成的”。
什么是?
是由美国人工智能实验室开发的一个对话AI模型,于2022年11月正式推出,因其极其出色的文本生成和对话交互能力在世界范围内迅速走红。其中GPT是 Pre- (生成型预训练变换模型)的缩写。
的演变历程
GPT是公司基于谷歌的语言模型框架而开发出来的技术。
GPT,英文全称是 Pre- ,直译过来是生成型预训练-变换器 。名字前面加上chat,即“聊天生成型预训练-变换器”。
从算法模式的版本上,经历了GPT-1(2018年)、GPT-2(2019年)、GPT-3(2020年)和(2022年初)四个版本,未来有望生成新版本即GPT-4(预计2023年)。
GPT-1(2018年):仅需要对预训练的语言模型做很小的结构改变,即加一层线性层,即可方面地应用于下游各种任务。 GPT-2(2019年):使用zero-shot设定,基本实现一劳永逸,训练一个模型,在多个任务上都能使用。 GPT-3(2020年)不通过任何样例学习,而是利用少量样本去学习,更接近人脑学习模式。 (2022年初):经过多任务的微调后,能在其他任务上实现zero-shot预测,泛化能力极大提升。(可以理解成是GPT-3的微调版本,与GPT-3相比更擅长遵循指令,回答更真实,且有害情绪输出大幅下降)。
可以理解成是GPT-3.5的微调版本,未来有望生成新版本即GPT-4,相较于,效果更加真实,模型的无害性实现些许提升,编码能力更强。
使用的新的AI训练方法,加大“人”的反馈权重,进行训练监督策略模型、训练奖励模型( Mode,RM)、采用PPO( ,近端策略优化)三个阶段的训练,在持续参数迭代的过程中,输入奖励模型,得到优化参数。且会不断重复第二和第三阶段,通过迭代,训练出更高质量的模型。
应用方向
作为平台级的产品,在B端和C端都有广泛的应用价值
对B端:
按照平台开放程度,包括三个层次的应用:
1,企业知识库(数据共享);
2,系统(模型共享);
3,营销工具(模型应用);
对C端:
1,生成文本:可以根据用户的输入生成相关的文本,比如可以生成故事、文章、诗歌等。
2,回答问题:可以回答各种常见问题,比如历史、地理、数学、科学等。
3,对话:可以与用户进行对话,帮助用户解决问题、获取信息等。
4,记录和提醒:可以帮助用户记录信息,比如日程、清单等,并在合适的时候提醒用户。
5, 语音识别和合成:可以支持语音识别和合成,帮助用户完成语音控制任务等。
的主要特点
1,敢于质疑;
2,承认无知;
3,支持连续多轮对话;
4,主动承认错误;
5,大幅度提升准确度;
6,支持上下文理解;
7,大幅度提升了对用户意图的理解。
有待提升空间:
随着自然语言处理和语言建模领域的快速发展,很难预测将会有哪些进一步的改进。但是,还是有一些局限性和潜在的改进领域:
局限性:
一是按照语料库的模式生成文本,缺乏人类的创造力、想象力,没有自由发挥的空间。
二是不具备情感方面的体现,生成的东西不接地气;
三是不够严谨,有时候会生成乱码,或者语无伦次。
需改进领域:
1,提升模型处理大量复杂输入的容量和能力。
2,提高模型以生成更自然、更像人类文本的能力。
3,向模型添加额外的功能,例如处理多种语言的能力或处理更复杂的任务(如摘要或翻译)的能力。