(图源:)
虽然十分火爆,但是这并不是的第一代GPT产品。GPT的英文全称 Pre-,直译生成式预训练。早在2018至2019年前后的时候,就发布了GPT-2和GPT-1,用于生成文章、代码、机器翻译、问答等各类内容。当时在语言理解能力上其预训练模型的参数便从1.5亿个,指数级扩展到1750亿个,构造出了当时AI界规模最大的神经网络。
而在早期GPT-3的时候,曾被开放API接口进行商用测试,期间有不少公司通过采购它来实现AI聊天。但是在用此模型辅助医生和病人的对话,”暴力”的学习方式一度让对话的内容显得十分危险。不过现在发布的训练样本量已经足够大了,并强化了对模型的训练,以及在训练中引入了人类监督员的概念。
除此之外,相对以往的人机对话模型来说,可以更加模拟人类的聊天行为,而现在一经面市,几乎都要被玩坏了。有人用它写代码、写作文、作诗,甚至在一部分心中将它看作准人类。
但是,的使用过程中,并不是所有的回答都能够让消费者满意,甚至会出现一些错误的答案。而且,目前的方向比较模糊,究竟是满足使用者的”增量信息”还是”重要决策”。比如,当自己在探讨一个人感冒之后,需要采取什么措施,能帮给予很好的反馈和回答;但如果真的得了病毒性感冒,的回答,并不能运用在真实生活中治疗病毒性感冒的决定上。
再加之,从进化到-3的过程相当烧钱。数据显示,参数量从1.17亿增加到1750亿,预训练数据量从5GB增加到45TB,其中GPT-3训练一次的费用是460万美元,总训练成本达1200万美元。
因此,目前大火,很大程度上是因为使用上更加简单和易接受,再加上能够及时回答使用者的提问,让人们能够一次性得到一个接近满意的答案需求,而不是多种选择下的困扰。但是,想要取代目前的搜索引擎是不太可能的,且不谈该软件还处于测试阶段,如果真的将的回答和反馈当作唯一标准,这样就失去价值对比的意义。而真理往往伴随着多重性和怀疑性。
所以,现阶段只能算是在AI智能领域的一大突破,并不能进行商业化的完全普及。至于取代谷歌搜索引擎、或者让文字工作者、程序员等从业者纷纷失业,可能只算是无稽之谈。
不过,的首席执行官也回应称,我们正在试图阻止随机编造,现阶段让其与当前技术保持平衡是很棘手的。随着时间的推移,我们会根据用户反馈来改进它,相信会变得更好。