人工智能chatgpt相关资料 ChatGPT背后真正的英雄:OpenAI首席科学家Ilya Sutskever

默认分类1年前 (2023)发布 admin
3,040 0
ChatGPT国内版

的横空出世万众瞩目,但我们不应忘记在它背后默默无闻的天才。Ilya 是的联合创始人和首席科学家。正是在他的领导下,在开发尖端技术和推动人工智能领域的发展方面取得了重大进展。

在这篇文章中,我们将探讨二十年间,是如何从一个年轻的研究人员一步步走到人工智能领域的领导人物之一的。无论你是人工智能爱好者,还是研究人员,或者仅仅是对这一领域的内部运作感到好奇的人,这篇文章都会提供宝贵的观点和信息。

本文遵循以下时间线:

2003: Ilya 的拜师之旅

2011: 初识AGI

2013: 将拍卖给谷歌

2014: 语言翻译的革命

2015: 从谷歌到:人工智能的新篇章

2018: GPT 1、2和3

2021: 开发DALL-E 1

2022年:向世界揭开的面纱

Ilya

的联合创始人和首席科学家,2005年毕业于多伦多大学,2012年获得CS博士学位。2012年至今,他曾先后就职于斯坦福大学,, Brain,从事机器学习与深度学习的相关研究,并于2015年放弃谷歌的高薪职位,与Greg 等人联合创建了,在主导了GPT-1,2,3以及DALLE系列模型的研发。2022年,他入选英国皇家科学学会院士。他是人工智能领域的先驱,在塑造人工智能的当前格局方面发挥了重要作用,并在继续推动机器学习的可能性的界限。他对人工智能的热情让他的开创性研究熠熠生辉,也由此塑造了深度学习和机器学习领域的发展历程。

2003:对Ilya 的初印象

:我不理解,:为什么不理解,:人们训练神经网络来解决问题,当人们想解决不同问题时,就得用另外的神经网络重新开始训练。但我认为人们应该有一个能够解决所有问题的神经网络。

在多伦多大学读本科时,想加入 教授的深度学习实验室。于是,他在某一天直接敲开了教授办公室的门,询问自己是否可以加入实验室。教授让他提前预约,但不想再浪费时间,所以他立即问:”就现在怎么样?”

意识到是一个敏锐的学生,于是给了他两篇论文让他阅读。一周后,回到教授办公室,然后告诉教授他不理解。

“为什么不理解?”教授问。

解释说:“人们训练神经网络来解决问题,当人们想解决不同问题时,就得用另外的神经网络重新开始训练。但我认为人们应该有一个能够解决所有问题的神经网络。”

这段话展示了得出结论的独特能力,而这种能力即使是有经验的研究人员也需要花费数年时间才能找到,于是向他发出邀请,希望他加入自己的实验室。

2011: 初识AGI

:我不认同这个想法(AGI)

还在多伦多大学时,曾飞到伦敦去找工作。在那里他见到了Demis 和 Shane Legg(的联合创始人),他们正在建立AGI( ,人工通用智能)。AGI是一种通用的人工智能,它能够像人类一样思考和推理,并完成与人类智能相关的各种任务,如理解自然语言,从经验中学习,做出决定,以及解决问题。

人工智能chatgpt相关资料 ChatGPT背后真正的英雄:OpenAI首席科学家Ilya Sutskever

在当时,AGI并不是严肃的研究人员会谈论的东西。也认为他们已经与现实脱节,所以他拒绝了这份工作,回到了大学,最终于2013年加入了谷歌。

2012: 图像识别革命

竞赛中获胜

慧眼独具,在其他人都不相信的时候相信了深度学习。并且他坚信,在竞赛中获得成功就会彻底解决这一争论。

竞赛:斯坦福大学的实验室每年都会举办竞赛。他们为参赛者提供了一个由精心标记的照片组成的庞大数据库,来自世界各地的研究人员都会来参加比赛,尝试创建一个能够识别最多的图像的系统。

的两个学生,伊利亚-苏茨克沃(Ilya )和亚历克斯-克里切夫斯基(Alex )参加了这个比赛。他们打破了传统的手工设计方案,采用了深度神经网络,并突破了75%的准确率大关。因此他们赢得了竞赛,他们的系统后来被命名为。

从那时起,图像识别领域焕然一新。

后来,、和发表了一篇关于的论文,这篇论文成为计算机科学领域被引用次数最多的论文之一,总共被其他研究人员引用了6万多次。

2013: 将拍卖给谷歌

&:您值得更大比例的分红。:你们分我的钱太多了。&:但我们已经决定好了,让您占大头。:这体现了他们的人品。

与,一起,成立了一家名为的新公司。他们没有任何产品,也没有在未来打造任何产品的计划。

问律师,如何让他的新公司具有最大的价值,尽管目前只有三名员工,既没有产品,也没有底蕴。律师给他的选择之一是设立一个拍卖会。有四家公司参与了收购:百度、谷歌、微软和(当时还是一家年轻的起步于伦敦的创业公司)。第一个退出的是,其次是微软,最后只剩下百度和谷歌在竞争。

到某天晚上接近午夜时分,拍卖价格高达4400万美元,于是暂停了竞标并且去睡了一觉。第二天,他宣布拍卖结束,并以4400万美元将他的公司卖给了谷歌,他认为为他的研究找到合适的“家”更重要。在这一点上,和他的学生们一样,把他们的想法置于经济利益之上。

平分收益的时候,和坚持认为应该得到更大的份额(40%),尽管建议他们不如先睡一觉。第二天,他们仍然坚持这种分配方式。后来评论说:“这能体现他们的为人,而非我的”。

在这之后,成为了谷歌大脑的研究科学家,他的想法产生了更大的变化,并开始与创始人的想法逐渐一致。他开始相信,属于AGI的未来就在眼前。当然,本人也从不畏惧在面对新信息或经验时改变主意。毕竟相信AGI需要的是信仰之跃,正如谢尔盖-莱文( ,在谷歌的同事)对的评价:“他是一个不害怕‘相信’的人。”

2014: 语言翻译的革命

:正确的结论是,如果你有一个非常大的数据集和一个非常庞大的神经网络,那么取得成功是必然的。(性能最优的翻译器)

在收购了之后,谷歌聘请为谷歌大脑的研究科学家。

在谷歌工作期间,发明了一种神经网络的变体,能将英语翻译成法语。他提出了 “序列到序列学习”( to ),它能捕捉到输入的序列结构(如英语的句子),并将其映射到同样具有序列结构的输出(如法语的句子)。

他说,研究人员本不相信神经网络可以做翻译,所以当它们真的能翻译时,这就是一个很大的惊喜。他的发明击败了表现最好的翻译器,为谷歌翻译提供了重大升级。语言翻译从此变得不一样了。

2015: 从谷歌到:人工智能的新篇章

人工智能chatgpt相关资料 ChatGPT背后真正的英雄:OpenAI首席科学家Ilya Sutskever

Sam 和Greg 将和其他9名研究人员聚集在一起,尝试是否还有可能与该领域最优秀的人才组成一个研究实验室。当讨论到这个将成为的实验室时,意识到他找到了一群志同道合的人,他们与他的信念和愿望相同。

向这10位研究人员发出了加入他的实验室的邀请,并给他们三周的时间来决定。谷歌知道这件事后,向提供了一笔可观的金额来加入他们。被拒绝后,谷歌将他们的薪资提高到第一年近200万美元,这是要付给他的两三倍。

但还是愉快地放弃了谷歌数百万美元的工作机会,最终成为非营利组织的联合创始人。

的目标是利用人工智能造福全人类,以负责任的方式推进人工智能。

2018: 开发GPT 1, 2 & 3

领导发明了GPT-1,随后发展到GPT-2、GPT-3和。

GPT( Pre- )模型是一系列基于神经网络的语言模型。GPT模型的每一次更新换代,都是自然语言处理领域的突破性进展。

2021: 开发DALL-E 1

还领导发明了DALL-E 1,这是一个由AI驱动的图像生成模型。它使用了与GPT模型类似的架构和训练过程,但被应用于图像的生成,而非文本。

今天许多主要的图像生成器–DALL-E 2、–都归功于DALL-E 1,因为它们基于相同的变换器架构,并在类似的图像数据集和相关文字说明上进行训练。此外,DALL-E 2和都是基于DALL-E 1的微调过程。

2022年:向世界揭开的面纱

2022年11月30日,帮忙推出了,这引起了大众的广泛关注,并在短短5天内就发展到100万用户。

的工作方式是在大量的文本数据集上预先训练一个深度神经网络,然后在特定的任务上对其进行微调,如回答问题或生成文本。它是一个基于GPT-3语言模型的对话式人工智能系统。

理解对话的背景并产生适当的反应是的主要功能之一。该机器人会记住你的对话线索,并根据以前的问题和答案作出后续回应。与其他聊天机器人不同的是,这些机器人通常仅限于预编程的反应,而可以在应用中产生反应,使其能够进行更加动态和多样化的对话。

Elon Musk是的创始人之一,他说:“优秀得可怕。我们离危险的强大人工智能不远了”。

尾注

Ilya 对人工智能的热情推动了他的突破性研究,改变了该领域的进程。他在深度学习和机器学习方面的工作对推进技术水平和塑造该领域的未来方向起到了重要作用。

我们也亲身见证了在人工智能领域工作的影响。他已经改变了该领域的进程,并将继续在这个方向努力。尽管多次面对物质上的诱惑,还是选择了追求他的激情,专注于他的研究;他对工作的奉献对任何研究人员来说都是堪称典范。

如今我们已经见证了对我们这个世界的影响。很显然,这仅仅是个开始。

参考资料:

© 版权声明
广告也精彩

相关文章

暂无评论

暂无评论...