快要让人追不上了。
编译|刘杨楠
3月2日凌晨,在官网正式发布 API。
接入“黄牛版” API所带来的高昂成本让很多开发者非常头疼,今天便给出官方定价——每1k个token的价格为0.002美元,比现有的GPT-3.5模型便宜10倍!此外,表示,自去年12月以来,的成本已经砍掉90%,这无疑大大降低了开发者们的使用门槛。
目前,、、Snap、等平台已率先接入 API,并即将推出赋能的升级版应用,以提高用户使用体验。
还提到,在今天发布的模型家族中,GPT-3.5-turbo是和产品中相同的模型。对于许多非聊天应用来说,它也是GPT3.5最好的模型。
最后,着重提到了针对开发者进行的一系列优化——将为希望更深入控制特定型号版本和系统性能的用户提供专用实例。
API 在 Azure 上运行,并且使用专用实例,因此,开发人员将按时间段支付分配计算基础设施的费用,这些基础设施是为满足他们的而保留的。 对于每天运行超过 4.5 亿个token的开发人员来说,专用实例能够直接降低开发人员的使用成本。
以下为及简介的编译内容(本文初稿由翻译):
和模型现在可以在我们的API上使用,让开发者能够获得最先进的语言(不仅仅是聊天!)和语音转文字的功能。自去年12月以来,通过一系列的系统级优化,我们已经将的成本降低了90%,现在我们正在将这些节省的成本传递给API用户。开发者现在可以在API中使用我们的开源 large-v2模型,来更快速、更经济地获得结果。 API 用户可以期待持续的模型改进和选择专用容量以更深入地控制模型的选项。我们将密切关注开发者的反馈,并改进我们的API服务条款以更好地满足他们的需求。
和 APIs的早期用户
是一个日常通讯和消息传递平台,拥有7.5亿月活用户,它的创造者Snap Inc.本周推出了一项名为 “My AI for +” 的实验性功能,它运行在 API 上。My AI为的用户提供一个友好的、可定制的聊天机器人,它可以为用户推荐信息,甚至可以在几秒钟内为朋友写一封信。
是一个全球性的学习平台,有超过6,000万学生用它来学习。与合作三年,用GPT-3开展多种应用,包括词汇学习和练习测试。随着 API的推出,推出了Q-Chat——一个完全自适应的AI导师,它能通过有趣的聊天体验,向学生提供基于相关学习材料的自适应问题。
正在优化其应用程序,计划在今年晚些时候推出“Ask ”。这款程序能让客户询问关于食品的问题,并帮助客户发现。这项功能使用了与自己的AI,并搜集了75,000多家零售合作伙伴店铺的产品数据,以帮助客户做出购买决策,例如“我该如何制作美味的鱼肉玉米饼?”或者“如何为我的孩子准备健康的午餐?”
Shop是的消费者应用程序,可供用户查找他们喜欢的产品和品牌,并与之互动,目前已有1亿用户。 API可以支持Shop的新购物助手——当用户搜索产品时,购物助手会根据他们的请求提供个性化建议。Shop的新型AI购物助手通过扫描数百万产品快速找到购买者正在找的东西,或者帮助他们发现新的产品,从而简化在应用内的购物体验。
Speak是一款由AI驱动的语言学习应用程序,专注于建立通向口语流利的最佳路径。他们是韩国增长最快的英语应用程序,并已经在使用 API为全球推出一款新的AI口语伴侣产品。针对各个级别的语言学习者具有人类级别的准确度,可实现真正的开放式会话实践和高度准确的反馈。
API
模型:我们今天发布的模型家族中,GPT-3.5-turbo是产品中使用的模型。每1k个token的价格为0.002美元,比我们现有的GPT-3.5模型便宜10倍。对于许多非聊天应用来说,它也是我们最好的模型——我们已经看到早期测试者从text–003迁移到GPT-3.5-turbo时,只需要对他们的做少量调整。
API:传统上,GPT模型使用未结构化文本,在模型中表现为一系列“token”序列。 模型改为使用一系列消息和元数据。(好奇的人可以了解一下:在底层,输入仍然呈现为“token”序列;模型使用的原始格式是一种被称为“Chat ()”的新格式)。
我们创建了一个新端点来与我们的 模型进行交互:
:
:
:
升级
我们将不断改进 模型,并希望将这些优化后的功能也提供给开发者。使用 GPT-3.5-turbo模型的开发者将始终获得我们的稳定模型,并仍然能自由选择特定的模型版本。例如,今天我们发布了 GPT-3.5-turbo-0301,该版本至少可支持到6月1日前,我们将在4月将 GPT-3.5-turbo更新到新的稳定版本。
专用实例( )
我们现在还为希望更深入控制特定型号版本和系统性能的用户提供专用实例。默认情况下,用户请求在与其他用户共享的计算基础设施上运行,其他用户按请求付费。我们的API在Azure上运行,并且使用专用实例,开发人员将按时间段支付分配计算基础设施的费用,这些基础设施是为满足他们的请求而保留的。
开发人员可以完全控制实例的负载(更高的负载会提高吞吐量,但会使每个请求变慢)、启用更长上下文限制等功能的选项,以及固定模型快照的能力。
对于每天运行超过 4.5 亿个token的开发人员来说,专用实例具有经济意义。此外,它还可以根据硬件性能直接优化开发人员的工作负载,这可以显着降低与共享基础设施相关的成本。如需专用实例查询,请联系我们。
API
我们于 2022 年 9 月开源的语音转文本模型获得了开发者社区的极大赞誉,但很难运行。我们现在已经通过我们的 API 提供了 large-v2 模型,它提供了方便的按需访问,价格为 0.006 美元/分钟。此外,与其他服务相比,我们高度优化的服务堆栈可确保更快的性能。
API 可通过我们的转录(将源语言转录)或翻译(将语音转录为英语)端点进行访问,并接受多种格式(m4a、mp3、mp4、mpeg、mpga、wav、webm):
:
:
: