如何让chatgpt使用最新数据刚刚！OpenAI 开放 GPT-3.5 微调 API

默认分类1年前 (2023)发布 admin

3,030 0 0

大数据文摘出品

刚刚！宣布，开放GPT-3.5微调的API。

这意味着，每个人都可以基于GPT-3.5微调自己的模型。

换句话说，之前用户在结合业务用例构建专属时候，需要使用大量的调教模型进行上下文学习。现在只需要四步即可打造自己的专属模型：准备数据→上传文件→创建微调工作→使用微调模型。

据介绍，微调后的GPT-3.5，在某些特定任务上可以超越GPT-4。不过，GPT-4的微调 API 也将在今年秋季推出。同时，他们也提到，微调API传送的所有数据都是客户的私有资料，或其他任何机构都不会用它来训练其他模型。

的这次开放微调API的操作，文摘菌认为是是对Meta开源大模型的应对，大模型赛道上，对那些利用Llama 2开源框架将AI微调部署到下游行业（例如法律、医疗等）的企业而言，将会有一定程度上的冲击。赛道上的这些选手将面临严峻的考验。

微调后的大模型，有哪些提升？

在博客中，提到自GPT-3.5 Turbo面世以来，开发者和各大企业一直希望能够对模型进行个性化定制，以便用户能使用更为独特和差异化的体验。现在，开发者可以通过有监督的微调技术，让模型更适合自己的特定需求。

在封闭测试中，采用微调的用户已成功在多个常用场景下显著提升了模型的表现。例如：

提高指令遵从性：通过微调让模型更准确地执行指令，无论是简洁地输出信息，还是始终用指定的语言回应。例如开发者可以设置模型在被要求使用德语时，一律用德语进行回应。

统一输出格式：微调还增强了模型在输出格式上的一致性，这一点对需要特定输出格式的应用，显的尤为重要，如代码自动补全或API调用生成，开发者可以通过微调确保模型可将用户的输入准确转化为与自己系统兼容的高质量JSON代码段。

调整输出语气：微调还能让模型的输出更贴近企业的品牌语气。具有明确品牌调性的企业可以通过微调，使模型的输出与其品牌风格更加吻合。

除了性能提升外，微调还允许用户在不牺牲性能的前提下，简化其使用的提示语。并且，与GPT-3.5 Turbo微调过的模型能处理多达4000个token，是以前模型的两倍。有的早期测试者甚至通过将指令直接嵌入模型，减少了90%的的浪费，从而加快API调用速度并降低成本。

微调使用指南

目前仅有三款模型支持微调功能，包括gpt-3.5-turbo-0613、-002、-002。强烈推荐gpt-3.5-turbo，因为它在性能和操作便利性上都表现得相当出色。

微调技术在以下几个常见应用场景中具有显著的效果：

1、设定具体的输出风格、语调、格式或其他感性因素；

2、增强模型在生成输出时的靠谱性；

3、解决模型对复杂不敏感或无法准确响应的问题；

4、针对特定场景的边缘情况进行特别处理；

5、用于难以用简单明确描述的新技能或任务。

因此，从更高的维度上观察，上述场景仅仅通过文字或语言指示（即“讲解”）可能不足以让模型达到最佳性能。相反，通过实际的“示范”或样本（比如微调中使用的具体数据集）来训练模型，可能会更有效。

举个例子，如果想让模型生成符合特定风格和语气的文本，仅仅通过命令或提示很难准确地传达需求。但如果能提供一系列符合这种风格和语气的实例文本，然后用这些文本来微调模型，模型就更容易理解并生成符合要求的内容。

一、准备数据

当确认微调是解决模型缺陷的有效手段后，接下来的任务就是准备用于训练的数据。在这一阶段，需要构造一组样例对话，这些对话不仅要多样化，还要与模型在实际应用中可能遇到的情景高度相似，以便提高模型在真实场景下的推理准确性。

为了确保数据集的有效性，每一个样例对话都应遵循特定格式。具体来说，每个样例都应是一个消息列表，列表中的每条消息都应明确标注发送者的角色、消息内容，以及可选的发送者名称。更重要的是，数据集应包含一些专门用来解决模型当前表现不佳的问题的样例。这些特定样例的回应应该是期望模型未来能输出的理想答案。

举个例子，假如创建一个偶尔会给出讽刺回应的聊天机器人，下面是为数据集创建的三个训练示例：

{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already."}]}{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?"}]}{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters."}]}

提一嘴，目前还不支持函数调用，还在努力开发。

如果要用微调gpt-3.5-turbo模型，使用对话式聊天的格式是必要的。至于-002和-002模型，可以用传统微调的提示和完成配对格式。

{"prompt": "", "completion": ""}{"prompt": "", "completion": ""}{"prompt": "", "completion": ""}

设计。一般来说，建议用在微调之前效果最好的各种指令和输入，并将它们纳入到每一个训练样例中。这样，尤其当训练样例不多（比如少于一百个）的时候，可以实现最佳应用效果。此外，由于模型是完全通过观察示例来学习，而没有明确的指导步骤，因此要达到良好的效果可能需要更多的训练样例。

推荐的样本数量。要对一个模型进行微调，需要最少10个样本。通常，使用gpt-3.5-turbo在50到100个训练样本上进行微调会带来明显的效果提升，但具体需要多少样本则要根据不同应用场景来定。

建议从50个精选的训练样本开始，然后观察微调后模型表现是否有所提升。如果有所改进，那么即使模型还未达到可用于生产的标准，也表明通过增加更多训练数据可以进一步优化模型。相反，如果性能没有显著提升，可能需要在增加更多样本之前，重新考虑模型的任务设置或对现有数据进行优化。

如何让chatgpt使用最新数据刚刚！OpenAI 开放 GPT-3.5 微调 API

划分训练数据集与测试数据集。在收集完初始数据集之后，建议将其分为两部分：一部分用于训练，另一部分用于测试。提交微调任务时，如果提供了这两种类型的文件，将在训练过程中给出这两个数据部分的统计信息。这些统计结果是评估模型性能是否得到提升的初步指标。此外，提前准备好测试集不仅能帮助在训练结束后更容易地评价模型性能，还可以通过在该测试集上生成样本进行更细致的分析。

Token 限制。每个训练样本的长度不能超过4096个token。如果样本太长，训练时会被截短至前4096个token。为确保样本完整性，请检查每个消息内容的总token数不超过4000。目前，单个文件的最大允许大小是50MB。可以使用的“计数token”工具来计算令牌数量。

计数token：

openai.File.create( file=open("mydata.jsonl", "rb"), purpose='fine-tune')

验证完数据后，就需要上传这个文件，以进行微调工作☝。

二、创建微调模型

通过 SDK开始微调任务：

import osimport openaiopenai.api_key = os.getenv("OPENAI_API_KEY")openai.FineTuningJob.create(training_file="file-abc123", model="gpt-3.5-turbo")

上述代码，model选项能选择一个基础模型进行微调，比如gpt-3.5-turbo、-002或-002。还可以通过设置后缀参数来给微调模型起个名字。

任务启动后，完成可能需要一段时间，因为任务可能需要排队等待。根据所选模型和数据集的大小，这个过程可能需要从几分钟到几小时不等。

除此之外，还可以查看当前的微调任务列表，查询任务进度或者取消已有任务。

# List 10 fine-tuning jobsopenai.FineTuningJob.list(limit=10)
# Retrieve the state of a fine-tuneopenai.FineTuningJob.retrieve("ft-abc123")
# Cancel a jobopenai.FineTuningJob.cancel("ft-abc123")
# List up to 10 events from a fine-tuning jobopenai.FineTuningJob.list_events(id="ft-abc123", limit=10)
# Delete a fine-tuned model (must be an owner of the org the model was created in)import openaiopenai.Model.delete("ft-abc123")

三、使用微调模型

当成功完成微调任务并查看任务的详细信息，会注意到“”字段已经填入了新模型的名字。这意味着现在可以立刻将这个新模型用在聊天自动补全（适用于gpt-3.5-turbo）或在旧版补全API（适用于-002和-002）上。当然，也可以在的中对其进行测试。

然而，虽然理论上模型应当立即可用，实际操作中可能需要几分钟的准备时间。如果遇到请求超时或无法找到模型的情况，很可能是因为模型正在加载过程中。这时，稍等几分钟后再进行尝试通常是个好办法。

import osimport openaiopenai.api_key = os.getenv("OPENAI_API_KEY")
completion = openai.ChatCompletion.create( model="ft:gpt-3.5-turbo:my-org:custom_suffix:id", messages=[ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Hello!"} ])
print(completion.choices[0].message)