chatgpt国内私有化部署 私有化部署ChatGPT

可用的国家地区列表和不支持国家的地图地区

私有化部署的诉求

虽然直接用的API是最便捷且效果最好的，但是在一些场景下，数据管控的更严格，想要实现基于私有数据构建Bot的流程就需要闭环在内部。简单介绍一个流程让大家快速私有化部署。

首先基于私有数据构建Bot的流程目前大致分为两种，一种是使用私有数据集进行，从而得到理解私有数据的LLM大模型。

另一种是利用文本的相似度搜索，构建出，利用few shot 的方式让LLM进行Q&A。前者的方案主要基于上述的方案，衍生出了一系列产物比如

这些都是利用GPT3.5/GPT4作为数据打标师，从而一方面调优Meta的LLaMA，另一方面顺着这样的思路也能进行私有数据的

另一种方案是利用这些已经对LLaMA 好的模型进行构建。

按照的文档

就可以快速构建，从文本

->存储-> ->Q&A with

这时候有人会问

文档上这些 还是得用到？

那怎么私有化?答案就藏在：

这篇文档中，我们可以利用llama CPP进行构建，这也是近期引入的新功能

虽然目前是用llama.cpp构建，但是可以在Q&A使用的上述提到的后的模型，通过这种方式组合起来达到私有化的目的：

一系列llama.cpp的优化，使得本地可以部署越来越大的参数模型，我自己体验下来，这些模型在英语交互上效果更好，在中文上还差了一些，所以如果需要使用中文交互，可以使用这几个模型

6/n

分享一个简单的实现代码，通过 读取数据进行分词并构建，接着根据问题进行 ，之后将匹配到的上下文和问题组合在一起丢给LLaMA进行回答。之后我会尝试使用搭建这一套流程并分享给大家。

llama.cpp的优化，使得本地可以部署越来越大的参数模型，我自己体验下来，这些模型在英语交互上效果更好，在中文上还差了一些。

所以如果需要使用中文交互，可以使用这几个模型

6/n

视频：能否用于企业数据？