前言
最早 Meta 公司“无意泄露”的 Llama 模型，还只能作为开发者小范围炼丹使用，却衍生出海内外非常多的微调数据集。
最近，llama 2 新模型发布，Meta公司修改了许可证书。简言之，日活低于7亿的，可以商业使用了。
llama 2 的性能，应该是开源版本中，最能与收费版抗衡的一个了。
方法
本文重点介绍我们个人用上 llama 2 的方法和途径。
1， AI Chat
AI 官网访问地址：
无需登录即可使用。默认提供了llama-2-7b-chat和llama-2-13b-chat，对话非常流畅，生成速度很快。
ai, llama 2
测试了一个类型判断的问题。回答非常准确。可能中文语料不足。可以识别中文提问内容，地理常识类问题，回答不正确，且只能使用英文作答。
测试中文2， AI SDK
ai官方网址：
为开发者提供了非常方便的演示环境，目前支持的模型比较全面。
llama 2
下图是默认页面的一览图。
，a16z
该项目提供了方式，用户可以在页面内使用。
a16z
用户界面托管在上，首页截图如下：
a16z
开发者则可以访问a16z 仓库：
–
本地有硬件资源的，可以将项目拉取下来，部署到本地测试。
4，lmsys Arena
lmsys 是一个开放的研究组织，由美国加州大学伯克利分校学生和教师组成。通过共同开发的方式，让大型模型更加易于使用。
llama 2模型托管在 HG，项目访问地址:
打开上述地址，即可访问应用：
lmsys ，HG： 70B
这个项目也是托管在 HG 上，由另外一位作者创建。看这名字，一股浓浓的咖喱味，跃然纸上。
打开HG项目地址，在界面上直接就可以使用：
70b6， + 本地部署
大模型数据是开放的，本地可以在有条件的主机上运行。
llama 2 本地运行
这里是 使用文档:
可以按照下面的步骤，运行一个简单功能的项目。
6.1 下载llama-2模型数据文件
关注公众号，后台回复【】，即可获取国内加速的模型文件。
6.2 安装 -cpp 依赖
根据上述文档，选择仅使用 CPU，还是 GPU。执行对应的依赖：
pip install llama-cpp-python6.3 创建一个 main.py 文件
在文件顶部，引入以下类函数：
from langchain.llms import LlamaCpp
from langchain import PromptTemplate, LLMChain
from langchain.callbacks.manager import CallbackManager
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler6.4 加载模型
只需调用并构造类：
# Make sure the model path is correct for your system!
llm = LlamaCpp(
model_path="/Users/rlm/Desktop/Code/llama/llama-2-7b-ggml/llama-2-7b-chat.ggmlv3.q4_0.bin",
input={"temperature": 0.75, "max_length": 2000, "top_p": 1},
callback_manager=callback_manager,
verbose=True,
)6.5 任意提问
接着就可以发起任意提问了 🙂
prompt = """
Question: A rap battle between Stephen Colbert and John Oliver
"""
llm(prompt)6.6 运行起来
main.py 编辑完成，在同级目录下命令行执行：
python main.py就可以看到模型加载，以及输出的过程了。
最后
llama 2 在英文语料上比较充足，国内也有开发组织在进行中文语料的训练，相信其文本能力可以得到明显提升。
本文所介绍的方法，大家可以前往实践。比较推荐的是这个网站，响应速度非常好。
有硬件资源的，强烈推荐本地部署方案，可以更加直观感知大模型的魅力。
往期推荐
相关文章
