️ 一种利用 思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。
实现原理如下图所示，过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的 top k个 -> 匹配出的文本作为上下文和问题一起添加到 中 -> 提交给 LLM生成回答。
环境准备 硬件准备：
win11+wsl2，显卡最好是N卡，我的是（魔改版），这款性价比很高，推荐购买。
软件准备： 安装环境管理工具，pyenv或者conda，我这里用的pyenv。安装好 3.10版本，安装好显卡驱动和cuda，根据显卡来安装版本，在win11下安装就行。安装好git有梯子的话建议整一个。 验证显卡，和cuda
方法一、 打开命令提示符或 。输入以下命令：-smi在输出中，可以看到显卡的名称和支持的 CUDA 版本。
方法二、 使用 导入 torch 库。 使用torch.cuda.() 函数来检查是否支持 CUDA。 使用torch.cuda.(0) 函数来获取第一个显卡的名称。 使用torch.cuda.s(0)函数来获取第一个显卡的属性，其中包括支持的 CUDA 版本。 示例代码：
import torch
if torch.cuda.is_available():
print(f"支持 CUDA，第一个显卡名称：{torch.cuda.get_device_name(0)}")
print(f"第一个显卡支持的 CUDA 版本：{torch.cuda.get_device_properties(0).cuda_version}")
else:
print("不支持 CUDA")
这里可能有个小坑，如果win11里可以看到gpu可用，但是wsl2中无可用cpu，可以把wsl2先停掉，再重新启动。
本地搭建步骤 1、复制项目
git clone https://github.com/chatchat-space/Langchain-Chatchat.git;
cd Langchain-Chatchat
2、创建环境
这里不管你用什么虚拟环境管理都可以，一定用一个单独的环境，防止依赖冲突和报错。这里是以pyenv为例子。
python -m venv test_langchain_chat
source test_langchain_chat/bin/activate
3、安装依赖
这里安装的适合如果下载的太慢，可以使用安装源，
a、 使用-i参数安装
pip -i 。
b、全局设置安装源
可以修改 pip 的配置文件 pip.conf 来全局指定 pip 镜像源。pip.conf 文件位于用户目录下的 ./pip 目录中。 在 pip.conf 文件中，添加以下内容：
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple/
保存并关闭 pip.conf 文件后，重启 pip。
c、安装所有依赖
# 安装全部依赖
pip install -r requirements.txt
pip install -r requirements_api.txt
pip install -r requirements_webui.txt
4、下载模型
在本地或离线环境下运行，需要首先将项目所需的模型下载至本地，通常开源 LLM 与 模型可以从 下载。以本项目中默认使用的 LLM 模型 THUDM/-6B 与 模型 BAAI/bge-large-zh 为例：
下载模型常用的网站有以下几个，
.co/
下载方式有以下几种
a、git lfs下载
先安装git lfs，如下： /zh/…
git lfs install
git clone https://huggingface.co/THUDM/chatglm3-6b
git clone https://huggingface.co/BAAI/bge-large-zh
b、使用下载
详细的教程可以参考：/docs/…
pip install --upgrade huggingface_hub
from huggingface_hub import hf_hub_download
hf_hub_download(repo_id="lysandre/arxiv-nlp", filename="config.json")
c、使用-cli下载
## 安装下载客户端
pip install modelscope-cli
## 下载模型
modelscope download bert-base-chinese
5、修改和初始化配置 a、初始化配置
## 复制配置文件
python copy_config_example.py
## 初始化知识库
python init_database.py --recreate-vs
b、修改模型配置
修改/.py 建议把所有的模型放到一个文件夹，后续如果玩其他大模型指定以下目录就行了。
MODEL_ROOT_PATH = "/home/xx/soft/ai-models"
6、启动调试
执行命令启动服务；访问:8501/
python startup.py -a
7、知识库测试
我这里上传了几本epub书籍，都是金融相关的。搜索什么是指数基金是可以显示知识库来源的。
如何系统的去学习大模型LLM ？
大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。
事实上，抢你饭碗的不是AI，而是会利用AI的人。
继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？
与其焦虑……
不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！
但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。
针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 有需要的小伙伴，可以 扫描下方二维码领取↓↓↓
CSDN大礼包：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）
一、LLM大模型经典书籍
AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。
二、640套LLM大模型报告合集
这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
三、LLM大模型系列视频教程
四、LLM大模型开源教程（LLaLA/Meta//）
LLM大模型学习路线 ↓ 阶段1：AI大模型时代的基础理解 阶段2：AI大模型API应用开发工程 阶段3：AI大模型应用架构实践 阶段4：AI大模型私有化部署
这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 有需要的小伙伴，可以 扫描下方二维码领取↓↓↓
CSDN大礼包：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）
323AI导航网发布
相关文章
