大语言模型‌ AnythingLLM – 真·一键运行本地 LLM 大语言模型|全离线操作:与文档聊天、与 AI 聊天

默认分类4天前发布 admin
4,488 0
ChatGPT国内版

是一款可以在本地电脑一件运行 LLM 大语言模型的跨平台桌面客户端,支持 、macOS、Linux,支持自选模型,也可以从软件内下载模型。它还支持嵌入模型、语音、转录,最重要的是可以实现完全离线,不依托任何云服务。@

在《LM – 有电脑就能用,傻瓜、一站式部署本地大语言模型|然后,像 那样提问》中,@路人甲乙丙 留言回复称:

这款其实不算傻瓜, 才是,多平台,单文件安装。模型下载内部选,集成了 ,支持中文界面。

官网推荐的 Win 平台下全都试了,论便利首选 ,可 或官网下载,全免费。

与 LM 类似, 也是一款适合在自己电脑里部署 LLM 的工具,但功能更丰富一些,比如在 的嵌入首选项中,你可以选择 LM 作为嵌入引擎提供商。

只需要在 LM 打开 , 就会自动识别:

大语言模型‌ AnythingLLM – 真·一键运行本地 LLM 大语言模型|全离线操作:与文档聊天、与 AI 聊天

对了,我在 中,导入了之前测试 LM 的时候下载的模型。很方便。

来看一下开发者提供的视频:

安装之后, 回来一波对话,给你介绍如何使用:

设置模型

你需要为 设置模型,包括首选模型、向量数据库、嵌入模型、语音、转录模型。

默认情况下, 自带了模型,不过也可以根据需要自己下载模型:

大语言模型‌ AnythingLLM – 真·一键运行本地 LLM 大语言模型|全离线操作:与文档聊天、与 AI 聊天

上图中 里就有很多模型,下载速度还有点快,也是很奇怪。

在工作区中,可以上传文件,这样这些文件就变成了你的向量数据库,相当于对着文档提问。

但青小蛙使用内置的模型测试,发现似乎效果很不好,答非所问,也不知道它在想什么。

还是说,模型选择有问题。

青小蛙觉得,对比在线大语言模型,即开即问、上传文档直接问,本地的大语言模型在使用门槛上存在至少有1个小时的入门学习时间。虽然 已经把安装门槛降低到了0,但是模型的选择使用是个很大的槛,就看各位是否愿意继续深入研究了。

获取

原文:

323AI导航网发布

© 版权声明
广告也精彩

相关文章

暂无评论

暂无评论...