一款在本地运行的LLM:GPT4All,最新发布了V3.0版本

3.0 版本在 UI/UX 上做了改进

1、本地运行
2、支持多种模型,包括不限于所有 LLaMA 模型
3、支持 Windows、MacOS 、Ubuntu
4、GPT4All 3.0 在用户界面和用户体验上做了改进,扩展了对更多模型架构的访问权限
5、支持与本地文件交互
6、支持与其他工具/平台集成,比如 Langchain、Weaviate 、 OpenLIT

github项目:https://github.com/nomic-ai/gpt4all

安装 GPT4All Python

  • gpt4all 使您可以通过我们围绕 llama.cpp 实现的 Python 客户端访问 LLMs
  • Nomic 为 llama.cpp 等开源软件做出了贡献,使所有人都可以使用和高效地使用 LLMs
  • pip install gpt4all

from gpt4all import GPT4All
model = GPT4All("Meta-Llama-3-8B-Instruct.Q4_0.gguf") # downloads / loads a 4.66GB LLM
with model.chat_session():
print(model.generate("How can I run LLMs efficiently on my laptop?", max_tokens=1024))

一款在本地运行的LLM:GPT4All,最新发布了V3.0版本

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
今日签到
有新私信 私信列表
搜索