3.0 版本在 UI/UX 上做了改进
1、本地运行
2、支持多种模型,包括不限于所有 LLaMA 模型
3、支持 Windows、MacOS 、Ubuntu
4、GPT4All 3.0 在用户界面和用户体验上做了改进,扩展了对更多模型架构的访问权限
5、支持与本地文件交互
6、支持与其他工具/平台集成,比如 Langchain、Weaviate 、 OpenLIT
github项目:https://github.com/nomic-ai/gpt4all
安装 GPT4All Python
- gpt4all 使您可以通过我们围绕 llama.cpp 实现的 Python 客户端访问 LLMs。
- Nomic 为 llama.cpp 等开源软件做出了贡献,使所有人都可以使用和高效地使用 LLMs。
- pip install gpt4all
from gpt4all import GPT4All
model = GPT4All("Meta-Llama-3-8B-Instruct.Q4_0.gguf") # downloads / loads a 4.66GB LLM
with model.chat_session():
print(model.generate("How can I run LLMs efficiently on my laptop?", max_tokens=1024))