GPT4All——可本地布署的AI助理

chatGPT网址2024-02-16310

欢迎访问chatgpt中文教程网，学习chatgpt相关知识，以下是正文内容：

前言

随着AI浪潮的到来，ChatGPT独领风骚，与此也涌现了一大批大模型和AI应用，在使用开源的大模型时，大家都面临着一个相同的痛点问题，那就是大模型布署时对机器配置要求高，gpu显存配置成本大。本篇介绍的GPT4All项目，是开源的助手风格大型语言模型，可以在你的CPU上本地运行。

本篇主要将GPT4All的github介绍部分和GPT4All的文档部分整理在一起，方便需要的同学查看。

GPT4All

开源的助手风格大型语言模型，可以在你的CPU上本地运行。

GPT4All网站^[1]

GPT4All文档^[2]

Discord^[3]

🦜️🔗 官方Langchain后端^[4]

GPT4All得以实现，多亏了我们的计算合作伙伴Paperspace。

在M1 Mac上运行（没有加速！）

github地址：GitHub - nomic-ai/gpt4all: gpt4all: an ecosystem of open-source chatbots trained on a massive collections of clean assistant data including code, stories and dialogue^[5]

GPT4All：开源的大型语言模型生态系统

GPT4All是一个生态系统，用于训练和部署强大且定制的大型语言模型，这些模型可以在消费级CPU上本地运行。在文档^[6]中了解更多。

目标很简单 - 成为任何个人或企业都可以自由使用、分发和构建的最佳指令调整助手风格语言模型。

GPT4All模型是一个3GB - 8GB的文件，你可以下载并插入到GPT4All开源生态系统软件中。Nomic AI支持并维护这个软件生态系统，以确保质量和安全性，同时带头让任何个人或企业都能轻松地训练和部署自己的大型语言模型。

聊天客户端

在你的家用桌面上本地运行任何GPT4All模型，使用自动更新的桌面聊天客户端。在GPT4All网站^[7]上查看你可以用这个强大的桌面应用程序运行的开源模型的完整列表。

直接安装器链接：

•Mac/OSX^[8]•Windows^[9]•Ubuntu^[10]

在GPT4All网站^[11]上找到最新的信息

聊天客户端的构建和运行

•按照聊天客户端构建和运行^[12]页面上的视觉指示进行操作

绑定

•🐍 官方Python绑定^[13]•💻 官方Typescript绑定^[14]• 💻 官方GoLang绑定^[15]•💻 官方C#绑定^[16]

文档

欢迎来到GPT4All技术文档

GPT4All是一个开源软件生态系统，允许任何人在日常硬件上训练和部署强大且定制的大型语言模型。Nomic AI监督对开源生态系统的贡献，确保质量、安全性和可维护性。GPT4All软件优化为在笔记本电脑、台式机和服务器的CPU上运行7-13亿参数大型语言模型的推理。

文档导航

为了确保跨操作系统和跨语言的兼容性，GPT4All软件生态系统 GPT4All software ecosystem^[17]按照以下结构组织为一个monorepo：

•gpt4all-backend：GPT4All后端维护并公开一个通用的、性能优化的C API，用于运行多亿参数的Transformer解码器的推理。然后，这个C API被绑定到任何高级编程语言，如C++、Python、Go等。•gpt4all-bindings：GPT4All绑定包含实现C API的各种高级编程语言。每个目录都是一个绑定的编程语言。•gpt4all-api：GPT4All API（正在初步开发）公开REST API端点，用于从大型语言模型中获取完成和嵌入。•gpt4all-chat：GPT4All Chat是一个在OSX、Windows和Ubuntu上运行的本地聊天应用程序。它是在日常硬件上运行本地、隐私意识聊天助手的最简单方式。你可以在GPT4All网站 GPT4All Website^[18]上下载它，并在monorepo中阅读其源代码。

在侧边栏中探索后端、绑定和聊天客户端的详细文档。

模型

GPT4All模型是通过一种称为神经网络量化的过程产生的工件。一个多亿参数的Transformer解码器通常需要30+ GB的VRAM来执行前向传递。大多数人没有如此强大的计算机或访问GPU硬件的权限。通过运行训练过的LLM通过量化算法，GPT4All模型可以在你的笔记本电脑上使用只有4-8GB的RAM运行，使其广泛的实用性。

GPT4All软件生态系统目前与Transformer神经网络架构的三个变体兼容：

•LLaMa•GPT-J•MPT

任何使用这些架构训练的模型都可以被量化并在所有GPT4All绑定和聊天客户端中本地运行。你可以通过贡献gpt4all-backend来添加新的变体。你可以在网站 website^[19]上或聊天客户端的下载面板中找到预量化模型的详尽列表。

常见问题解答

通过搜索Github问题Github issues^[20]或在文档FAQ中找到常见问题documentation FAQ^[21]的答案。

充分利用你的本地LLM

推理速度

本地LLM的推理速度取决于两个因素：模型大小和作为输入的令牌数量。不建议使用大量的上下文提示本地LLM，因为它们的推理速度会大大降低。如果你想使用大于750令牌的上下文窗口，你可能需要在GPU上运行GPT4All模型。GPT4All模型的本地GPU支持计划中。

推理性能

哪个模型最好？这个问题取决于你的用例。LLM遵循指令的能力取决于它训练的预训练数据的数量和多样性，以及LLM进行微调的数据的多样性、质量和事实性。GPT4All的目标是将最强大的本地助手模型带到你的桌面，Nomic AI正在积极地改进它们的性能和质量。

GPT4All聊天客户端

GPT4All聊天客户端 GPT4All Chat Client^[22]让你可以轻松地与任何本地大型语言模型进行交互。它优化了在任何运行OSX/Windows/Linux的计算机的CPU上运行7-13B参数LLM的能力。

在CPU上运行LLM

GPT4All聊天界面支持所有新版本的ggML，llama.cpp，包括LLaMA，MPT和GPT-J架构。falcon和replit架构也将很快得到支持。

GPT4All维护了一个官方推荐模型的列表，位于models.json models.json^[23]中。你可以向其提出新模型的拉取请求，如果被接受，它们将出现在官方下载对话框中。

侧载任何ggML模型

如果一个模型与gpt4all-backend兼容，你可以将其侧载到GPT4All聊天中，方法如下：

•下载ggML格式的模型。它应该是一个3-8 GB的文件，类似于这里的文件 here^[24]。•确定你的GPT4All聊天下载文件夹。这是下载对话框底部列出的路径。•在你下载的模型前面加上字符串ggml-，并将其放入GPT4All聊天下载文件

夹。

•重启你的聊天应用。你的模型应该会出现在下载对话框中。

插件

GPT4All聊天插件允许你扩展本地LLM的功能。

LocalDocs Beta插件（与你的数据聊天）

LocalDocs是一个GPT4All插件，允许你与你的本地文件和数据进行聊天。它允许你使用强大的本地LLM与私有数据进行聊天，而不会有任何数据离开你的计算机或服务器。

当使用LocalDocs时，你的LLM会引用最有可能对给定输出做出贡献的源。注意，即使装备了LocalDocs的LLM也可能产生幻觉。如果LocalDocs插件决定利用你的文档来帮助回答一个提示，你会看到参考出现在响应下方。

GPT4All-Snoozy with LocalDocs. Try GPT4All-Groovy for a faster experience!

启用LocalDocs

•从GPT4All网站安装最新版本的GPT4All聊天 GPT4All Website^[25].。•转到设置 > LocalDocs选项卡。•配置你的计算机上包含LLM应该访问的文件的集合（文件夹）。你可以随时更改文件夹/目录的内容。当你向你的集合添加更多文件时，你的LLM将能够动态地访问它们。•与任何LLM（包括外部的像ChatGPT的，但警告数据将离开你的机器！）启动一个聊天会话。•在右上角，点击数据库图标并选择你希望你的LLM在你的聊天会话中了解的集合。

LocalDocs功能

LocalDocs允许你的LLM了解你的文档集合内容的上下文。并非所有的提示/问题都会使用你的文档集合作为上下文。如果在你的LLM的响应中使用了LocalDocs，你将看到LocalDocs使用的文档片段的引用。

LocalDocs可以：

•根据你的提示/问题查询你的文档。如果你的文档包含可能有助于回答你的问题/提示的答案，LocalDocs将尝试利用你的文档的片段提供上下文。

LocalDocs不能：

•回答一般的元数据查询（例如，你知道哪些文档？，告诉我关于我的文档的信息）•总结单个文档（例如，总结我的《大宪章》PDF。）

请参阅故障排除部分以获取常见问题的解决方案。

LocalDocs如何工作

LocalDocs通过维护你的集合链接到的目录中所有数据的索引来工作。这个索引包括每个文档的小块，当你向LLM提问时，这些小块可以作为额外的输入。

这个插件使用的一般技术被称为检索增强生成 Retrieval Augmented Generation^[26].。这些文档块帮助你的LLM在知道你的数据内容的情况下回应查询。

关于RAC的介绍可以看看笔者的这篇文章：RAG——使用检索增强生成构建特定行业的大型语言模型

每个块的数量和大小可以在LocalDocs插件设置选项卡中配置。

为了索引速度，LocalDocs在决定你的LLM应该使用哪些文档块作为上下文时，使用了基于n-gram和TF-IDF的检索，而不是深度学习。你会发现它的质量与基于嵌入的检索方法相当，但是摄取数据的速度快得多。

LocalDocs支持以下文件类型：

["txt", "doc", "docx", "pdf", "rtf", "odt", "html", "htm", "xls", "xlsx", "csv", "ods", "ppt", "pptx", "odp", "xml", "json", "log", "md", "tex", "asc", "wks", "wpd", "wps", "wri", "xhtml", "xht", "xslt", "yaml", "yml", "dtd", "sgml", "tsv", "strings", "resx", "plist", "properties", "ini", "config", "bat", "sh", "ps1", "cmd", "awk", "sed", "vbs", "ics", "mht", "mhtml", "epub", "djvu", "azw", "azw3", "mobi", "fb2", "prc", "lit", "lrf", "tcr", "pdb", "oxps", "xps", "pages", "numbers", "key", "keynote", "abw", "zabw", "123", "wk1", "wk3", "wk4", "wk5", "wq1", "wq2", "xlw", "xlr", "dif", "slk", "sylk", "wb1", "wb2", "wb3", "qpw", "wdb", "wks", "wku", "wr1", "wrk", "xlk", "xlt", "xltm", "xltx", "xlsm", "xla", "xlam", "xll", "xld", "xlv", "xlw", "xlc", "xlm", "xlt", "xln"]

故障排除和常见问题解答

我的LocalDocs插件没有使用我的文档

•确保你的聊天会话已启用LocalDocs（右上角的DB图标应该有一个边框）•尝试修改你的提示，使其更具体，并使用你的文档中的术语。这将增加LocalDocs匹配你的问题的文档片段的可能性。•如果你的文档集合很大，等待1-2分钟，让它完成索引。

LocalDocs路线图

•基于嵌入的语义搜索进行检索。•自定义模型在循环中进行微调检索。•插件与聊天客户端服务器模式的兼容性。

服务器模式

GPT4All Chat 内置了一个服务器模式，允许您通过一个非常熟悉的 HTTP API 与任何支持的本地 LLM 进行编程交互。您可以在这里^[27]找到 API 文档。

在聊天客户端中启用服务器模式将在 localhost 的 4891 端口上运行一个 HTTP 服务器（反向端口为 1984）。您可以通过 GPT4All Chat > 设置 > 启用Web服务器 来启用 Web 服务器。

通过更改请求的基本路径，即可在您的 AI 动力应用程序中使用本地 LLM：

import openai
openai.api_base = "http://localhost:4891/v1"#openai.api_base = "https://api.openai.com/v1"
openai.api_key = "not needed for a local LLM"
# Set up the prompt and other parameters for the API requestprompt = "Who is Michael Jordan?"
# model = "gpt-3.5-turbo"#model = "mpt-7b-chat"model = "gpt4all-j-v1.3-groovy"
# Make the API requestresponse = openai.Completion.create(    model=model,    prompt=prompt,    max_tokens=50,    temperature=0.28,    top_p=0.95,    n=1,    echo=True,    stream=False)
# Print the generated completionprint(response)

这会给出下面的响应：

{  "choices": [    {      "finish_reason": "stop",      "index": 0,      "logprobs": null,      "text": "Who is Michael Jordan?\nMichael Jordan is a former professional basketball player who played for the Chicago Bulls in the NBA. He was born on December 30, 1963, and retired from playing basketball in 1998."    }  ],  "created": 1684260896,  "id": "foobarbaz",  "model": "gpt4all-j-v1.3-groovy",  "object": "text_completion",  "usage": {    "completion_tokens": 35,    "prompt_tokens": 39,    "total_tokens": 74  }}

开发者

•GPT4All^[28]：一个开源项目，旨在使任何人都能够在自己的计算机上运行大型语言模型。•Nomic^[29]：一个开源项目，旨在使任何人都能够在自己的计算机上运行大型语言模型。

许可证

GPT4All聊天客户端和LocalDocs插件都是根据Apache 2.0许可证发布的。

GPT4All Python API

GPT4All包提供了Python绑定和一个API，以便我们的C/C++模型后端库。源代码、README和本地构建指令可以在这里^[30]找到。

快速开始

pip install gpt4all

在Python中，运行以下命令来获取一个GPT4All模型并生成对一个提示的响应。

下载注意事项：默认情况下，模型存储在~/.cache/gpt4all/（你可以通过model_path来改变这个）。如果文件已经存在，模型下载将被跳过。

import gpt4all gptj = gpt4all.GPT4All("ggml-gpt4all-j-v1.3-groovy") messages = [{"role": "user", "content": "Name 3 colors"}] gptj.chat_completion(messages)

试试看！

Google Colab 教程^[31]

支持的模型

Python绑定支持以下ggml架构：gptj，llama，mpt。查看API参考以获取更多详情。

最佳实践

有两种方法可以与底层语言模型进行交互，chat_completion()和generate()。Chat completion将用户提供的消息字典格式化为一个提示模板（查看API文档以获取更多详情和选项）。这通常会产生更好的结果，是我们推荐的方法。你也可以使用generate()来提示模型，这将只是将原始输入字符串传递给模型。

Python API参考

`GPT4All`

用于检索和交互GPT4All模型的Python API。

属性

model: 指向底层C模型的指针。

源代码在gpt4all/gpt4all.py

`init(model_name, model_path=None, model_type=None, allow_download=True)`

构造函数

参数：

•model_name (str) –GPT4All或自定义模型的名称。包括".bin"文件扩展名是可选的，但是鼓励这样做。•model_path (str) –包含模型文件的目录的路径，或者，如果文件不存在，下载模型的位置。默认为None，在这种情况下，模型将存储在~/.cache/gpt4all/。•model_type (str) –模型架构。这个参数目前没有任何功能，只是作为用户的描述性标识符。默认为None。•allow_download –允许API从gpt4all.io下载模型。默认为True。

源代码在`gpt4all/gpt4all.py

`chat_completion(messages, default_prompt_header=True, default_prompt_footer=True, verbose=True, streaming=True, **generate_kwargs)`

将消息字典列表格式化为一个提示，并在提示上调用模型生成。返回一个带有元数据和生成内容的响应字典。

参数：

•messages (List[Dict]) –字典列表。每个字典应该有一个"role"键，值为"system"，"assistant"，或"user"，和一个"content"键，值为一个字符串。消息被组织成"system"消息在提示的顶部，"user"和"assistant"消息按顺序显示。助手消息被格式化为"Response: {content}"。•default_prompt_header (bool) –如果为True（默认），在任何系统角色消息之后和用户/助手角色消息之前添加默认提示头。•default_prompt_footer (bool) –如果为True（默认），在提示的末尾添加默认页脚。•verbose (bool) –如果为True（默认），打印完整的提示和生成的响应。•streaming (bool) –如果想要输出流式传输到stdout，则为True。•**generate_kwargs –可选的kwargs传递给提示上下文。

•dict –带有以下内容的响应字典：
"model": 模型的名称。
"usage": 一个字典，包含完整提示的令牌数，响应中生成的令牌数，和总令牌数。
"choices": 消息字典列表，其中"content"是生成的响应，"role"被设置为"assistant"。现在，模型只返回一个选择。

源代码在gpt4all/gpt4all.py

`download_model(model_filename, model_path, verbose=True, url=None)` `staticmethod`

从https://gpt4all.io下载模型。

参数：

•model_filename (str) – 模型的文件名（带有.bin扩展名）。•model_path (str) – 下载模型的路径。•verbose (bool) – 如果为True（默认），打印调试消息。•url (str) – 模型的远程url（例如，可能托管在HF上）

•str – 模型文件的目的地。

源代码在gpt4all/gpt4all.py

`generate(prompt, streaming=True, **generate_kwargs)`

在不访问模型对象的情况下运行生成的表面方法。

参数：

•prompt (str) – 要传递给模型的原始字符串。•streaming (bool) – 如果想要输出流式传输到stdout，则为True。•**generate_kwargs – 可选的kwargs传递给提示上下文。

•str – 生成的模型响应的

原始字符串。

源代码在gpt4all/gpt4all.py

`generator(prompt, **generate_kwargs)`

在不访问模型对象的情况下运行生成的表面方法。

参数：

•prompt (str) – 要传递给模型的原始字符串。•streaming – 如果想要输出流式传输到stdout，则为True。•**generate_kwargs –可选的kwargs传递给提示上下文。

•str –生成的模型响应的原始字符串。

源代码在gpt4all/gpt4all.py

`list_models()` `staticmethod`

从https://gpt4all.io/models/models.json获取模型列表。

•JSON格式的模型列表。

源代码在gpt4all/gpt4all.py

`retrieve_model(model_name, model_path=None, allow_download=True, verbose=True)` `staticmethod`

查找模型文件，如果不存在，下载模型。

参数：

•model_name (str) –模型的名称。•model_path (str) –查找模型的路径。默认为None，在这种情况下，路径设置为~/.cache/gpt4all/。•allow_download (bool) –允许API从gpt4all.io下载模型。默认为True。•verbose (bool) –如果为True（默认），打印调试消息。

•str –模型文件的目的地。

源代码在gpt4all/gpt4all.py

GPT4All with Modal Labs

在Modal Labs^[32]基础设施上可以轻松查询任何GPT4All模型。Modal Labs则是提供机器学习和人工智能基础设施的公司，它提供了可以使用GPT4All模型的平台。

示例

import modal
def download_model():    import gpt4all    #you can use any model from https://gpt4all.io/models/models.json    return gpt4all.GPT4All("ggml-gpt4all-j-v1.3-groovy.bin")
image=modal.Image.debian_slim().pip_install("gpt4all").run_function(download_model)stub = modal.Stub("gpt4all", image=image)@stub.cls(keep_warm=1)class GPT4All:    def __enter__(self):        print("Downloading model")        self.gptj = download_model()        print("Loaded model")
    @modal.method()    def generate(self):        messages = [{"role": "user", "content": "Name 3 colors"}]        completion = self.gptj.chat_completion(messages)        print(f"Completion: {completion}")
@stub.local_entrypoint()def main():    model = GPT4All()    for i in range(10):        model.generate.call()

GPT4All 常见问题解答

GPT4All 生态系统支持哪些模型？

目前，GPT4All 生态系统支持三种不同的模型架构：

1.GPTJ - 基于 GPT-J 架构，示例可以在这里^[33] 找到。2.LLAMA - 基于 LLAMA 架构，示例可以在这里^[34] 找到。3.MPT - 基于 Mosaic ML 的 MPT 架构，示例可以在这里^[35] 找到。

为什么会有这么多不同的架构？它们有何不同之处？

其中一个主要的区别是许可证。目前，基于 LLAMA 的模型受到非商业许可证的限制，而 GPTJ 和 MPT 基础模型允许商业使用。在最近开源本地模型活动的早期阶段，llama 模型通常被认为表现更好，但情况正在迅速改变。每周甚至每天都会发布新模型，其中一些 GPTJ 和 MPT 模型在性能/质量上与 LLAMA 相媲美。此外，MPT 模型具有一些非常好的架构创新，可能会带来新的性能/质量提升。

GPT4All 如何使这些模型可用于 CPU 推理？

通过利用由Georgi Gerganov及其不断增长的开发者社区编写的 ggml 库。目前，该库有多个不同的版本。原始的 GitHub 仓库可以在这里^[36] 找到，但该库的开发者还创建了一个基于 LLAMA 的版本，可以在这里^[37] 找到。当前，此后端正在使用后者作为子模块。

这是否意味着 GPT4All 与所有 llama.cpp 模型兼容，反之亦然？

是的！

上游 llama.cpp^[38] 项目最近引入了几种破坏兼容性的量化方法^[39]。这是一个破坏性变化，使得先前的所有模型（包括 GPT4All 使用的模型）无法在较新版本的 llama.cpp 中使用。

幸运的是，我们设计了一个子模块系统，使我们能够动态加载不同版本的基础库，从而使 GPT4All 可以正常工作。

GPU 推理怎么样？

在较新的 llama.cpp 版本中，已经增加了对 NVIDIA GPU 推理的支持。我们正在研究如何将其纳入我们可下载的安装程序中。

好的，那么最重要的是... 我现在如何使我的 Huggingface 模型与 GPT4All 生态系统兼容？

1.检查 Huggingface 模型是否在我们支持的三种架构之一中可用。2.如果是，您可以使用我们固定的 llama.cpp 子模块中的转换脚本，适用于 GPTJ 和 LLAMA 基于的模型。3.或者，如果您的模型是 MPT 模型，您可以直接在此后端目录的 scripts 子目录下使用转换脚本。

贡献

GPT4All欢迎开源社区的贡献、参与和讨论！请查看CONTRIBUTING.md^[40]并按照问题、错误报告和PR markdown模板进行操作。通过项目Discord、与项目所有者联系或通过现有的问题/PRs检查，以避免重复的工作。请确保将所有上述内容标记为相关的项目标识符，否则您的贡献可能会丢失。示例标签：后端、绑定、python-绑定、文档等。

技术报告

•📗 技术报告3：GPT4All Snoozy和Groovy^[41]•📗 技术报告2：GPT4All-J^[42]•📗 技术报告1：GPT4All^[43]

引用

如果你在下游项目中使用了这个仓库、模型或数据，请考虑引用它：

@misc{gpt4all,  author = {Yuvanesh Anand and Zach Nussbaum and Brandon Duderstadt and Benjamin Schmidt and Andriy Mulyar},  title = {GPT4All: Training an Assistant-style Chatbot with Large Scale Data Distillation from GPT-3.5-Turbo},  year = {2023},  publisher = {GitHub},  journal = {GitHub repository},  howpublished = {\\url{https://github.com/nomic-ai/gpt4all}},}

References

[1] GPT4All网站: https://gpt4all.com/
[2] GPT4All文档: https://docs.gpt4all.com/
[3] Discord: https://discord.gg/7qY2HyFh
[4] 🦜️🔗 官方Langchain后端: https://github.com/nomic-ai/langchain
[5] GitHub - nomic-ai/gpt4all: gpt4all: an ecosystem of open-source chatbots trained on a massive collections of clean assistant data including code, stories and dialogue: https://github.com/nomic-ai/gpt4all
[6] 文档: https://docs.gpt4all.com/
[7] GPT4All网站: https://gpt4all.com/
[8] Mac/OSX: https://gpt4all.com/downloads/GPT4All-Setup-1.0.0.dmg
[9] Windows: https://gpt4all.com/downloads/GPT4All-Setup-1.0.0.exe
[10] Ubuntu: https://gpt4all.com/downloads/GPT4All-1.0.0.AppImage
[11] GPT4All网站: https://gpt4all.com/
[12] 构建和运行: https://docs.gpt4all.com/chat_client/build_and_run
[13] 🐍 官方Python绑定: https://github.com/nomic-ai/gpt4all-python
[14] 💻 官方Typescript绑定: https://github.com/nomic-ai/gpt4all-typescript
[15] 💻 官方GoLang绑定: https://github.com/nomic-ai/gpt4all-golang
[16] 💻 官方C#绑定: https://github.com/nomic-ai/gpt4all-csharp
[17] GPT4All software ecosystem: https://github.com/nomic-ai/gpt4all
[18] GPT4All Website: https://gpt4all.io/
[19] website: https://gpt4all.io/
[20] Github issues: https://github.com/nomic-ai/gpt4all/issues
[21] documentation FAQ: https://docs.gpt4all.io/gpt4all_faq.html
[22] GPT4All Chat Client: https://gpt4all.io/
[23] models.json: https://github.com/nomic-ai/gpt4all/blob/main/gpt4all-chat/metadata/models.json
[24] here: https://huggingface.co/TheBloke/Samantha-7B-GGML/tree/main
[25] GPT4All Website: https://gpt4all.io/
[26] Retrieval Augmented Generation: https://arxiv.org/abs/2005.11401
[27] 这里: https://platform.openai.com/docs/api-reference/completions
[28] GPT4All: https://github.com/nomic-ai/gpt4all
[29] Nomic: https://nomic.ai/
[30] 这里: https://github.com/nomic-ai/gpt4all/tree/main/gpt4all-bindings/python
[31] Google Colab 教程: https://colab.research.google.com/drive/1QRFHV5lj1Kb7_tGZZGZ-E6BfX6izpeMI?usp=sharing
[32] Modal Labs: https://modal.com/
[33] 这里: https://huggingface.co/EleutherAI/gpt-j-6b
[34] 这里: https://huggingface.co/models?sort=downloads&search=llama
[35] 这里: https://huggingface.co/mosaicml/mpt-7b
[36] 这里: https://github.com/ggerganov/ggml
[37] 这里: https://github.com/ggerganov/llama.cpp
[38] llama.cpp: https://github.com/ggerganov/llama.cpp
[39] 量化方法: https://github.com/ggerganov/llama.cpp/commit/b9fd7eee57df101d4a3e3eabc9fd6c2cb13c9ca1
[40] CONTRIBUTING.md: https://github.com/nomic-ai/gpt4all/blob/main/CONTRIBUTING.md
[41] 📗 技术报告3：GPT4All Snoozy和Groovy: https://github.com/nomic-ai/gpt4all/blob/main/technical_reports/TR3_Snoozy_Groovy.pdf
[42] 📗 技术报告2：GPT4All-J: https://github.com/nomic-ai/gpt4all/blob/main/technical_reports/TR2_GPT4All-J.pdf
[43] 📗 技术报告1：GPT4All: https://github.com/nomic-ai/gpt4all/blob/main/technical_reports/TR1_GPT4All.pdf

本文链接：https://gptwangzhi.top/chatgpt/110.html

chatgpt国内能用吗 chatgpt是什么盘古 Chat

gpt4 无法使用
GPT4 无法使用：问题诊断与解决方案尊敬的用户，您好！如果您在尝试使用 GPT4（即 ChatGPT 的一个版本）时遇到了无法使用的问题，这篇文章将为您提供详细的诊断步骤和解决方案，我们将从不同的角...
ChatGpt资讯2024-11-216gpt4 无法使用
全面解析，GPT-4模型的费用及其应用价值
随着人工智能技术的飞速发展，自然语言处理（NLP）领域中的GPT（Generative Pre-trained Transformer）模型成为了众多技术爱好者和企业关注的焦点，GPT-4作为Open...
ChatGpt资讯2024-11-213gpt4模型费用
GPT4学英语，零基础到流利精通的实用指南
随着人工智能技术的飞速发展，学习新语言变得更加便捷和高效，GPT4，作为最新的语言模型，为英语学习者提供了一个全新的学习平台，无论您是英语初学者还是希望提高英语水平的学习者，GPT4都能成为您学习英语...
ChatGpt资讯2024-11-2033gpt4学英语
GPT-4，深度解析与使用指南
随着人工智能技术的飞速发展，GPT（Generative Pre-trained Transformer）系列模型已经成为自然语言处理领域的明星，GPT-4，作为该系列的最新成员，以其强大的语言理解和...
ChatGpt资讯2024-11-208gpt4 25次
GPT-4的创作者，揭秘人工智能领域的先驱者
在人工智能（AI）的快速发展中，自然语言处理（NLP）技术的进步尤为引人注目，GPT（Generative Pre-trained Transformer）系列模型因其强大的文本生成能力而广为人知，G...
ChatGpt资讯2024-11-2022gpt4的创作者

GPT4All——可本地布署的AI助理

前言

GPT4All

GPT4All：开源的大型语言模型生态系统

聊天客户端

绑定

文档

欢迎来到GPT4All技术文档

文档导航

模型

常见问题解答

充分利用你的本地LLM

推理速度

推理性能

GPT4All聊天客户端

在CPU上运行LLM

侧载任何ggML模型

插件

LocalDocs Beta插件（与你的数据聊天）

启用LocalDocs

LocalDocs功能

LocalDocs如何工作

故障排除和常见问题解答

服务器模式

开发者

许可证

GPT4All Python API

快速开始

试试看！

支持的模型

最佳实践

Python API参考

GPT4All

__init__(model_name, model_path=None, model_type=None, allow_download=True)

chat_completion(messages, default_prompt_header=True, default_prompt_footer=True, verbose=True, streaming=True, **generate_kwargs)

download_model(model_filename, model_path, verbose=True, url=None) staticmethod

generate(prompt, streaming=True, **generate_kwargs)

generator(prompt, **generate_kwargs)

list_models() staticmethod

retrieve_model(model_name, model_path=None, allow_download=True, verbose=True) staticmethod

GPT4All with Modal Labs

示例

GPT4All 常见问题解答

GPT4All 生态系统支持哪些模型？

为什么会有这么多不同的架构？它们有何不同之处？

GPT4All 如何使这些模型可用于 CPU 推理？

这是否意味着 GPT4All 与所有 llama.cpp 模型兼容，反之亦然？

GPU 推理怎么样？

好的，那么最重要的是... 我现在如何使我的 Huggingface 模型与 GPT4All 生态系统兼容？

贡献

技术报告

引用

References

相关文章

gpt4 无法使用

全面解析，GPT-4模型的费用及其应用价值

GPT4学英语，零基础到流利精通的实用指南

GPT-4，深度解析与使用指南

GPT-4的创作者，揭秘人工智能领域的先驱者

网友评论

`GPT4All`

`init(model_name, model_path=None, model_type=None, allow_download=True)`

`chat_completion(messages, default_prompt_header=True, default_prompt_footer=True, verbose=True, streaming=True, **generate_kwargs)`

`download_model(model_filename, model_path, verbose=True, url=None)` `staticmethod`

`generate(prompt, streaming=True, **generate_kwargs)`

`generator(prompt, **generate_kwargs)`

`list_models()` `staticmethod`

`retrieve_model(model_name, model_path=None, allow_download=True, verbose=True)` `staticmethod`