GPT4All是基于LLaMa的~800kGPT-3.5-TurboGenerations训练出来的助手式大型语言模型，这个模型接受了大量干净的助手数据的训练，包括代码、故事和对话，可作为 GPT4的平替。
在M1Mac上运行的示例：
自己试试从 DirectLink or [Torrent-Magnet] 下载 gpt4all-lora-quantized.bin 文件。克隆此仓库，导航至 chat ，并将下载的文件放在那里。为操作系统运行适当的命令：M1Mac/OSX: cdchat;./gpt4all-lora-quantized-OSX-m1Linux: cdchat;./gpt4all-lora-quantized-linux-x86Windows(PowerShell): cdchat;./gpt4all-lora-quantized-win64.exeIntelMac/OSX: cdchat;./gpt4all-lora-quantized-OSX-intel注意：GPU上的完整模型（需要16GB显存）在定性评估中表现更好。
Python客户端CPU接口要使用带有CPU接口的python客户端运行，首先使用安装nomic 客户端 ，然后可以使用以下脚本与GPT4All进行交互：pipinstallnomicfromnomic.gpt4allimportGPT4Allm=GPT4All()m.open()m.prompt('writemeastoryaboutalonelycomputer')显卡接口有两种方法可以在GPU上启动和运行此模型。此处的设置比CPU模型稍微复杂一些。
克隆nomic客户端repo并在主目录中运行 pipinstall.[GPT4All] 。运行 pipinstallnomic 并从此处构建的wheels安装额外的deps完成后，可以使用如下脚本在GPU上运行模型：fromnomic.gpt4allimportGPT4AllGPUm=GPT4AllGPU(LLAMA_PATH)config={'num_beams':2,'min_new_tokens':10,'max_length':100,'repetition_penalty':2.0}out=m.generate('writemeastoryaboutalonelycomputer',config)print(out)其中LLAMA_PATH是HuggingfaceAutomodel兼容的LLAMA模型的路径,Nomic目前无法分发此文件。
可以在配置中传递任何huggingface生成配置参数。
路线图短期（进行中）基于GPTJ训练GPT4All模型以缓解llama分布问题。（进行中）为此模型创建改进的CPU和GPU接口。（未开始）集成llama.cpp绑定（未开始）为模型创建一个良好的对话聊天界面。（未开始）允许用户选择加入并提交他们的聊天记录以进行后续培训中期（未开始）将GPT4All与Atlas集成以允许文档检索。被基于GPTJ的GPT4All屏蔽（未开始）将GPT4All与Langchain集成。（进行中）构建简单的自定义训练脚本以允许用户微调模型。长期（未开始）允许任何人使用Atlas为后续GPT4All版本整理训练数据。（进行中）使AI民主化。再现性训练有素的LoRa权重：gpt4all-lora（四个完整的训练阶段）： https://huggingface.co/nomic-ai/gpt4all-loragpt4all-lora-epoch-2（三个完整的训练阶段）https://huggingface.co/nomic-ai/gpt4all-lora-epoch-2原始数据：没有P3的训练数据资源管理器：https://atlas.nomic.ai/map/gpt4all_data_clean_without_p3P3的完整数据集资源管理器：https://atlas.nomic.ai/map/gpt4all_data_clean
评论