localGPT可使用GPT模型在本地设备上进行聊天，数据在本地运行，且100%保密。
这个项目的灵感来自于最初的privateGPT。这个模型用Vicuna-7B模型替换了GPT4ALL模型，使用InstructorEmbeddings而不是原始privateGPT中使用的LlamaEmbeddings。Embeddings和LLM都将在GPU而不是CPU上运行。如果您没有GPU，也有CPU支持（请参阅下面的说明）。使用LLM的强大功能，无需互联网连接就可以对文档提出问题。100%私有，任何时候都没有数据离开执行环境。可以在没有互联网连接的情况下提取文档和提问！使用 LangChain 和 Vicuna-7B 以及 InstructorEmbeddings 构建环境设置为了设置您的环境以在此处运行代码，首先安装所有要求：pipinstall-rrequirements.txt摄取自己的数据集将所有.txt、.pdf或.csv文件放入load_documents()函数中的SOURCE_DOCUMENTS目录，将docs_path替换为source_documents目录的绝对路径。当前默认文件类型为.txt、.pdf、.csv和.xlsx，如果您想使用任何其他文件类型，您需要将其转换为默认文件类型之一。运行以下命令以摄取所有数据。pythoningest.py它将创建一个包含本地vectorstore的索引。需要时间，具体取决于文档的大小。您可以摄取任意数量的文档，所有文档都将累积在本地嵌入数据库中。如果要从空数据库开始，请删除index.注意：当您第一次运行它时，下载需要时间，因为它必须下载嵌入模型。在后续运行中，没有数据会离开本地环境，并且可以在没有互联网连接的情况下运行。在本地对您的文件提出问题！要提出问题，请运行如下命令：pythonrun_localGPT.py并等待脚本要求您输入。>Enteraquery:点击进入。等待LLM模型使用提示并准备答案。完成后，它将打印答案和用作文档上下文的4个来源；然后您可以问另一个问题而无需重新运行脚本，只需再次等待提示即可。注意：第一次运行时，需要连接互联网才能下载vicuna-7B模型。之后您可以关闭互联网连接，脚本推理仍然有效。没有数据会从您的本地环境中泄露出来。键入exit以完成脚本。
点击空白处退出提示
评论