Evals是一个评估OpenAI模型的框架和一个开源的基准测试注册表，你可以使用Evals来创建和运行评估：
使用数据集来生成提示信息衡量OpenAI模型所提供的完成度的质量比较不同数据集和模型的性能Evals的目标是使建立一个评估尽可能简单，同时编写尽可能少的代码。要开始使用，建议你依次按照以下步骤进行：
通读本文档，并遵循下面的设置说明。了解如何运行现有的评价：run-evals.md熟悉现有的评估模板：eval-templates.md了解构建评估的过程：build-eval.md看一个实现自定义评价逻辑的例子：custom-eval.md。设置要运行评估，需要设置并指定您的OpenAIAPI密钥。获取API密钥后，使用OPENAI_API_KEY环境变量指定它。
下载评估Evals注册表使用Git-LFS存储，下载并安装LFS后，可以通过以下方式获取评估：
gitlfsfetch--allgitlfspull你可能只想为选择的评估获取数据，则可以通过以下方式实现：
gitlfsfetch--include=evals/registry/data/${youreval}gitlfspull进行评估如果您要创建评估，建议直接从GitHub克隆此仓库并使用以下命令安装要求：
pipinstall-e.使用-e，对eval所做的更改将立即反映出来，而无需重新安装。
评论