DAIBench（DiDiAIBenchmarks）旨在提供一套适用于生产环境的AI评估集，跨越不同类型的GPU服务器和云环境，为用户未来的硬件选型、软件和库提供有效可信的测试结果优化、业务模型完善、链路压测等阶段打下坚实的数据基础和技术参考。
支持的功能分层基准测试，从硬件（L1）、算子（L2）到模型（L3），更高级别的基准测试待定。云原生基准测试，容器化部署，简单易用。多云基准测试结果对于考虑价格/性能很有用。总体结构DAIBench综合考虑了现有的GPU性能测试工具，将指标分为硬件层、框架（算子）层、算法层。
对于每个级别，DAIBench目前支持以下测试：
层支持的测试硬件层重点关注硬件本身的指标，如峰值计算吞吐量（TFLOPS/TOPS）计算指标和内存访问带宽、PCIe通信带宽等I/O指标。帧/算子层基于主流AI框架评估常用算子（卷积、Softmax、矩阵乘法等）的算力。模型层通过在一系列生产任务中选择模型来执行端到端评估。入门硬件层cd<test_folder>bashinstall.shbashrun.sh对于GPU测试，请先安装合适nvidia-driver的cuda。算子层当前算子层正在使用DeepBenchcdoperatorbashinstall.sh#downloadsourcecode&preparenccl运行GEMM、卷积、循环运算和稀疏GEMM基准测试：bin/gemm_bench<inference|train><int8|float|half>要执行NCCL单一All-Reduce基准测试：bin/nccl_single_all_reduce<num_gpus>NCCLMPIAll-Reduce基准测试可以使用mpirun运行，如下所示：mpirun-np<num_ranks>bin/nccl_mpi_all_reducenum_ranks不能大于系统中GPU的数量。模型层docker并且nvidia-docker是模型测试所必需的。要运行特定模型，请阅读Readme.md文件夹中的内容。一般测试程序：下载数据集预处理数据集（如果需要）构建docker启动基准测试得到结果
评论