DouZero 为斗地主设计的强化学习框架

DouZero是为斗地主设计的强化学习框架（斗地主AI），从零开始通过自我博弈强化学习来学打斗地主。斗地主十分具有挑战性。它包含合作、竞争、非完全信息、庞大的状态空间。斗地主也有非常大的动作空间，并且每一步合法的牌型会非常不一样。DouZero由快手AI平台部开发。

安装

训练部分的代码是基于GPU设计的，因此如果想要训练模型，您需要先安装CUDA。安装步骤可以参考官网教程。对于评估部分，CUDA是可选项，您可以使用CPU进行评估。

首先，克隆本仓库（如果您访问Github较慢，国内用户可以使用Gitee镜像）：

gitclonehttps://github.com/kwai/DouZero.git确保您已经安装好Python3.6及以上版本，然后安装依赖：

cddouzeropip3install-rrequirements.txt我们推荐通过以下命令安装稳定版本的Douzero：

pip3installdouzero如果您访问较慢，国内用户可以通过清华镜像源安装：

pip3installdouzero-ihttps://pypi.tuna.tsinghua.edu.cn/simple或是安装最新版本（可能不稳定）：

pip3install-e.注意，Windows用户只能用CPU来模拟。关于为什么GPU会出问题，详见Windows下的问题。但Windows用户仍可以在本地运行演示。

训练

假定您至少拥有一块可用的GPU，运行

python3train.py这会使用一块GPU训练DouZero。如果需要用多个GPU训练Douzero，使用以下参数：

--gpu_devices:用作训练的GPU设备名--num_actor_devices:被用来进行模拟（如自我对弈）的GPU数量--num_actors:每个设备的演员进程数--training_device:用来进行模型训练的设备例如，如果我们拥有4块GPU，我们想用前3个GPU进行模拟，每个GPU拥有15个演员，而使用第四个GPU进行训练，我们可以运行以下命令：

python3train.py--gpu_devices0,1,2,3--num_actor_devices3--num_actors15--training_device3如果用CPU进行训练和模拟（Windows用户只能用CPU进行模拟），用以下参数：

--training_devicecpu:用CPU来训练--actor_device_cpu:用CPU来模拟例如，用以下命令完全在CPU上运行：

python3train.py--actor_device_cpu--training_devicecpu以下命令仅仅用CPU来跑模拟：

python3train.py--actor_device_cpu其他定制化的训练配置可以参考以下可选项：

--xpidXPID实验id（默认值：douzero）--save_intervalSAVE_INTERVAL保存模型的时间间隔（以分钟为单位）--objective{adp,wp}使用ADP或者WP作为奖励（默认值：ADP）--actor_device_cpu用CPU进行模拟--gpu_devicesGPU_DEVICES用作训练的GPU设备名--num_actor_devicesNUM_ACTOR_DEVICES被用来进行模拟（如自我对弈）的GPU数量--num_actorsNUM_ACTORS每个设备的演员进程数--training_deviceTRAINING_DEVICE用来进行模型训练的设备。`cpu`表示用CPU训练--load_model读取已有的模型--disable_checkpoint禁用保存检查点--savedirSAVEDIR实验数据存储跟路径--total_framesTOTAL_FRAMESTotalenvironmentframestotrainfor--exp_epsilonEXP_EPSILON探索概率--batch_sizeBATCH_SIZE训练批尺寸--unroll_lengthUNROLL_LENGTH展开长度（时间维度）--num_buffersNUM_BUFFERS共享内存缓冲区的数量--num_threadsNUM_THREADS学习者线程数--max_grad_normMAX_GRAD_NORM最大梯度范数--learning_rateLEARNING_RATE学习率--alphaALPHARMSProp平滑常数--momentumMOMENTUMRMSPropmomentum--epsilonEPSILONRMSPropepsilon

DouZero 为斗地主设计的强化学习框架开源项目

作品详情

重点城市程序员兼职推荐

重点岗位程序员兼职推荐