DouZero是为斗地主设计的强化学习框架（斗地主AI），从零开始通过自我博弈强化学习来学打斗地主。斗地主十分具有挑战性。它包含合作、竞争、非完全信息、庞大的状态空间。斗地主也有非常大的动作空间，并且每一步合法的牌型会非常不一样。DouZero由快手AI平台部开发。
安装训练部分的代码是基于GPU设计的，因此如果想要训练模型，您需要先安装CUDA。安装步骤可以参考官网教程。对于评估部分，CUDA是可选项，您可以使用CPU进行评估。首先，克隆本仓库（如果您访问Github较慢，国内用户可以使用Gitee镜像）：gitcloehttps://github.com/kwai/DouZero.git确保您已经安装好Pytho3.6及以上版本，然后安装依赖：cddouzeropip3istall-rrequiremets.txt我们推荐通过以下命令安装稳定版本的Douzero：pip3istalldouzero如果您访问较慢，国内用户可以通过清华镜像源安装：pip3istalldouzero-ihttps://pypi.tua.tsighua.edu.c/simple或是安装最新版本（可能不稳定）：pip3istall-e.注意，Widows用户只能用CPU来模拟。关于为什么GPU会出问题，详见Widows下的问题。但Widows用户仍可以在本地运行演示。训练假定您至少拥有一块可用的GPU，运行pytho3trai.py这会使用一块GPU训练DouZero。如果需要用多个GPU训练Douzero，使用以下参数：--gpu_devices:用作训练的GPU设备名--um_actor_devices:被用来进行模拟（如自我对弈）的GPU数量--um_actors:每个设备的演员进程数--traiig_device:用来进行模型训练的设备例如，如果我们拥有4块GPU，我们想用前3个GPU进行模拟，每个GPU拥有15个演员，而使用第四个GPU进行训练，我们可以运行以下命令：pytho3trai.py--gpu_devices0,1,2,3--um_actor_devices3--um_actors15--traiig_device3如果用CPU进行训练和模拟（Widows用户只能用CPU进行模拟），用以下参数：--traiig_devicecpu:用CPU来训练--actor_device_cpu:用CPU来模拟例如，用以下命令完全在CPU上运行：pytho3trai.py--actor_device_cpu--traiig_devicecpu以下命令仅仅用CPU来跑模拟：pytho3trai.py--actor_device_cpu其他定制化的训练配置可以参考以下可选项：--xpidXPID实验id（默认值：douzero）--save_itervalSAVE_INTERVAL保存模型的时间间隔（以分钟为单位）--objective{adp,wp}使用ADP或者WP作为奖励（默认值：ADP）--actor_device_cpu用CPU进行模拟--gpu_devicesGPU_DEVICES用作训练的GPU设备名--um_actor_devicesNUM_ACTOR_DEVICES被用来进行模拟（如自我对弈）的GPU数量--um_actorsNUM_ACTORS每个设备的演员进程数--traiig_deviceTRAINING_DEVICE用来进行模型训练的设备。`cpu`表示用CPU训练--load_model读取已有的模型--disable_checkpoit禁用保存检查点--savedirSAVEDIR实验数据存储跟路径--total_framesTOTAL_FRAMESTotalevirometframestotraifor--exp_epsiloEXP_EPSILON探索概率--batch_sizeBATCH_SIZE训练批尺寸--uroll_legthUNROLL_LENGTH展开长度（时间维度）--um_buffersNUM_BUFFERS共享内存缓冲区的数量--um_threadsNUM_THREADS学习者线程数--max_grad_ormMAX_GRAD_NORM最大梯度范数--learig_rateLEARNING_RATE学习率--alphaALPHARMSProp平滑常数--mometumMOMENTUMRMSPropmometum--epsiloEPSILONRMSPropepsilo
点击空白处退出提示
评论