马上注册，结交更多同城好友，享用更多功能！
您需要 登录 才可以下载或查看，没有帐号？立即注册
x
AlphaGo 在围棋界大杀四方时就有人不服：有本事让 AI 斗地主试试？ 试试就试试。 快手团队开发的斗地主 AI 命名为DouZero，意思是像 AlphaZero 一样从零开始训练，不需要加入任何人类知识。 只用 4 个 GPU，短短几天的训练时间，就在 Botzone 排行榜上的 344 个斗地主 AI 中排名第一。 而且还有在线试玩（链接在文章最后），手机也能运行。 在线试玩中演示的是三人斗地主，玩家可以选择扮演地主、地主的上家或下家。 选择当地主来玩玩看，可以打开显示 AI 手牌功能，更容易观察 AI 决策过程。另外可以设置 AI 考虑时间，默认是 3 秒。在 AI 的回合，会显示面临的决策和每种打法的预测胜率。有时可以看到 AI 并不是简单的选择当前胜率最高的打法，而是有更全局的考虑。斗地主对 AI 来说，很难从博弈论的角度看，斗地主是 "不完全信息博弈"。 围棋是所有棋子都摆在棋盘上，对弈双方都能看到的完全信息博弈。 而斗地主每个玩家都看不到其他人的手牌，对于 AI 来说更有挑战性。 在棋牌类游戏中，虽然斗地主的信息集的大小和数量不如麻将，但行动空间有 10^4，与德州扑克相当，而大多数强化学习模型只能处理很小的行动空间。斗地主的所有牌型总共有 27472 种可能。像下图的手牌就有 391 种打法。 且斗地主的行动不容易被抽象化，使搜索的计算成本很高，像 Deep Q-Learning 和 A3C 等强化学习模型都只有不到 20%的胜率。另外作为不对称游戏，几个农民要在沟通手段有限的情况下合作并与地主对抗。 像扑克游戏中最流行的 "反事实后悔最小化" ( Counterfactual Regret Minimization ) 算法，就不擅长对这种竞争和合作建模。 全局、农民和地主网络并行学习首先将手牌状态编码成 4x15 的独热 ( one-hot ) 矩阵，也就是 15 种牌每种最多能拿到 4 张。 DouZero 是在 Deep Q-Learning 的基础上进行改进。使用 LSTM ( 长短期记忆神经网络 ) 编码历史出牌，独热矩阵编码预测的牌局和当前手牌，最终用 6 层，隐藏层维度为 512 的 MLP ( 多层感知机 ) 算出 Q 值，得出打法。除了 " 学习者 " 全局网络以外，还用 3 个 " 角色 " 网络分别作为地主、地主的上家和下家进行并行学习。全局和本地网络之间通过共享缓冲区定期通信。 △学习者和角色的算法DouZero 在 48 个内核和 4 个 1080Ti 的一台服务器上训练 10 天击败了之前的冠军，成为最强斗地主 AI。 下一步，加强 AI 间的协作 对于之后的工作，DouZero 团队提出了几个方向： 一是尝试用 ResNet 等 CNN 网络来代替 LSTM。 以及在强化学习中尝试 Off-Policy 学习，将目标策略和行为策略分开以提高训练效率。 最后还要明确的对农民间合作进行建模。好家伙，以后 AI 也会给队友倒卡布奇诺了。 柯洁在围棋被 AlphaGO 击败以后，2019 年参加了斗地主锦标赛获得了冠军。不知道会不会有 AI" 追杀 " 过来继续挑战他。 在线试玩： https://www.douzero.org GitHub 项目地址： https://github.com/kwai/DouZero 论文地址： https://arxiv.org/pdf/2106.06135.pdf
免责声明：如果本文章内容侵犯了您的权益，请联系我们，我们会及时处理，谢谢合作！
| 
发表于 2021-6-18 18:15:07
支持
反对
