Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm
DeepMind
国际象棋是人工智能历史上研究最广泛的领域。最强大的程序是基于复杂的搜索技术，特定领域的适应性和手工制作的评估功能的组合，这些功能已经由人类专家在几十年内进行了改进。相比之下，AlphaGo Zero程序最近在围棋比赛中取得了超人的表现，这是通过自玩游戏的tabula rasa强化学习实现的。在本文中，我们将这种方法概括为一个单一的AlphaZero算法，可以实现，白板，超人的性能在许多具有挑战性的领域。从随机游戏开始，除了游戏规则之外没有任何领域知识，AlphaZero在24小时内在国际象棋和将棋（日本象棋）以及围棋游戏中达到了超人水平，并且令人信服地击败了世界冠军程序。
2017-12-05 cs.AI cs.LG
Diversifying AI: Towards Creative Chess with AlphaZero
Google DeepMind（谷歌DeepMind）；Sony AI（索尼人工智能）；University of Oxford（牛津大学）
本文提出 AZ_db，通过潜在条件化架构和行为多样性技术扩展 AlphaZero，使多样化 AI 智能体团队在国际象棋中产生更多想法并利用次可加规划选择最佳方案，实验表明其解题数量翻倍且棋力提升 50 Elo，证明多样性对解决困难计算问题具有重要价值。
2024-07-31 cs.AI cs.LG
Search-contempt: a hybrid MCTS algorithm for training AlphaZero-like engines with better computational efficiency
本文提出 search-contempt 混合 MCTS 算法，通过偏好更具挑战性的自我对弈局面，显著提升让子棋引擎实力，并将类 AlphaZero 引擎的训练成本从数百万局和数百万美元降至数十万局和数万美元，使消费级 GPU 上的从零训练成为可能。
2025-04-10 cs.AI cs.LG
The Entropy of Artificial Intelligence and a Case Study of AlphaZero from Shannon's Perspective
Artificial Intelligence Research Center, National Innovation Institute of Defense Technology（国防科技创新研究院人工智能研究中心）；Academy of Military Sciences（军事科学院）
最近发布的AlphaZero算法在国际象棋、将棋和围棋游戏中实现了超人的性能，这提出了两个悬而未决的问题。首先，由于游戏中的可能性是有限的，是否有一个可量化的智能测量来评估智能系统，例如AlphaZero？其次，AlphaZero引入了复杂的强化学习和自我游戏来有效地编码可能的状态，是否有一个简单的信息理论模型来表示学习过程，并为培养强大的人工智能系统提供更多的见解？本文通过对Shannon通信模型的一个简单变形，提出了智能熵的概念和统一的智能通信模型，为研究智能水平提供了一个信息论的度量，并以Shannon容量的形式给出了智能主体的一个界，即智能容量。将该概念和模型应用于AlphaZero，将智能主体的学习过程解释为涡轮式迭代解码，从而定量评价了AlphaZero的学习性能。最后，结论提供了理论和实践的意见。
2018-12-17 cs.AI
An AlphaZero-Inspired Approach to Solving Search Problems
Roosevelt University（罗斯福大学）；The University of Texas at El Paso（德克萨斯大学埃尔帕索分校）
AlphaZero和它的扩展MuZero是计算机程序，使用机器学习技术在国际象棋、围棋和其他一些游戏中发挥超人的水平。他们仅仅通过自我游戏的强化学习就达到了这个水平，除了游戏规则之外，没有任何领域知识。这是一个自然的想法，以适应在AlphaZero中使用的方法和技术来解决搜索问题，如布尔可满足性问题（在其搜索版本中）。给定一个搜索问题，如何将其表示为AlphaZero启发的求解器？这个搜索问题的“解决规则”是什么？我们描述了可能的表示方面的简单实例求解器和自我减少，我们给出了这样的表示的可满足性问题的例子。我们还描述了一个版本的蒙特卡罗树搜索适用于搜索问题。
2022-07-02 cs.AI cs.LG
Evaluation Beyond Task Performance: Analyzing Concepts in AlphaZero in Hex
Brown University（布朗大学）
AlphaZero是一种将神经网络和蒙特卡罗树搜索（MCTS）结合在一起的强化学习方法，它为国际象棋、围棋、将棋和十六进制等传统棋盘游戏提供了最先进的策略。虽然研究人员和游戏评论员认为AlphaZero使用了人类认为重要的概念，但目前还不清楚这些概念是如何在网络中捕获的。我们使用自然语言处理（NLP）的两种评估技术：模型探测和行为测试来研究AlphaZero在Hex游戏中的内部表示。在此过程中，我们向RL社区介绍了新的评估工具，并说明了如何使用任务性能以外的评估来更全面地了解模型的优点和缺点。我们在Hex游戏中的分析揭示了有趣的模式，并产生了一些关于这些模型一般如何学习的可测试假设。例如，我们发现MCTS在神经网络学习编码之前就发现了概念。我们还发现，与短期结束游戏规划的概念是最好的编码在模型的最后几层，而与长期规划的概念编码在模型的中间层。
2022-11-26 cs.AI
Enhancing Chess Reinforcement Learning with Graph Representation
Kyoto University（京都大学）
针对AlphaZero依赖CNN架构泛化性差的问题，提出融入边特征的GAT图表示国际象棋强化学习架构，参数量相近时性能更优、棋力提升更快，且跨棋盘尺寸泛化性好。
2024-10-31 cs.AI cs.LG
Exploring the Performance of Deep Residual Networks in Crazyhouse Chess
Crazyhouse是一种国际象棋变体，它包含了所有经典的国际象棋规则，但允许用户将从对手那里捕获的棋子作为正常移动。直到2018年，这款棋盘游戏的所有竞争性计算机引擎都使用了α-β剪枝算法，每个位置都有一个手工制作的评估函数。以前的基于机器学习的算法只适用于常规国际象棋，如NeuroChess和Giraffe，将手工制作的评估功能作为输入，而不是原始的棋盘表示。最近的项目，如AlphaZero，取得了巨大的成功，但需要大量的计算资源才能达到最终的强度。本文介绍了SixtyFour的开发，这是一个旨在用有限的硬件在Crazyhouse的国际象棋变体中竞争的引擎。这个特定的变体由于其大的分支因子、状态-空间复杂度以及玩家可以进行的多种移动类型而构成了众多重大挑战。我们提出了一个新的创建一个神经网络为基础的评价功能的Crazyhouse。更重要的是，我们评估了集成模型的有效性，该模型允许训练时间和数据集轻松地分布在常规CPU硬件商品上。该网络的早期版本已经达到了与在线服务器上的强大业余爱好者相当的水平。
2019-08-25 cs.AI cs.LG stat.ML
Brick Tic-Tac-Toe: Exploring the Generalizability of AlphaZero to Novel Test Environments
National University of Singapore（新加坡国立大学）
传统的强化学习（RL）环境在训练和测试阶段通常是相同的。因此，目前的RL方法在很大程度上无法推广到概念上类似但不同于方法训练的测试环境，我们称之为新的测试环境。为了将RL研究推向可以推广到新的测试环境的算法，我们引入了Brick Tic-Tac-Toe（BTTT）测试床，其中测试环境中的砖位置与训练环境中的砖位置不同。在BTTT环境中使用循环赛，我们表明传统的RL状态搜索方法，如蒙特卡罗树搜索（MCTS）和Minimax比AlphaZero更适用于新的测试环境。这是令人惊讶的，因为AlphaZero已经被证明在围棋，国际象棋和将棋等环境中实现了超人的性能，这可能会让人认为它在新的测试环境中表现良好。我们的研究结果表明，BTTT虽然简单，但足够丰富，可以探索AlphaZero的普遍性。我们发现，仅仅增加MCTS前瞻迭代是不够的AlphaZero推广到一些新的测试环境。相反，增加训练环境的种类有助于逐步提高所有可能的起始砖配置的通用性。
2022-07-14 cs.AI cs.LG
AlphaZero Gomoku
University of California, San Diego（加州大学圣地亚哥分校）；Stanford University（斯坦福大学）
本研究将 AlphaZero 算法扩展到五子棋，验证其超越围棋的适应性，并融合深度学习与蒙特卡洛树搜索以实现平衡对局，树立游戏 AI 新标准。
2023-09-04 cs.AI cs.LG
AlphaDDA: Strategies for Adjusting the Playing Strength of a Fully Trained AlphaZero System to a Suitable Human Training Partner
Komatsu University（小松大学）；University of Electro-Communications（电气通信大学）
人工智能（AI）在围棋、国际象棋和奥赛罗（黑白棋）等棋盘游戏中取得了超人的表现。换句话说，AI系统在此类游戏中超越了强大的人类专家玩家的水平。在这种情况下，人类玩家很难享受与AI一起玩游戏。为了让人类玩家在游戏中保持娱乐和沉浸，人工智能需要动态地平衡其技能与人类玩家的技能。为了解决这个问题，我们提出了AlphaDDA，一个基于AlphaZero的AI，具有动态难度调整（DDA）。AlphaDDA由深度神经网络（DNN）和蒙特卡罗树搜索组成，就像AlphaZero一样。AlphaDDA学习和玩游戏的方式与AlphaZero相同，但可以改变其技能。AlphaDDA使用DNN仅从棋盘状态估计游戏状态的值。AlphaDDA根据估计值改变控制其技能的参数。因此，AlphaDDA根据游戏状态调整其技能。AlphaDDA可以仅使用游戏状态来调整其技能，而无需任何关于对手的先验知识。在这项研究中，AlphaDDA与其他人工智能智能体一起玩Connect4、奥赛罗和6x6奥赛罗。其他人工智能智能体是AlphaZero，蒙特卡罗树搜索，极大极小算法和随机玩家。这项研究表明，AlphaDDA可以平衡其技能与其他人工智能智能体，除了一个随机的球员。AlphaDDA的DDA能力是基于对游戏状态值的准确估计。我们相信，如果DNN可以准确地估计游戏状态的值，并且我们知道控制AI系统技能的参数，那么用于DDA的A…
2022-09-20 cs.AI cs.LG
Mastering Zero-Shot Interactions in Cooperative and Competitive Simultaneous Games
Leibniz University Hannover（汉诺威莱布尼茨大学）
本文提出Albatross算法，通过建模其他智能体行为并学习平滑最佳响应Logit均衡，在同时博弈中实现与任意强度智能体的零样本合作与竞争，并在Battlesnake和Overcooked中显著优于AlphaZero及先前方法。
2024-06-11 cs.AI cs.GT
A Behavior-Based Knowledge Representation Improves Prediction of Players' Moves in Chess by 25%
Ben-Gurion University（本-古里安大学）
本文提出结合专家领域知识与特征工程和机器学习的方法，针对中级棋手开局阶段预测其下一步走法，将预测准确率提升25%，为预测人类对弈行为提供了新框架。
2025-04-07 cs.AI cs.LG
Mastering Terra Mystica: Applying Self-Play to Multi-agent Cooperative Board Games
Stanford University（斯坦福大学）
在本文中，我们探讨和比较多种算法解决复杂的战略游戏的神秘土地，以下简称TM。以前在使用AI的超人类游戏领域的工作已经被证明是有效的，最近在围棋、国际象棋和将棋\cite{AlphaZero}等游戏中的通用算法取得了突破。我们将这些突破直接应用于TM的新状态表示，目标是创建一个与人类玩家相媲美的AI。具体来说，我们提出了将AlphaZero应用于这种状态表示的初步结果，并分析了所开发的策略。简要分析。我们称之为改进后的算法与我们的新的状态表示AlphaTM。最后，我们通过与多基线和典型人类评分的比较，讨论了该方法的成功和不足之处。本文使用的所有代码都可以在\href{https://github.com/kandluis/terrazero}{GitHub}上找到。
2021-02-21 cs.AI cs.GT cs.MA
Aligning Superhuman AI with Human Behavior: Chess as a Model System
University of Toronto（多伦多大学）；Microsoft Research（微软研究院）；Cornell University（康奈尔大学）
随着人工智能变得越来越智能-在某些情况下，实现了超人的性能-人类向算法学习和与算法合作的潜力越来越大。然而，人工智能系统处理问题的方式通常与人类的方式不同，因此可能无法解释，难以学习。弥合人类和人工智能之间差距的关键一步是对构成人类行为的粒度行为进行建模，而不是简单地匹配人类的总体表现。我们在一个在人工智能领域有着悠久历史的模型系统中追求这个目标：国际象棋。一个国际象棋选手的综合表现是随着他们在比赛过程中做出决定而展开的。每个技能水平的玩家在线玩的数亿游戏形成了丰富的数据源，这些决策及其确切的背景都被详细记录下来。将现有的国际象棋引擎应用于这些数据，包括AlphaZero的开源实现，我们发现它们不能很好地预测人类的动作。我们开发并推出了Maia，这是一种在人类象棋游戏中训练的Alpha-Zero的定制版本，它可以比现有引擎更高的精度预测人类的动作，并且可以在预测特定技能水平的玩家以可调的方式做出决策时实现最大的准确性。对于预测人类下一步是否会犯大错的双重任务，我们开发了一个深度神经网络，它的表现明显优于竞争基线。综上所述，我们的研究结果表明，在设计人工智能系统时，首先要准确地建模粒度人类决策，并考虑到人类的协作，这是很有希望的。
2020-07-14 cs.AI cs.CY cs.LG
Impartial Games: A Challenge for Reinforcement Learning
Imperial College London（帝国理工学院伦敦分校）；Queen Mary University of London（女王玛丽大学）
本文研究了AlphaZero风格强化学习在impartial games中的局限性，指出其在学习抽象数学原理如奇偶性时存在表示瓶颈，需发展新型算法以实现专家级AI。
2026-01-21 cs.AI cs.LG
Assessing Human Error Against a Benchmark of Perfection
Microsoft Research（微软研究院）；Cornell University（康奈尔大学）；Harvard University（哈佛大学）
越来越多的领域为我们提供了关于人类决策的详细跟踪数据，我们可以通过算法评估这些决策的质量。在这种发展的推动下，一个新兴的工作领域已经开始考虑我们是否可以描述和预测人们可能犯错误的决策类型。为了研究人误预测的一般框架可能是什么样的，我们专注于一个在行为科学中具有丰富历史的模型系统：棋手在游戏中选择移动时做出的决定。我们进行了大规模的分析，使用了数百万个记录游戏的数据集，并使用国际象棋表库来获取一个子集的基础事实，这些位置已经完全被计算机解决，但即使对于世界上最好的玩家来说仍然具有挑战性。我们组织我们的分析围绕三个类别的功能，我们认为是目前在大多数情况下，人为错误的分析是适用的：决策者的技能，可用的时间来作出决定，和固有的困难的决定。我们在所有这三类特征中识别出丰富的结构，并发现强有力的证据表明，在我们的领域中，描述实例固有难度的特征比基于技能或时间的特征更强大。
2016-06-15 cs.AI cs.GT cs.SI
Evaluating Game Difficulty in Tetris Block Puzzle
NYCUNational Yang Ming Chiao Tung University（纽约国家阳明交通大学）；ASAcademia Sinica（学术院）
本文研究了 Tetris 块谜题难度评估，采用 Stochastic Gumbel AlphaZero 方法，通过训练奖励和收敛迭代等指标，分析了不同规则变化对难度的影响，发现增加持有块规则降低难度，增加 Tetris 块变种提高难度。
2026-03-20 cs.AI cs.LG
A Discrete Evolutionary Model for Chess Players' Ratings
Birkbeck, University of London（伦敦大学伯贝克学院）
国际象棋选手评分的Elo系统也用于其他游戏和运动，四十多年前被世界国际象棋联合会采用。虽然并非没有争议，但它被认为是普遍可靠的，并提供了一种评估球员实力和在官方锦标赛中排名的方法。人们普遍认为，球员的评级数据的分布是近似正态分布，但迄今为止，没有随机模型的分布可能已经提出。我们提出了这样一个进化的随机模型，该模型的到来的球员进入评级池，他们对彼此玩的游戏，以及这些游戏的结果如何影响他们的评级。使用离散模型的连续近似，我们推导出玩家在时间$t$的评分分布为正态分布，其中方差随时间增加，作为$t$的对数函数。我们使用2007年至2010年公布的评级数据验证了该模型，表明从数据中获得的参数可以通过随机模型的模拟来恢复。玩家评分的分布只是近似正态分布，并且已经被证明有一个小的负偏差。我们将展示如何修改我们的进化随机模型，考虑到这种偏度，我们使用已公布的官方评级数据验证修改后的模型。
2011-03-30 cs.AI physics.soc-ph
Assessing the Potential of Classical Q-learning in General Game Playing
Leiden University（莱顿大学）；Leiden Institute of Advanced Computer Science（莱顿高级计算机科学研究所）
在最近AlphaGo和AlphaZero的突破性成果之后，我们看到了对游戏中的深度强化学习和人工通用智能（AGI）的强烈兴趣。然而，深度学习是资源密集型的，理论尚未得到很好的发展。对于小型游戏，简单的经典基于表格的Q学习可能仍然是首选算法。通用博弈（GGP）为强化学习研究AGI提供了一个很好的实验平台。Q学习是一种典型的强化学习方法，并且已经被（Banerjee $\&$ Stone，IJCAI 2007）用于GGP。在本文中，我们在GGP中实现了三个小棋盘游戏（Tic-Tac-Toe，Connect Four，Hex）\footnote{source code: https://github.com/wh1992v/ggp-rl}的Q学习，以便与Banerjee等人进行比较。我们发现，Q学习收敛到一个高的胜率在GGP。对于$ε$ -贪婪策略，我们提出了第一个增强，动态$ε$算法。此外，受Gelly $\&$ Silver，ICML 2007的启发，我们结合在线搜索（Monte Carlo搜索）来增强离线学习，并提出了GGP的QM学习。这两种增强都提高了经典Q学习的性能。在这项工作中，GGP允许我们展示，如果通过适当的增强来增强，经典的基于表的Q学习可以在小型游戏中表现良好。
2018-10-14 cs.AI
Assessing the players'performance in the game of bridge: A fuzzy logic approach
Graduate Technological Educational Institute (T. E. I.) of Western Greece（西希腊技术与教育学院）
桥牌和国际象棋一样，是国际奥林匹克委员会唯一正式认可的智力游戏。本文介绍了一种基于模糊逻辑原理的创新方法，用于评定桥牌运动员的总体成绩。为此，评估下的队列表示为一组语言标签的模糊子集表征其性能和质心去模糊化方法是用来转换从游戏中收集到的模糊数据到一个清晰的数字。出于统计和其他明显的原因，这种新的评估方法可以非正式地用作官方桥梁评分方法的补充。两个真正的应用程序有关的同时比赛与预处理板，由希腊桥牌联合会，也提出了，说明我们的结果在实践中的重要性。
2014-04-29 cs.AI
Evaluating Language Models' Evaluations of Games
University of Cambridge（剑桥大学）；MIT（麻省理工学院）；Princeton University（普林斯顿大学）；NYU（纽约大学）；Harvard University（哈佛大学）；Stanford University（斯坦福大学）
本文研究了语言模型对游戏评估的能力，通过比较现代语言模型和人类及符号计算代理的评估结果，发现推理模型在游戏评估上更接近人类，但随着模型接近博弈最优，其与人类数据的匹配度会减弱，且在评估趣味性时表现出更大的波动。
2026-05-18 cs.AI cs.CL
