Checkmating One, by Using Many: Combining Mixture of Experts with MCTS to Improve in Chess
Computer Science Department TU Darmstadt Darmstadt, Germany 0000-0001-5681-532X;Machine Learning Lab TU Darmstadt Darmstadt, Germany 0000-0002-9568-8965;Machine Learning Lab, Hessian Center for Artificial Intelligence (hessian.AI) TU Darmstadt Darmstadt, Germany 0000-0002-9400-0946;Computer Science Department TU Darmstadt Darmstadt, Germany 0009-0004-9082-9871;Machine Learning Lab, Hessian Center for Artificial Intelligence (hessian.AI), Centre for Cognitive Science, German Research Center for Artificial Intelligence (DFKI) TU Darmstadt Darmstadt, Germany 0000-0002-2873-9152
针对国际象棋引擎单模型难以适配不同对局阶段的问题,提出结合专家混合与MCTS的模块化框架M2CTS,通过三种训练方法实现阶段动态适配,显著提升对弈强度与效率,且具备多智能体领域泛化潜力。
2025-06-17 cs.LG
PAWN: Piece Value Analysis with Neural Networks
Arizona State University(亚利桑那州立大学)
本文提出利用CNN自动编码器生成的潜在位置表示,提升基于MLP的棋子价值预测精度,通过1200万棋谱数据验证,使预测误差降低16%,相对棋子价值预测误差约0.65个棋子。
2026-04-16 cs.AI cs.LG
Learning Self-Game-Play Agents for Combinatorial Optimization Problems
Northeastern University(东北大学)
使用自我游戏的强化学习(RL)的最新进展已经在几种棋盘游戏(例如,国际象棋和围棋)以及视频游戏(例如,Atari游戏和Dota 2)。我们可以认为,强化学习从零知识开始,经过一定量的训练后,可能会逐渐接近一个获胜的策略。在本文中,我们探索了神经Monte-Carlo-Tree-Search(神经MCTS),这是一种RL算法,已被DeepMind成功应用于以超人的水平玩围棋和国际象棋。我们试图利用神经MCTS的计算能力来解决一类组合优化问题。根据Hintikka的博弈论语义学思想,提出Zermelo博弈化(ZG)方法,将特定的组合优化问题转化为Zermelo博弈,其获胜策略对应于原优化问题的解。ZG还提供了一个专门设计的神经MCTS。我们使用的组合规划问题的地面实况政策是有效的计算证明ZG是有前途的。
2019-05-09 cs.AI cs.LG
Tracing the Thought of a Grandmaster-level Chess-Playing Transformer
Shanghai Innovation Institute, Shanghai, China(上海创新研究院);School of Computer Science, Fudan University, Shanghai, China(复旦大学计算机科学技术学院);School of Mathematics and Statistics, Xi’an Jiaotong University(西安交通大学数学与统计学院)
本文通过稀疏分解框架解析Leela Chess Zero的内部计算,揭示其战术考量,并引入三个量化指标证明其并行推理行为,首次在MLP和注意力模块上实现可解释性分解。
2026-04-11 cs.LG
Grounded Chess Reasoning in Language Models via Master Distillation
Department of Computer Science, University of Toronto(多伦多大学计算机科学系);Queen’s University(皇后大学);Coolwei AI Lab(Coolwei人工智能实验室)
提出大师蒸馏框架,将专家系统推理过程蒸馏为自然语言思维链,使4B参数模型C1在国际象棋中达到48.1%准确率,超越所有开源模型和多数前沿闭源系统。
2026-06-24 cs.AI
Supervised and Reinforcement Learning from Observations in Reconnaissance Blind Chess
JKU Linz(林茨约翰·开普勒大学);University of Alberta(阿尔伯塔大学)
在这项工作中,我们采用了一种受原始AlphaGo系统启发的训练方法来玩侦察盲棋的不完全信息游戏。只使用观察结果而不是对游戏状态的完整描述,我们首先在公开的游戏记录上训练一个受监督的代理。接下来,我们通过策略上强化学习算法近端策略优化的自我发挥来提高代理的性能。我们不使用任何搜索来避免由博弈状态的部分可观测性引起的问题,并且在玩游戏时仅使用策略网络来生成移动。通过这种方法,我们在RBC排行榜上获得了1330的ELO,在撰写本文时,我们的代理位于第27位。我们看到,自我发挥显着提高性能,代理发挥可以接受的好,没有搜索,没有对真正的游戏状态的假设。
2022-08-03 cs.AI
Beyond Search-Imitation: Prior-Directed Exploration for Searchless Chess
Institute of Applied Computer Science, Lodz University of Technology(罗兹理工大学应用计算机科学研究所)
本研究针对无搜索国际象棋网络,用先验引导探索替换原熵奖励,经约2000步微调后提升了谜题与四步将死准确率,且发现战术准确率与博弈强度存在分离。
2026-09-02 cs.AI cs.LG stat.ML
Understanding the learned look-ahead behavior of chess neural networks
Pivotal
本研究分析了 Leela Chess Zero 策略网络的前瞻能力,发现其能处理未来七步棋盘状态并考虑多种走棋序列,揭示了神经网络在复杂战略任务中的类认知推理机制。
2025-05-26 cs.AI cs.LG
Classification of the Chess Endgame problem using Logistic Regression, Decision Trees, and Neural Networks
King Saud University(沙特国王大学)
在这项研究中,我们使用不同的算法,如逻辑回归,决策树和神经网络的国际象棋残局问题的分类。我们的实验表明,神经网络提供了最好的准确性(85%),然后决策树(79%)。我们使用Microsoft Azure机器学习进行了这些实验,作为在分类中使用可视化编程的案例研究。我们的实验表明,这个工具是强大的,节省了大量的时间,也可以改进更多的功能,提高可用性和减少学习曲线。我们还使用一种新的程序设计语言Ring开发了一个数据集可视化的应用程序,实验表明,该语言具有Python的简单设计,同时集成了Visual Basic的RAD工具,这对于开源世界的GUI开发很有帮助
2021-11-10 cs.AI cs.LG
First-Order Problem Solving through Neural MCTS based Reinforcement Learning
Northeastern University(东北大学)
一个解释的一阶逻辑(FOL)语句的形式语义可以用塔斯基语义学或基本等价的博弈语义学给出。后者将陈述和解释映射为两个玩家的语义游戏。许多组合问题可以使用解释的FOL语句来描述,并且可以映射到语义游戏中。因此,学习玩语义游戏可以完美地解决组合问题的特定实例。我们调整了AlphaZero算法,使其更好地学习玩具有不同特征的语义游戏,而不是围棋和象棋。我们提出了一个通用的框架,珀尔塞福涅,映射组合问题的FOL描述的语义游戏,使它可以通过基于神经MCTS的强化学习算法来解决。我们对Persephone的目标是使其成为白板,将解释FOL中陈述的问题映射到没有人为干预的解决方案。
2021-01-11 cs.AI cs.LG
Evidence of Learned Look-Ahead in a Chess-Playing Neural Network
UC Berkeley(加州大学伯克利分校);Independent(独立研究者)
该研究发现在最强神经国际象棋引擎 Leela Chess Zero 的策略网络中存在学习到的前瞻算法,通过分析其 transformer 架构中的因果激活、注意力头信息传递和探针预测,证明了网络能内部表示未来最佳走法。
2024-06-02 cs.AI cs.LG
The Algorithm Is Not the Behavior: Learned Priors Override Look-Ahead in a Chess-Playing Neural Network
Fraunhofer HHI(弗劳恩霍夫人工智能研究所)
研究发现,国际象棋神经网络Leela Chess Zero在中间层能正确计算解法,但最终输出被安全优先的先验知识覆盖,导致错误答案。
2026-11-04 cs.AI cs.LG
DeepChess: End-to-End Deep Neural Network for Automatic Learning in Chess
The Blavatnik School of Computer Science, Tel Aviv University(特拉维夫大学布拉瓦特尼克计算机科学学院);Department of Computer Science, Bar-Ilan University(巴伊兰大学计算机科学系);Center for Automation Research, University of Maryland(马里兰大学自动化研究中心)
我们提出了一种端到端的国际象棋学习方法,依赖于深度神经网络。在没有任何先验知识的情况下,特别是在没有任何关于国际象棋规则的知识的情况下,使用无监督预训练和监督训练的组合来训练深度神经网络。无监督训练从给定位置提取高级特征,有监督训练学习比较两个国际象棋位置并选择更有利的一个。训练完全依赖于数百万个国际象棋比赛的数据集,并且没有进一步的特定领域知识。实验表明,由此产生的神经网络(称为DeepChess)与最先进的国际象棋程序不相上下,这些程序是通过多年的手动特征选择和调整开发的。DeepChess是第一个基于端到端机器学习的方法,可以实现大师级的国际象棋比赛性能。
2017-11-27 cs.LG cs.NE stat.ML
Playing Chess with Limited Look Ahead
University of Texas at Austin(德克萨斯大学奥斯汀分校)
多年来,我们已经看到许多机器学习方法解决了国际象棋游戏。然而,在这些作品中的一个共同点是一个精细优化的前瞻性算法的必要性。这项研究的特别兴趣在于创建一个国际象棋引擎,是非常有能力的,但在其前瞻性的深度限制。我们训练一个深度神经网络来作为静态评估函数,它伴随着一个相对简单的前瞻算法。我们表明,我们的静态评价函数编码了一些语义的前瞻性知识,并与经典的评价函数。我们的国际象棋引擎的实力进行评估,通过比较其提出的动作对Stockfish提出的。我们表明,尽管严格限制前瞻深度,我们的引擎建议在我们的样本位置大约$83\%$的移动相同的强度。
2020-07-04 cs.AI cs.LG
Neural Network-based Information Set Weighting for Playing Reconnaissance Blind Chess
Institute for Application-Oriented Knowledge-Processing at the Johannes Kepler University Linz(约翰内斯·开普勒林茨大学应用导向知识处理研究所);LIT Artificial Intelligence Lab(LIT人工智能实验室);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所)
针对不完美信息博弈侦察盲棋,提出基于神经网络的信息集状态加权方法,经实验验证孪生网络效果更优,基于该方法的智能体在公开排行榜位列第五。
2024-07-08 cs.AI cs.LG
Insights from the Use of Previously Unseen Neural Architecture Search Datasets
Newcastle University(纽卡斯尔大学);Durham University(杜伦大学);The Alan Turing Institute(艾伦·图灵研究所)
针对NAS研究长期局限于少量代表性不足数据集的问题,本文发布八个面向NAS挑战赛的新未见数据集,并给出标准深度学习基线与参赛者最佳结果。
2024-04-02 cs.AI cs.CV cs.LG
Deep Reinforcement Learning Xiangqi Player with Monte Carlo Tree Search
Columbia University(哥伦比亚大学)
本文提出一种结合神经网络与蒙特卡洛树搜索的深度强化学习系统,用于中国象棋的自我对弈与自我改进,克服高分支因子和不对称棋子动态等挑战,推进AI在文化策略游戏中的应用。
2025-06-18 cs.AI cs.LG
Exploring the Performance of Deep Residual Networks in Crazyhouse Chess
Crazyhouse是一种国际象棋变体,它包含了所有经典的国际象棋规则,但允许用户将从对手那里捕获的棋子作为正常移动。直到2018年,这款棋盘游戏的所有竞争性计算机引擎都使用了α-β剪枝算法,每个位置都有一个手工制作的评估函数。以前的基于机器学习的算法只适用于常规国际象棋,如NeuroChess和Giraffe,将手工制作的评估功能作为输入,而不是原始的棋盘表示。最近的项目,如AlphaZero,取得了巨大的成功,但需要大量的计算资源才能达到最终的强度。本文介绍了SixtyFour的开发,这是一个旨在用有限的硬件在Crazyhouse的国际象棋变体中竞争的引擎。这个特定的变体由于其大的分支因子、状态-空间复杂度以及玩家可以进行的多种移动类型而构成了众多重大挑战。我们提出了一个新的创建一个神经网络为基础的评价功能的Crazyhouse。更重要的是,我们评估了集成模型的有效性,该模型允许训练时间和数据集轻松地分布在常规CPU硬件商品上。该网络的早期版本已经达到了与在线服务器上的强大业余爱好者相当的水平。
2019-08-25 cs.AI cs.LG stat.ML
Reinforcement Learning and Life Cycle Assessment for a Circular Economy -- Towards Progressive Computer Science
IPE Berlin(柏林工业生态研究所)
本文探讨强化学习在循环经济生命周期评估中的应用潜力,以国际象棋AI的位棋盘、AlphaZero等技术进展为参照,提出渐进式计算机科学助力可持续发展转型的新思路。
2025-05-17 cs.AI cs.CY
Information based explanation methods for deep learning agents -- with applications on large open-source chess models
Norwegian University of Science and Technology(挪威科技大学)
本文针对大型国际象棋模型的可解释性与开放性问题,在开源模型上复现 AlphaZero 概念检测方法,并提出一种能严格保证穷尽且排他地突出模型所用信息的新型 XAI 方法,在标准 8x8 国际象棋上验证了其有效性。
2023-09-18 cs.AI cs.LG
The Value of Chess Squares
Chess ED;Booth School of Business(布斯商学院);University of Chicago(芝加哥大学);George Mason University(乔治梅森大学)
我们提出一种基于神经网络的方法,以(颜色,棋子,方格)三元组为输入,通过深度Q学习估计参数,计算棋子-方格组合的边际价值,从而更准确地评估国际象棋局面,并展示了马、象和兵的估值见解。
2023-10-10 cs.AI cs.LG
Style Transfer Generative Adversarial Networks: Learning to Play Chess Differently
University of Virginia(弗吉尼亚大学)
风格转移的概念在很大程度上只在基于图像的任务中被探索过,我们将其部分归因于用于风格转移的损失函数的特定性质。我们提出了一个通用的公式的风格转移作为生成对抗网络的扩展,通过使用一个正则化的生成器,否则单独的损失函数。我们将我们的方法应用于学习以特定玩家的风格下国际象棋的任务,并为我们的方法的可行性提供经验证据。
2017-05-07 cs.LG
Can Large Language Models Develop Strategic Reasoning? Post-training Insights from Learning Chess
KAIST AI(韩国科学技术院人工智能研究所);KRAFTON(KRAFTON公司);UC Berkeley(伯克利大学)
本文研究大型语言模型能否通过强化学习在国际象棋中发展战略推理,提出用预训练动作价值网络提供稠密蒸馏奖励,发现其优于稀疏奖励但模型仍远低于专家水平,并指出根本限制在于预训练模型对棋局理解的不足。
2025-08-27 cs.AI cs.LG
Artificial Intelligence as Structural Estimation: Economic Interpretations of Deep Blue, Bonanza, and AlphaGo
Yale(耶鲁大学);MIT(麻省理工学院)
人工智能(AI)在越来越多的任务中实现了超人的性能,但理解和解释AI仍然具有挑战性。本文通过对三个著名的游戏人工智能的案例研究,阐明了开发人工智能的机器学习算法与动态结构模型的计量经济学之间的联系。玩国际象棋的深蓝是一个校准的价值函数,而玩将棋的博南扎是一个估计的价值函数通过鲁斯特(1987)嵌套定点方法。AlphaGo的“监督学习策略网络”是Hotz和Miller(1993)条件选择概率估计的深度神经网络实现;其“监督学习值网络”相当于Hotz,Miller,Sanders和Smith(1994)条件选择模拟方法。放宽这些认可机构隐含的计量经济学假设将改善其结构的可解释性。
2018-03-01 cs.AI cs.LG econ.EM
Dual Monte Carlo Tree Search
Northeastern University(东北大学)
AlphaZero使用深度神经网络和蒙特卡罗树搜索(MCTS)的组合,成功地以tabula-rasa的方式训练了强化学习代理。神经MCTS算法已经成功地通过自我游戏找到了接近最优的游戏策略。然而,AlphaZero算法有一个明显的缺点;它需要很长的时间来收敛,并需要高的计算能力,由于复杂的神经网络解决像国际象棋,围棋,将棋等游戏,由于这一点,这是很难追求神经MCTS研究没有尖端的硬件,这是许多有抱负的神经MCTS研究人员的一个障碍。在本文中,我们提出了一种新的神经MCTS算法,称为双MCTS,这有助于克服这些缺点。双MCTS使用两种不同的搜索树,一个深度神经网络,以及一种新的搜索树更新技术,该技术使用PUCB、滑动窗口和搜索-贪心算法的组合。该技术适用于任何基于MCTS的算法,以减少对树的更新次数。我们表明,双MCTS表现优于最广泛使用的神经MCTS算法之一,AlphaZero,各种对称和非对称的游戏。
2021-10-10 cs.AI cs.MA
Scalable Online Planning via Reinforcement Learning Fine-Tuning
Facebook AI Research(脸书人工智能研究院);UC Berkeley(加州大学伯克利分校)
前瞻搜索是最近人工智能成功的关键组成部分,例如在国际象棋,围棋和扑克游戏中。然而,在这些游戏和许多其他设置中使用的搜索方法是表格式的。表格搜索方法不能很好地随搜索空间的大小缩放,并且随机性和部分可观测性加剧了这个问题。在这项工作中,我们通过强化学习在线模型为基础的政策神经网络的微调取代表格搜索,并表明这种方法优于国家的最先进的搜索算法在基准设置。特别是,我们使用我们的搜索算法,以实现一个新的国家的最先进的结果在自我发挥Hanabi,并显示我们的算法的一般性,也表明它优于表格搜索在雅达利游戏女士。
2021-09-30 cs.AI
Evaluation Beyond Task Performance: Analyzing Concepts in AlphaZero in Hex
Brown University(布朗大学)
AlphaZero是一种将神经网络和蒙特卡罗树搜索(MCTS)结合在一起的强化学习方法,它为国际象棋、围棋、将棋和十六进制等传统棋盘游戏提供了最先进的策略。虽然研究人员和游戏评论员认为AlphaZero使用了人类认为重要的概念,但目前还不清楚这些概念是如何在网络中捕获的。我们使用自然语言处理(NLP)的两种评估技术:模型探测和行为测试来研究AlphaZero在Hex游戏中的内部表示。在此过程中,我们向RL社区介绍了新的评估工具,并说明了如何使用任务性能以外的评估来更全面地了解模型的优点和缺点。我们在Hex游戏中的分析揭示了有趣的模式,并产生了一些关于这些模型一般如何学习的可测试假设。例如,我们发现MCTS在神经网络学习编码之前就发现了概念。我们还发现,与短期结束游戏规划的概念是最好的编码在模型的最后几层,而与长期规划的概念编码在模型的中间层。
2022-11-26 cs.AI
UniMaia: Steering Chess Policies with Language for Human-like Play
University of Waterloo(滑铁卢大学);Carleton University(卡尔顿大学)
提出UniMaia框架,通过参数高效文本编码器和ControlNet风格调节机制,在冻结的Lc0国际象棋策略网络上实现提示条件策略调制,实现语义控制(如开局选择和玩家强度)并保持预训练策略表征,同时构建大规模元数据增强的Lichess数据集和半自动提示生成管道,在多个基准上取得最优或竞争性结果。
2026-05-26 cs.AI cs.CL cs.LG
Deep Kronecker neural networks: A general framework for neural networks with adaptive activation functions
Brown University(布朗大学);Harvard University(哈佛大学)
我们提出了一种新型的神经网络,克罗内克神经网络(KNN),形成了一个通用的框架,神经网络的自适应激活函数。KNN使用Kronecker乘积,它提供了一种有效的方法来构建一个非常广泛的网络,同时保持参数的数量很低。我们的理论分析表明,在适当的条件下,KNN诱导的损失比前馈网络的衰减更快。这也通过一组计算实例进行了经验验证。此外,在一定的技术假设下,我们建立了KNN的梯度下降的全局收敛性。作为一个特定的情况下,我们提出了Rowdy激活函数,旨在摆脱任何饱和区域注入正弦波动,其中包括可训练的参数。所提出的Rowdy激活函数可以用于任何神经网络结构,如前馈神经网络、递归神经网络、卷积神经网络等。通过各种计算实验,包括使用前馈神经网络的函数逼近,使用物理信息神经网络的偏微分方程的解推理,以及使用卷积和全连接神经网络的标准深度学习基准问题。
2021-10-19 cs.LG
Why Quantization Improves Generalization: NTK of Binary Weight Neural Networks
量化神经网络由于在推理过程中减少了空间和计算复杂性而引起了人们的广泛关注。此外,有民间传说,量化作为一个隐式正则化,从而可以提高神经网络的泛化能力,但没有现有的工作正式这个有趣的民间传说。本文将神经网络中的二进制权值作为随机舍入下的随机变量,研究了分布在神经网络不同层上的传播。我们提出了一个拟神经网络来逼近分布传播,它是一个具有连续参数和光滑激活函数的神经网络。我们推导了该准神经网络的神经切线核(NTK),并证明了NTK的特征值近似以指数速率衰减,这与随机尺度下的高斯核的特征值衰减速率相当.这反过来表明,再生核希尔伯特空间(RKHS)的二进制权重神经网络覆盖一个严格的子集的功能相比,一个真正的价值权重。通过实验验证了我们提出的准神经网络能够很好地逼近二进制权值神经网络。此外,二值权值神经网络与实值权值神经网络相比,给出了更小的泛化间隙,这类似于高斯核与拉普拉斯核之间的差异。
2022-06-13 cs.LG
Study of the Proper NNUE Dataset
University of California, Riverside(加州大学河滨分校)
本文针对NNUE训练中高质量数据集构建方法不足的问题,提出一种生成和过滤稳定“安静”位置数据集的算法,测试表明该方法显著提升了国际象棋引擎性能。
2024-12-23 cs.AI cs.LG
Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks
University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了萤火虫神经架构下降,渐进和动态增长的神经网络,以共同优化网络的参数和架构的一般框架。我们的方法以最速下降的方式工作,它迭代地在原始网络的功能邻域内找到最佳网络,其中包括一组不同的候选网络结构。通过泰勒近似,可以找到最佳的网络结构的邻域内的贪婪选择过程。我们表明,萤火虫血统可以灵活地使网络更宽更深,并且可以应用于学习准确但资源高效的神经架构,以避免持续学习中的灾难性遗忘。从经验上讲,萤火虫血统在神经结构搜索和持续学习方面都取得了令人满意的结果。特别是,在一个具有挑战性的连续图像分类任务中,它学习的网络尺寸较小,但平均精度高于最先进的方法。
2021-06-21 cs.LG
Demand response for residential building heating: Effective Monte Carlo Tree Search control based on physics-informed neural networks
IDLab Ghent university – imec(IDLab 根特大学 – 校际微电子中心(imec));Beebop
本文针对住宅建筑供暖需求响应控制问题,提出结合多步预测物理信息神经网络的改进蒙特卡洛树搜索方法,相比黑盒神经网络方案降低了预测误差与能源成本,同时引入AlphaZero思路减少计算量。
2024-05-21 cs.AI cs.SY eess.SY
Collaboration between parallel connected neural networks -- A possible criterion for distinguishing artificial neural networks from natural organs
Sun Yat-sen University(中山大学)
本研究发现并联人工神经网络存在子网络非最优、优劣子网络贡献相当、全子网络错误仍能输出正确结果的特性,提出以此作为区分人工神经网络与天然器官、衡量仿生水平的准则,并验证ReLU激活函数比sigmoid、Tanh更能提升网络仿生度。
2022-08-21 cs.LG cs.NE
Neural Networks, Hypersurfaces, and Radon Transforms
HRL Laboratories, LLC(HRL实验室有限责任公司);University of Virginia(弗吉尼亚大学)
沿超曲面,Radon变换,和神经网络的集成之间的连接被利用,突出了一个完整的几何数学解释的神经网络。通过分析神经网络作为观测数据概率分布算子的性质,我们证明了神经网络中任意节点的输出分布可以解释为沿输入数据空间上水平曲面定义的超曲面的非线性投影。我们利用这些描述提供新的解释的现象,如非线性,池,激活函数,和对抗的例子在神经网络为基础的学习问题。
2019-07-04 cs.LG stat.ML
Consistency of Neural Networks with Regularization
Texas State University(德克萨斯州立大学);Yale University(耶鲁大学)
神经网络由于其在自然语言处理和计算机视觉等应用中的成功而引起了广泛的关注。对于大规模数据,由于神经网络中的参数数量巨大,过拟合是训练神经网络的一个问题。为了避免过拟合,一种常见的方法是惩罚参数,特别是神经网络中的权重。虽然神经网络在许多应用中显示了其优越性,但惩罚神经网络的理论基础还没有很好地建立起来。本文的目标是提出正则化神经网络的一般框架,并证明其一致性。在一定条件下,随着样本量的增加,估计的神经网络将收敛到真实的底层函数。利用筛子法和最小神经网络理论克服了参数的不可辨识性问题。两种类型的激活函数:双曲正切函数(Tanh)和整流线性单元(ReLU)已被考虑。仿真结果验证了一致性定理的正确性。
2022-06-22 cs.LG stat.ME stat.ML
Neural Tangent Kernel Analysis of Deep Narrow Neural Networks
Seoul National University(首尔国立大学);Hongik University(弘益大学)
最近在分析过参数化神经网络的训练动态方面取得的巨大进展主要集中在宽网络上,因此没有充分解决深度在深度学习中的作用。在这项工作中,我们提出了无限深但窄神经网络的第一个可训练性保证。我们研究了具有特定初始化的多层感知器(MLP)的无限深度限制,并使用NTK理论建立了可训练性保证。然后,我们将分析扩展到无限深度卷积神经网络(CNN)并进行简短的实验。
2022-06-27 cs.LG math.OC stat.ML
On the approximation of functions by tanh neural networks
ETH Zürich(苏黎世联邦理工学院)
我们得到的误差的界限,在高阶Sobolev规范,在Sobolev正则以及解析函数的神经网络与双曲正切激活函数的逼近中产生。这些界限提供了关于神经网络大小的近似误差的明确估计。我们证明了只有两个隐藏层的tanh神经网络足以以与更深的ReLU神经网络相当或更好的速度近似函数。
2021-08-23 cs.LG cs.NA math.NA
Transmission Neural Networks: From Virus Spread Models to Neural Networks
McGill University(麦吉尔大学)
这项工作将病毒在网络上传播的模型与其等效的神经网络表示联系起来。基于这种连接,我们提出了一种新的神经网络架构,称为传输神经网络(transNN),其中激活函数主要与链接,并允许有不同的激活水平。此外,这种连接导致三个新的激活函数与可调或可训练的参数的发现和推导。此外,我们证明了具有单个隐藏层和固定非零偏置项的TransNN是通用函数逼近器。最后,我们提出了新的基本推导的连续时间传染病网络模型的基础上的TransNN。
2022-08-07 cs.LG cs.SI cs.SY
Graph Structure of Neural Networks
Stanford University(斯坦福大学);Facebook AI Research(Facebook人工智能研究院)
神经网络通常表示为神经元之间的连接图。然而,尽管它们被广泛使用,但目前对神经网络的图结构与其预测性能之间的关系了解甚少。在这里,我们系统地研究了神经网络的图结构如何影响其预测性能。为此,我们开发了一种新的基于图的表示神经网络称为关系图,其中神经网络计算层对应于沿图结构的消息交换轮。使用这种表示,我们表明:(1)关系图的“甜蜜点”导致神经网络具有显着提高的预测性能;(2)神经网络的性能近似是其关系图的聚类系数和平均路径长度的平滑函数;(3)我们的研究结果在许多不同的任务和数据集上是一致的;(4)甜蜜点可以有效地识别;(5)表现最好的神经网络具有与真实生物神经网络惊人相似的图形结构。我们的工作为神经网络结构的设计和对神经网络的理解开辟了新的方向。
2020-08-27 cs.CV cs.LG cs.SI
Distributionally robust approximation property of neural networks
University of Mannheim(曼海姆大学)
本文证明了几类神经网络在弱紧测度族下具有一致通用逼近性质,通过Orlicz空间稠密性扩展了经典定理,涵盖前馈、深窄及函数输入网络。
2026-10-30 cs.LG math.FA math.PR
Efficiently Training Neural Networks for Imperfect Information Games by Sampling Information Sets
Johannes Kepler University(约翰开普勒大学);LIT AI Lab(LIT人工智能实验室);University of Alberta(阿尔伯塔大学)
针对不完全信息博弈训练集构建难的问题,本文实证研究了完美信息评估预算的分配策略,发现为更多不同局面采样约3个状态的效果优于少样本重复采样,样本多样性比目标质量更重要。
2024-07-08 cs.AI cs.GT cs.LG
Can You Learn an Algorithm? Generalizing from Easy to Hard Problems with Recurrent Networks
University of Maryland(马里兰大学)
深度神经网络是视觉模式识别的强大机器,但对人类来说很容易的推理任务对神经模型来说可能仍然很困难。人类有能力将从简单问题中学到的推理策略外推到解决更难的问题上,通常是通过思考更长的时间。例如,一个已经学会解决小迷宫的人可以很容易地扩展相同的搜索技术,通过花费更多的时间来解决更大的迷宫。在计算机中,这种行为通常是通过使用算法来实现的,这些算法以更多的计算为代价扩展到任意困难的问题实例。相比之下,前馈神经网络的顺序计算预算受到其深度的限制,并且在简单问题上训练的网络无法扩展其推理以适应更困难的问题。在这项工作中,我们证明了训练用于解决简单问题的递归网络,只需很少的递归步骤,就可以通过在推理过程中执行额外的递归来解决更复杂的问题。我们证明了这种算法行为的经常性网络的前缀和计算,迷宫,国际象棋。在这三个领域中,在简单问题实例上训练的网络能够在测试时简单地通过“思考更长时间”来扩展其推理能力。"
2021-11-02 cs.AI cs.LG
Finite Group Equivariant Neural Networks for Games
Trinity College Dublin(都柏林圣三一学院);University of Siegen(锡根大学)
围棋、国际象棋和跳棋等游戏有多个等价的游戏状态,即多个棋盘位置,应该进行对称和相反的移动。这些等价性没有被当前最先进的神经代理所利用,而是必须重新学习类似的信息,从而浪费计算时间。现有工作中的组等变CNN创建了可以利用对称性来改善学习的网络,但是它们缺乏正确反映游戏所需的移动嵌入的表现力。我们介绍有限群神经网络(FGNNs),一种用于创建代理的方法,这些董事会的立场与生俱来的理解。FGNN被证明可以提高网络玩跳棋(国际跳棋)的性能,并且可以很容易地适应其他游戏和学习问题。此外,FGNN可以从现有的网络架构中创建。其中包括第一次使用跳过连接和任意层类型的连接。我们证明了U-Net的等变版本(FGNN-U-Net)在图像分割方面优于未修改的网络。
2020-09-10 cs.LG stat.ML
Monte-Carlo Graph Search for AlphaZero
Technical University of Darmstadt(达姆施塔特工业大学);hessian.ai — The Hessian Center for Artificial Intelligence(黑森人工智能中心)
AlphaZero算法已成功应用于一系列离散领域,尤其是棋盘游戏。它利用神经网络,学习值和策略函数,以指导蒙特卡罗树搜索中的探索。虽然许多搜索改进已经提出了蒙特卡罗树搜索在过去,他们中的大多数是指一个旧的变种的上置信度界限树算法,不使用规划的政策。我们引入了一个新的,改进的搜索算法AlphaZero的搜索树推广到一个有向无环图。这使得信息能够在不同的子树之间流动,并大大减少了内存消耗。随着蒙特卡洛图搜索,我们提出了一些进一步的扩展,如包括ε-贪婪的探索,修订终端求解器和领域知识作为约束的集成。在我们的评估中,我们使用国际象棋和crazyhouse上的CrazyAra引擎作为示例,以表明这些变化为AlphaZero带来了显着的改进。
2020-12-20 cs.AI cs.LG
ESCHER: Eschewing Importance Sampling in Games by Computing a History Value Function to Estimate Regret
Carnegie Mellon University(卡内基梅隆大学);DeepMind(深度思维);Strategy Robot, Inc.(Strategy Robot公司);Optimized Markets, Inc.(Optimized Markets公司);Strategic Machine, Inc.(Strategic Machine公司)
最近的技术近似纳什均衡在非常大的游戏杠杆神经网络学习近似最优的政策(战略)。一个有前途的研究方向是使用神经网络来近似反事实后悔最小化(CFR)或其现代变体。DREAM是目前唯一一种基于CFR的神经方法,它是无模型的,因此可以扩展到非常大的游戏,它在估计的遗憾目标上训练神经网络,由于从蒙特卡洛CFR(MCCFR)继承的重要性采样项,该目标可能具有极高的方差。在本文中,我们提出了一个无偏的无模型方法,不需要任何重要性采样。我们的方法,ESCHER,是原则性的,并保证以高概率收敛到一个近似的纳什均衡。我们发现,ESCHER的估计后悔的方差是数量级低于梦想和其他基线。然后,我们表明,ESCHER优于现有的艺术状态-梦想和神经虚构的自我发挥(NFSP)-在一些游戏和差异变得戏剧性的游戏大小的增加。在非常大的黑棋比赛中,ESCHER能够在$90\%$的时间内击败DREAM和NFSP。
2022-10-11 cs.AI cs.GT cs.LG
Bayesian Neural Networks: Essentials
IBM(国际商业机器公司)
贝叶斯神经网络利用概率层来捕获权重和激活的不确定性,并使用贝叶斯推理进行训练。由于这些概率层被设计成其确定性对应部分的直接替代,贝叶斯神经网络提供了一种直接和自然的方式来扩展传统的深度神经网络以支持概率深度学习。然而,由于贝叶斯神经网络的复杂性,理解、设计和训练贝叶斯神经网络是非常重要的。我们讨论了贝叶斯神经网络的本质,包括对偶(深度神经网络,概率模型),近似贝叶斯推理,贝叶斯先验,贝叶斯后验和深度变分学习。我们使用TensorFlow Probability API和代码示例进行说明。贝叶斯神经网络的主要问题是,深度神经网络的架构使得考虑大量连续层的不确定性变得非常冗余和昂贵。混合贝叶斯神经网络,它使用很少的概率层,公正地定位在网络中,提供了一个实用的解决方案。
2021-06-22 cs.AI cs.LG
Safety Verification of Neural Network Control Systems Using Guaranteed Neural Network Model Reduction
Augusta University(奥古斯塔大学);Southwest Jiaotong University(西南交通大学)
为了提高神经网络控制系统安全性验证的计算效率,提出了一种保证神经网络模型降阶方法。首先,提出了模型降阶精度的概念来描述神经网络的输出与其降阶后的输出之间的保证距离。提出了一种基于可达性的模型降阶精度计算方法。然后,通过将一个尺寸减小的神经网络控制器替换到闭环系统中,开发了一种计算原系统的可达集的算法,该算法能够支持计算效率更高的安全验证过程。最后,将所提出的方法应用于带有神经网络控制器的自适应巡航控制系统的实例研究中,结果表明,该方法可以显著减少安全验证的计算时间,从而验证了该方法的有效性。
2023-01-17 cs.AI cs.LG
Towards Repairing Neural Networks Correctly
Zhejiang University(浙江大学);Singapore Management University(新加坡管理大学);Huawei International Pte Ltd(华为国际有限公司)
神经网络越来越多地应用于支持安全关键应用(如自动驾驶汽车、无人机和基于人脸识别的身份验证)中的决策。虽然已经提出了许多令人印象深刻的静态验证技术来解决神经网络的正确性问题,但静态验证可能永远无法充分扩展以处理真实世界的神经网络。在这项工作中,我们提出了一个运行时验证方法,以确保正确的神经网络。给定一个神经网络和一个理想的安全属性,我们采用最先进的静态验证技术来确定战略位置,以引入额外的门,“正确的”神经网络的行为在运行时。实验结果表明,我们的方法有效地产生神经网络,保证满足的性质,同时是与原始的神经网络的大部分时间一致。
2021-05-06 cs.AI cs.LG
Anomaly-resistant Graph Neural Networks via Neural Architecture Search
通常,图神经网络(GNN)一直使用消息传递方法来聚合和汇总关于邻居的信息以表达它们的信息。尽管如此,以前的研究表明,图神经网络的性能变得脆弱时,有异常节点的邻居,由于这种消息传递方法。在本文中,受神经结构搜索方法的启发,我们提出了一种算法,识别异常节点,并自动排除他们的信息聚合。在各种真实世界数据集上的实验表明,我们提出的基于神经结构搜索的抗异常图神经网络(NASAR-GNN)实际上是有效的。
2021-12-19 cs.AI cs.LG
Universal Approximation Theorem for Neural Networks
九州大学大学院数理学府
神经网络的逼近能力是否有理论保证?这个问题的答案是“神经网络的通用逼近定理“。该定理指出,在适当的设置下,神经网络在一定的函数空间中是稠密的。本文对前向神经网络的普适逼近定理、逼近速度问题(中间单元数与逼近误差的关系)以及日本的Barron空间作了全面的解释。
2021-02-19 cs.AI cs.LG
Programmatic Representation Learning with Language Models
Kempner Institute at Harvard University(哈佛大学凯普纳研究所);Stanford University(斯坦福大学)
本文提出LeaPR模型,利用大型语言模型合成代码特征并堆叠决策树,通过改编FunSearch和ID3变体算法,实现无需神经网络的高质量可解释预测器。
2025-10-16 cs.LG
Guaranteed Quantization Error Computation for Neural Network Model Compression
Augusta University(奥古斯塔大学)
本文针对量化神经网络压缩,通过合并原网络与量化网络并结合优化和可达性分析计算严格保证的输出量化误差,且以数值示例验证其有效性。
2023-04-26 cs.AI cs.LG cs.NE
Graph Neural Networks for Learning Equivariant Representations of Neural Networks
University of Amsterdam(阿姆斯特丹大学);Samsung - SAIT AI Lab, Montreal(三星SAIT人工智能实验室(蒙特利尔));Carnegie Mellon University(卡内基梅隆大学);TNO(荷兰应用科学研究组织)
提出将神经网络表示为参数计算图,利用图神经网络和transformers保留置换对称性,使单一模型能编码多样架构,在多项任务上优于现有方法。
2024-07-23 cs.AI cs.LG stat.ML