DeepSeek-Prover-V1.5: Harnessing Proof Assistant Feedback for Reinforcement Learning and Monte-Carlo Tree Search
DeepSeek-AI(深度求索公司)
本研究推出面向Lean 4的定理证明开源模型DeepSeek-Prover-V1.5,通过增强数据集微调、证明助手反馈强化学习及新型RMaxTS蒙特卡洛树搜索方法,在miniF2F、ProofNet基准上刷新最优成绩。
2024-08-15 cs.AI cs.CL cs.LG
Compile to Compress: Boosting Formal Theorem Provers by Compiler Outputs
Department of Computer Science and Technology, Tsinghua University, Beijing, China(清华大学计算机科学与技术系)
利用编译器将大量证明尝试压缩为结构化失败模式,提出一种学习-精炼框架,通过树搜索基于验证器反馈局部修正错误,在可比测试时预算下在PutnamBench上达到最先进性能。
2026-05-29 cs.AI cs.LG cs.LO
Gradient Ascent for Active Exploration in Bandit Problems
Institut de Mathématiques de Toulouse, Université de Toulouse(图卢兹大学图卢兹数学研究所);IRT Saint Exupéry(圣埃克絮佩里技术研究院)
对于一般的主动探索强盗问题,在固定置信度下,我们提出了一种基于梯度上升的新算法。这个问题包括几个很好的研究问题,如最佳手臂识别或持牌土匪。它包括一个新的采样规则的基础上在线懒惰镜像上升。我们证明了该算法是渐近最优的,最重要的是,计算效率。
2019-05-20 cs.LG stat.ML
Efficient Exploration of the Rashomon Set of Rule Set Models
Aalto University(阿尔托大学);The Upright Project(正直项目);KTH Royal Institute of Technology(皇家理工学院(瑞典))
本文提出了一种高效探索规则集模型Rashomon集的方法,支持穷举或非穷举搜索,避免了冗余枚举,并通过大量实验验证了其有效性。
2024-06-05 cs.LG
Learning Reasoning Strategies in End-to-End Differentiable Proving
UCL Centre for Artificial Intelligence, University College London(伦敦大学学院人工智能中心);Facebook AI Research(Facebook 人工智能研究院)
试图使深度学习模型具有可解释性、数据高效性和鲁棒性的尝试已经通过与基于规则的系统的混合取得了一些成功,例如在神经定理证明器(NTP)中。这些神经符号模型可以通过反向传播从数据中归纳出可解释的规则和学习表示,同时为其预测提供逻辑解释。然而,它们受到其计算复杂性的限制,因为它们需要考虑所有可能的证明路径来解释目标,从而使它们不适合大规模应用。我们提出了条件定理证明器(CTPs),NTPs的扩展,通过基于梯度的优化来学习最佳规则选择策略。我们证明了CTP是可扩展的,并在CLUTRR数据集上产生了最先进的结果,该数据集通过学习在较小的图上进行推理并在较大的图上进行评估来测试神经模型的系统概括。最后,CTP显示出更好的链接预测结果与其他神经符号模型相比,在标准的基准测试,同时被解释。所有源代码和数据集都可以在https://github.com/uclnlp/ctp上获得。
2020-08-24 cs.AI cs.CL cs.LG
Thompson Exploration with Best Challenger Rule in Best Arm Identification
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所AIP);Kyoto University(京都大学)
针对固定置信度最佳臂识别问题,提出结合Thompson sampling与best challenger rule的新策略,无需强制探索且计算高效,在多臂问题上实现近最优并有竞争力的样本复杂度。
2025-08-11 cs.LG stat.ML
Visualizing Rule Sets: Exploration and Validation of a Design Space
New York University(纽约大学)
规则集通常用于机器学习(ML)中,作为在需要透明度和可理解性的设置中传达模型逻辑的一种方式。规则集通常以基于文本的逻辑语句(规则)列表的形式呈现。令人惊讶的是,到目前为止,在探索视觉替代方案来呈现规则方面的工作有限。在本文中,我们探讨了设计规则的替代表示的想法,专注于一些视觉因素,我们认为有一个积极的影响规则的可读性和理解。本文提出了一个初始的设计空间可视化规则集和用户研究探索其影响。结果表明,一些设计因素对读者处理规则的效率有很大影响,而对准确性的影响最小。这项工作可以帮助从业者在使用规则作为理解ML模型的通信策略时采用更有效的解决方案。
2021-03-04 cs.AI cs.HC cs.LG
Logarithmic Regret of Exploration in Average Reward Markov Decision Processes
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院)
本文提出一种改进的规则替代Doubling Trick,使平均奖励马尔可夫决策过程中的探索遗憾降低至对数级别,提升算法性能。
2025-11-27 cs.LG stat.ML
Non-Asymptotic Pure Exploration by Solving Games
Centrum Wiskunde & Informatica(数学与计算机科学研究中心);Inria Lille(里尔法国国家信息与自动化研究所)
纯探索(也称为主动测试)是顺序收集信息以回答关于随机环境的查询的基本任务。好的算法很少出错,也很少采样。下界(多臂强盗模型的武器在指数家庭)表明,样本的复杂性是由一个优化问题的解决方案。现有的最先进的算法通过在每一步解决该优化问题的插件估计来实现渐近最优性。我们解释的优化问题作为一个未知的游戏,并提出基于迭代策略的采样规则,估计和收敛到其鞍点。我们应用无遗憾学习器获得第一个有限的置信保证,适用于指数族,适用于任何纯探索查询和强盗结构。此外,我们的算法只使用最佳对策预言,而不是完全解决优化问题。
2019-06-25 cs.LG stat.ML
Exploration of the generative capabilities of Boltzmann machines applied to social systems under the majority rule
Centro de Modelamiento Matemático (CMM)(数学建模中心)
研究玻尔兹曼机在多数规则下恢复系统的生成能力,通过训练不同配置的深度信念网络,让其根据固定可见单元生成样本并测量偏差,还用离散温度计证实重建处于临界状态,表明DBN能恢复有噪声下仍临界的样本。
2026-07-28 cs.CY cs.LG
Efficient contextual partial monitoring with general function approximation
University of Arizona(亚利桑那大学);POSTECH(浦项科技大学)
该研究针对带侧信息的有限随机部分监控博弈,基于E2D元算法设计高效框架,提出两种探索规则,在合成博弈与LLM路由任务上验证其性能优于现有方法。
2026-10-15 cs.LG stat.ML
Visual Exploration of Machine Learning Model Behavior with Hierarchical Surrogate Rule Sets
New York University(纽约大学);Capital One(第一资本)
模型解释的一个潜在解决方案是训练一个代理模型:一个更透明的模型,它近似于要解释的模型的行为。通常,由于分类规则或决策树的基于逻辑的表达的可理解性而使用分类规则或决策树。但是,决策树可能会生长得太深,规则集可能会变得太大,无法近似复杂的模型。与决策树上必须共享祖先节点(条件)的路径不同,规则更加灵活。然而,规则的非结构化视觉表示使得很难进行跨规则的推理。为了解决这些问题,我们提出了一个工作流程,其中包括新的算法和交互式解决方案。首先,我们提出了分层代理规则(HSR),一个算法,生成分层规则的基础上,用户定义的参数。我们还贡献了SuRE,一个可视化分析(VA)系统,集成了HSR和交互式代理规则可视化。特别是,我们提出了一种新的特征对齐树,以克服现有的规则可视化的缺点。我们评估算法的参数敏感性,时间性能,并与代理决策树比较,发现它的规模合理,在许多方面优于决策树。我们还评估了可视化和VA系统的可用性研究与24名志愿者和观察性研究与7个领域的专家。我们的调查表明,参与者可以使用特征对齐树来执行非常高的准确性,非平凡的任务。我们还讨论了许多有趣的观察,可以为未来的研究设计有效的基于规则的VA系统是有用的。
2022-01-19 cs.AI cs.HC cs.LG
Forced Exploration in Bandit Problems
School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件学院)
针对多臂老虎机问题中奖励分布信息难获取的痛点,提出贪心与强制探索交替的新型算法,无需分布信息即可适配多种分布,给出不同场景下的遗憾上界并验证了性能。
2023-12-13 cs.LG stat.ML
Computationally Efficient Reinforcement Learning: Targeted Exploration leveraging Simple Rules
Empa(瑞士联邦材料科学与技术研究所);EPFL(洛桑联邦理工学院)
提出修改连续actor-critic框架以利用专家简单规则避开次优区域,显著加速RL智能体收敛且无计算开销。
2023-09-12 cs.AI cs.LG
Enhancing Neural Theorem Proving through Data Augmentation and Dynamic Sampling Method
National Institute of Science Education and Research(国家教育与科学研究院);Homi Bhabha National Institute(霍米·巴巴国家研究所)
本文提出DS-Prover动态采样方法,通过根据剩余时间调整策略数量优化证明搜索,并分解多前提策略增强训练数据,在MiniF2F和ProofNet上取得显著性能提升。
2024-02-15 cs.AI cs.LG cs.LO
Adaptive Data Debiasing through Bounded Exploration
Ohio State University(俄亥俄州立大学);University of California, Santa Cruz(加州大学圣克鲁兹分校)
用于训练算法决策规则的现有数据集中的偏见可能会引起伦理和经济问题,因为这会导致对不同群体的不同对待。我们提出了一种算法,通过自适应和有界探索在一个昂贵的和审查反馈的分类问题,顺序去偏置这样的数据集。在这种情况下,探索意味着决策者有时会在明智选择的程度上偏离其(当前)损失最小化规则,而是接受一些否则会被拒绝的个体,以减少统计数据偏差。我们提出的算法包括可用于在消除数据偏差的最终目标(这反过来又会导致更准确和公平的决策)与实现这一目标所带来的探索风险之间进行平衡的参数。我们分析表明,这样的探索可以帮助debias数据在某些分布。我们进一步研究如何公平的标准可以与我们的数据去偏置算法。我们说明了我们的算法使用合成和真实世界的数据集上的实验的性能。
2023-01-10 cs.CY cs.LG
Structural Credit Assignment with Coordinated Exploration
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本研究提出利用玻尔兹曼机或循环网络实现协调探索,以改进结构化信用分配,实验证明其训练速度优于独立探索和STE反向传播。
2023-07-25 cs.AI cs.LG
Learning Rules Explaining Interactive Theorem Proving Tactic Prediction
University of Innsbruck(因斯布鲁克大学);Czech Academy of Sciences(捷克科学院);University of Melbourne(墨尔本大学)
本研究将交互式定理证明中的策略预测建模为归纳逻辑编程任务,通过丰富特征空间学习可解释规则,并用于过滤现有策略选择方法,实验证明能提升性能。
2024-11-02 cs.AI cs.LG cs.LO
Generative Adversarial Exploration for Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯人工智能实验室)
探索是训练最优强化学习(RL)策略的关键,其中的关键是区分状态访问是否是新的。大多数以前的工作集中在设计启发式规则或距离度量来检查状态是否新颖,而不考虑可以学习的这种鉴别过程。在本文中,我们提出了一种称为生成对抗探索(GAEX)的新方法,通过从生成对抗网络中引入内在奖励输出来鼓励RL中的探索,其中生成器提供了状态的假样本,帮助机器人识别那些不太频繁访问的状态。因此,鼓励代理人访问那些州,而代理人不太有信心判断为访问过。GAEX易于实现,训练效率高。在我们的实验中,我们将GAEX应用到DQN和DQN-GAEX算法取得了令人信服的性能具有挑战性的探索问题,包括游戏冒险,蒙特祖玛的复仇和超级马里奥兄弟,没有进一步微调复杂的学习算法。据我们所知,这是第一个工作,采用GAN在RL探索问题。
2022-01-27 cs.AI cs.LG
PolyNet: Learning Diverse Solution Strategies for Neural Combinatorial Optimization
Bielefeld University(比勒菲尔德大学);Boston University(波士顿大学)
针对组合优化现有手工规则强制探索会损害解质量的问题,提出仅用单解码器、无手工强制规则的PolyNet方法,通过学习互补策略实现隐式多样性,在4类问题上效果优于显式强制多样化的方法。
2025-10-06 cs.AI cs.LG