On Optimal Generalizability in Parametric Learning
Harvard University（哈佛大学）；University of Southern California（南加州大学）
我们考虑参数学习问题，其中学习器的目标由参数损失函数确定。采用可能正则化的经验风险最小化，推断的参数向量将偏向于训练样本。这种偏差在实践中通过交叉验证程序来测量，其中数据集被划分为用于训练的训练集和验证集，验证集不用于训练，而是用于测量样本外性能。经典的交叉验证策略是留一交叉验证（LOOCV），其中一个样本被排除用于验证，并且对呈现给学习者的其余样本进行训练，并且对所有样本重复该过程。由于计算复杂度高，LOOCV在实际中很少使用。在本文中，我们首先开发了一个计算效率的近似LOOCV（ALOOCV），并提供其性能的理论保证。然后，我们使用ALOOCV提供了一个优化算法，找到正则化的经验风险最小化框架。在我们的数值实验中，我们说明了ALOOCV的准确性和效率，以及我们提出的正则化优化框架。
2017-11-14 cs.LG stat.ML
Understanding Generalization in Deep Learning via Tensor Methods
University of Maryland, College Park（马里兰大学帕克分校）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）
深度神经网络可以很好地概括看不见的数据，尽管参数的数量往往远远超过训练样本的数量。最近提出的复杂性度量为从PAC-Bayes、鲁棒性、过度参数化、压缩等角度理解神经网络的可推广性提供了见解。在这项工作中，我们从压缩的角度推进了对网络体系结构及其可推广性之间关系的理解。使用张量分析，我们提出了一系列直观的，依赖于数据的和易于测量的属性，这些属性紧密地表征了神经网络的可压缩性和可推广性;因此，在实践中，我们的推广界优于以前基于压缩的，特别是对于使用张量作为其权重内核的神经网络（例如CNN）。此外，这些直观的测量为设计具有有利于更好/有保证的泛化能力的特性的神经网络架构提供了进一步的见解。我们的实验结果表明，通过所提出的可测量的属性，我们的泛化误差界匹配的趋势，测试误差很好。我们的理论分析进一步提供了一些广泛使用的基于张量的压缩方法的经验的成功和局限性的理由。我们还发现，通过我们提出的分层结构，将张量操作时，当前神经网络的压缩性和鲁棒性的改进。
2020-05-10 cs.LG stat.ML
Towards Understanding Multi-Round Large Language Model Reasoning: Approximability, Learnability and Generalizability
University at Buffalo（布法罗大学）
本文研究了多轮自回归大型语言模型推理的可近似性、可学习性与可泛化性，证明了有限上下文Transformers可通过多轮推理近似图灵可计算函数，扩展了PAC学习，并分析了泛化误差传播，奠定了多轮序列学习的理论基础。
2025-03-05 cs.AI cs.CL cs.LG
Sample Complexity Bounds for Robustly Learning Decision Lists against Evasion Attacks
University of Oxford（牛津大学）
对抗性机器学习中的一个基本问题是量化在存在规避攻击的情况下需要多少训练数据。在本文中，我们解决这个问题的PAC学习的框架内，专注于类的决策列表。鉴于分布假设在对抗环境中是必不可少的，我们使用满足Lipschitz条件的输入数据的概率分布：附近的点具有相似的概率。我们的关键结果表明，对手的预算（即，它可以扰乱每个输入的位数）是一个基本的数量在确定样本的复杂性的鲁棒学习。我们的第一个主要结果是一个样本复杂性下限：类单调合取（本质上是最简单的非平凡的假设类的布尔超立方体）和任何超类的样本复杂性至少指数在对手的预算。我们的第二个主要结果是一个相应的上界：对于每个固定的$k$类的$k$决策列表有多项式样本复杂性对$\log(n)$有界的对手。这进一步阐明了在均匀分布下有效的PAC学习算法是否总是可以用作有效的$\log(n)$ -鲁棒学习算法的问题。
2022-05-12 cs.LG stat.ML
Recent advances in deep learning theory
the University of Sydney（悉尼大学）；UBTECH Sydney AI Centre（优必选悉尼人工智能中心）
深度学习通常被描述为一个实验驱动的领域，不断受到缺乏理论基础的批评。这一问题已部分解决了大量的文献，迄今尚未妥善组织。本文回顾和整理了深度学习理论的最新进展。文献分为六组：（1）用于分析深度学习可推广性的基于复杂性和容量的方法;（2）用于建模随机梯度下降及其变体的随机微分方程及其动态系统，其特征在于深度学习的优化和推广，部分受到贝叶斯推理的启发;（3）驱动动态系统轨迹的损失景观的几何结构;（4）从正反两个角度讨论了深度神经网络的过参数化作用;（5）网络结构中几种特殊结构的理论基础;（6）伦理与安全的日益关注及其与普遍性的关系。
2021-03-11 cs.LG stat.ML
Generalizability of Graph Neural Networks for Decentralized Unlabeled Motion Planning
University of Pennsylvania（宾夕法尼亚大学）；Stanford University（斯坦福大学）
本文针对去中心化无标签运动规划问题，提出基于图神经网络学习的策略，结合模仿学习与强化学习，在100个机器人上训练后可泛化至500个机器人，平均性能超越现有方法8.6%。
2024-09-29 cs.AI cs.RO cs.SY
Deployment Decision Reliability: A Generalizability-Theory Framework for Sizing Long-Horizon Agent Evaluations
Stanford School of Engineering（斯坦福工程学院）
该研究采用概化理论框架分析三个智能体基准的排行榜，发现其排名反映专业化而非能力，提出 DDR 报告规范并发布相关资源，为企业评估长 horizon 智能体提供可靠方法。
2026-08-13 cs.AI cs.LG
Closed Drafting as a Case Study for First-Principle Interpretability, Memory, and Generalizability in Deep Reinforcement Learning
University of Waterloo（滑铁卢大学）；Harvard University（哈佛大学）
本文以封闭轮抽游戏“寿司去派对”为案例，提出第一性原理方法，通过决策规则拟合、跨牌组泛化基准及可计算记忆度量，系统研究DQN智能体的可解释性、泛化能力与记忆学习能力，并达到最先进性能。
2023-11-17 cs.AI cs.LG
Boosting Fair Classifier Generalization through Adaptive Priority Reweighing
University of Science and Technology of China（中国科学技术大学）；Warwick Business School, University of Warwick（华威大学华威商学院）；New Jersey Institute of Technology（新泽西理工学院）；University of Oxford（牛津大学）；University of Edinburgh（爱丁堡大学）
针对现有公平分类算法泛化性差的问题，提出一种基于样本到决策边界距离的自适应优先级重加权方法，细粒度分配样本权重，在多基准及多模态模型上验证了其能有效提升公平分类器的泛化能力。
2024-05-20 cs.CY cs.LG
Probing the Decision Boundaries of In-context Learning in Large Language Models
University of California Los Angeles（加州大学洛杉矶分校）
本文从二分类决策边界视角分析 LLM 的上下文学习，评估免训练、微调、架构与主动提示等因素，发现其边界常不规则，并提出提升平滑性、鲁棒性与泛化性的方法。
2024-12-09 cs.AI cs.CL cs.LG
WHALE: Towards Generalizable and Scalable World Models for Embodied Decision-making
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；Polixir Technologies（博流科技）
WHALE框架通过行为条件化和回溯展开技术，构建了通用可扩展的世界模型Whale-ST和Whale-X，提升了具身决策中的泛化能力与置信度估计。
2024-11-08 cs.LG
Sample Complexity and Decision-Theoretic Guarantees for Bayesian Model Averaging over Decision Trees with Catalan-Exponential Priors
School of Computing and Engineering University of Bedfordshire, Luton, UK（计算与工程学院贝德福德郡大学，卢顿，英国）
针对具有Dirichlet-Multinomial叶模型和Catalan指数树大小先验的贝叶斯决策树，建立了理性承诺阈值的完整非渐近理论，回答了贝叶斯模型平均权重何时蕴含足够认知信息以证明对平均分布的承诺利用是合理的。
2026-06-02 cs.LG stat.ML
Decision Transformer vs. Decision Mamba: Analysing the Complexity of Sequential Decision Making in Atari Games
The University of Edinburgh（爱丁堡大学）
本文通过扩展至12款Atari游戏并结合视觉复杂性、随机森林回归、相关性及动作空间简化分析，揭示DT与DM性能差异主要由动作空间和视觉复杂性决定。
2024-12-01 cs.AI cs.LG
The Vanishing Decision Boundary Complexity and the Strong First Component
Sony AI（索尼人工智能研究院）；University of Alberta（阿尔伯塔大学）
我们发现，与机器学习分类器不同，经过良好训练的深度模型的决策边界中没有复杂的边界结构。然而，我们发现，复杂的结构确实出现在训练中，但它们在成形后不久就消失了。如果人们试图捕捉决策边界中不同级别的复杂性以理解泛化，这是一个悲观的消息，这在机器学习中工作得很好。尽管如此，我们发现在训练数据上的前代模型的决策边界反映了最终模型的泛化。我们展示了如何使用前辈决策边界来研究深度模型的泛化。我们有三个主要发现。一个是关于深度模型的第一主成分的强度，另一个是关于优化器的奇异性，另一个是关于ResNets中跳跃连接的影响。代码位于https://github.com/hengshu1/decision_boundary_github。
2022-11-25 cs.AI cs.LG
Planning in Markov Decision Processes with Gap-Dependent Sample Complexity
Universitat Pompeu Fabra（庞培法布拉大学）；CNRS（法国国家科学研究中心）；ULille（里尔大学）；Inria（法国国家信息与自动化研究所）；Renault（雷诺公司）；DeepMind（深度思维）
我们提出了MDP-GapE，一个新的基于概率的蒙特卡罗树搜索算法规划在马尔可夫决策过程中，过渡有一个有限的支持。我们证明了MDP-GapE所需的生成模型的调用数量的上限，以确定具有高概率的接近最佳的动作。这个依赖于问题的样本复杂性结果表示在探索过程中访问的状态-动作对的次优差距。我们的实验表明，MDP-GapE在实践中也是有效的，与其他算法相比，样本复杂度的保证，在固定的置信度设置，这主要是理论上的。
2020-06-10 cs.LG stat.ML
On the Complexity of Multi-Agent Decision Making: From Learning in Games to Partial Monitoring
Microsoft Research（微软研究院）
该研究在通用多智能体交互决策框架下，基于决策-估计系数的多智能体推广给出样本复杂性上下界，证明多智能体统计复杂性等价于带隐藏奖励的单智能体场景，并给出简化复杂性、规避多智能体维度灾难的条件。
2023-05-01 cs.AI cs.GT cs.LG
Learning Optimal Distributionally Robust Individualized Treatment Rules
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；George Washington University（乔治华盛顿大学）
数据驱动决策科学的最新发展在个性化决策方面取得了巨大进步。给定具有个体协变量、治疗分配和结果的数据，决策者最好制定个体化治疗规则（ITR），使预期结果最大化，称为价值函数。许多现有的方法假设训练分布和测试分布是相同的。然而，当训练分布和测试分布不相同时，估计的最优ITR可能具有较差的推广性。在本文中，我们考虑从受限ITR类中找到最佳ITR的问题，其中训练分布和测试分布之间存在一些未知的协变量变化。我们提出了一种新的分布鲁棒ITR（DR-ITR）框架，最大限度地提高了最坏情况下的价值函数的值下的一组基本分布是“接近”的训练分布。由此产生的DR-ITR可以保证所有这些分布之间的性能相当不错。我们还提出了一个校准程序，调整DR-ITR自适应少量的校准数据从目标人群。通过这种方式，校准的DR-ITR可以被证明比标准ITR享有更好的推广性，基于我们的数值研究。
2020-06-26 cs.LG stat.ML
Low-Complexity Policy Tessellations in Structured Markov Decision Processes
Inria（法国国家信息与自动化技术研究所）；University of Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工大学）；Villeneuve-d’Ascq, France（法国里尔大学城）
研究结构化MDP中最优策略的几何特性，提出基于边界的策略近似方法，直接学习策略区域，并通过策略损失分解解释误差集中在无差异边界附近。实验表明该方法在策略误差、价值差距、误差衰减和稳定性上优于强化学习基线。
2026-06-25 cs.AI cs.LG
TransNAS-Bench-101: Improving Transferability and Generalizability of Cross-Task Neural Architecture Search
The University of Hong Kong（香港大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Sun Yat-sen University（中山大学）；The Hong Kong University of Science and Technology（香港科技大学）
神经结构搜索（NAS）的最新突破将该领域的研究范围扩展到更广泛的视觉任务和更多样化的搜索空间。虽然现有的NAS方法主要针对单个任务设计架构，但超越单任务搜索的算法正在寻求跨各种任务的更高效和通用的解决方案。他们中的许多人利用迁移学习，并寻求保存，重用和完善网络设计知识，以实现未来任务的更高效率。然而，跨任务NAS的巨大计算成本和实验复杂性给这一方向的有价值的研究带来了障碍。现有的NAS基准测试都集中在一种类型的视觉任务上，即，分类.在这项工作中，我们提出了TransNAS-Bench-101，这是一个基准数据集，包含七个任务的网络性能，包括分类，回归，像素级预测和自我监督任务。这种多样性提供了在任务之间转移NAS方法的机会，并允许发展更复杂的转移方案。我们探索两种根本不同类型的搜索空间：单元级搜索空间和宏观级搜索空间。通过对7个任务的7，352个骨干进行评估，提供了51，464个具有详细训练信息的训练模型。通过TransNAS-Bench-101，我们希望鼓励出现特殊的NAS算法，将跨任务搜索效率和通用性提高到一个新的水平。我们的数据集文件将在VEGA的Mindspore提供。
2021-05-25 cs.CV cs.LG
A Bayesian approach to quantifying uncertainties and improving generalizability in traffic prediction models
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出一种引入谱归一化的贝叶斯循环神经网络框架，用于交通预测中的不确定性量化，通过控制模型复杂度减少过拟合，从而在分布外数据上提升泛化性能，并显著优于层归一化和无归一化方法。
2023-07-26 cs.LG stat.ML
The Statistical Complexity of Interactive Decision Making
Microsoft（微软）
本文提出决策-估计系数作为交互式决策样本高效学习的必要且充分复杂度度量，并给出统一算法设计原则 E2D，实现与下界匹配的最优遗憾，统一了贝叶斯与频率学派方法。
2023-07-11 cs.LG math.OC math.ST
On the Complexity of Adversarial Decision Making
Microsoft（微软）
在线学习和决策制定的一个中心问题--从强盗学习到强化学习--是理解什么样的建模假设会导致样本有效的学习保证。我们考虑一个一般的对抗性决策框架，包括（结构化）强盗问题与对抗性奖励和强化学习问题与对抗性动态。我们的主要结果是显示-通过新的上限和下限-决策估计系数，由福斯特等人引入的复杂性度量。在随机对应我们的设置，是必要的和足够的，以获得低遗憾的对抗性决策。然而，与随机设置相比，必须将决策估计系数应用于所考虑的模型（或假设）类的凸包。这表明，适应对抗性奖励或动态的价格取决于凸化下模型类的行为，并恢复了一些现有的结果-无论是正面的还是负面的。在获得这些保证的过程中，我们提供了新的结构结果，将决策估计系数与其他著名的复杂性度量的变体连接起来，包括Russo和Van Roy的信息比以及Latestival和György的探索优化目标。
2022-06-27 cs.LG math.OC math.ST
Improved Sample Complexity Analysis of Natural Policy Gradient Algorithm with General Parameterization for Infinite Horizon Discounted Reward Markov Decision Processes
Purdue University（普渡大学）
针对无限时域折扣奖励马尔可夫决策过程，提出加速自然策略梯度（ANPG）算法，在一般参数化下实现$\mathcal{O}(ε^{-2})$样本复杂度和$\mathcal{O}(ε^{-1})$迭代复杂度，改进现有最优样本复杂度，且无需不可验证的IS权重方差假设。
2024-02-05 cs.AI cs.LG
A Constructive Approach for One-Shot Training of Neural Networks Using Hypercube-Based Topological Coverings
在本文中，我们提出了一种新的构造性方法，用于使用几何方法训练深度神经网络。我们表明，拓扑覆盖可以用来定义一类分布式线性矩阵不等式，这反过来又直接指定的形状和深度的神经网络架构。关键的洞察力是线性矩阵不等式及其约束数据形状的能力之间的基本关系，以及现代神经网络中采用的整流线性单元（ReLU）激活函数。我们发现，单位覆盖的几何形状和覆盖孔隙率是两个设计变量覆盖建设性的学习，发挥了关键作用，在定义模型的复杂性和概括性的神经网络分类。在覆盖建构学习的背景下，这些发现强调了模型复杂性和过度拟合（由数据覆盖中的元素数量量化）与测试数据的可推广性之间的古老权衡。最后，我们在Iris、MNIST和Wine数据集上对算法进行了基准测试，结果表明，该构造性算法能够一次性训练深度神经网络分类器，在减少训练时间的情况下实现同等或更高水平的训练和测试分类精度。
2019-01-09 cs.LG stat.ML
CURA: Size Isnt All You Need -- A Compact Universal Architecture for On-Device Intelligence
Chosun University（朝鲜大学）
本文提出受模拟音频电路启发的端侧通用架构 CURA，以极少参数跨回归、分类、NLP 与视觉任务取得接近专用模型的性能。
2025-09-29 cs.LG eess.SP
Lower Bound On the Computational Complexity of Discounted Markov Decision Problems
Princeton University（普林斯顿大学）
研究了具有有限状态空间$|\mathcal{S}|$和有限行动空间$|\mathcal{A}|$的无限时域折扣报酬马尔可夫决策问题（MDP）的计算复杂性.我们发现，任何随机算法需要一个运行时间至少$Ω(|\mathcal{S}|^2|\mathcal{A}|)$计算$ε$ -最优的政策，以高概率。我们考虑MDP的两种变体，其中输入以特定的数据结构给出，包括累积概率数组和转移概率二叉树。对于这些情况下，我们表明，复杂性下限降低到$Ω\left( \frac{|\mathcal{S}| |\mathcal{A}|}ε \right)$。这些结果揭示了一个令人惊讶的观察，即MDP的计算复杂性取决于输入的数据结构。
2017-05-20 cs.CC cs.LG
Towards Theoretical Understandings of Robust Markov Decision Processes: Sample Complexity and Asymptotics
Peking University（北京大学）
本文研究了鲁棒马尔可夫决策过程（MDP）的最优鲁棒策略和值函数的非渐近和渐近性能，其中最优鲁棒策略和值函数仅由生成模型求解。虽然以前的工作集中在鲁棒MDP的非渐近性能的KL不确定性集和$(s,a)$ -矩形假设的设置受到限制，我们改进了他们的结果，并考虑其他不确定性集，包括$L_1$和$χ^2$球。我们的结果表明，当我们假设$(s,a)$ -矩形的不确定性集上，样本的复杂性约为$\widetilde{O}\left(\frac{|\mathcal{S}|^2|\mathcal{A}|}{\varepsilon^2ρ^2(1-γ)^4}\right)$。此外，我们将已有的结果从$(s,a)$ -矩形假设推广到$s$ -矩形假设.在这种情况下，样本的复杂性随着不确定性集的选择而变化，并且通常大于$(s,a)$ -矩形假设下的情况。此外，我们还证明了在$(s,a)$和$s$ -矩形假设下，最优鲁棒值函数是渐近正态的，具有典型的速率$\sqrt{n}$.
2022-08-12 cs.LG stat.ML
A Geometric Theory of Decision Boundaries in Structured Markov Decision Processes
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文提出结构化马尔可夫决策过程中最优策略的几何理论，证明策略重构复杂度由决策边界几何而非状态空间大小决定，并给出统计保证与实验验证。
2026-09-17 cs.LG math.OC
Optimal Decision Tree Pruning Revisited: Algorithms and Complexity
Department of Computer Science（计算机科学系）；University of Helsinki（赫尔辛基大学）
本文全面分析了决策树剪枝操作的经典与参数化复杂度，发现子树替换的最优剪枝可在多项式时间内完成，而子树提升为NP完全问题，并确定了固定参数可解性与难解性的精确边界。
2025-03-05 cs.LG
ScaleDL: Towards Scalable and Efficient Runtime Prediction for Distributed Deep Learning Workloads
College of Intelligence and Computing（智能与计算学院）；Tianjin University（天津大学）
针对分布式深度学习工作负载运行时预测难以兼顾精度、泛化性与数据成本的问题，本文提出ScaleDL框架，结合非线性分层建模、GNN跨层交互与D-最优方法，实现了更优的预测精度与泛化能力。
2025-11-13 cs.LG
SplineCam: Exact Visualization and Characterization of Deep Network Geometry and Decision Boundaries
Rice University（莱斯大学）；Meta AI；FAIR（FAIR（Facebook AI研究院））
SplineCam提出首个可证明精确计算深度网络几何与决策边界的方法，基于CPWL样条理论，无需采样或简化架构，支持多种激活函数及回归网络，可用于架构比较、泛化性度量和决策边界采样。
2024-06-06 cs.CV cs.LG
PAC Bounds for Imitation and Model-based Batch Learning of Contextual Markov Decision Processes
Harvard University（哈佛大学）
我们考虑批量多任务强化学习与观察上下文描述符的问题，其应用的动机个性化医疗。特别是，我们研究了两个一般类的学习算法：直接策略学习（DPL），模仿学习为基础的方法，从专家轨迹，和基于模型的学习。首先，我们推导出样本的复杂性界限DPL，然后表明，基于模型的学习专家的行动，即使是有限的模型类，是不可能的。放松的条件下，基于模型的方法，预计将学习允许更大的覆盖范围的状态-动作空间，我们提供了样本的复杂性界限为基于模型的学习有限的模型类，显示存在模型类的样本复杂性指数在其统计复杂性。然后，我们推导出一个样本的复杂性上界基于模型的学习的数据分布的浓度的措施的基础上。我们的研究结果给出了正式的理由模仿学习在这种情况下基于模型的学习。
2020-07-17 cs.LG stat.ML
Training Decision Trees as Replacement for Convolution Layers
Eberhard Karls Universität Tübingen（埃伯哈德·卡尔斯图宾根大学）
我们提出了一个替代层的卷积层在卷积神经网络（CNN）。我们的方法通过用二进制决策代替卷积来降低卷积的复杂性。这些二元决策被用作条件分布的索引，其中每个权重表示决策树中的一个叶子。这意味着只需要确定一次权重的索引，从而通过输出张量的深度降低卷积的复杂性。索引计算通过简单的二进制决策来执行，与常规使用的乘法相比，其需要更少的周期。此外，我们还展示了卷积如何被二进制决策所取代。这些二元决策形成了条件分布中的指数，我们展示了它们如何用于替换2D权重矩阵和3D权重张量。这些新层可以像CNN中的卷积层一样基于反向传播算法进行训练，我们为此提供了形式化。我们在多个公开数据集上的结果表明，我们的方法与传统的神经网络相似。除了复杂性的形式化降低和定性性能的提高之外，我们还根据经验显示了与卷积层相比的运行时改进。
2020-02-11 cs.LG stat.ML
On the usage of the probability integral transform to reduce the complexity of multi-way fuzzy decision trees in Big Data classification problems
Public University of Navarre（纳瓦拉公立大学）；Navarrabiomed（纳瓦拉生物医学研究所）；Complejo Hospitalario de Navarra（纳瓦拉综合医院）；IdiSNA（纳瓦拉卫生研究所）；Institute of Smart Cities（智慧城市研究所）
针对大数据分类问题中多路模糊决策树的复杂性，提出了一种新的分布式模糊划分方法.该算法为所有变量建立固定数量的模糊集，并根据训练数据的实际分布调整其形状和位置。应用两个步骤的过程：1）通过概率积分变换将原始分布变换为标准均匀分布。由于原始分布通常是未知的，通过计算训练集的q分位数来近似累积分布函数; 2）使用固定数量的均匀分布的三角隶属函数在变换后的属性空间中构造Ruspini强模糊划分。尽管进行了上述变换，但原始空间中每个模糊集的定义都可以通过应用逆累积分布函数（也称为分位数函数）来恢复。实验结果表明，所提出的方法允许国家的最先进的多路模糊决策树（FMDT）的归纳算法，以保持分类精度高达6万少叶。
2019-02-28 cs.LG stat.ML
Decision Making in Hybrid Environments: A Model Aggregation Approach
University of Virginia（弗吉尼亚大学）；Google Research（谷歌研究院）
本文提出决策估计系数（DEC）的一般扩展，精确刻画世界动态固定而奖励任意变化的混合环境下的决策复杂性，涵盖基于模型和无模型学习，并改进了线性Q*/V* MDPs的最已知遗憾界限。
2025-04-30 cs.LG stat.ML
Estimating decision tree learnability with polylogarithmic sample complexity
Stanford（斯坦福大学）；MIT（麻省理工学院）
我们表明，自上而下的决策树学习算法可以进行高效的可学习性估计：对于单调的目标函数，这些算法构建的决策树假设的误差可以用多项式的许多标记的例子来估计，指数小于运行这些算法所需的数量，事实上，指数小于学习一个好的决策树所需的信息理论最小值。这增加了一个小的，但不断增长的基本学习算法，已被证明是服从可学习性估计的列表。在这个结果的途中，我们设计和分析样本有效的自顶向下决策树学习算法的小批量版本，并表明它们实现了与全批量版本相同的可证明保证。我们进一步给出了“积极的本地”版本的这些算法：给定一个测试点$x^\star$，我们展示了如何标签$T(x^\star)$的决策树的假设$T$可以计算与polymerically许多标记的例子，指数小于学习$T$所需的数量。
2020-11-03 cs.DS cs.LG
Gradient Boosted Filters For Signal Processing
Intel Labs（英特尔实验室）；Intel Corp.（英特尔公司）
针对梯度提升模型在信号处理领域应用不足的问题，本研究提出采用Hammerstein系统替代决策树的动态数据梯度提升滤波器，论证了其与Volterra级数的关联并提供理论支撑，通过实验验证了方法的有效泛化性。
2024-05-15 cs.LG
Impact of Loss Weight and Model Complexity on Physics-Informed Neural Networks for Computational Fluid Dynamics
Department of Power Mechanical Engineering, National Tsing Hua University（国家交通机械工程系，国立清华大学）
针对物理信息神经网络对损失权重选择敏感的问题，提出两种基于量纲分析的加权方案，其中纳入不可量化项的方案在多个CFD基准测试中提升了稳定性与准确性，在高佩克莱特数问题中表现突出。
2025-09-24 cs.LG physics.flu-dyn
Data-Informed Model Complexity Metric for Optimizing Symbolic Regression Models
提出一种基于 Hessian 秩的数据知情模型复杂度度量方法，通过将模型表达力与数据集内在维度对齐，有效平衡符号回归模型的准确性与泛化能力。
2025-01-29 cs.LG cs.NE
Causal Discovery and Classification Using Lempel-Ziv Complexity
BITS Pilani K K Birla Goa Campus（BITS Pilani K K Birla 果阿校区）；National Institute of Advanced Studies（国家高级研究院）；Indian Institute of Science（印度科学学院）
本研究基于Lempel-Ziv复杂度提出新的因果性度量和距离度量，构建因果决策树，在因果结构数据上显著优于传统基尼决策树，并能推断主要因果变量。
2024-11-14 cs.LG stat.ME
AsyncQVI: Asynchronous-Parallel Q-Value Iteration for Discounted Markov Decision Processes with Near-Optimal Sample Complexity
Fudan University（复旦大学）；Columbia University（哥伦比亚大学）；University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们提出了AsyncQVI，折扣马尔可夫决策过程的过渡和奖励只能通过生成模型进行采样的一个并行Q值迭代。给定$|\mathcal{S}|$状态、$|\mathcal{A}|$动作和折扣因子$γ\in(0,1)$的这种问题，AsyncQVI使用大小为$\mathcal{O}(|\mathcal{S}|)$的存储器，并使用$$\tilde{\mathcal{O}}\big(\frac{|\mathcal{S}||\mathcal{A}|}{(1-γ)^5\varepsilon^2}\log(\frac{1}δ)\big)$$样本返回概率至少为$1-δ$的$\varepsilon$最优策略。AsyncQVI也是第一个折扣马尔可夫决策过程的并行算法，其样本复杂度几乎与理论下界相匹配。相对较低的内存占用和并行能力使AsyncQVI适合大规模应用。在数值测试中，我们比较了AsyncQVI与四种基于样本的值迭代法。实验结果表明，该算法具有很高的效率，并达到了线性并行加速比。
2020-02-22 cs.LG math.OC
Data Leakage Inflates Generalizability of Power Outage Prediction Models
University of Toronto（多伦多大学）；North Carolina State University（北卡罗来纳州立大学）
该研究指出停电预测模型因数据泄露夸大了可推广性，评估时采用更贴近现实的空间/时间/事件拆分后性能大幅下降，GeoAI嵌入仅小幅改善空间泛化，需改进数据与评估方式。
2026-08-26 cs.LG
Optimal Sample Complexity of Stable Discounted Markov Decision Processes
Stanford University（斯坦福大学）
本文研究折扣马尔可夫决策过程表格强化学习的最优样本复杂度，利用方差缩减Q学习框架，证明在稳定性结构下Q函数估计和策略学习的前导复杂度为$\widetilde\Theta(H(1-\gamma)^{-2}\epsilon^{-2})$，并揭示估计与控制间的分离。
2026-09-22 cs.LG math.OC stat.ML
Decision-focused predictions via pessimistic bilevel optimization: complexity and algorithms
Department of Industrial Engineering, Universidad de Chile（智利大学工业工程系）；Inria Lille-Nord Europe（Inria里尔-北欧洲研究中心）
本研究提出悲观双层优化模型以最小化决策遗憾，证明其NP完全性并转化为非凸二次规划，实验显示优于现有决策聚焦学习方法。
2025-08-07 cs.LG math.OC
Sample Complexity of Offline Distributionally Robust Linear Markov Decision Processes
Carnegie Mellon University（卡内基梅隆大学）；California Institute of Technology（加州理工学院）
本文研究高维状态-动作空间下离线分布鲁棒线性MDPs的样本复杂度，提出一种基于悲观模型的算法，在最小数据覆盖假设下比现有技术至少降低$\widetilde{O}(d)$的样本复杂度，并通过引入方差估计器进一步改进性能保证。
2024-06-27 cs.LG math.ST stat.TH
Making Neural Programming Architectures Generalize via Recursion
University of California, Berkeley（加州大学伯克利分校）
从经验上讲，试图从数据中学习程序的神经网络表现出较差的泛化能力。此外，传统上很难推理出这些模型的行为超出了一定的输入复杂性水平。为了解决这些问题，我们提出用一个关键的抽象来增强神经架构：递归。作为一个应用程序，我们实现了递归神经程序员解释器框架上的四个任务：小学加法，冒泡排序，拓扑排序和快速排序。我们表现出优越的推广性和可解释性与少量的训练数据。递归将问题分成更小的部分，并大大减少了每个神经网络组件的域，使其易于证明整个系统行为的保证。我们的经验表明，为了使神经架构能够鲁棒地学习程序语义，有必要引入递归这样的概念。
2017-04-21 cs.LG cs.NE cs.PL
Active Learning for Decision Trees with Provable Guarantees
本文提出了一种基于决策树的主动学习算法，通过可证明的保证实现多项对数级别的标签查询效率，并建立了标签复杂度的下界。
2026-02-18 cs.CC cs.DS cs.LG
Capturing the Complexity of Human Strategic Decision-Making with Machine Learning
Princeton University（普林斯顿大学）；Boston University（波士顿大学）；Harvard University（哈佛大学）；NBER（美国国家经济研究局）
本研究通过大规模双人矩阵博弈决策数据训练深度神经网络，发现其预测人类策略决策效果优于现有理论，改造出的可解释模型揭示了博弈复杂度对人类决策能力的影响，证明了机器学习可用于生成人类行为新解释。
2024-08-15 cs.GT cs.LG econ.GN
Tight Guarantees for Interactive Decision Making with the Decision-Estimation Coefficient
Microsoft（微软）
强化学习和交互式决策的一个基本问题是理解什么样的建模假设可以保证样本有效学习，以及什么样的算法设计原则可以实现最佳样本复杂度。最近，Foster et al.（2021）引入了决策估计系数（Decision-Estimation Coefficient，DEC），这是一种统计复杂性的度量，它可以为包含强盗和具有函数逼近的强化学习的一般类问题的最佳样本复杂性提供上限和下限。在本文中，我们引入了一个新的变种的DEC，约束决策估计系数，并使用它来获得新的下界，提高了以前的工作在三个方面：-他们持有的期望，没有限制类的算法正在考虑。- 它们在全球范围内成立，并且不依赖于Foster等人（2021）使用的本地化概念。- 最有趣的是，他们允许DEC定义的参考模型是不适当的，建立不适当的参考模型起着根本性的作用。我们提供了具有相同数量的后悔的上限，从而关闭了Foster et al.（2021）中上限和下限之间的所有差距。我们的研究结果适用于遗憾框架和PAC框架，并利用几个新的分析和算法设计技术，我们预计将找到更广泛的用途。
2023-01-19 cs.LG math.OC math.ST
Finding the Homology of Decision Boundaries with Active Learning
Arizona State University（亚利桑那州立大学）；IBM Research（IBM研究院）
准确有效地刻画分类器的决策边界对于模型选择和元学习等问题具有重要意义。受拓扑数据分析的启发，最近出现了一个通用的和强大的工具，使用它们的同源性来表征决策边界。本文提出了一种主动学习算法来恢复决策边界的同调性。我们的算法顺序且自适应地选择需要标签的样本。我们从理论上分析了所提出的框架，并表明我们的主动学习算法的查询复杂度自然地依赖于底层流形的内在复杂性。我们证明了我们的框架在选择最佳性能的机器学习模型的数据集只使用各自的同源总结的有效性。在几个标准数据集上的实验表明，在恢复同源性方面，样本复杂度有所提高，并证明了模型选择框架的实用性。我们的算法和实验结果的源代码可在https://github.com/wayne0908/Active-Learning-Homology上获得。
2020-11-19 cs.LG
Regularized impurity reduction: Accurate decision trees with complexity guarantees
KTH Royal Institute of Technology（瑞典皇家理工学院）
决策树是一种流行的分类模型，它提供了高精度和直观的解释。然而，随着树的大小的增长，模型的可解释性恶化。传统的树归纳算法，如C4.5和CART，依赖于杂质减少函数，以提高每个分裂的区分能力。因此，尽管这些传统方法在实践中是准确的，但没有理论保证它们会产生小树。在本文中，我们证明了使用一般家庭的杂质功能，包括熵和基尼指数的流行功能，在场景中，小树是可取的，通过显示一个简单的增强可以装备他们的复杂性保证。我们考虑一个一般的设置，其中要分类的对象是从一个任意的概率分布，分类可以是二进制或多类，和分裂测试与非均匀的成本。作为树的复杂性的一种度量，我们采用期望成本来分类从输入分布中提取的对象，在均匀成本的情况下，这是预期的测试次数。我们提出了一个树归纳算法，给出了一个对数近似保证树的复杂性。这个近似因子在温和的假设下紧到常数因子。该算法递归地选择一个测试，最大化贪婪的标准定义为三个组件的加权和。前两个组件鼓励选择的测试，提高平衡和成本效益的树，分别，而第三个杂质减少组件鼓励选择更多的歧视性测试。正如我们的经验评估中所示，与原始算法相比，增强的算法在预测精度和树复杂度之间取得了很好的平衡。
2022-08-23 cs.DS cs.LG
Primal-Dual $π$ Learning: Sample Complexity and Sublinear Run Time for Ergodic Markov Decision Problems
Princeton University（普林斯顿大学）
考虑通过采样状态转移来近似马尔可夫决策过程（MDP）的最优策略的问题。与现有的基于非线性Bellman方程逐次逼近的强化学习方法相比，我们提出了一种基于值和策略之间的线性对偶性的原始-对偶$π$学习方法. $π$学习方法是无模型的，并且随着新数据的出现对策略和值向量进行原始-对偶更新。对于具有有限状态空间$S$和有限动作空间$A$的无限时域未贴现马尔可夫决策过程，$π$学习方法使用以下样本转移数$$ \tilde{O}( \frac{(τ\cdot t^*_{mix})^2 |S| |A| }{ε^2} ),$$找到$ε$最优策略，其中$t^*_{mix}$是所有策略的混合时间的上界，$τ$是表征策略的平稳分布范围的参数。$π$学习方法也适用于MDP的计算问题，其中转移概率和奖励被明确地给出作为输入。在每个状态转换可以在$\tilde{O}(1)$时间内采样的情况下，$π$学习方法给出了用于求解平均奖励MDP的次线性时间算法。
2017-10-17 cs.CC cs.LG math.OC
