Learning in Observable POMDPs, without Computationally Intractable Oracles
MIT（麻省理工学院）
大部分强化学习理论都是建立在计算上难以实现的预言之上的。特别是在部分可观测马尔可夫决策过程（POMDPs）中学习接近最优的策略，现有的算法要么需要对模型动态（例如确定性转换）做出强有力的假设，要么假设访问用于解决硬乐观规划或估计问题的Oracle作为子例程。在这项工作中，我们开发了第一个甲骨文免费的学习算法POMDPs在合理的假设。具体来说，我们给出了一个准多项式时间的端到端算法学习“可观测”POMDPs，其中可观测性是假设，以及分离分布状态诱导良好分离分布的意见。我们的技术规避了更传统的方法，使用不确定性下的乐观原则，以促进探索，而是给了一个新的应用重心spectrometry构建政策覆盖。
2022-06-07 cs.AI cs.DS cs.LG
Oracle Inequalities for High-dimensional Prediction
现代科学中大量的高维数据使得人们对惩罚估计产生了极大的兴趣，如套索、缩放套索、平方根套索、弹性网等。本文用这种方法建立了高维线性回归预测的一个一般预言不等式。由于证明仅依赖于凸性和连续性参数，因此结果与设计矩阵无关，并适用于广泛的惩罚估计量。总体而言，界限表明，通用估计可以提供一致的预测与任何设计矩阵。从实践的角度来看，界可以帮助识别特定估计量的潜力，并且它们可以帮助在给定应用中获得预测精度的感觉。
2018-03-13 math.ST stat.ML stat.TH
Parameter-free online learning via model selection
Cornell University（康奈尔大学）；Google Research（谷歌研究院）；NYU（纽约大学）
我们介绍了一个有效的算法框架模型选择在线学习，也被称为无参数在线学习。从以前的工作，重点是高度结构化的函数类，如嵌套球在希尔伯特空间，我们提出了一个通用的元算法框架，实现在线模型选择预言的不平等下最小的结构假设。我们给出了第一个计算效率高的无参数算法，工作在任意Banach空间下温和的光滑性假设，以前的结果只适用于希尔伯特空间。我们进一步推导出矩阵类，非嵌套凸集，和$\mathbb{R}^{d}$一般正则化新的甲骨文不等式。最后，我们推广了这些结果，提供了预言不等式的任意非线性类在线监督学习模型。这些结果都是通过一个统一的元算法方案，使用一种新的“多尺度”算法预测与专家意见的基础上随机播放，这可能是独立的利益。
2018-01-03 cs.LG stat.ML
Sparsity Saves Compute, Not Samples: Oracle Inequalities for Dense and Sparse Mixture of Experts
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对混合专家模型自适应路由的统计成本认知不足问题，研究了专家与门控网络均为Lipschitz时的最小二乘混合专家估计误差，通过门控希尔伯特空间的表示推导了密集与稀疏混合专家的Oracle不等式，证明了稀疏模型的估计速率最优且路由成本可控。
2026-10-14 cs.LG stat.ML
Oracle Inequalities for Convex Loss Functions with Non-Linear Targets
本文考虑了目标函数为未知非线性的凸损失函数的惩罚经验损失极小化问题。利用弹性网罚，我们建立了一个有限样本的预言不等式，它以高概率限制了我们的估计量的损失。如果未知目标是线性的，则该不等式还提供了所估计的参数向量的估计误差的上界。这些都是新的结果，它们推广了计量经济学和统计学文献。接下来，我们使用非渐近结果来证明我们的估计的超额损失是渐近的相同的顺序的预言。如果目标是线性的，我们给出了估计的参数向量的一致性的充分条件。接下来，我们简要讨论如何使用我们的估计量的阈值版本来执行一致的变量选择。我们给出了我们的框架所涵盖的损失函数的两个例子，并显示如何惩罚非参数序列估计包含作为一个特例，并提供了一个有限的样本上界的弹性净序列估计的均方误差。
2013-12-12 math.ST stat.ML stat.TH
Sparsified-Learning for High-Dimensional Heavy-Tailed Locally Stationary Time Series, Concentration and Oracle Inequalities
Huaiyin Institute of Technology（淮阴工学院）
本文提出了一种适用于高维厚尾局部平稳时间序列的稀疏学习框架，结合加法建模与核平滑，推导了集中性不等式并建立了预测误差界，探讨了不同稀疏结构下的收敛率。
2026-02-08 cs.LG math.ST stat.ML
Pairwise Ranking with Gaussian Kernels
Fudan University（复旦大学）
本文为使用高斯核的正则化成对排序算法开发新的预言机不等式，推导出在低本征维数等条件下可克服维度灾难的快速学习率，填补了该算法缺乏严格理论证明的空白。
2023-04-06 cs.LG stat.ML
Optimal oracle inequalities for solving projected fixed-point equations
University of California Berkeley（加州大学伯克利分校）；Simons Institute for the Theory of Computing（西蒙斯计算理论研究所）
希尔伯特空间中的线性不动点方程出现在各种设置中，包括强化学习以及用于求解微分和积分方程的计算方法。我们研究的方法，使用一组随机观测计算近似解搜索在一个已知的低维子空间的希尔伯特空间。首先，我们证明了一个依赖于实例的上界的均方误差的线性随机逼近方案，利用Polyak-Ruppert平均。这个界限由两个方面组成：一个近似误差项与实例相关的近似因子，和一个统计误差项，捕捉特定于实例的复杂性的噪声时，投影到低维子空间。使用信息论的方法，我们还建立了下界表明，这两个条款不能得到改善，再次在一个依赖于实例的意义。一个具体的结果，我们的特征是，在这个问题中的最佳逼近因子可以远远大于一个普遍常数。我们展示了我们的研究结果如何精确地描述了一类时间差分学习方法的线性函数近似的政策评估问题的错误，建立其最优性。
2020-12-09 cs.LG math.OC math.ST
Span-Agnostic Optimal Sample Complexity and Oracle Inequalities for Average-Reward RL
Department of Computer Sciences, University of Wisconsin-Madison（计算机科学系，威斯康星大学麦迪逊分校）
本文解决了平均奖励MDP中无最优偏置跨度先验知识时的样本复杂度问题，提出视野校准和经验跨度惩罚算法，在无先验知识下达到最优复杂度并在良性环境中超越极小化复杂度。
2025-02-16 cs.IT cs.LG math.IT
On Oracle-Efficient PAC RL with Rich Observations
Carnegie Mellon University（卡内基梅隆大学）；MSR NYC（微软研究院纽约分院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）
我们研究了PAC强化学习的计算易处理性与丰富的观察。我们提出了新的可证明的样本有效的算法，确定性的隐藏状态动态和随机丰富的观测环境。这些方法在计算的预言模型中操作--通过标准优化原语排他地访问策略和价值函数类--因此代表了需要枚举的先前算法的计算效率替代方案。与随机隐藏状态动力学，我们证明了唯一已知的样本有效的算法，OLIVE，不能在Oracle模型中实现。我们还提出了几个例子，说明了在这种一般环境下，易于处理的PAC强化学习的基本挑战。
2019-01-16 cs.LG stat.ML
Oracle-efficient Hybrid Learning with Constrained Adversaries
Cornell University（康奈尔大学）
本文提出一种高效混合学习算法，通过受限对抗者设定，在统计最优性和计算效率间取得平衡，适用于高维动作集但低维结构的零和博弈均衡计算。
2026-03-04 cs.LG stat.ML
Adapting to Misspecification in Contextual Bandits with Offline Regression Oracles
Stanford University（斯坦福大学）
计算效率高的上下文强盗通常基于使用过去的数据估计给定上下文和武器的奖励的预测模型。然而，当奖励模型没有很好地指定，强盗算法可能会招致意想不到的遗憾，所以最近的工作集中在算法，是强大的误指定。我们提出了一个简单的家庭的上下文强盗算法，通过恢复到一个很好的安全的政策时，有证据表明，误指定是造成遗憾的增加，以适应误指定错误。我们的算法只需要一个离线回归预言，以确保遗憾的保证，优雅地降低在平均误指定水平的措施。与先前的工作相比，我们获得了类似的遗憾保证，但我们不依赖于主算法，并且不需要更强大的预言机，如在线或约束回归预言机（例如，Foster等人（2020 a）; Krishnamurthy等人（2020））。这使我们能够为更一般的函数近似类设计算法。
2021-06-11 cs.LG stat.ML
Heterogeneous Overdispersed Count Data Regressions via Double Penalized Estimations
本文研究了非均匀过度分散计数数据的双正则化$\ell_1$的非渐近性质。在限制特征值条件下，利用经验过程的集中不等式，首次证明了两个偏回归系数的Lasso估计的预言不等式。此外，由预言不等式导出的估计量的相合性和收敛速度是进一步统计推断的理论保证。最后，仿真和实际数据分析表明，新方法是有效的。
2022-02-07 econ.EM math.ST stat.ME
Contextual Semibandits via Supervised Learning Oracles
University of Massachusetts（马萨诸塞大学）；Microsoft Research（微软研究院）
我们研究了一个在线决策问题，在每一轮的学习者选择一个列表的项目的基础上的一些边信息，收到一个标量的反馈值为每个单独的项目，和奖励，是线性相关的反馈。这些问题被称为上下文半强盗，出现在众包、推荐和许多其他领域。本文将上下文半强盗简化为监督学习，使我们能够在这种部分反馈设置中利用强大的监督学习方法。我们的第一个减少适用于从反馈到奖励的映射是已知的，并导致一个计算效率高的算法与接近最优的遗憾。我们证明了该算法在现实世界的学习排名数据集上的性能优于最先进的方法，证明了基于Oracle的算法的优势。我们的第二个减少适用于以前未研究的设置时，从反馈到奖励的线性映射是未知的。我们的后悔保证优于先前忽略反馈的技术。
2016-11-04 cs.LG stat.ML
Non-asymptotic oracle inequalities for the Lasso in high-dimensional mixture of experts
The University of Queensland（昆士兰大学）；Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆汀·莫雷尔实验室）；La Trobe University（拉筹伯大学）；Kyushu University（九州大学）；IRT SystemX
本文针对高维 softmax 门控高斯 MoE 模型，在参数有界的温和条件下建立 Lasso 估计的非渐近 KL 损失 oracle 不等式，并通过模拟验证理论结果。
2024-07-02 cs.AI cs.LG math.ST
Oracle-Efficient Differentially Private Learning with Public Data
MIT（麻省理工学院）；Boston University（波士顿大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
本文提出首批计算高效的差分隐私学习算法，通过调用优化预言机利用公共数据，在私有与公共数据分布接近时保证学习，并在凸函数类和二元分类场景下改进了样本复杂度。
2024-02-13 cs.CR cs.LG stat.ML
Nonlinear Bayesian optimal experimental design using logarithmic Sobolev inequalities
Massachusetts Institute of Technology（麻省理工学院）
本文针对非线性非高斯环境下互信息评估困难且组合搜索代价高的问题，提出基于对数Sobolev不等式构造廉价互信息下界的贪心实验选择方法，并在多种设置中验证其优于随机选择、高斯近似和嵌套蒙特卡洛估计器。
2024-02-23 cs.LG stat.ME stat.ML
Oracle-Efficient Online Classification with Stochastic Inputs and Adversarial Outputs
Princeton University（普林斯顿大学）；Google DeepMind（谷歌DeepMind）
针对上下文二元预测，提出带高斯扰动的跟随扰动领导者算法，实现最优遗憾且每轮仅需一次预言机调用，解决开放问题，证明混合分类计算上易处理。
2026-10-06 cs.LG stat.ML
New Oracle-Efficient Algorithms for Private Synthetic Data Release
University of Minnesota（明尼苏达大学）；Harvard University（哈佛大学）；Boston University（波士顿大学）；IBM Research（IBM研究院）
我们提出了三种新的算法，用于构建差异私人合成数据--一个消毒版本的敏感数据集，大约保留了大量的统计查询的答案。所有这三种算法都是\emph{oracle-efficient}，因为它们在访问优化预言时是计算高效的。这样的预言可以使用许多现有的（非私有的）优化工具来实现，例如复杂的整数规划求解器。虽然合成数据的准确性取决于预言机的优化性能，但即使在最坏的情况下，算法也能满足差分隐私。对于所有这三种算法，我们都为准确性和隐私性提供了理论保证。通过实证评估，我们表明，我们的方法规模以及与数据的维数和查询的数量。与最先进的高维矩阵机制\cite{McKennaMHM18}相比，我们的算法在大工作量和高隐私机制（对应于低隐私损失$\varepsilon$）下提供了更好的准确性。
2020-07-10 cs.DS cs.LG stat.ML
On the conditions used to prove oracle results for the Lasso
在对设计矩阵的各种不同假设下，建立了线性模型中Lasso的Oracle不等式和变量选择性质。在本文中，我们展示了不同的条件和概念是如何相互关联的。限制特征值条件（Bickel等人，2009）或稍微弱一点的相容性条件（van de Geer，2007）对于预言结果是足够的。我们认为，这两个条件允许一个相当普遍的一类设计矩阵。因此，Lasso用于预测和估计的最优性适用于比相干性（Bunea et al，2007 b，c）或限制等距（Candes and Tao，2005）假设更一般的情况。
2009-10-05 math.ST stat.ML stat.TH
Asymptotic equivalence of regularization methods in thresholded parameter space
高维数据分析激发了一系列用于变量选择和稀疏建模的正则化方法，其中有两类流行的凸方法和凹方法。关于一个阶级是否支配另一个阶级的争论由来已久，这在理论上和实践中都是一个重要的问题。本文在广义线性模型下，刻画了具有一般罚函数的正则化方法在阈值参数空间中的渐近等价性，其中维数随样本量呈指数增长.为了评估它们的性能，我们建立了预言不等式，如在Bickel，Ritov和Tsybakov（2009）中，这些方法在各种预测和变量选择损失下的全局极小值。这些结果揭示了一个有趣的相变现象。对于多项式增长的维数，Lasso的$L_1$ -正则化方法与凹方法是渐近等价的，在预言不等式中具有相同的收敛速度.对于指数增长的维数，凹方法是渐近等价的，但比Lasso有更快的收敛速度。我们还建立了正则化方法的预言风险不等式的一个更强的性质，以及可计算解的抽样性质。我们的新的理论结果说明和证明模拟和真实数据的例子。
2016-05-11 math.ST stat.ME stat.ML
Flexible and Efficient Contextual Bandits with Heterogeneous Treatment Effect Oracles
Stanford University（斯坦福大学）
上下文强盗算法通常估计奖励模型以通知决策。然而，真正的奖励可能包含与决策无关的独立于行动的冗余。我们发现，估计任何解释行动之间奖励差异的函数，即治疗效果，都是更有效的数据。出于这一观察，最近的工作基于甲骨文的土匪算法的基础上，我们提供了第一个减少上下文土匪通用异构治疗效果估计，我们设计了一个简单的和计算效率高的算法，基于此减少。我们的理论和实验结果表明，异质性的治疗效果估计在上下文土匪提供了实际的优势，奖励估计，包括更有效的模型估计和更大的灵活性，以模型误指定。
2023-02-24 cs.LG math.ST stat.ME
Adaptive Denoising of Signals with Local Shift-Invariant Structure
我们讨论的问题，自适应离散时间信号去噪的情况下，要恢复的信号承认一个“线性预言”-一个未知的线性估计，采取卷积的形式与时不变滤波器的观察。Juditsky和Nemirovski（2009）指出，当预言滤波器的$\ell_2$范数足够小时，这种预言可以通过具有观测驱动滤波器的相同结构的有效可计算自适应估计来“模仿”。所讨论的滤波器被获得作为最优化问题的解，其中在对滤波器DFT的$\ell_1$ -范数的约束下，估计残差的离散傅里叶变换（DFT）的$\ell_\infty$-范数被最小化。在本文中，我们讨论了一个新的家庭的自适应估计依赖于最小化的$\ell_2$ -范数的估计残差。我们发现，这样的估计具有更好的统计特性比那些基于$\ell_\infty$ -适合，特别是，我们证明甲骨文不等式的$\ell_2$ -损失和改进的界限$\ell_2$ -和逐点损失。预言不等式依赖于“近似平移不变性”假设，该假设表明要恢复的信号接近于（未知的）平移不变子空间。我们还研究了近似移不变性假设与Juditsky和Nemirovski（2009）中引入的“信号简单性”假设之间的关系，并讨论了所提出的方法在谐波振荡去噪中的应用。
2021-02-12 math.ST stat.ML stat.TH
Exploring and Learning in Sparse Linear MDPs without Computationally Intractable Oracles
MIT（麻省理工学院）
本文研究 $k$-稀疏线性 MDP 中的特征选择问题，提出首个多项式时间算法，通过引入可高效计算的仿真器概念实现近最优策略学习，并推广到低深度决策树解码的块 MDP。
2023-09-19 cs.AI cs.DS cs.LG
Heavy-tailed Sampling via Transformed Unadjusted Langevin Algorithm
我们分析了从多项式衰减的重尾目标密度采样的预言复杂性的基础上运行的未调整的朗之万算法的某些转换版本的目标密度。我们构造的封闭形式的变换映射的特定类被证明是同构的，并且特别适合于开发高效的基于扩散的采样器。我们的特点是精确类的重尾密度多项式阶的预言复杂性（在尺寸和逆目标精度）可以得到，并提供说明性的例子。我们强调我们的假设和功能的不平等（超级和弱Poincaré不等式）之间的关系的基础上定义的非局部Dirichlet形式通过分数拉普拉斯算子，用于表征重尾平衡密度的某些稳定驱动的随机微分方程。
2022-01-20 math.ST stat.CO stat.ML
Robust Bayesian Inference via Variational Approximations of Generalized Rho-Posteriors
ESSEC Business School（ESSEC商学院）
本文提出修改后的generalized Rho-后验，通过softmax聚合替代极值，实现PAC-Bayesian分析，提供有限样本Oracle不等式和收敛速率，确保鲁棒性。变分近似在指数族、回归和实际数据集上验证了鲁棒性。
2026-03-26 cs.LG math.ST stat.ML
Online Learning and Solving Infinite Games with an ERM Oracle
Ben-Gurion University（本-古里安大学）
本文提出仅依赖ERM预言机的在线二分类算法，并推广到非参数博弈中，证明在有限fat-threshold维度条件下可收敛到近似均衡，为双重预言机等实践方法提供理论依据。
2023-07-10 cs.AI cs.GT cs.LG
On the Sensitivity of the Lasso to the Number of Predictor Variables
Lasso是一种计算效率很高的回归正则化过程，当预测变量的数量（p）很大时，它可以产生稀疏估计。预言不等式在正则化参数的确定性选择下为Lasso估计量提供概率损失界限。如果p被适当控制，这些界限趋于零，因此通常被引用作为Lasso及其处理高维设置的能力的理论依据。不幸的是，在实践中，正则化参数不是被选择为确定性的量，而是使用随机的、依赖于数据的过程来选择。为了解决这个缺点，以前的理论工作，我们研究损失的Lasso估计时，调整最佳预测。假设标准正交预测器和稀疏真模型，我们证明了Lasso的最佳可能预测性能随着p的增加而恶化的概率是正的，并且可以任意接近于给定足够高的信噪比和足够大的p的概率。我们进一步实证地证明了性能恶化的量可以远比预言不等式建议的更差，并提供了真实的数据。观察到恶化的示例。
2016-05-27 stat.ML
