Regularization and Variance-Weighted Regression Achieves Minimax Optimality in Linear MDPs: Theory and Practice
The University of Tokyo（东京大学）；OMRON SINIC X（欧姆龙 SINIC X 研究院）；DeepMind（深度思维）；Google Research（谷歌研究院）；Peking University（北京大学）；Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）；University of Alberta（阿尔伯塔大学）
针对线性MDP中MDVI算法缺乏理论保证的问题，提出方差加权最小二乘MDVI（VWLS-MDVI）达到极小极大最优样本复杂度，并给出实用算法DVW提升深度RL性能。
2026-10-06 cs.LG stat.ML
Minimax Optimality of Score-Entropy Discrete Diffusion
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cornell University（康奈尔大学）
本文研究得分-熵离散扩散（SEDD）的统计极限，针对均匀和掩码离散扩散模型建立极小极大下界，提出匹配下界的MLE阈值估计器，证明SEDD经合适设置可达到接近最优的极小极大样本复杂度。
2026-08-24 cs.LG stat.ML
Near-Minimax-Optimal Distributional Reinforcement Learning with a Generative Model
Google DeepMind（谷歌DeepMind）；FAIR, Meta（Meta FAIR）
本研究提出一种基于生成式模型的分布强化学习新算法，证明其近似回报分布时达近极小极大最优，解决了开放问题，还提出新的分布贝尔曼方程并通过实验对比给出实用结论。
2024-11-04 cs.LG stat.ML
Online Individualized Treatment Selection under Partial Feedback: False Discovery Control and Minimax Optimality
Center for Data Science, Zhejiang University（浙江大学数据科学中心）；Department of Statistics, University of Michigan（密歇根大学统计系）
本研究针对部分反馈下的在线个体化治疗选择问题，提出PAITS方法，实现错误发现率控制与极小极大最优性，经模拟和Jester数据集验证其有限样本性能。
2026-10-14 cs.LG stat.ME stat.ML
Improving Generalization of Reinforcement Learning with Minimax Distributional Soft Actor-Critic
Tsinghua University（清华大学）
强化学习（RL）在许多顺序决策和控制任务中取得了显著的性能。然而，一个常见的问题是，学习的近最优策略总是过拟合的训练环境，并可能无法扩展到从未遇到过的情况在训练过程中。在实际应用中，环境的随机性通常会导致一些破坏性事件，这应该是自动驾驶等安全关键系统的重点。在本文中，我们引入了极大极小公式和分布框架，以提高RL算法的推广能力，并开发了极大极小分布软演员-评论（DSAC）算法。极大极小化模型旨在寻求最优策略，其中主角策略最大化行动价值函数，而对手策略试图最小化它;分布框架旨在学习状态-行动收益分布，从中我们可以明确地建模不同收益的风险，从而制定风险规避的主角策略和风险寻求的对手策略。我们在交叉路口的自动驾驶汽车的决策任务上实现了我们的方法，并在不同的环境中测试了训练后的策略。结果表明，我们的方法可以大大提高的推广能力的主角代理不同的环境变化。
2020-09-30 cs.LG stat.ML
Instance-Optimality for Private KL Distribution Estimation
National University of Singapore（新加坡国立大学）；Apple（苹果公司）
研究离散分布的私有 KL 散度估计问题，提出基于 Good-Turing 估计器变体的实例最优算法，并证明其上下界，克服了极小极大最优方法在非最坏实例上性能不佳的缺陷。
2025-05-29 cs.LG stat.ML
Minimax Optimality in Contextual Dynamic Pricing with General Valuation Models
School of Management, Xiamen University（厦门大学管理学院）；Department of Industrial Engineering and Decision Analytics, The Hong Kong University of Science and Technology（香港科技大学工业工程与决策分析系）
研究上下文动态定价问题，提出一种基于噪声分布离散化与分层数据划分的极小极大最优算法，利用离线回归预言机扩展至一般函数类，其遗憾上界匹配极小极大下界且数值实验验证了有效性。
2025-08-14 cs.LG stat.ML
Minimax Optimality (Probably) Doesn't Imply Distribution Learning for GANs
UC Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）；CMU（卡内基梅隆大学）；UCLA（加州大学洛杉矶分校）
可以说，生成对抗网络（GANs）理论中最基本的问题是理解GANs实际上可以在多大程度上学习底层分布。理论和经验证据表明，经验培训目标的局部最优性是不够的。然而，它并不排除实现真正的群体极大极小最优解可能意味着分布学习的可能性。在本文中，我们表明，标准的密码学假设意味着这个更强的条件仍然是不够的。也就是说，我们证明了如果局部伪随机生成器（PRG）存在，那么对于一个大的自然连续目标分布族，存在具有恒定深度和多项式大小的ReLU网络生成器，它们采用高斯随机种子，使得（i）输出远离目标分布的Wasserstein距离，但（ii）没有多项式大的Lipschitz ReLU网络可以检测到这一点。这意味着，即使实现群体最小最大最优解的Wasserstein GAN目标是可能不足以在通常的统计意义上的分布学习。我们的技术揭示了GANs和PRG之间的深层联系，我们相信这将导致对GANs计算领域的进一步了解。
2022-01-18 cs.CC cs.CR cs.LG
Towards Minimax Optimal Reinforcement Learning in Factored Markov Decision Processes
Massachusetts Institute of Technology（麻省理工学院）
我们研究了极小极大最优强化学习在情节因子马尔可夫决策过程（FMDPs），这是有条件独立的转移组件的MDP。假设因子分解是已知的，我们提出了两个基于模型的算法。第一个实现了极大极小最优后悔保证的一类丰富的因子结构，而第二个享有更好的计算复杂性略差的遗憾。我们算法的一个关键新成分是设计了一个奖金项来指导探索。我们补充我们的算法，提出了几个结构依赖的下限FMDPs的遗憾，揭示了隐藏在错综复杂的结构的困难。
2020-06-24 cs.LG math.OC stat.ML
On the Minimax Optimality of the EM Algorithm for Learning Two-Component Mixed Linear Regression
University of Texas, Austin（德克萨斯大学奥斯汀分校）
研究了期望最大化算法在各种信噪比条件下学习二元混合线性回归的收敛速度。我们解决了一个长期存在的问题，许多最近的结果试图解决：我们完全表征EM的收敛行为，并表明，期望最大化算法实现最小最大最优样本复杂度下的所有SNR制度。特别地，当SNR足够大时，EM更新在$\mathcal{O}(\log(n/d))$迭代之后以标准参数收敛速率$\mathcal{O}((d/n)^{1/2})$收敛到真实参数$θ^{*}$。在SNR高于$\mathcal{O}((d/n)^{1/4})$且低于某个常数的情况下，当迭代次数为$\mathcal{O}({\rm SNR}^{-2} \log(n/d))$阶时，EM迭代收敛到真参数的$\mathcal{O}({\rm SNR}^{-1} (d/n)^{1/2})$邻域。在低信噪比制度的SNR低于$\mathcal{O}((d/n)^{1/4})$，我们表明，EM收敛到一个$\mathcal{O}((d/n)^{1/4})$附近的真实参数，经过$\mathcal{O}((n/d)^{1/2})$迭代。值得注意的是，这些结果是在随机初始化或有效可计算的局部初始化的温和条件下实现的。通过在中低SNR范围内提供期望最大化算法的紧密收敛保证，我们填补了文献中剩余的空白，并且显著地揭示了在低SNR下，EM改变速率，匹配MLE的$n^{-1/4}$速率，这是以前的工作…
2021-02-05 cs.LG stat.ML
Minimax Optimal Reinforcement Learning with Quasi-Optimism
Seoul National University（首尔国立大学）
本文提出 EQO 强化学习算法，用与状态-动作访问次数倒数成比例的简单奖励项实现准乐观探索，在最弱假设下取得表格 RL 已知最优遗憾界，并实证验证其性能与计算效率。
2025-07-27 cs.LG stat.ML
Reward Transfer from Inverse Reinforcement Learning: A Coupled Minimax Approach
Cornell Tech, Cornell University（康奈尔科技，康奈尔大学）；Netflix Research（netflix研究）；Department of Statistics, University of Washington（华盛顿大学统计学系）
提出一种耦合极小极大方法，通过联合求解源和目标环境的贝尔曼方程组，消除源贝尔曼残差误差的一阶影响，实现逆强化学习奖励从源环境到目标环境的有效迁移。
2026-05-27 cs.LG stat.ML
Nearly Minimax Optimal Regret for Multinomial Logistic Bandit
Seoul National University（首尔国立大学）
本文针对上下文多项式逻辑斯谛老虎机问题，在均匀和非均匀奖励下分别证明了极小极大最优遗憾界，并提出常数时间算法OFU-MNL+实现匹配上界，首次达到该问题的最优性。
2025-10-16 cs.LG stat.ML
Nonparametric In-Context Learning under Growing Geometric Complexity: Minimax Optimality and Local Geometry-Adaptivity of Transformers
Seoul National University（首尔国立大学）
本文针对几何异质数据，提出结构感知的两阶段softmax Transformer，实现非参数上下文学习的极小极大最优性与局部几何自适应性。
2026-11-03 cs.LG math.ST stat.ML
Fixed-Gaussian Spectral Algorithms: Minimax Optimal Rates for Misspecified Learning and Transfer
Department of Statistics, The Pennsylvania State University（统计学系，宾夕法尼亚州立大学）
研究在非参数回归中为固定带宽高斯核谱算法建立极小极大最优收敛速率，以及用于概念转移下的迁移学习。通过证明高斯核的无限光滑性使算法达最优速率，推导了学习框架的自适应收敛速率，揭示了相关因素对泛化误差的影响。
2026-07-09 cs.LG stat.ML
Corruption-Robust Linear Bandits: Minimax Optimality and Gap-Dependent Misspecification
University of Virginia（弗吉尼亚大学）；University of Washington（华盛顿大学）；University of California Berkeley（加州大学伯克利分校）
本文系统研究线性老虎机中的奖励腐败问题，统一分析强腐败与弱腐败并刻画极小极大遗憾差距，同时通过通用归约和专门算法解决间隙依赖误设问题，首次将结果推广到强化学习中的线性 MDP。
2024-10-17 cs.LG stat.ML
Episodic Reinforcement Learning in Finite MDPs: Minimax Lower Bounds Revisited
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；ULille（里尔大学）；DeepMind（深度思考公司）
在本文中，我们提出了新的问题独立的下界的样本的复杂性和遗憾的情节MDP，特别关注的非平稳的情况下，过渡内核允许在每个阶段的情节变化。我们的主要贡献是一个新的下界的$Ω((H^3SA/ε^2)\log(1/δ))$的样本复杂性的$(\varepsilon,δ)$ -PAC算法的最佳策略识别在非平稳MDP。这个下限依赖于“硬MDPs”的建设，这是不同于以前在文献中使用的。使用这同一类的MDP，我们也提供了一个严格的证明的$Ω(\sqrt{H^3SAT})$遗憾界的非平稳MDP。最后，我们讨论了PAC-MDP下界的连接。
2020-10-07 cs.LG stat.ML
SDP Achieves Exact Minimax Optimality in Phase Synchronization
研究了带噪声测量$Y=z^*z^{*H}+σW\in\mathbb{C}^{n\times n}$的相位同步问题，其中$z^*$是$n$维复单位模向量，$W$是复值高斯随机矩阵.假设以概率$p$观察到每个条目$Y_{jk}$。我们证明了一个SDP松弛的MLE实现下的归一化平方$\ell_2$损失的误差界$(1+o(1))\frac{σ^2}{2np}$。这个结果符合问题的极大极小下界，甚至前导常数也是尖锐的。SDP的分析基于等价的非凸规划，其解可以表征为提升到更高维度空间的广义幂迭代的不动点。这一观点统一了三种不同方法：极大似然法、SDP和广义幂方法的统计最优性证明。该技术也适用于分析的SDP $\mathbb{Z}_2$同步，我们实现了极小极大最佳误差$\exp\left(-(1-o(1))\frac{np}{2σ^2}\right)$与一个尖锐的常数的指数。
2022-03-18 math.OC math.ST stat.ML
Learning to Play in a Day: Faster Deep Reinforcement Learning by Optimality Tightening
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Zhejiang University（浙江大学）
我们提出了一种新的强化学习训练算法，它将深度Q学习的强度与约束优化方法相结合，以收紧最优性并鼓励更快的奖励传播。我们的新技术通过大幅减少训练时间，使深度强化学习更加实用。我们评估了我们的方法在具有挑战性的街机学习环境的49场比赛中的表现，并报告了训练时间和准确性的显着改善。
2016-11-05 cs.LG stat.ML
Nearly Minimax Optimal Reinforcement Learning for Discounted MDPs
University of California, Los Angeles（加州大学洛杉矶分校）
研究了表格环境下折扣马尔可夫决策过程的强化学习问题。本文在\emph{optimism in the face of uncertainty principle}和Bernstein型奖金的基础上，提出了一种基于模型的算法UCBVI-$γ$。我们表明，UCBVI- $γ$实现了$\tilde{O}\big({\sqrt{SAT}}/{(1-γ)^{1.5}}\big)$遗憾，其中$S$是状态数，$A$是动作数，$γ$是折扣因子，$T$是步骤数。此外，我们构造了一类硬MDPs，并表明，对于任何算法，预期的遗憾至少是$\tildeΩ\big({\sqrt{SAT}}/{(1-γ)^{1.5}}\big)$。我们的上限匹配的最小最大的下限对数因子，这表明UCBVI- $γ$是接近最小最优折扣的MDPs。
2022-01-03 cs.LG math.OC stat.ML
On Minimax Optimality of Sparse Bayes Predictive Density Estimates
研究了$\ell_0$ -稀疏高斯序列模型中Kullback-Leibler损失下的预测密度估计问题。在稀疏模型中，我们提出了适当的贝叶斯预测密度估计，并建立了渐近极小极大性。令人惊讶的是，在未来与过去的方差比$r$中存在相变。对于$r < r_0 = (\surd 5 - 1)/4$，自然离散先验不再是渐近最优的。相反，对于亚临界$r$，一个“双网格”前减少网格间距的中心区域恢复渐近极小极大。这种现象似乎没有类似的，否则平行理论的点估计的多元正态平均在二次损失。对于尖峰和平板先验有任何前景的极大极小，我们表明，稀疏参数空间也需要大小约束。在相当大的幅度范围内，尖峰和平板先验可以达到渐近极小极大。
2017-07-28 math.ST stat.TH
On the minimax optimality of Flow Matching through the connection to kernel density estimation
Ruhr University Bochum and Karlsruhe Institute of Technology（博鲁姆鲁尔大学和卡尔斯鲁厄理工学院）
本文通过将流匹配与核密度估计联系起来，证明了流匹配在Wasserstein距离下的最优收敛速率，并展示了其在高维设置中的理论基础。
2026-10-30 cs.LG math.ST stat.ML
Multinomial Goodness-of-Fit Based on U-Statistics: High-Dimensional Asymptotic and Minimax Optimality
我们认为多项式拟合优度测试中的高维制度，其中箱的数量增加的样本量。在这种情况下，Pearson卡方检验由于其统计量的显著偏倚和高方差而可能具有低功效。为了解决这些问题，我们引入了一族多项式拟合优度的U-统计量，并研究了它们在高维情形下的渐近行为。具体来说，我们建立的条件下，所考虑的U-统计量是渐近泊松或高斯，并调查其权力函数下的每个渐近制度。此外，我们引入了一类权重的U-统计量，结果在最小最大率最优测试。
2018-12-21 math.ST stat.ME stat.TH
Reinforcement Learning for Hierarchical Reasoning Rewards: Minimax-Optimal Rates with Transformers
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所革新智能统合研究中心）
本研究将推理奖励建模为层次函数，证明基于 Transformer 的演员-评论家算法在 RL 后训练中实现极小极大最优速率，优于离线采样。
2026-10-07 cs.LG stat.ML
Instance-optimality in optimal value estimation: Adaptivity via variance-reduced Q-learning
UC Berkeley（加州大学伯克利分校）
强化学习中的各种算法在其收敛速度和最终精度方面表现出显着的变化，作为问题结构的函数。这种特定于实例的行为不会被现有的全局极大极小边界捕获，这些边界本质上是最坏情况。我们分析的问题，估计最佳的$Q$ -值函数的折扣马尔可夫决策过程的离散状态和行动，并确定一个依赖于实例的功能，控制估计的难度在$\ell_\infty$ -范数。使用一个局部极小极大框架，我们表明，这一功能出现在任何估计过程的准确性的下界。在另一个方向，我们建立我们的下界的锐度，在状态和动作空间的对数因子，通过分析方差减少版本的$Q$学习。我们的理论提供了一个精确的方式区分“容易”的问题，从“硬”的背景下，$Q$ -学习，如所示的合奏与连续的难度。
2021-06-28 cs.LG stat.ML
Nearly Minimax Optimal Offline Reinforcement Learning with Linear Function Approximation: Single-Agent MDP and Markov Game
The Hong Kong University of Science Technology（香港科技大学）；Peking University（北京大学）；University of Virginia（弗吉尼亚大学）
离线强化学习（RL）的目标是使用预先收集的数据集学习最佳策略，而无需与环境进行进一步的交互。虽然在以前的文献中已经提出了各种离线RL算法，但极大极小最优性只（几乎）建立了表马尔可夫决策过程（MDP）。本文主要研究了具有线性函数逼近的离线强化学习，提出了一种新的基于悲观的离线线性多目标规划算法。在我们的算法的核心是不确定性分解通过一个参考函数，这是新的离线RL下的线性函数近似的文献。理论分析表明，我们的算法可以匹配的性能下限对数因子。我们还将我们的技术扩展到两人零和马尔可夫博弈（MG），并建立了一个新的性能下界，收紧了现有的结果，并验证了所提出的算法的近似极小极大最优性.据我们所知，这些是第一个计算效率和近极大极小最优算法离线单代理MDP和MG与线性函数近似。
2023-03-01 cs.GT cs.LG stat.ML
Bandwidth selection in kernel density estimation: Oracle inequalities and adaptive minimax optimality
通过核估计量的选择，解决了具有$\mathbb{L}_s$ -损失的密度估计问题.我们开发了一个选择过程，并推导出相应的$\mathbb{L}_s$ -风险预言不等式。结果表明，建议的选择规则导致的估计是极小极大自适应的各向异性的Nikol'skii类的规模。在我们的推导中使用的主要技术工具是最近由Goldenshluger和Lepski开发的经验过程的$\mathbb{L}_s$ -范数的统一界限[Ann. Probab.（2011年）。
2012-11-22 math.ST stat.TH
Finite Sample Analysis of Minimax Offline Reinforcement Learning: Completeness, Fast Rates and First-Order Efficiency
Cornell University（康奈尔大学）；The University of Tokyo（东京大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提供了一个理论表征的政策外评估（OPE）在强化学习中使用函数近似的边际重要性权重和$q$ -功能时，这些估计使用最近的极大极小方法。根据各种组合的可实现性和完整性的假设，我们表明，极大极小的方法使我们能够实现快速的收敛速度的权重和质量函数，其特征在于由临界不等式\citep{bartlett2005}。基于这个结果，我们分析了OPE的收敛速度。特别是，我们引入了新的替代完整性条件，在此条件下OPE是可行的，我们提出了第一个有限样本结果，在非表格环境中具有一阶效率，即，在首项中具有最小系数。
2022-07-24 cs.LG math.ST stat.ML
Minimax Optimal Strategy for Delayed Observations in Online Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；UC Berkeley（加州大学伯克利分校）
针对延迟状态观测的强化学习问题，提出结合增广方法和上置信界算法的策略，在表格型MDP上达到极小化最优遗憾界。
2026-06-02 cs.LG stat.ML
Transfer Learning for High-dimensional Linear Regression: Prediction, Estimation, and Minimax Optimality
本文考虑在迁移学习的环境下，使用来自目标模型的样本以及来自不同但可能相关的回归模型的辅助样本，对高维线性回归进行估计和预测。当已知一组“信息”辅助样本时，提出了一个估计器和一个预测器，并建立了它们的最优性。预测和估计的最优收敛速度比不使用辅助样本的相应速度快。这意味着可以转移来自信息丰富的辅助样本的知识，以提高目标问题的学习性能。在信息辅助样本集未知的情况下，我们提出了一种数据驱动的迁移学习过程，称为Trans-Lasso，并揭示了其对非信息辅助样本的鲁棒性和知识迁移的效率。所提出的程序被证明在数值研究中，并适用于一个数据集的基因表达之间的关联。结果表明，trans-Lasso通过将来自多个不同组织的数据作为辅助样本，提高了靶组织中基因表达预测的性能。
2020-06-18 stat.ME stat.ML
Personalizing black-box models for nonparametric regression with minimax optimality
Tsinghua University（清华大学）；Rutgers University（罗格斯大学）
本文提出了一种在非参数回归中实现黑盒模型个性化的方法，通过理论分析和实验验证，证明了其在样本稀缺情况下的最优性能和鲁棒性。
2026-01-04 stat.ME stat.ML
On the minimax optimality and superiority of deep neural network learning over sparse parameter spaces
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文通过非参数回归问题证明深度学习在不连续、稀疏函数类上可达极小极大最优速率，而线性估计器因凸包风险不变而次优，并指出参数共享可显著降低模型复杂度。
2019-09-20 cs.LG math.ST stat.ML
Minimax Optimality of the Probability Flow ODE for Diffusion Models
University of Michigan（密歇根大学）；The Chinese University of Hong Kong（香港中文大学）
本文为基于概率流ODE的扩散模型采样器建立了首个端到端理论框架，针对次高斯且密度β-Hölder光滑的目标分布提出光滑正则化分数估计器，证明其在总变差距离上达到近最小最大最优速率。
2025-03-12 cs.IT cs.LG math.IT
Minimax Structured Normal Means Inference
我们提供了一个统一的治疗一类广泛的嘈杂的结构恢复问题，被称为结构正常的手段问题。在这种情况下，目标是从具有不同均值的高斯分布的有限集合中识别产生一些观测数据的分布。最近的工作已经研究了几个特殊的情况下，包括稀疏向量，biclusters，和基于图形的结构。我们建立几乎匹配的上限和下限的极小极大概率的错误的任何结构化的正常手段的问题，我们推导出一个最优性证书的极大似然估计，它可以应用于许多实例。我们还考虑了一个试验设计设置，在那里我们推广我们的极大极小的界限，并推导出一个算法计算的设计策略具有一定的最优性。我们表明，我们的研究结果给出了严格的极小极大界的许多结构恢复问题，并考虑一些后果的交互式采样。
2016-01-26 cs.IT math.IT stat.ML
Functional linear regression from sparse to dense designs: a pooling-ridge method and minimax optimality
Tsinghua University（清华大学）；Peking University（北京大学）
针对离散观测数据的函数线性回归最优估计难题，提出池化-岭方法，实现从稀疏到密集设计下两类回归模型的极小极大最优性，经模拟与实际数据验证。
2026-08-27 cs.LG math.ST stat.ME
Quantile of Means: A Bonus-Free Ensemble Method for Minimax Optimal Reinforcement Learning
Google Research（谷歌研究院）
提出一种基于分位数的集成方法，无需计数即可在有限时域MDP中实现最优方差依赖的遗憾界，为强化学习中的集成探索提供理论依据。
2026-06-19 cs.LG
Minimax Estimation of Distances on a Surface and Minimax Manifold Learning in the Isometric-to-Convex Setting
University of California, San Diego（加州大学圣地亚哥分校）
本研究针对光滑子流形内蕴距离估计问题，证明通过曲面重构可实现极小极大最优性并采用切向Delaunay复形构建网格，同时提出在重构曲面计算距离的Isomap变体，对等距流形学习问题具有极小极大最优性。
2023-10-03 cs.LG math.ST stat.ML
Exact Minimax Optimality of Spectral Methods in Phase Synchronization and Orthogonal Group Synchronization
本文研究了带加性高斯噪声和不完整数据的相位同步问题中谱方法的性能，证明了其在平方 $\ell_2$ 损失下达到极小极大下界，性能媲美极大似然估计等复杂方法，并将该最优性结论扩展至正交群同步。
2024-01-06 cs.IT math.IT math.SP
Connected Superlevel Set in (Deep) Reinforcement Learning and its Application to Minimax Theorems
Georgia Institute of Technology（佐治亚理工学院）；Virginia Tech（弗吉尼亚理工大学）
本文证明强化学习策略目标关于策略参数的超水平集在表格和神经网络策略下均连通且具等连通性，并据此建立对抗奖励攻击下鲁棒强化学习的极小极大等式。
2023-09-30 cs.LG math.OC
Linear Bandits on Ellipsoids: Minimax Optimal Algorithms
Laboratoire des signaux et systèmes（信号与系统实验室）；Univ. Paris-Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央高等电力学院）
针对动作集为椭球的线性赌博机，提出首个极小极大最优算法，通过估计参数范数并采用探索-提交策略，达到信息论下界，且计算高效，并具备局部渐近最优性。
2026-11-09 cs.LG stat.ML
Information-Theoretic Minimax Regret Bounds for Reinforcement Learning based on Duality
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文研究有限时间范围马尔可夫决策过程中的极小极大遗憾问题，利用对偶性、极小极大定理和贝叶斯遗憾界推导信息论界，并展示其在多种场景下的应用。
2024-10-21 cs.IT cs.LG math.IT
On the Optimality of the Median-of-Means Estimator under Adversarial Contamination
Basque Center of Applied Mathematics (BCAM)（巴斯克应用数学中心）；IKERBASQUE-Basque Foundation for Science（巴斯克科学基金会）
本文研究了对抗性污染下中位数均值估计器的最优性，证明了其在有限方差及无限方差但有限绝对矩分布类中达到极小极大最优，并指出在轻尾分布下为次优。
2025-10-09 cs.LG math.ST stat.ML
Statistical Optimality of Interpolated Nearest Neighbor Algorithms
Purdue University（普渡大学）
在深度学习时代，理解过拟合现象变得越来越重要。据观察，精心设计的深度神经网络即使在训练误差接近于零的情况下也能实现小的测试误差。一种可能的解释是，对于许多现代机器学习算法，过拟合可以大大降低估计偏差，同时不会过多增加估计方差。为了说明上述思想，我们证明了建议的插值最近邻算法实现最小最大的最优率在回归和分类制度，并观察到他们是经验优于传统的$k$最近邻方法在某些情况下。
2018-11-30 cs.LG stat.ML
Minimax Optimal Goodness-of-Fit Testing with Kernel Stein Discrepancy
本文提出基于谱正则化的核 Stein 散度检验，在一般域上实现极小极大最优拟合优度检验，并引入自适应检验，数值实验验证其优于未正则化方法。
2025-01-22 math.ST stat.ML stat.TH
Minimax Optimality of Score-based Diffusion Models: Beyond the Density Lower Bound Assumptions
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文从非参数统计角度研究了基于分数的扩散模型采样渐近误差，提出基于核的分数估计器，在仅满足次高斯假设下达到极小极大最优，消除了先前对密度的下界假设。
2024-07-23 cs.IT cs.LG math.IT
Scaled minimax optimality in high-dimensional linear regression: A non-convex algorithmic regularization approach
经典的高维线性回归问题的快速收敛问题已得到广泛的研究。可以说，在实践中最快的程序之一是迭代硬控制（IHT）。然而，IHT强烈依赖于真实稀疏参数$s$的知识。本文提出了一种新的高维线性回归估计的快速算法。利用估计，支持恢复和优化之间的相互作用，我们实现了最佳的统计精度和快速收敛。我们的程序的主要优点是，它是完全自适应的，使其比最先进的IHT方法更实用。我们的程序达到最佳的统计精度比，例如，经典算法的套索。此外，我们建立了尖锐的最优结果的估计和支持恢复。因此，我们提出了一种新的迭代硬阈值算法的高维线性回归，是规模的最小最大最优（实现的预言，知道稀疏模式的估计误差，如果可能的话），快速和自适应。
2020-08-27 math.ST stat.TH
Sparse Minimax Optimality of Bayes Predictive Density Estimates from Clustered Discrete Priors
研究了高维高斯模型中位置参数具有精确稀疏约束的Kullback-Leibler损失下的预测密度估计问题。研究了基于乘积离散先验的Bayes预测密度估计的一阶渐近极小极大风险，其中非零坐标的比例随着维数的增加而收敛到零。离散先验的产品，聚集的单变量先验提供了一个易于处理的配置，分散未来的风险，并用于构建有效的预测密度估计。我们建立了贝叶斯预测密度估计从一个适当设计的聚类离散先验是渐近极小极大最优的。我们提出的先验的边缘有无限个大小相同的簇。簇内支持点是等概率的，并且簇随着它们远离原点而以几何衰减概率周期性地间隔开。簇的周期性取决于簇概率的衰减速率。在不同的稀疏性制度下，通过数值实验，我们比较了来自聚类先验的贝叶斯预测密度估计与各种竞争估计的最大风险，包括基于Johnstone（1994）和Mukherjee & Johnstone（2017）的几何衰减非聚类先验的估计，并获得了令人鼓舞的结果。
2019-05-23 math.ST stat.TH
Understanding Inverse Reinforcement Learning under Overparameterization: Non-Asymptotic Analysis and Global Optimality
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Minnesota（明尼苏达大学）；Texas A&M University（德克萨斯农工大学）
针对传统逆强化学习依赖线性奖励、嵌套结构计算效率低的问题，提出首个神经网络参数化奖励下的双时间尺度单循环IRL算法，证明过参数化下其非渐近收敛且能在特定网络结构下实现全局最优。
2025-03-22 cs.LG stat.ML
Nearly Minimax Optimal Reinforcement Learning for Linear Mixture Markov Decision Processes
University of California, Los Angeles（加州大学洛杉矶分校）；Deepmind（深度思维）；University of Alberta（阿尔伯塔大学）
我们研究了具有线性函数近似的强化学习（RL），其中马尔可夫决策过程（MDP）的潜在转移概率核是线性混合模型（Jia et al.，2020; Ayoub等人，2020; Zhou等人，2020），并且学习代理可以访问各个基核的积分或采样预言。本文对带有界噪声的线性Bandit问题的自正规鞅提出了一个新的Bernstein型集中不等式。基于新的不等式，我们提出了一个新的，计算效率高的算法命名为$\text{UCRL-VTR}^{+}$的线性函数逼近上述线性混合MDP在情节未贴现设置。我们发现，$\text{UCRL-VTR}^{+}$达到了$\tilde O(dH\sqrt{T})$遗憾，其中$d$是特征映射的维度，$H$是情节的长度和$T$是与MDP的交互次数。我们还证明了一个匹配的下限$Ω(dH\sqrt{T})$为这个设置，这表明，$\text{UCRL-VTR}^{+}$是最小最大最优的对数因子。此外，我们提出了$\text{UCLK}^{+}$算法的同一家庭的MDP下折扣，并表明它达到了$\tilde O(d\sqrt{T}/(1-γ)^{1.5})$遗憾，其中$γ\in [0,1)$是折扣因子。我们的上限与Zhou等人（2020）证明的下限$Ω(d\sqrt{T}/(1-γ)^{1.5})$匹配，达到对数因子，表明$\text{UCLK}^{+}$几乎是最小最大最优的。据…
2021-01-07 cs.LG math.OC stat.ML
Minimax Optimal and Computationally Efficient Algorithms for Distributionally Robust Offline Reinforcement Learning
Duke University（杜克大学）
针对分布鲁棒离线强化学习，提出在线性参数化设定下实现函数逼近的极小极大最优与计算高效算法，并开创实例依赖的次优性分析，揭示了鲁棒离线RL中函数逼近的独特性与难度。
2025-03-03 cs.AI cs.LG stat.ML
Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision Processes
University of California, Los Angeles（加州大学洛杉矶分校）
本研究针对线性马尔可夫决策过程的强化学习问题，提出基于带特殊权重的加权线性回归、结合新型方差估计器的计算高效算法，首次达到接近极小极大最优的悔界，为该领域最优RL问题提供完整解答。
2023-11-04 cs.LG math.OC stat.ML
Minimax Regret Bounds for Reinforcement Learning
DeepMind
我们考虑有限视野MDP强化学习中可证明的最优探索问题。我们发现，一个乐观的修改值迭代实现了遗憾界的$\tilde{O}( \sqrt{HSAT} + H^2S^2A+H\sqrt{T})$，其中$H$是时间范围，$S$的状态数，$A$的动作数和$T$的时间步数。该结果改进了Jaksch等人的UCRL 2算法所实现的最佳先前已知边界$\tilde{O}(HS \sqrt{AT})$，2010.我们的新结果的关键意义是，当$T\geq H^3S^3A$和$SA\geq H$，它会导致一个遗憾的$\tilde{O}(\sqrt{HSAT})$匹配的$Ω(\sqrt{HSAT})$的建立下限的对数因子。我们的分析包含两个关键的见解。我们仔细地将浓度不等式应用于最优值函数作为一个整体，而不是转移概率（以改善$S$中的缩放），并且我们定义了基于伯恩斯坦的“探索奖金”，该奖金使用下一个状态的估计值的经验方差（以改善$H$中的缩放）。
2017-07-01 cs.AI cs.LG stat.ML
Achieving adaptivity and optimality for multi-armed bandits using Exponential-Kullback Leibler Maillard Sampling
University of Arizona（亚利桑那大学）
本文提出Exp-KL-MS算法，同时满足渐近最优性、带对数因子极小极大最优性、Sub-UCB及方差自适应遗憾界，解决多臂老虎机多标准优化问题。
2026-11-05 cs.DS cs.LG
Sampling Attacks on Meta Reinforcement Learning: A Minimax Formulation and Complexity Analysis
New York University（纽约大学）
Meta强化学习（meta RL）是元学习思想和强化学习（RL）的结合，它使智能体能够使用少量样本适应不同的任务。然而，这种基于采样的适应也使Meta RL容易受到对抗攻击的攻击。通过操纵Meta RL中采样过程的奖励反馈，攻击者可以误导Agent从训练经验中构建错误的知识，这会降低Agent在适应后处理不同任务时的性能。本文提供了一个博弈论的基础，了解这种类型的安全风险。特别是，我们正式定义的抽样攻击模型作为一个Stackelberg游戏之间的攻击者和代理，这产生了极大极小制定。它导致了两种在线攻击方案：间歇攻击和持续攻击，使攻击者能够学习最佳的采样攻击，定义的$ε$ -一阶平稳点，在$\mathcal{O}(ε^{-2})$迭代。这些攻击方案在不与环境进行额外交互的情况下同时自由地进行学习过程。通过用数值实验证实收敛结果，我们观察到攻击者的微小努力可以显着降低学习性能，并且极大极小方法也可以帮助增强Meta RL算法。
2023-03-08 cs.CR cs.LG
