Scaled minimax optimality in high-dimensional linear regression: A non-convex algorithmic regularization approach
经典的高维线性回归问题的快速收敛问题已得到广泛的研究。可以说，在实践中最快的程序之一是迭代硬控制（IHT）。然而，IHT强烈依赖于真实稀疏参数$s$的知识。本文提出了一种新的高维线性回归估计的快速算法。利用估计，支持恢复和优化之间的相互作用，我们实现了最佳的统计精度和快速收敛。我们的程序的主要优点是，它是完全自适应的，使其比最先进的IHT方法更实用。我们的程序达到最佳的统计精度比，例如，经典算法的套索。此外，我们建立了尖锐的最优结果的估计和支持恢复。因此，我们提出了一种新的迭代硬阈值算法的高维线性回归，是规模的最小最大最优（实现的预言，知道稀疏模式的估计误差，如果可能的话），快速和自适应。
2020-08-27 math.ST stat.TH
An Efficient Minimax Optimal Estimator For Multivariate Convex Regression
Electrical Engineering and Computer Science, Massachusetts Institute of Technology（麻省理工学院电气工程与计算机科学系）；Department of Mathematics, Tel Aviv University（特拉维夫大学数学系）
本文提出了一种高效且最小最大最优的多变量凸回归估计器，适用于高维数据和多面体支持条件，解决了传统方法的最小二乘估计器次优问题。
2025-12-28 cs.LG math.MG math.ST
Convex and Nonconvex Optimization Are Both Minimax-Optimal for Noisy Blind Deconvolution under Random Designs
Princeton University（普林斯顿大学）
研究了凸松弛和非凸优化在两种不同设计（即$~$（一种随机Fourier设计）和Gauss设计）下求解双线性方程组的有效性.尽管这两种范式具有广泛的适用性，但在存在随机噪声的情况下，对这两种范式的理论理解仍然很不充分。本文证明了两点贡献：（1）两阶段非凸算法在对数迭代次数内达到极小极大最优精度。(2)凸松弛还实现了相对于随机噪声的最小最大最优统计精度。这两个结果显着改善后，国家的最先进的理论保证。
2021-07-13 cs.IT cs.LG eess.SP
Characterizing the minimax rate of nonparametric regression under bounded star-shaped constraints
本文在星形函数类上刻画非参数回归的极小极大速率，提出同时推广 sup-范数有界与 L-亚高斯条件的假设，并给出首个在凸约束下对真实点自适应的估计量。
2025-06-27 math.ST stat.TH
The geometry of hypothesis testing over convex cones: Generalized likelihood tests and minimax radii
本文考虑高斯序列模型中的一个复合测试问题，其中零和替代由一对闭的凸锥指定。这种锥检验问题出现在各种应用中，包括治疗效果的检测，计量经济学中的趋势检测，雷达处理中的信号检测，以及非参数统计中的形状约束推断。我们提供了一个尖锐的表征GLRT测试半径到一个普遍的乘法常数的几何结构的基础凸锥。当应用到具体的例子，这个结果揭示了一些有趣的现象，不会出现在类似的问题，估计凸约束。特别地，与估计误差相比，测试误差不再纯粹取决于通过基于体积的测量（诸如度量熵或高斯复杂度）的问题复杂度，圆锥的其他几何性质也起重要作用。为了解决问题的最优性，我们证明了信息论的下界的极小极大测试半径再次几何量。我们的一般定理说明的例子，包括单调和正交锥的情况下，并涉及一些结果的独立利益。
2018-03-26 cs.IT math.IT math.ST
Minimax Hausdorff estimation of density level sets
给定一个来自未知密度的随机样本，在r-凸性假设下，我们提出了一种数据驱动的密度水平集估计方法.这个形状条件推广了凸性性质。然而，在实践中的主要问题是，r是一个未知的几何特征的集合有关其曲率。提出了一种从数据中选择其最优值的随机算法。由此产生的水平集的重建是能够实现极小极大率的Hausdorff度量和距离的措施，直到日志的因素，均匀的水平上的集合。
2019-05-07 math.ST stat.ME stat.TH
Minimaxity and Efficiency in Exponential Family Regression: From Star-Shaped to Convex Constraints
Department of Statistics and Data Science, Northwestern University（西北大学统计与数据科学系）
本文针对星形约束下非参数指数族回归，确立了其极小极大估计率，提出多项式时间高效算法并推导了具体例子的极小极大最优率。
2026-07-31 math.ST stat.TH
Nearly-minimax variance estimation under rough random design
研究詹姆斯·罗宾斯关于随机设计下非参数回归估计常数条件方差问题，通过特定条件设定，证明极小极大均方根风险以\(n^{-\beta}\)为下界，否定了推测速率\(n^{-4s/(d + 4s)}\)的一致可达到性。
2026-09-11 math.ST stat.TH
Estimation and inference for minimizer and minimum of convex functions: optimality, adaptivity and uncertainty principles
该研究在非渐近局部极小极大框架下探究凸回归函数极小点与极小值的估计推断，提出自适应高效算法并给出下界，还建立了二者同时估计的不确定性原理。
2024-03-10 math.ST stat.ME stat.TH
Local Minimax Complexity of Stochastic Convex Optimization
我们扩展了传统的最坏情况下，极大极小分析随机凸优化引入一个本地化的形式，极大极小复杂性的个别功能。我们的主要结果给出了函数特定的下限和上限的随机次梯度评估的数量需要优化的功能或其“最难的本地替代品”到一个给定的数值精度。的界限表示在一个本地化的和计算模拟的模的连续性，是中央统计极大极小分析。我们展示了如何计算的连续性模量可以明确地计算在具体情况下，并涉及在最佳的函数的曲率。我们还证明了一个超效率的结果，表明它是一个有意义的基准，作为一个计算模拟的费舍尔信息的统计估计。模拟结果的性质和实际意义。
2016-05-26 stat.ML
Estimation of a k-monotone density, part 1: characterizations consistency, and minimax lower bounds
形状约束密度在许多非参数估计问题中会遇到。单调或凸（和单调）密度类可以看作是k-单调密度类的特殊情况。称密度g是k-单调的，如果它的连续导数直到k-2阶交替为负或正，且k-2阶导数分别根据k是偶数（或奇数）而凸（或凹）。如果k=1，则g是不增加的。这些类的形状约束密度之间的差距桥梁类的单调（1-单调）和凸递减（2-单调）密度的渐近结果是已知的，一类完全单调密度与k无限。在这一系列的四篇论文中，我们考虑（非参数）最大似然估计和最小二乘估计的k-单调密度。在第一部分（第一部分）中，我们证明了估计的存在性，并给出了一些刻画。我们还建立了一致性的性质，并证明了估计是简单的节点阶k（度k-1）的样条。进一步给出了k-单调密度g_0（x_0）及其导数g_0^{（j）}（x_0）的渐近极小极大风险下界，其中j=1，.，k-1，在不动点x_0处，假设g_0在x_0处的k阶导数为非零。
2005-09-04 math.ST stat.TH
Minimax Optimal Online Stochastic Learning for Sequences of Convex Functions under Sub-Gradient Observation Failures
Bilkent University（比尔肯特大学）
研究了随机次梯度观测故障下的在线凸优化问题，引入了具有极大极小最优遗憾保证的自适应算法。我们专门研究的情况下，我们的次梯度观测可以是嘈杂的，甚至完全丢失的随机方式。为此，我们提出了基于子梯度下降方法的算法，它实现了紧极小极大最优遗憾界。必要时，这些算法利用潜在的随机设置的属性来优化它们的学习率（步长）。这些优化是提供最小最大最优性能保证的主要因素，特别是当观测值随机丢失时。然而，在现实世界的场景中，底层随机设置的这些属性可能不会透露给优化器。对于这样的情况下，我们提出了一个盲目的算法，估计这些属性的经验，在一个普遍适用的方式。通过大量的实验，我们表明，这种经验方法是一个自然的组合定期随机梯度下降和最小最大优化算法（最好的随机和对抗功能序列，分别）。
2019-04-19 cs.LG math.OC stat.ML
Minimax estimation of smooth densities in Wasserstein distance
我们研究了非参数密度估计问题，其中误差是在Wasserstein距离中测量的，Wasserstein距离是统计和机器学习的许多领域中流行的概率分布的度量。我们给这个问题的第一个最小最大最优速率一般Wasserstein距离，并表明，与经典的非参数密度估计，这些速率取决于是否有界的密度问题。出于变分问题涉及Wasserstein距离，我们还展示了如何构建离散支持的措施，适合计算的目的，实现极大极小率。我们的主要技术工具是一个不等式，给出了一个几乎紧的双重表征的Wasserstein距离的Besov规范。
2020-04-28 math.ST stat.TH
Minimax-optimal rates for sparse additive models over kernel classes via convex programming
稀疏加性模型是具有加性分解$f^* = \sum_{j \in S} f^*_j$的$d$ -变量函数族，其中$S$是基数$s \ll d$的未知子集。考虑了一元分量函数$f^*_j$位于再生核Hilbert空间（RKHS）中的情形，分析了一种基于核与$\ell_1$型凸正则化相结合的未知函数$f^*$的估计方法.工作在一个高维的框架内，允许两个维度$d$和稀疏$s$与$n$增加，我们得到收敛速度（上界）在$L^2(\mathbb{P})$和$L^2(\mathbb{P}_n)$规范类$\MyBigClass$的稀疏加性模型与每个单变量函数$f^*_j$在单位球的单变量RKHS有界核函数。我们补充我们的上限推导极小极大下限的$L^2(\mathbb{P})$错误，从而显示我们的方法的最优性。因此，我们获得了许多有趣的类的稀疏加性模型，包括多项式，样条，和Sobolev类的最优极大极小率。我们还表明，如果，在我们的单变量条件下，多变量函数类被假定为全局有界的，那么更快的估计速度是可能的任何稀疏$s = Ω(\sqrt{n})$，显示全局有界性是一个显着的限制，在高维设置。
2011-12-18 cs.IT math.IT math.ST
Minimax rates for the covariance estimation of multi-dimensional Lévy processes with high-frequency data
研究了高维Lévy过程协整波动率的非参数估计方法。我们构造了协整波动率的谱估计，并证明了适当的有界非参数半鞅类的极大极小化率。给定长度为$1/n$的区间上的增量的$ n $观测，如果$ r \leq 1 $，则收敛速率为$1 / \sqrt{n} $，如果$ r>1 $，则收敛速率为$ (n\log n)^{(r-2)/2} $，这在极大极小意义下是最优的。我们从下面用调和平均约束共跳指数活性。最后，我们通过与现有文献中的估计量进行比较来评估我们的估计量的效率。
2019-09-22 math.ST stat.TH
A Convex Formulation for Mixed Regression with Two Components: Minimax Optimal Rates
The University of California, Berkeley（加州大学伯克利分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究了在对抗噪声和随机噪声下的两个分量的混合回归问题。我们给出了一个凸优化公式，可证明恢复的真实解，并提供上界的恢复误差为任意噪声和随机噪声设置。我们还匹配极大极小下界（对数因子），表明在一定的假设下，我们的算法是信息理论上最优的。我们的研究结果代表了第一个易于处理的算法，保证成功恢复与紧界恢复错误和样本的复杂性。
2015-02-13 cs.IT cs.LG math.IT
Empirical entropy, minimax regret and minimax risk
University of Pennsylvania（宾夕法尼亚大学）；Cornell University（康奈尔大学）；CREST-ENSAE（法国国家统计与经济管理学院（CREST-ENSAE））
考虑了平方损失的随机设计回归模型。我们提出了一种方法，聚集经验极小（ERM）在适当选择的随机子集，并减少到ERM在极端情况下，我们建立尖锐的预言不等式的风险。我们表明，在经验$\varepsilon$ -熵的$\varepsilon^{-p}$增长下，所提出的方法的超额风险对于$p\in(0,2)$达到率$n^{-2/(2+p)}$，对于$p>2$达到率$n^{-1/p}$，其中$n$是样本量。此外，对于$p\in(0,2)$，超额风险率匹配函数估计的极小极大风险在良好指定的模型下的回归问题中的行为。由此得出结论，在$p\in(0,2)$方案中，在明确指定的模型（极大极小风险）和错误指定的模型（极大极小后悔）中的统计估计率是相等的。换句话说，对于$p\in(0,2)$，统计学习问题与统计估计问题享有相同的极大极小化率。相反，对于$p>2$，我们表明，在一般情况下，最小最大后悔率比最小最大风险慢。我们的预言不等式还意味着$v\log(n/v)/n$率Vapnik-Chervonenkis型类的尺寸$v$没有通常的凸性假设的类，我们表明，这些利率是最优的。最后，对于一个稍微修改的方法，我们推导出一个界限上的超额风险的$s$ -稀疏凸聚集改进，Lounici [数学。16（2007）246-259]并提供最佳速率。
2017-07-03 cs.LG math.ST stat.TH
Minimax Regret of Switching-Constrained Online Convex Optimization: No Phase Transition
Yale University（耶鲁大学）；Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）；Massachusetts Institute of Technology（麻省理工学院）；University of Southern California（南加利福尼亚大学）
我们研究的问题切换约束在线凸优化（OCO），玩家有有限的机会改变她的行动。虽然这个在线学习任务的离散模拟已被广泛研究，以前的工作在连续设置既没有建立极大极小率，也没有算法实现it.In本文中，我们表明，$ T $轮开关约束OCO少于$ K $开关有极大极小遗憾$ Θ(\frac{T}{\sqrt{K}}) $。特别地，对于一维，其至少为$ \frac{T}{\sqrt{2K}} $，对于更高维度，其至少为$ \frac{T}{\sqrt{K}} $。在高维的下界是通过一个正交子空间的论点。在一维中，一种新的对抗策略产生了$O(\frac{T}{\sqrt{K}})$的下界，但更涉及到包含常数的精确极大极小分析。为了建立更严格的一维结果，我们引入了\emph{fugal game}松弛，其极小极大遗憾的下限开关约束OCO。我们证明了逃逸对策的最小最大遗憾至少是$ \frac{T}{\sqrt{2K}} $，从而建立了一维最优最小最大遗憾下界。为了建立与维数无关的上界，我们接下来证明了一个minimax算法提供了一个$ O(\frac{T}{\sqrt{K}}) $上界，因此得出结论，对于任何$K$，切换约束OCO的极小极大遗憾是$ Θ(\frac{T}{\sqrt{K}}) $。这是在鲜明的对比，它的离散对应，开关约束预测专家的问题，表现出一个相变之间的低开关和高开关制度的最小最大遗…
2020-10-22 cs.LG math.OC stat.ML
Minimax Rate Optimal Adaptive Nearest Neighbor Classification and Regression
University of California, Davis（加州大学戴维斯分校）
k最近邻（kNN）方法是一种简单而流行的分类和回归统计方法。对于分类和回归问题，现有的工作已经表明，如果特征向量的分布有界的支持和密度函数有界远离零的支持，标准的kNN方法，其中k是相同的所有测试样本的收敛速度，是最小最大最优的。相反，如果分布有无界的支持，我们表明，有一个差距之间的收敛速度实现的标准kNN方法和极大极小界。为了缩小这一差距，我们提出了一种自适应kNN方法，其中不同的k是为不同的样本选择。我们的选择规则不需要精确的知识的基本分布的功能。新提出的方法显着优于标准的。我们刻画了所提出的自适应方法的收敛速度，并表明它符合极大极小下界。
2019-10-22 cs.LG math.ST stat.ML
Minimax Optimal Fair Classification with Bounded Demographic Disparity
University of Pennsylvania（宾夕法尼亚大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究有限样本下具有人口统计差异约束的公平二分类问题，提出公平性感知超额风险度量并推导其最小最大下界，进而设计达到该下界的 FairBayes-DDP+ 方法，实验验证其能有效控制差异并具有更优的公平性-准确性权衡。
2024-03-27 cs.CY cs.LG math.ST
Quantum Minimax Theorem
近年来，统计决策理论中的许多重要的基本结果被推广到量子系统中。量子Hunt-Stein定理和量子局部渐近正态性就是典型的成功例子。本文证明了量子极大极小定理，它是由Wald首先证明并由LeCam推广的统计决策理论中的极大极小定理的推广.我们的断言保持每一个封闭的凸集的测量和一般的参数模型的密度算子。另一方面，基于最不利先验的贝叶斯分析在经典统计中得到了广泛的应用，并有望在量子统计中发挥重要作用。根据这一趋势，我们还表明存在最不利的先验，这似乎是新的，即使在经典统计。
2014-10-14 math.ST quant-ph stat.TH
Optimization of Smooth Functions with Noisy Observations: Local Minimax Rates
Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）；Department of Statistics and Data Science, Carnegie Mellon University（卡内基梅隆大学统计与数据科学系）
研究了具有零阶反馈的未知非凸光滑函数的全局优化问题。在这种设置中，允许算法自适应地查询不同位置处的底层函数，并接收查询点处的函数值的噪声评估（即，算法可以访问零阶信息）。优化性能的评估在估计的最优和真正的最优的函数值的期望差。与经典优化设置相反，优化算法不能直接访问一阶信息（如梯度）。我们表明，经典的极大极小分析框架，这大致表征了在这种情况下的优化算法的最坏情况下的查询复杂性，导致过于悲观的结果。我们提出了一个局部极小极大框架来研究自适应函数评估优化光滑函数的基本困难，它提供了零阶优化的内在困难的精细图像。我们发现，对于全局最小值附近水平集快速增长的函数，精心设计的优化算法可以用更少的查询来确定一个接近全局最小值的函数。对于强凸和光滑函数的特殊情况，我们隐含的收敛速度匹配的零阶凸优化问题。在频谱的另一端，对于最坏情况下的光滑函数，没有算法可以比在$\ell_\infty$ -范数中估计整个未知函数的极大极小速率更快地收敛。我们提供了一个直观和有效的算法，达到推导出的误差上界。
2018-03-22 cs.LG math.ST stat.ML
The Voronoigram: Minimax Estimation of Bounded Variation Functions From Scattered Data
我们考虑的问题，估计有界变差（BV）的多元函数$f_0$，从噪声观测$y_i = f_0(x_i) + z_i$在随机设计点$x_i \in \mathbb{R}^d$，$i=1,\ldots,n$。我们研究了形成设计点的Voronoi图的估计器，然后解决了根据总变差（TV）的某种离散概念进行正则化的优化问题：Voronoi图中所有邻近单元格$i,j$的参数$θ_i,θ_j$（估计函数值$f_0(x_i),f_0(x_j)$）的加权绝对差之和。这被看作是等价于一个变分优化问题，正则化根据通常的连续（测量理论）概念的电视，一旦我们限制域的功能，是分段常数的Voronoi图。因此，考虑中的回归估计器在自适应形成的Voronoi单元的联合上执行（收缩）局部平均，并且我们将其称为Voronoigram，遵循Koenker（2005）中的思想，并从Tukey的回归图（Tukey，1961）中汲取灵感。我们在本文中的贡献跨越了概念和理论的前沿：我们讨论了一些独特的性质的Voronoigram相比，电视正则化估计，使用其他基于图形的离散化;我们推导出的渐近极限的Voronoi电视功能;我们证明了Voronoigram是最小最大速率最优（对数因子）估计BV功能，基本上是有界的。
2022-12-30 cs.LG math.ST stat.ME
Optimal bounds for aggregation of affine estimators
本文研究了当估计量不独立于用于聚集的数据且不允许样本分裂时的估计量聚集问题。如果估计量是确定性向量，则众所周知，最小最大聚集率是$\log(M)$阶，其中$M$是要聚集的估计量的数量。证明了对于仿射估计量，最小最大聚集率是不变的：可以处理仿射估计量和用于聚集的数据之间的线性依赖，而不需要额外的成本。极小极大率不受仿射估计量的方差或其统计复杂性的任何其他度量的影响。极小极大率是通过估计量的凸包上的惩罚过程获得的，惩罚是从$Q$ -聚集过程中得到的。结果遵循惩罚，强凸性和浓度之间的相互作用。
2018-02-27 math.PR math.ST stat.TH
Proper Bayes minimax multiple shrinkage estimation
University of Alberta（阿尔伯塔大学）；Rutgers University（罗格斯大学）；The Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院）
研究在平方误差损失下估计多元正态均值问题，通过引入新方法证明适当贝叶斯极小极大多重收缩估计量存在，其能自适应向更有前景目标收缩，解决多目标选择挑战，且构建方式与以往不同。
2026-08-13 math.ST stat.ME stat.TH
Volume Ratio, Sparsity, and Minimaxity under Unitarily Invariant Norms
本文提出了一种新的机器研究非渐近极小极大估计的高维矩阵，它产生紧极小极大率的大量收集的损失函数在各种问题。基于有限维巴拿赫空间的凸几何，本文首先给出了一种确定无约束正规平均矩阵在所有平方酉不变范数损失下的Minimax估计率的体积比方法.此外，我们建立了极大极小率估计平均矩阵与子矩阵稀疏，其中的稀疏约束引入了一个额外的长期的依赖于范数的速率完全不同的无约束问题的速率。此外，该方法适用于低秩约束下的矩阵完备化问题。新方法还扩展了正常均值模型。特别地，对于所有酉不变范数，它在协方差阵估计和泊松率矩阵估计问题中产生紧速率。
2013-06-15 cs.IT math.IT math.ST
On Minimax Robust Detection of Stationary Gaussian Signals in White Gaussian Noise
研究了高斯白噪声中广义平稳高斯信号过程的检测问题，其中信号过程的功率谱密度具有不确定性。极小极大鲁棒检测的性能是由具有固定虚警概率的Neyman-Pearson准则下的未命中概率的指数衰减率来表征的，随着观测间隔的长度无限制地增长。一个优势条件确定的不确定性集的谱密度函数，它是建立，在优势条件下，由此产生的极大极小问题具有鞍点，这是可以实现的似然比测试匹配到所谓的主导功率谱密度的不确定性集。建立这个结果不需要不确定性集上的凸性条件。
2010-04-30 cs.IT math.IT math.ST
Minimax Rates for Estimating Powered Sliced Wasserstein Functionals
Université Gustave Eiffel（格勒诺布尔艾菲尔大学）
该研究在投影r阶矩假设下，针对幂切片沃尔什斯坦因泛函的两样本估计问题，建立了非临界区域的极小极大速率，分析了端点与临界阶的特殊情况，明确了插入估计量的最优性及待解决的临界情形精确速率问题。
2026-10-12 cs.LG math.ST stat.ML
Beating the Minimax Rate of Active Learning with Prior Knowledge
Michigan State University（密歇根州立大学）
主动学习是指允许学习者选择用于标记的实例子集的学习协议。先前的研究表明，与被动学习相比，如果数据是线性可分的或满足参数为$κ=1$的Tsybakov噪声条件，则主动学习能够指数级降低标签复杂度。在本文中，我们提出了一种新的主动学习算法使用凸代理损失，其目标是扩大的情况下，主动学习实现指数级的改善。我们使用凸损失不仅是因为它降低了计算成本，更重要的是因为它导致了经验过程的紧边界（即，经验估计与期望之间的差异）。在最小化凸风险的最优分类器的范数可用的假设下，我们的分析表明，即使当Tsybakov噪声的参数$κ$大于$1$时，引入凸代理损失也会产生标签复杂度的指数降低。据我们所知，这是第一个工作，提高极小极大率的主动学习，利用一定的先验知识。
2014-02-06 cs.LG stat.ML
Learning Minimax Estimators via Online Learning
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
我们考虑设计极小极大估计量来估计概率分布的参数的问题。与经典的方法，如极大似然估计和最小距离估计，我们认为构造这样的估计算法的方法。我们认为设计极小极大估计量的问题是找到一个零和博弈的混合策略纳什均衡。利用最近的结果在非凸损失的在线学习，我们提供了一个通用的算法，找到一个混合策略纳什均衡一般非凸非凹零和游戏。我们的算法需要访问两个子程序：（a）一个输出对应于给定的先验概率分布的贝叶斯估计，和（b）一个计算任何给定的估计的最坏情况下的风险。鉴于访问这两个子程序，我们表明，我们的算法输出的极大极小估计和最不利的前。为了证明这种方法的力量，我们用它来构造可证明的极小极大估计的经典问题，如估计在有限高斯序列模型，和线性回归。
2020-06-19 cs.LG stat.ME stat.ML
On the minimax optimality and superiority of deep neural network learning over sparse parameter spaces
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文通过非参数回归问题证明深度学习在不连续、稀疏函数类上可达极小极大最优速率，而线性估计器因凸包风险不变而次优，并指出参数共享可显著降低模型复杂度。
2019-09-20 cs.LG math.ST stat.ML
Nearly Minimax-Optimal Rates for Noisy Sparse Phase Retrieval via Early-Stopped Mirror Descent
University of Oxford（牛津大学）
本文研究了应用于噪声稀疏相位恢复的早期停止镜像下降法，即从一组被次指数噪声破坏的二次高斯测量中恢复出$k$ -稀疏信号$\mathbf{x}^\star\in\mathbb{R}^n$的问题。我们认为（非凸）非正则化的经验风险最小化问题，并表明，早期停止镜像下降，当配备了双曲熵镜像映射和适当的初始化，实现了近最小最大最优的收敛速度，提供的样本大小至少是为了$k^2$（模对数项）和最小（模）非零条目的信号是在$\|\mathbf{x}^\star\|_2/\sqrt{k}$的顺序。我们的理论导致一个简单的算法，不依赖于显式正则化或阈值步骤，以促进稀疏性。更一般地说，我们的研究结果建立了镜像下降和稀疏性之间的连接，在噪声稀疏相位恢复的非凸问题，增加了早期停止的文献，主要集中在非稀疏，欧几里德，和凸设置通过梯度下降。我们的证明结合了潜在的分析，镜像下降与定量控制的变分相干性，我们建立沿镜像下降的路径，直到规定的停止时间。
2021-05-08 cs.LG eess.SP stat.ML
Fast and Accurate Estimation of Low-Rank Matrices from Noisy Measurements via Preconditioned Non-Convex Gradient Descent
University of Illinois-Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出面向含噪测量的预条件非凸梯度下降方法，用于低秩矩阵估计，保证以免疫病态和过参数化的线性速率达到极小极大误差，并在6000万像素医学图像去噪中显著降噪。
2024-02-28 cs.LG math.OC stat.ML
Minimax Euclidean Separation Rates for Testing Convex Hypotheses in $\mathbb{R}^d$
我们考虑高斯序列模型中期望的复合-复合检验问题，其中原假设对应于$\mathbb{R}^d$的凸子集$\mathcal{C}$。我们采用极大极小的观点，我们的主要目标是描述零假设和备择假设之间的最小欧氏距离，这样就有一个总错误概率小的测试。特别是，我们专注于这个距离上的尺寸$d$和样本量/方差参数$n$引起的极大极小分离率的依赖。在本文中，我们讨论了这个速度的上下上界不同的光滑和非光滑的选择$\mathcal{C}$。
2018-08-23 math.ST stat.TH
Optimal Binary Classifier Aggregation for General Losses
University of California, San Diego（加州大学圣地亚哥分校）
我们解决了在半监督二进制分类设置中聚集具有已知损失界限的预测器集合的问题，以最小化未标记数据上发生的预测损失。我们找到了一个非常一般的一类损失函数，包括所有凸和许多非凸损失的最小最大最优预测，扩展了最近的分析问题的误分类错误。其结果是一个家庭的半监督集成聚合算法是有效的线性学习凸优化，但极小极大最优没有任何松弛。他们的决策规则采用决策理论中熟悉的形式-将sigmoid函数应用于集成裕度的概念-而没有基于裕度的学习中通常所做的假设。
2016-11-07 cs.LG stat.ML
Efficient Minimax Optimal Global Optimization of Lipschitz Continuous Multivariate Functions
在这项工作中，我们提出了一个有效的极大极小最优全局优化算法的多元Lipschitz连续函数。为了评估我们的方法的性能，我们利用平均遗憾，而不是传统的简单的遗憾，这是不适合用于多变量非凸优化，因为问题本身固有的硬度。由于我们研究了算法的平均后悔，我们的结果直接意味着简单后悔的界限。而不是构建下界代理函数，我们的方法利用预定的查询创建规则，这使得它在计算上优于Piyavskiii-Shubert变体。我们表明，我们的算法实现了$O(L\sqrt{n}T^{-\frac{1}{n}})$的平均遗憾界的优化$n$维$L$ -Lipschitz连续目标的时间范围$T$，我们证明是最小最优的。
2022-06-06 cs.CC cs.LG math.OC
Minimax estimation of linear functionals over nonconvex parameter spaces
将估计线性泛函的极小极大理论推广到凸参数空间的有限并的情形。极大极小风险的上界和下界仍然可以用连续模来描述。然而，与凸参数空间的理论相反，速率优化过程通常需要是非线性的。这种非线性过程的建设。本文的结果对适应理论有重要的应用。
2004-06-22 math.ST stat.TH
Minimax Robust Function Reconstruction in Reproducing Kernel Hilbert Spaces
在本文中，我们提出了一个统一的方法来函数逼近再生核希尔伯特空间（RKHS），建立了一个以前未被认识到的最优性质的几个著名的函数逼近技术，如最小范数插值，光滑样条，和伪逆。我们考虑的问题，近似的函数属于一个任意的实值RKHS在R^d的基础上的近似观察的功能。在实际观察（即，真函数值）仅已知属于容许观测的凸集。我们寻求一个极小极大最优逼近的功能，最大限度地减少上确界的RKHS范数之间的真函数和所选的近似值的误差只服从的条件下，真正的功能属于一个一致有界的不确定性的功能，满足约束的意见和近似是一个成员的RKHS。我们把这种解决方案称为极大极小鲁棒重建。我们刻画了极大极小鲁棒重建问题的解，并证明了它等价于求解一个简单的凸优化问题。我们证明了极大极小鲁棒重建一般会比基于插值的近似更稳定，通过名义上的一组观测，并在容许观测的凸集上的一些温和的正则性条件下，极大极小鲁棒重建是无条件稳定的。我们激励我们的结果的特点，极大极小鲁棒重建几个特定的凸观测模型，并讨论与其他方法的函数逼近的关系。
2013-01-05 math.ST stat.TH
The minimax risk of truncated series estimators for symmetric convex polytopes
研究对称凸多胞体截断序列估计的极小极大风险的最优性。我们表明，最佳的截断序列估计是在$O(\log m)$的最佳因素，如果多面体是由$m$超平面定义。这代表了第一个这样的边界一般凸体。为了证明我们的结果，我们首先定义了一个几何量，称为\emph{approximation radius}，下界的极小极大风险。然后，我们通过建立近似半径和Kolmogorov宽度之间的联系来推导出我们的边界，Kolmogorov宽度是为截断序列估计提供上界的量。此外，我们的证明包含几个成分，这可能是独立的利益：1。近似半径的概念取决于物体的体积。这是一个直观的概念，是灵活的，以产生强极大极小下界; 2。近似半径和Kolmogorov宽度之间的联系是Kolmogorov宽度上的一种新的对偶关系的结果，该关系是利用凸几何的一些深入结果开发的。
2012-01-12 cs.IT math.IT math.PR
Optimistic lower bounds for convex regularized least-squares
极小极大下界本质上是悲观的：对于任何给定的估计量，极小极大下界产生最坏情况目标向量$β^*_{worst}$的存在，对于该最坏情况目标向量，给定估计量的预测误差从下面有界。然而，极小极大下界并没有阐明给定估计器对于不同于$β^*_{worst}$的目标向量的预测误差。给出了任意凸正则化最小二乘预测误差的一个特征。该特征提供了预测误差的下界和上界。这产生了适用于任何目标向量的下界，而不仅仅适用于单个最差情况$β^*_{worst}$。最后，将这些预测误差的上界应用于Lasso稀疏线性回归。我们得到一个下界涉及的兼容常数的任何调谐参数，匹配的上界和下界的普遍选择的调谐参数，和一个下界的Lasso与小调谐参数。
2017-10-06 math.ST stat.TH
Minimax Optimal Bayesian Aggregation
通常认为，集成方法结合了多种算法或模型，可以在机器学习任务（如预测）中优于任何单一算法。在本文中，我们提出了贝叶斯凸和线性聚合方法的回归应用程序的动机。我们表明，所提出的方法是极小极大最优的真实数据生成模型是一个凸或线性组合的模型列表中。此外，该方法可以适应稀疏结构，其中某些模型应该得到零权重，该方法是调整参数自由不同于竞争对手。更一般地说，在M-开放观点下，当真相落在所有凸/线性组合的空间之外时，我们的理论表明后验测度往往集中在极小极大率下真相的最佳逼近上。我们说明了通过模拟研究和几个应用程序的方法。
2014-03-06 math.ST stat.ME stat.ML
Learning subgaussian classes : Upper and minimax bounds
在目标Y和模型F均为次高斯分布的假设下，得到了回归模型中经验风险最小化过程的尖锐预言不等式。如果F是凸的，则得到的界在极大极小意义下是尖锐的。此外，在F上的温和假设下，即使允许该过程以恒定概率执行，ERM的差错率仍然是最优的。我们分析的一部分是高斯回归模型的极大极小结果的新证明。
2016-09-17 math.ST stat.TH
Robust Signal Detection with Quadratically Convex Orthosymmetric Constraints
Northwestern University（西北大学）
本文提出在二次凸正交对称约束下，通过多项式时间算法实现鲁棒信号检测，证明其在统计上优于鲁棒估计。
2026-02-15 math.ST stat.TH
Minimax Signal Detection Under Weak Noise Assumptions
我们考虑在序列模型中的极小极大信号检测。在去掉一个正半径球的情况下，利用实数平方可和序列空间中的某些椭球，我们在非渐近框架下得到了极大极小分离半径的上、下界，即，对于所涉及的噪声水平的固定值。我们对噪声使用非常弱的假设（即，四阶矩被假定为一致有界）。特别是，我们不使用任何类型的高斯性或独立性假设的噪声。结果表明，所建立的极小极大分离速率并不比在经典序列模型中获得的分离速率快（即，独立的标准高斯噪声），但令人惊讶的是，在经典设置中的最小最大估计率相同的顺序。在噪声的附加条件下，经典的minimax分离率也恢复在基准的适定和不适定的反问题。
2017-11-01 math.ST stat.TH
Minimax unbiased estimation for finite populations with bounded outcomes
Yale（耶鲁大学）；UNC（北卡罗来纳大学）
本文研究了在每个结果满足已知边界的情况下，对有限总体总和进行设计无偏估计的问题，推导了在矩形参数空间下的最坏情况平方误差下界，并证明了当单元包含指示符成对独立时，最小最大估计器为中点差分Horvitz-Thompson估计器。
2026-05-20 math.ST stat.ME stat.TH
A conversion theorem and minimax optimality for continuum contextual bandits
University of Oxford CMAP, Ecole Polytechnique, IP Paris（牛津大学计算机应用数学中心，巴黎高等技术学院，IP巴黎）；CMAP, Ecole Polytechnique, IP Paris（计算机应用数学中心，巴黎高等技术学院，IP巴黎）；CSML, Istituto Italiano di Tecnologia University College London（计算机科学与机器学习，意大利技术研究所，伦敦大学学院）；CREST, ENSAE, IP Paris（CREST，ENSAE，IP巴黎）
针对上下文连续赌博机，提出静态到上下文遗憾转换定理，并证明在多种设定下算法达到极小极大最优上下文遗憾率。
2025-10-27 cs.LG math.ST stat.ML
