On the Spectral Structure and Objective Equivalence of Orthogonal Multilabel Fisher Discriminants
本文理论分析了带Stiefel正交约束的多标签线性判别分析，揭示了判别维度可超经典单标签上界，证明了四种Fisher目标在特定约束下等价，并给出了子空间估计误差的近似最优界。
2026-06-28 cs.AI cs.LG stat.ML
A Minimax Theory of Nonparametric Regression Under Covariate Shift
Universität Bielefeld（比勒费尔德大学）
本文提出了一种非参数回归在协变量偏移下的极小极大理论，引入转移函数并展示了其域性质对收敛速率的影响，覆盖了协变量无界支持的情况。
2026-03-06 math.ST stat.TH
High-Dimensional Tensor Discriminant Analysis with Incomplete Tensors
University of Notre Dame（圣母大学）；New York University（纽约大学）
针对不完整高维张量分类难题，提出基于TGMM的Tensor LDA-MD算法，利用判别张量低秩结构处理缺失数据，建立相关理论界，在模拟与真实数据中表现优异。
2024-10-30 cs.LG stat.ME stat.ML
Optimal Rates for Estimation of Two-Dimensional Totally Positive Distributions
研究二维完全正分布的极小极大估计。这种分布属于强正相关的随机变量对，经常出现在统计和概率中。特别是，对于$β$ -Hölder光滑密度的分布，其中$β\in (0, 2)$，我们观察到多项式更快的极小极大估计率时，另外，总的积极性条件。此外，我们展示了快速算法来计算所提出的估计和证实的理论估计率的模拟研究。
2020-06-13 math.ST stat.TH
Minimax Optimal Regression over Sobolev Spaces via Laplacian Eigenmaps on Neighborhood Graphs
本文研究了Laplacian特征映射主成分回归（PCR-LE）的统计性质，PCR-LE是一种基于Laplacian特征映射（LE）的非参数回归方法。PCR-LE通过将观察到的响应的向量${\bf Y} = (Y_1,\ldots,Y_n)$投影到由邻域图拉普拉斯算子的某些特征向量所跨越的子空间上来工作。我们证明了PCR-LE在索伯列夫空间上实现了随机设计回归的极大极小收敛率。在设计密度$p$上的充分平滑条件下，PCR-LE实现了估计（其中平方$L^2$范数中的最优速率已知为$n^{-2s/(2s + d)}$）和拟合优度检验（$n^{-4s/(4s + d)}$）的最优速率。我们还表明，PCR-LE是\emph{manifold adaptive}：也就是说，我们考虑的情况下，设计是支持在一个小的内在维度$m$流形，并给出上界建立PCR-LE实现更快的极小极大估计（$n^{-2s/(2s + m)}$）和测试（$n^{-4s/(4s + m)}$）的收敛速度。有趣的是，这些速率几乎总是比已知的图拉普拉斯特征向量收敛到其总体水平极限的速率快得多;换句话说，对于这个问题，从统计学上讲，估计特征的回归似乎比估计特征本身容易得多。我们支持这些理论结果与经验证据。
2021-11-14 math.ST stat.ML stat.TH
A fast algorithm with minimax optimal guarantees for topic models with an unknown number of topics
Cornell University（康奈尔大学）
我们提出了一种新的主题模型估计方法，该方法不是现有单纯形查找算法的变体，而是根据观察到的数据估计主题数量K。我们推导出新的有限样本极大极小估计的A的下界，以及我们提出的估计新的上界。我们描述的情况下，我们的估计是极大极小自适应。我们的有限样本分析对任意数量的文档（n）、单个文档长度（N_i）、字典大小（p）和主题数（K）都是有效的，并且p和K都允许随n而增加，这是以前的分析没有处理好的情况。我们补充我们的理论结果与详细的模拟研究。我们说明了新算法比当前算法更快，更准确，尽管我们开始时不知道正确的主题数K的计算和理论缺点，而我们在模拟中提供了具有正确值的竞争方法。
2019-09-04 cs.LG stat.ML
Minimax Optimal Additive Functional Estimation with Discrete Distribution: Slow Divergence Speed Case
本文讨论了$ϕ$的一个可加泛函$θ(P;ϕ)=\sum_{i=1}^kϕ(p_i)$的估计问题，其中给定$n$ i.i.d.从离散分布$P=(p_1,...,p_k)$中抽取的随机样本，字母大小为$k$。我们在前面的文章中已经揭示了这个问题的minimax最优率是由$ϕ$的四阶导数在快发散速度范围内的发散速度来表征的。在本文中，我们证明了这一事实的一个更广泛的范围内的发散速度。结果表明，在发散速度参数$α$的每一个取值范围内，可加函数估计的极小极大最优率都是存在的。对于$α\in (1,3/2)$，我们证明了极大极小化率是$\frac{1}{n}+\frac{k^2}{(n\ln n)^{2α}}$。此外，我们还证明了对于$α\in [3/2,2]$，极小极大速率是$\frac{1}{n}$。
2018-01-12 cs.IT math.IT math.ST
Stein Block Thresholding For Image Denoising
本文研究了任意维$d$中Stein块阈值的极小极大性质，重点研究了$d=2$ .为了实现这个目标，我们考虑一个框架系数空间，证明了极大极小性。这个空间的选择是由\cite{BorupNielsen}中提供的$\mathbb{R}^d$上的光滑空间族的特征所启发的，$\mathbb{R}^d$是所谓的分解空间\cite{Feichtinger}的子类。这些光滑空间涵盖了经典的Besov空间，以及对应于曲波型结构的光滑空间。我们的主要理论结果调查这些分解空间的极大极小率，并表明，我们的块估计可以实现最佳的极大极小率，或至少接近极大极小（高达$\log$因素）在最不利的情况。另一个贡献是，这里给出的最小最大速率是针对超出通常i.i.d.的变换系数域中的一般噪声序列模型来陈述的。高斯情况。从理论上讨论了门限参数的选择，并对某些噪声模型（不一定是i.i.d.）高斯情况。我们提供了一个简单，快速和实用的程序。我们还报告了一个全面的模拟研究，以支持我们的理论研究结果。我们的Stein块去噪的实际性能相比，非常有利的BLS-GSM国家的最先进的去噪算法在一个大的测试图像集。在因特网上提供了一个工具箱供下载，以复制本文讨论的结果。
2008-09-20 math.ST stat.TH
Optimization of Smooth Functions with Noisy Observations: Local Minimax Rates
Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）；Department of Statistics and Data Science, Carnegie Mellon University（卡内基梅隆大学统计与数据科学系）
研究了具有零阶反馈的未知非凸光滑函数的全局优化问题。在这种设置中，允许算法自适应地查询不同位置处的底层函数，并接收查询点处的函数值的噪声评估（即，算法可以访问零阶信息）。优化性能的评估在估计的最优和真正的最优的函数值的期望差。与经典优化设置相反，优化算法不能直接访问一阶信息（如梯度）。我们表明，经典的极大极小分析框架，这大致表征了在这种情况下的优化算法的最坏情况下的查询复杂性，导致过于悲观的结果。我们提出了一个局部极小极大框架来研究自适应函数评估优化光滑函数的基本困难，它提供了零阶优化的内在困难的精细图像。我们发现，对于全局最小值附近水平集快速增长的函数，精心设计的优化算法可以用更少的查询来确定一个接近全局最小值的函数。对于强凸和光滑函数的特殊情况，我们隐含的收敛速度匹配的零阶凸优化问题。在频谱的另一端，对于最坏情况下的光滑函数，没有算法可以比在$\ell_\infty$ -范数中估计整个未知函数的极大极小速率更快地收敛。我们提供了一个直观和有效的算法，达到推导出的误差上界。
2018-03-22 cs.LG math.ST stat.ML
A minimax optimal approach to high-dimensional double sparse linear regression
针对高维双稀疏线性回归问题，提出动态更新阈值的IHT-style迭代硬阈值流程，证明其极小极大最优性，设计自适应方案应对未知稀疏度与噪声，实现更优估计与支撑集恢复效果。
2024-12-09 math.ST stat.TH
Minimax Rates and Efficient Algorithms for Noisy Sorting
Massachusetts Institute of Technology（麻省理工学院）
最近，人们对研究基于排列的模型的兴趣激增，用于从成对比较数据中进行排名。尽管基于置换的模型在结构上比参数排名模型更丰富和更鲁棒，但在统计学上理解得不太好，并且通常缺乏有效的学习算法。在这项工作中，我们研究了一个原型的置换为基础的排名模型，即噪声排序模型。我们建立了两种抽样程序下模型的最优学习率。此外，我们提供了一个快速算法，以达到接近最佳的利率，如果观察独立采样。一路上，我们发现了对称群的性质，这是理论上的兴趣。
2017-10-28 cs.LG math.ST stat.ML
Adaptation to lowest density regions with application to support recovery
提出了一种局部自适应带宽选择方案，该方案在统计学家未知的最低密度区域（如支持边界）敏感地收缩核估计器的带宽。在Hölder连续密度的情况下，即使在齐次光滑的情况下，这种局部极小极大最优带宽也小于通常的速率。建立了该估计量关于密度依赖标准损失的一类新的风险界。这个界限是完全非渐近的，并允许推导出收敛速度在最低密度区域，可以大大快于$n^{-1/2}$。它是由一个加权的极小极大下界分裂成两个政权取决于密度值的补充。新的估计适应到第二政权，它表明，同时适应到最快的政权是不可能的原则上，只要霍尔德指数是未知的。详细分析了支持恢复插件规则的影响。与经典的密度估计，插件规则的基础上，新的建设是最小最大最优的，一些对数因子。
2016-01-22 math.ST stat.TH
Fast learning rates in statistical inference through aggregation
我们开发的一般学习任务，包括在预测以及最好的功能，在一个参考集G的最小可能的附加项，称为收敛速度的最小极大最优风险界。当参考集是有限的，当n表示训练数据的大小时，我们提供了形式为C（[log |G| ]/n）^v的极大极小收敛速度，其中严格评估了正常数C和精确的v [0;1]，后者的值取决于损失函数的凸性和输出分布中的噪声水平。风险上界基于顺序随机化算法，该算法在每一步集中于相对于前一步预测函数具有低风险和低方差的函数。我们的分析提出了概率和最坏情况的观点之间的联系，并允许获得风险界限无法实现的标准统计学习方法。这项工作的关键思想之一是使用概率不等式相对于适当的（吉布斯）分布的预测函数空间，而不是使用它们相对于生成数据的分布。风险下界的基础上，特别考虑到损失函数的属性的Assouad引理的改进。我们的关键例子来说明的上限和下界是考虑L_q-回归设置的收敛速度给出详尽的分析，而q描述[1;+无穷大[。
2008-03-04 math.ST stat.TH
Improving Minimax Estimation Rates for Contaminated Mixture of Multinomial Logistic Experts via Expert Heterogeneity
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文通过分析受污染的混合多项逻辑专家模型，揭示专家异质性在提升参数估计速率和样本效率方面的优势。
2026-01-31 cs.LG math.ST stat.TH
Minimax Lower Bounds of Kernel Discrepancy Estimation: MMD, HSIC, KSD
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；London School of Economics（伦敦政治经济学院）
研究核差异估计（MMD、HSIC、KSD）在一般拓扑空间上的极小极大下界，在对核的温和假设下证明其为\(n^{-1/2}\)，解决了这些核差异最优估计问题，均值嵌入等估计也有相同速率。
2026-07-28 cs.LG math.ST stat.ML
On the minimax optimality of Flow Matching through the connection to kernel density estimation
Ruhr University Bochum and Karlsruhe Institute of Technology（博鲁姆鲁尔大学和卡尔斯鲁厄理工学院）
本文通过将流匹配与核密度估计联系起来，证明了流匹配在Wasserstein距离下的最优收敛速率，并展示了其在高维设置中的理论基础。
2026-10-30 cs.LG math.ST stat.ML
Fast learning rates in statistical inference through aggregation
我们开发的最小最大的一般学习任务，包括在预测以及最好的功能，在一个参考集$\mathcal{G}$最小可能的附加项，称为收敛速度的最佳风险界限。当参考集是有限的，当$n$表示的训练数据的大小，我们提供的形式$C(\frac{\log|\mathcal{G}|}{n})^v$的极小极大收敛速度与严格的评价的正常数$C$和精确的$0<v\le1$，后者的值取决于凸的损失函数和输出分布的噪声水平。风险上限是基于顺序随机算法，在每一步集中在功能具有低风险和低方差相对于前一步预测功能。我们的分析提出了概率和最坏情况的观点之间的联系，并允许获得风险界限无法实现的标准统计学习方法。这项工作的关键思想之一是使用概率不等式相对于适当的（吉布斯）分布的预测函数空间，而不是使用它们相对于生成数据的分布。风险下限是基于阿苏阿德引理的细化，特别是考虑到损失函数的属性。我们的关键例子来说明的上限和下限是考虑$L_q$ -回归设置，给出了一个详尽的分析的收敛速度，而$q$范围在$[1;+\infty[$。
2009-09-08 math.ST stat.TH
Minimax Optimal Fair Classification with Bounded Demographic Disparity
University of Pennsylvania（宾夕法尼亚大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究有限样本下具有人口统计差异约束的公平二分类问题，提出公平性感知超额风险度量并推导其最小最大下界，进而设计达到该下界的 FairBayes-DDP+ 方法，实验验证其能有效控制差异并具有更优的公平性-准确性权衡。
2024-03-27 cs.CY cs.LG math.ST
Fast rate of convergence in high dimensional linear discriminant analysis
本文对高斯数据的高维线性判别进行了理论分析。研究了线性判别规则的超额风险问题。重点讨论了当样本维数p大于样本量n时，标准方法的性能较差的问题。相应的理论结果是非渐近的下界。另一方面，我们提出了两个歧视程序的基础上降维，并提供相关的收敛速度，可以是O（log（p）/n）稀疏假设下。最后，我们所有的结果依赖于一个定理，提供了简单的尖锐的超额风险和估计误差之间的关系，定义所使用的判别规则的几何参数。
2010-02-19 math.ST stat.TH
ISLET: Fast and Optimal Low-rank Tensor Regression via Importance Sketching
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Columbia University（哥伦比亚大学）
在本文中，我们开发了一种新的程序，即\emph{\underline{I}mportance \underline{S}ketching \underline{L}ow-rank \underline{E}stimation for \underline{T}ensors}（ISLET）的低秩张量回归。ISLET背后的中心思想是\emph{importance sketching}，即，基于感兴趣的参数的响应和低维结构精心设计的草图。我们表明，所提出的方法是急剧minimax最优的均方误差低秩Tucker假设下，随机高斯系综设计。此外，如果一个张量是低秩的组稀疏，我们的程序也实现了极大极小最优性。此外，我们通过数值研究表明，ISLET实现可比或更好的均方误差性能，现有的最先进的方法，同时具有大量的存储和运行时的优势，包括并行和分布式计算的能力。特别是，我们的程序进行可靠的估计与张量的尺寸$p = O(10^8)$和$1$或$2$数量级快于基线方法。
2020-05-08 cs.LG cs.NA math.NA
Minimax-optimal rates for sparse additive models over kernel classes via convex programming
稀疏加性模型是具有加性分解$f^* = \sum_{j \in S} f^*_j$的$d$ -变量函数族，其中$S$是基数$s \ll d$的未知子集。考虑了一元分量函数$f^*_j$位于再生核Hilbert空间（RKHS）中的情形，分析了一种基于核与$\ell_1$型凸正则化相结合的未知函数$f^*$的估计方法.工作在一个高维的框架内，允许两个维度$d$和稀疏$s$与$n$增加，我们得到收敛速度（上界）在$L^2(\mathbb{P})$和$L^2(\mathbb{P}_n)$规范类$\MyBigClass$的稀疏加性模型与每个单变量函数$f^*_j$在单位球的单变量RKHS有界核函数。我们补充我们的上限推导极小极大下限的$L^2(\mathbb{P})$错误，从而显示我们的方法的最优性。因此，我们获得了许多有趣的类的稀疏加性模型，包括多项式，样条，和Sobolev类的最优极大极小率。我们还表明，如果，在我们的单变量条件下，多变量函数类被假定为全局有界的，那么更快的估计速度是可能的任何稀疏$s = Ω(\sqrt{n})$，显示全局有界性是一个显着的限制，在高维设置。
2011-12-18 cs.IT math.IT math.ST
Convergence rates for pointwise curve estimation with a degenerate design
考虑随机设计模型下的非参数回归。我们希望在设计密度消失或爆炸的点x处恢复回归函数。根据假设的回归函数的局部规律性和设计的局部行为，我们发现几个极小极大率。这些速率在很宽的范围内，从慢的l（n）速率，其中l（.）是缓慢变化（例如（log n）^（-1））到快速n^（-1/2）* l（n）速率。若回归函数在x处的连续模可由一个s-正则变化函数自上而下有界，且设计密度为b-正则变化，则证明了在x处的极小极大收敛速度为n^（-s/（1+2s+b））* l（n）.
2006-01-13 math.PR math.ST stat.TH
Fast and Accurate Estimation of Low-Rank Matrices from Noisy Measurements via Preconditioned Non-Convex Gradient Descent
University of Illinois-Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出面向含噪测量的预条件非凸梯度下降方法，用于低秩矩阵估计，保证以免疫病态和过参数化的线性速率达到极小极大误差，并在6000万像素医学图像去噪中显著降噪。
2024-02-28 cs.LG math.OC stat.ML
Adaptive Estimation in Two-way Sparse Reduced-rank Regression
本文研究了多响应线性回归模型中系数矩阵的估计问题，当系数矩阵既可以是低秩的，又可以是稀疏的，即大多数非零元素集中在少数行和列上。我们特别感兴趣的是在高维设置中的预测变量和/或响应变量的数量可以远远大于观察的数量。我们提出了一个新的估计方案，它实现了竞争力的数值性能，并在同一时间允许快速计算。此外，我们表明，（一个轻微的变化）所提出的估计达到接近最佳的非渐近极小极大估计率下的平方Schatten范数损失的集合，同时提供的估计和极小极大下界的误差界。在\textit{in vivo}钙成像数据集上也证明了该算法的有效性。
2016-03-16 math.ST stat.ME stat.TH
Minimax rates for learning spectral Barron functions by deep ReLU neural networks
Sun Yat-sen University（中山大学）
本文研究深度ReLU神经网络对谱Barron函数的逼近与学习，给出逼近界并证明学习速率的极小极大最优性。
2026-10-01 cs.LG cs.NA math.NA
Minimax-optimal semi-supervised regression on unknown manifolds
Weizmann Institute of Science（魏茨曼科学研究所）
我们考虑半监督回归时，预测变量是从一个未知的流形。解决这个问题的一个简单的两步方法是：（i）使用标记和未标记的实例来估计任何一对点之间的流形测地线距离;以及（ii）基于这些距离估计应用k最近邻回归量。我们证明了足够多的未标记的点，这种简单的方法测地线kNN回归达到最佳的有限样本极大极小界的均方误差，如果已知的流形。此外，我们展示了如何可以有效地实现这种方法，只需要O（k N log N）的操作来估计所有N个标记和未标记点的回归函数。我们在两个具有流形结构的数据集上说明了这种方法：使用WiFi指纹的室内定位和面部姿态估计。在这两种情况下，测地线kNN比流行的拉普拉斯特征向量回归更准确，更快。
2017-03-06 cs.LG stat.ML
Minimax Optimal Reinforcement Learning with Quasi-Optimism
Seoul National University（首尔国立大学）
本文提出 EQO 强化学习算法，用与状态-动作访问次数倒数成比例的简单奖励项实现准乐观探索，在最弱假设下取得表格 RL 已知最优遗憾界，并实证验证其性能与计算效率。
2025-07-27 cs.LG stat.ML
Minimax Optimal Quantile and Semi-Adversarial Regret via Root-Logarithmic Regularizers
University of Toronto（多伦多大学）；Spanflug Technologies GmbH（Spanflug技术有限公司）；Boston University（波士顿大学）
分位数（以及更一般的KL）遗憾界限，例如NormalHedge（Chaudhuri，Freund，and Hsu 2009）及其变体，将与最佳个体专家竞争的目标放宽到只与大多数专家竞争对抗性数据。最近，半对抗范式（Bilodeau，Negrea和Roy 2020）通过考虑可能既不完全对抗也不完全随机（i.i.d.）的数据，提供了对抗在线学习的另一种放松。我们实现了极大极小最优后悔在这两个范例中使用FTRL与单独的，新颖的，根对数正则化，这两者都可以被解释为产生的NormalHedge的变种。我们将已有的KL后悔上界推广到具有任意先验的可能不可数专家类，给出了有限专家类上分位数后悔的第一个完全信息下界（紧）;并为半对抗范式提供了一种自适应极大极小优化算法，该算法更快地适应真实的未知约束，从而导致相对于现有方法的一致改进的后悔界限。
2021-11-07 cs.LG stat.ML
Nonparametric classification with missing data
本文针对缺失数据下的非参数分类问题，提出基于 anova 型正交分解的框架并推导出不依赖环境维数的 minimax 速率，同时设计 HAM 分类器，在至多多对数因子内达到该速率并通过数值实验验证其有效性。
2024-05-02 math.ST stat.ME stat.TH
Private optimization in the interpolation regime: faster rates and hardness results
Stanford University（斯坦福大学）
在非私人随机凸优化，随机梯度方法收敛速度更快的插值问题-问题存在一个解决方案，同时最大限度地减少所有的样本损失-比非插值的，我们表明，一般类似的改进是不可能的私人设置。然而，当函数在最优值附近呈现二次增长时，我们在私有样本复杂度上显示出（接近）指数级的改进。特别是，我们提出了一种自适应算法，提高了样本的复杂性，以实现预期的错误$α$从$\frac{d}{\varepsilon \sqrtα}$到$\frac{1}{α^ρ} + \frac{d}{\varepsilon} \log\left(\frac{1}α\right)$为任何固定的$ρ>0$，同时保留标准的最小最优样本复杂性的非插值问题。我们证明了一个下界，表明维数依赖项是紧的。此外，我们提供了一个superefficiency结果，证明了多项式项的必要性自适应算法：任何算法，有一个polylogarithmic样本复杂的插值问题不能实现最小最优率的家庭的非插值问题。
2022-10-31 cs.CR cs.LG math.OC
Optimal Estimation and Computational Limit of Low-rank Gaussian Mixtures
结构矩阵变量观测经常出现在不同的领域，如多层网络分析和大脑图像聚类。虽然这种类型的数据已经被广泛研究，并取得了丰硕的成果，但其统计最优性和计算极限等基本问题在很大程度上尚未得到充分探讨。在本文中，我们提出了一个低秩高斯混合模型（LrMM）假设每个矩阵值的观察有一个种植低秩结构。极小极大下界估计底层的低秩矩阵建立允许整个范围的样本量和信号强度。在信号强度的最小条件下，被称为信息理论极限或统计极限，我们证明了极大似然估计的最小极大最优性，在一般情况下，是计算上不可行的。如果信号是强于一定的阈值，称为计算极限，我们设计了一个计算快速估计的基础上频谱聚合，并证明其极大极小最优性。此外，当信号强度小于计算极限，我们提供的证据的基础上的低次似然比框架声称，没有多项式时间算法可以一致地恢复底层的低秩矩阵。我们的研究结果揭示了多重相变的极大极小差错率和计算的差距。数值实验证实了我们的理论发现。我们进一步展示了我们的光谱聚合方法在全球食品贸易数据集上的优点。
2022-01-22 cs.IT math.IT math.ST
Fast Algorithms for Segmented Regression
MIT（麻省理工学院）；University of Southern California（南加州大学）
我们研究固定设计分段回归问题：给定分段线性函数$f$的噪声样本，我们希望恢复$f$达到期望的均方误差精度。以前的严格的方法，这个问题依赖于动态规划（DP），而样本效率，有运行时间的样本大小的平方。作为我们的主要贡献，我们提供了新的样本近线性时间算法的问题，而不是最小最大最优的，实现了显着更好的采样时间权衡大型数据集相比，DP方法。我们的实验评估表明，与DP方法相比，我们的算法提供了一个收敛速度，只有关闭的$2$到$4$的一个因素，同时实现三个数量级的加速。
2016-07-14 cs.DS cs.LG math.ST
Classification with Minimax Fast Rates for Classes of Bayes Rules with Sparse Representation
我们构建了一个分类器，达到收敛速率$\log n/n$稀疏和利润的假设下。本文用一种近似于函数估计的逼近论中的方法得到了这一结果。我们的想法是开发贝叶斯规则的基本系统的$L^2([0,1]^d)$的指标并元集，并假设系数，等于$-1,0 {or} 1$，属于一种$L^1-$球。这个假设可以被看作是一个稀疏性假设，在这个意义上，系数不等于零的比例随着“频率”的增长而减少。最后，收敛速度得到通过使用一个通常的权衡之间的偏差项和方差项。
2006-07-18 math.ST stat.TH
Minimax Optimal Early-Stopped Gradient Descent for Gaussian Mixture Classification
University of Oxford（牛津大学）
该研究针对过参数化分类中梯度下降的隐含偏那次优问题，提出早停梯度下降方法，在带标签翻转噪声的高斯混合分类任务中实现极小极大最优额外零一风险，且早停所需样本量远少于线性插值器。
2026-11-10 cs.LG stat.ML
Covariance alignment: from maximum likelihood estimation to Gromov-Wasserstein
Center for Data Science, New York University（纽约大学数据科学中心）；Institute for Data, Systems, and Society, Massachusetts Institute of Technology（麻省理工学院数据、系统与社会研究所）；Department of Mathematics, Massachusetts Institute of Technology（麻省理工学院数学系）
提出协方差对齐模型，证明了拟MLE和Gromov-Wasserstein算法均达到minimax最优，为后者提供了首个统计依据。
2023-11-22 cs.LG math.ST stat.ME
Transfer Learning for High-dimensional Linear Regression: Prediction, Estimation, and Minimax Optimality
本文考虑在迁移学习的环境下，使用来自目标模型的样本以及来自不同但可能相关的回归模型的辅助样本，对高维线性回归进行估计和预测。当已知一组“信息”辅助样本时，提出了一个估计器和一个预测器，并建立了它们的最优性。预测和估计的最优收敛速度比不使用辅助样本的相应速度快。这意味着可以转移来自信息丰富的辅助样本的知识，以提高目标问题的学习性能。在信息辅助样本集未知的情况下，我们提出了一种数据驱动的迁移学习过程，称为Trans-Lasso，并揭示了其对非信息辅助样本的鲁棒性和知识迁移的效率。所提出的程序被证明在数值研究中，并适用于一个数据集的基因表达之间的关联。结果表明，trans-Lasso通过将来自多个不同组织的数据作为辅助样本，提高了靶组织中基因表达预测的性能。
2020-06-18 stat.ME stat.ML
Smoothed Analysis of Sequential Probability Assignment
Caltech（加州理工学院）；UC Berkeley（加州大学伯克利分校）
本文首先研究了带上下文的序贯概率分配问题的平滑分析。我们研究信息理论上的最优极大极小率以及涉及最大似然估计甲骨文算法减少的框架。我们的方法建立了一个通用的减少，从最小化最大率的顺序概率分配平滑的对手，最小化最大率的转导学习。这导致了参数类和有限VC维类的最佳（对数）快速速率。在算法方面，我们开发了一种算法，有效地挖掘到MLE甲骨文，一般类的功能。我们表明，在一般条件下，这种算法的方法产生次线性遗憾。
2023-03-08 cs.DS cs.IT cs.LG
Minimax-Optimal Multi-Agent RL in Markov Games With a Generative Model
University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了马尔可夫博弈中的多智能体强化学习，目标是学习纳什均衡或粗相关均衡（CCE）样本最优。所有先前的结果遭受至少两个障碍之一：多个代理人的诅咒和长视野的障碍，无论使用的采样协议。我们采取一个步骤来解决这个问题，假设访问一个灵活的采样机制：生成模型。针对非平稳有限时域马尔可夫博弈，我们开发了一种快速学习算法\myalg ~和一种自适应采样方案，该方案利用在线对抗学习中的乐观原则（特别是Follow-the-Regularized-Leader（FTRL）方法）。我们的算法在一般和马尔可夫博弈中使用$$ \widetilde{O}\bigg( \frac{H^4 S \sum_{i=1}^m A_i}{\varepsilon^2} \bigg) $$样本学习$\varepsilon$ -近似CCE，其中$m$是玩家的数量，$S$表示状态的数量，$H$是地平线，$A_i$表示第$i$玩家的动作数量。当玩家数量固定时，这是最小最大最优的（直到对数因子）。当应用到两个球员零和马尔可夫游戏，我们的算法证明找到一个$\varepsilon$ -近似纳什均衡与最小样本。一路上，我们得到一个精致的遗憾界FTRL，明确的方差型量的作用，这可能是独立的利益。
2022-10-12 cs.GT cs.IT cs.LG
Minimax-Optimal Bounds for Detectors Based on Estimated Prior Probabilities
在许多信号检测和分类问题中，我们知道每个假设下的分布，但不知道先验概率。本文的目的是提供理论来量化的检测性能，通过估计先验概率从标记或未标记的训练数据。误差或{ \em风险}被认为是先验概率的函数。我们证明了风险函数在真实先验概率附近是局部Lipschitz的，并且基于估计的先验概率的检测器的误差取决于风险函数在该局部的行为。在一般情况下，我们表明，基于先验概率的最大似然估计（MLE）的检测器的错误收敛到贝叶斯误差的速度为$n^{-1/2}$，其中$n$是训练数据的数量。如果风险函数的行为更有利，则基于MLE的检测器具有以$n^{-(1+α)/2}$形式的最优速率收敛到对应贝叶斯误差的误差，其中$α>0$是控制具有典型值$α= 1$的风险函数的行为的参数。极限$α\rightarrow \infty$对应于风险函数在真实概率附近平坦的情况，因此对MLE中的小误差不敏感;在这种情况下，基于MLE的检测器的误差以$n$的指数速度收敛到贝叶斯误差。我们证明了无论给定标记或未标记的训练数据，边界都是可达到的，并且在标记的情况下是极小极大最优的。
2012-02-28 cs.IT math.IT stat.ML
Finite Sample Analysis of Minimax Offline Reinforcement Learning: Completeness, Fast Rates and First-Order Efficiency
Cornell University（康奈尔大学）；The University of Tokyo（东京大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提供了一个理论表征的政策外评估（OPE）在强化学习中使用函数近似的边际重要性权重和$q$ -功能时，这些估计使用最近的极大极小方法。根据各种组合的可实现性和完整性的假设，我们表明，极大极小的方法使我们能够实现快速的收敛速度的权重和质量函数，其特征在于由临界不等式\citep{bartlett2005}。基于这个结果，我们分析了OPE的收敛速度。特别是，我们引入了新的替代完整性条件，在此条件下OPE是可行的，我们提出了第一个有限样本结果，在非表格环境中具有一阶效率，即，在首项中具有最小系数。
2022-07-24 cs.LG math.ST stat.ML
Minimax estimation of qubit states with Bures risk
量子统计学的中心问题是设计测量方案来估计一个未知的状态，给定一个$n$独立相同的准备系统的系综。对于局部二次损失函数，标准程序的风险具有通常的$1/n$标度。然而，已经注意到，对于诸如Bures距离的基于保真度的度量，常规（非自适应）量子位断层摄影方案的风险对于接近Bloch球的边界的状态缩放为$1/\sqrt{n}$。几个建议的估计似乎改善这种缩放，我们的目标是从所有状态的最大风险的角度来分析这个问题。我们提出了基于单独和自适应测量的量子比特估计策略，该策略实现了最大Bures风险的$1/n$缩放。涉及本地测量的估计器使用可用资源的固定部分$n$来估计Bloch向量方向;然后通过在估计器特征基中测量从剩余副本估计Bloch向量的长度。基于集体测量的估计使用局部渐近正态技术，使我们能够推导出其最大Bures风险的上界和下界。我们还讨论了如何构造一个最小最大最优估计在这种设置。最后，我们考虑量子相对熵，并表明基于集体测量的估计的风险达到率$O(n^{-1}\log n)$在此损失函数。此外，我们表明，没有估计可以实现更快的速度，特别是“标准”率$1/n$。
2017-09-25 math-ph math.MP quant-ph
Optimal Discriminant Analysis in High-Dimensional Latent Factor Models
针对高维分类的两步投影流程，本文构建潜变量模型提供理论依据，提出数据驱动选主成分数量的高效分类器，证明其超额风险收敛速率达极小极大最优，且特征维数可超样本量，实验验证了理论与方法的有效性。
2025-08-03 math.ST stat.ME stat.ML
Doubly-robust inference and optimality in structure-agnostic models with smoothness
本文针对观测数据下的平均处理效应估计问题，提出带光滑性约束的结构不可知混合分布族，推导极小极大下界，设计出双重稳健且在该分布族下达到最优收敛速率的ATE估计量，并通过模拟验证理论结果。
2024-12-12 stat.ME
Minimax Signal Detection Under Weak Noise Assumptions
我们考虑在序列模型中的极小极大信号检测。在去掉一个正半径球的情况下，利用实数平方可和序列空间中的某些椭球，我们在非渐近框架下得到了极大极小分离半径的上、下界，即，对于所涉及的噪声水平的固定值。我们对噪声使用非常弱的假设（即，四阶矩被假定为一致有界）。特别是，我们不使用任何类型的高斯性或独立性假设的噪声。结果表明，所建立的极小极大分离速率并不比在经典序列模型中获得的分离速率快（即，独立的标准高斯噪声），但令人惊讶的是，在经典设置中的最小最大估计率相同的顺序。在噪声的附加条件下，经典的minimax分离率也恢复在基准的适定和不适定的反问题。
2017-11-01 math.ST stat.TH
Global optimization of Lipschitz functions
本文的目标是设计顺序策略，导致有效的优化下，唯一的假设，它有一个有限的Lipschitz常数的未知函数。我们首先确定通用顺序算法的一致性的充分条件，并制定其性能的预期极大极小率。我们介绍和分析的第一个算法称为LIPO假设Lipschitz常数是已知的。一致性，极大极小利率LIPO的证明，以及在一个额外的Hölder一样的条件下的快速利率。一个自适应版本的LIPO也介绍了更现实的设置，其中Lipschitz常数是未知的，并估计随着优化。类似的理论保证，以保持自适应LIPO算法和数值评估提供了在文件的最后，以说明这种战略的潜力，相对于国家的最先进的方法在典型的基准问题的全局优化。
2017-06-15 stat.ML
DBSCAN++: Towards fast and scalable density clustering
Uber（优步）；Google Research（谷歌研究院）
DBSCAN是一个经典的基于密度的聚类过程，具有巨大的实际意义。然而，DBSCAN隐式地需要计算每个样本点的经验密度，导致二次最坏情况时间复杂度，这在大型数据集上太慢。我们提出DBSCAN++，一个简单的修改DBSCAN，只需要计算选定的点的子集的密度。我们的经验表明，与传统的DBSCAN相比，DBSCAN++不仅可以提供有竞争力的性能，而且还可以在带宽超参数中增加鲁棒性，同时占用一小部分运行时间。我们还提出了统计一致性保证计算成本和估计率之间的权衡。令人惊讶的是，在一定程度上，我们可以享受相同的估计率，同时降低计算成本，这表明DBSCAN++是一种次二次算法，可以获得最小最大最优水平集估计率，这可能是一种独立的质量。
2019-05-17 cs.LG stat.ML
Optimal Global Test for Functional Regression
本文研究了函数线性模型中斜率函数零点的光滑样条最优检验。我们提出了一个广义的似然比检验的基础上，一个易于实现的数据驱动的估计。测试的质量是通过空值和仍然允许可能测试的替代集合之间的最小距离来衡量的。导出了该距离的极大极小衰减率的下界，并且用衰减速度快于该下界的距离进行测试是不可能的。我们证明了极大极小最优速率是由光滑样条核和协方差核共同决定的。结果表明，我们的测试达到这个最佳的速率。仿真进行了确认我们的测试的有限样本性能，以及说明的理论结果。最后，我们应用我们的测试来研究氮氧化物（$\text{NO}_{\text{x}}$）的轨迹对臭氧水平（$\text{O}_3$）的影响。
2017-10-06 stat.ME
Minimax convergence rates of a binary plug-in type classification procedure for time-homogeneous SDE paths under low-noise conditions
Institut de Recherche Technologique, CENAREST（技术研究所，CENAREST）
针对SDE路径的分类问题，本文在低噪声条件下建立了基于Holder空间的更快收敛速率，并给出了指数不等式和风险下界。
2026-07-02 math.ST stat.TH
Machine Learning For Elliptic PDEs: Fast Rate Generalization Bound, Neural Scaling Law and Minimax Optimality
Stanford University（斯坦福大学）；Caltech（加州理工学院）；Duke University（杜克大学）
在本文中，我们研究了使用深度里兹方法（DRM）和物理信息神经网络（PINN）从随机样本求解椭圆偏微分方程（PDE）的深度学习技术的统计极限。为了简化问题，我们研究了一个椭圆型偏微分方程的原型：超立方体上的零Dirichlet边界条件的薛定谔方程，它在量子力学系统中有着广泛的应用。我们建立了这两种方法的上界和下界，这提高了同时开发的上界，通过一个快速的泛化界。我们发现现有的Deep Ritz方法是次优的，并提出了一种改进的Deep Ritz方法，同时证明了PINN和改进的DRM方法可以在索伯列夫空间上达到极大极小最优界.从经验上讲，最近的工作表明，根据幂律，随着训练集的增长，深度模型的准确性将得到提高，我们提供了计算实验，以显示深度PDE求解器的维度相关幂律的类似行为。
2021-11-13 cs.LG cs.NA math.NA
Nearly unbiased variable selection under minimax concave penalty
提出了一种高维线性回归中惩罚变量选择的快速、连续、近似无偏和精确的方法MC+。LASSO是快速和连续的，但有偏见。LASSO的偏差可能会妨碍一致的变量选择。子集选择是无偏的，但计算成本高。MC+有两个元素：极小极大凹惩罚（MCP）和惩罚线性无偏选择（PLUS）算法。MCP提供了在稀疏区域中的惩罚损失的凸性，以最大程度地给出变量选择和无偏性的某些阈值。PLUS算法在惩罚损失的临界点图的某个主分支中计算可能非凸惩罚损失函数的多个精确局部极小值。它的输出是一个连续的分段线性路径，包括从无限惩罚的原点到零惩罚的最小二乘解。我们证明，在一个普遍的惩罚水平，MC+有很高的概率匹配的符号的未知数，从而正确的选择，而不假设强的不可表示的条件所需的LASSO。这种选择的一致性适用于$p\gg n$的情况下，并证明了持有的MC+解决方案中可能有许多局部极小。我们证明了MC+在概率意义下对$\ell_r$球中回归系数的估计具有一定的极小极大收敛速度。我们使用的SURE方法来获得自由度和$C_p$型风险估计一般惩罚LSE，包括LASSO和MC+估计，并证明其无偏性。基于估计的自由度，我们提出了一个估计的噪声水平适当选择的惩罚水平。
2010-02-25 math.ST stat.TH
Optimal Feature Selection in High-Dimensional Discriminant Analysis
我们考虑高维判别分析问题。对于这个问题，已经提出了不同的方法，并通过建立分类风险的精确收敛速度以及判别规则的l2收敛结果来证明。然而，尖锐的理论分析，这些程序的变量选择性能尚未建立，即使模型解释是科学数据分析的根本重要性。本文通过使用稀疏判别分析（Mai et al.，2012年）。通过仔细的分析，我们建立的收敛速度显着快于最知名的结果，并承认一个最佳的缩放的样本量n，维数p，和稀疏水平s的高维设置。在高维判别分析的背景下，变量选择问题的充分条件的补充必要的信息理论的限制。利用数值等价结果，我们的方法还建立了ROAD估计量的最佳结果（Fan等人，2012）和稀疏最优缩放估计器（Clemmensen等人，2011年）。此外，我们分析了一个穷举搜索过程，其性能作为一个基准，并表明它是变量选择一致的条件下较弱。还提供了大量的模拟，证明边界的清晰度。
2013-06-27 math.ST stat.ML stat.TH
Stabilizing the Splits through Minimax Decision Trees
Stanford University（斯坦福大学）；Department of Statistics, Rice University（莱斯大学统计系）；Computational Research Division, Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室计算研究部）
本文提出MinimaxSplit决策树，通过最小化最坏情况下的子节点风险来替代CART，适用于回归和分类任务，并在结构异质数据上表现更优。
2026-04-15 math.PR math.ST stat.TH
Fast learning rates for plug-in classifiers under the margin condition
最近已经表明，在容限（或低噪声）假设下，存在获得过量贝叶斯风险的快速收敛速率的分类器，即，速率快于$n^{-1/2}$。关于这一主题的工作提出了以下两个假设：（i）最佳可实现的快速速率是$n^{-1}$的量级，以及（ii）插件分类器通常比基于经验风险最小化的分类器收敛得更慢。我们表明，这两种假设都是不正确的。特别地，我们构造了不仅可以实现快速而且可以实现{\it超快}速率的插件分类器，即，速率比$n^{-1}$快。我们建立极大极小下界表明，所获得的利率不能得到改善。
2011-05-27 math.ST stat.TH
Adaptive test for large covariance matrices with missing observations
我们观察到$n$独立的$p-$维高斯向量与丢失的坐标，也就是说，每个值（假设是标准化的）是以概率$a>0$观察。我们研究的问题，极大极小的非参数检验的高维协方差矩阵$Σ$的基本高斯分布是单位矩阵，使用这些部分观察到的向量。这里，$n$和$p$趋于无穷大，而$a>0$趋于0，渐近地。我们假设$Σ$属于Sobolev型椭球，参数为$α>0$。当$α$已知时，在对$n,\, p$和$a$附加约束的条件下，给出了渐近极小极大相容检验程序，并求出了极小极大分离率$\tilde φ_{n,p}= (a^2n \sqrt{p})^{- \frac{2 α}{4 α+1}}$.我们表明，在特殊情况下的Toeplitz协方差阵，极大极小分离率更快，$\tilde ϕ_{n,p}= (a^2n p)^{- \frac{2 α}{4 α+1}}$。我们注意到如何“缺失”参数$a$恶化率的情况下，完全观察到的向量（$a=1$）。我们还提出了自适应测试程序，这是免费的参数$α$在一定的时间间隔内，并证明了率的损失是$(\ln \ln (a^2 n\sqrt{p}))^{α/(4 α+1)}$和$(\ln \ln (a^2 n p))^{α/(4 α+1)}$的Toeplitz协方差阵，分别。
2016-02-13 math.ST stat.TH
