Standard Transformers Achieve the Minimax Rate in Nonparametric Regression with $C^{s,λ}$ Targets
本文证明标准变换器在非参数回归中达到最小最大最优速率，通过引入大小元组和维度向量对变换器结构进行细粒度表征，并推导了变换器的Lipschitz常数和记忆容量上界。
2026-07-29 cs.IT cs.LG math.IT
A fast algorithm with minimax optimal guarantees for topic models with an unknown number of topics
Cornell University（康奈尔大学）
我们提出了一种新的主题模型估计方法，该方法不是现有单纯形查找算法的变体，而是根据观察到的数据估计主题数量K。我们推导出新的有限样本极大极小估计的A的下界，以及我们提出的估计新的上界。我们描述的情况下，我们的估计是极大极小自适应。我们的有限样本分析对任意数量的文档（n）、单个文档长度（N_i）、字典大小（p）和主题数（K）都是有效的，并且p和K都允许随n而增加，这是以前的分析没有处理好的情况。我们补充我们的理论结果与详细的模拟研究。我们说明了新算法比当前算法更快，更准确，尽管我们开始时不知道正确的主题数K的计算和理论缺点，而我们在模拟中提供了具有正确值的竞争方法。
2019-09-04 cs.LG stat.ML
High Dimensional Statistical Estimation under Uniformly Dithered One-bit Quantization
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
在本文中，我们提出了一个均匀抖动的1比特量化方案的高维统计估计。该方案包含截断，抖动和量化作为典型的步骤。作为典型的例子，量化方案被应用于稀疏协方差阵估计、稀疏线性回归（即，压缩感测）和矩阵完成。我们研究了亚高斯和重尾制度，其中重尾数据的基本分布被假设为具有一定数量级的有界矩。我们提出了新的估计的基础上1位量化的数据。在亚高斯制度，我们的估计达到近极大极小率，表明我们的量化方案的成本非常少。在重尾的制度，而我们的估计的速度变得本质上更慢，这些结果要么是第一个在1位量化和重尾设置，或已经改善现有的可比结果从某些方面。根据我们设置中的观察，压缩感知和矩阵完成的速率几乎是紧的。我们的1比特压缩感知结果具有亚高斯甚至重尾的一般感知向量。我们还首先研究了一种新的设置，其中协变量和响应都是量化的。此外，我们的方法1位矩阵完成不依赖于可能性，并代表第一种方法鲁棒性的预量化噪声与未知的分布。合成数据的实验结果支持我们的理论分析。
2023-01-20 cs.LG eess.SP stat.ML
Universal consistency and minimax rates for online Mondrian Forests
我们建立了Mondrian森林算法的一致性，Mondrian森林算法是一种可以在线实现的随机分类算法。首先，我们修改了原来的蒙德里安森林算法，认为一个固定的生命周期参数。事实上，这个参数是固定的这一事实阻碍了原始程序的统计一致性。我们的修改后的蒙德里安森林算法增长的树木增加生命周期参数$λ_n$，并使用替代更新规则，允许工作也在网上时尚。其次，我们提供了一个理论分析，建立简单的条件一致性。我们的理论分析还表现出一个令人惊讶的事实：我们的算法实现了极大极小率（最优率）的Lipschitz回归函数的估计，这是一个强大的扩展以前的结果到任意维度。
2017-11-08 stat.ML
MOSAIC: Minimax-Optimal Sparsity-Adaptive Inference for Change Points in Dynamic Networks
University of Southern California（美国南加州大学）；Marshall School of Business（马歇尔商学院）；Xiamen University（厦门大学）；Wang Yanan Institute for Studies in Economics（王炎安经济研究所）
MOSAIC框架针对动态网络中的变点检测，利用低秩和稀疏变化结构，提出基于特征分解的检验方法，达到极小极大最优速率，并通过残差技术实现实际应用，模拟和真实数据验证了其有效性。
2025-09-08 cs.LG stat.ME stat.ML
Distributional regression and its evaluation with the CRPS: Bounds and convergence of the minimax risk
在过去的几十年中，评分规则的性质的理论进展，扩大了评分规则在概率预测中的使用。在气象预报中，统计后处理技术对于改进确定性物理模式的预报至关重要。许多最先进的统计后处理技术都是基于用连续排序概率得分（CRPS）评估的分布回归。然而，使用CRPS进行此类评价的理论性质仅考虑了无条件框架（即无协变量）和无限样本量。我们推广了这些结果，并研究了分布回归方法的CRPS的收敛速率。我们找到了最佳的极小极大收敛速率为一类给定的分布，并表明，k-近邻方法和核方法达到这个最佳的极小极大率。
2022-12-12 math.ST stat.ML stat.TH
From Asymptotic to Finite-Sample Minimax Robust Hypothesis Testing
University Medical Center of the Johannes Gutenberg University Mainz（约翰内斯·古腾堡美因茨大学医学中心）；Center for Thrombosis and Hemostasis, University Medical Center Johannes Gutenberg University Mainz（约翰内斯·古腾堡大学医学中心血栓与止血中心）；German Center for Cardiovascular Research (DZHK), Partner Site Rhine Main, University Medical Center of the Johannes Gutenberg University Mainz（德国心血管研究联合会（DZHK）莱茵美因合作点，约翰内斯·古腾堡大学医学中心）
本文提出了一种基于渐近理论的有限样本最小最大稳健假设检验方法，通过总变差距离和带模型分析，推导了参数形式的最不利分布和稳健似然比函数，并通过模拟验证了理论结果。
2026-02-23 cs.IT math.IT math.ST
Near-Minimax-Optimal Distributional Reinforcement Learning with a Generative Model
Google DeepMind（谷歌DeepMind）；FAIR, Meta（Meta FAIR）
本研究提出一种基于生成式模型的分布强化学习新算法，证明其近似回报分布时达近极小极大最优，解决了开放问题，还提出新的分布贝尔曼方程并通过实验对比给出实用结论。
2024-11-04 cs.LG stat.ML
Pessimistic Minimax Value Iteration: Provably Efficient Equilibrium Learning from Offline Datasets
The Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）；Fudan University（复旦大学）；Northwestern University（西北大学）；Yale University（耶鲁大学）
我们研究情节两个球员零和马尔可夫游戏（MG）在离线设置，其中的目标是找到一个近似的纳什均衡（NE）的政策对收集的先验数据集的基础上。当数据集在所有策略对上不具有均匀覆盖时，找到近似NE涉及三个方面的挑战：（i）行为策略和最优策略之间的分布转移，（ii）处理大状态空间的函数近似，以及（iii）用于均衡求解的极小极大优化。我们提出了一个基于悲观的算法，被称为悲观极小极大值迭代（PMVI），它克服了分布的变化，通过构建悲观估计的价值函数为双方球员和输出的政策对解决NE的基础上的两个价值函数。此外，我们建立了一个依赖于数据的上界的次优恢复一个次线性率，而无需假设均匀覆盖的数据集。我们还证明了一个信息理论的下限，这表明在上限的数据依赖项是内在的。我们的理论结果还强调了“相对不确定性”的概念，它表征了在离线MG中实现样本效率的充分必要条件。据我们所知，我们提供了第一个接近minimax最优结果离线MG函数逼近。
2022-12-30 cs.GT cs.LG stat.ML
Minimax optimal transfer learning for high-dimensional additive regression
本文在迁移学习框架下研究高维可加回归，提出基于平滑后拟合估计器的目标估计程序和两阶段估计方法，在次Weibull噪声下建立误差界，并在分布足够接近时实现极小化最优速率。
2025-09-16 cs.LG math.ST stat.ML
Adaptive Nonparametric Estimation via Kernel Transport on Group Orbits: Oracle Inequalities and Minimax Rates
Institut National des Sciences de Gestion（国立管理科学学院）
本文提出基于群轨道核传输的非参数估计框架，通过双空间方法建立oracle不等式并实现最小最大最优速率，同时在目标函数具有轨道结构时提升估计效率。
2025-12-10 math.ST stat.TH
Minimax Rate-Optimal Estimation of Divergences between Discrete Distributions
研究了整数$α\ge 1$离散分布间$α$ -发散的极小极大估计，其中包括Kullback-Leibler发散和$χ^2$ -发散作为特例.放弃通常的理论技巧，以获得独立性，我们构建了第一个极大极小率最优估计，不需要任何泊松化，样本分裂，或明确的近似多项式的建设。估计器使用一种混合的方法，解决了一个问题独立的线性规划的基础上矩匹配在非光滑政权，并适用于一个问题相关的偏差校正插件估计在光滑政权，与软决策边界这些政权之间。
2021-03-03 cs.IT math.IT math.ST
Shape-Adaptive Conditional Calibration for Conformal Prediction via Minimax Optimization
School of Statistics and Data Science, Nankai University（南开大学统计与数据科学学院）；School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）
本文提出MOPI框架，通过优化灵活的多值映射实现条件覆盖，提升预测集效率，理论证明其收敛性最优。
2026-05-12 stat.ME stat.ML
Minimax optimal rates for Mondrian trees and forests
随机森林是Breiman提出的一种广泛使用的分类和回归算法。虽然最初被设计为批处理算法，但已经提出了几种变体来处理在线学习。这种森林的一个特定实例是\emph{Mondrian Forest}，其树是使用所谓的蒙德里安过程构建的，因此允许以流式方式轻松更新其构造。在本文中，我们提供了一个深入的理论研究的蒙德里安森林在一个批处理学习设置，基于新的结果蒙德里安分区。我们的结果包括Mondrian树和森林的一致性和收敛速度，这证明是极小极大最优的$s$ -Hölder函数与$s \in (0,1]$（树和森林）和$s \in (1,2]$（仅森林），假设在这两种情况下，他们的复杂性参数的适当调整。此外，我们证明了一个自适应的过程（未知的$s \in (0, 2]$）可以构建蒙德里安森林与标准的模型聚合算法相结合。这些结果是第一次证明，一些特定的随机森林实现极大极小率\textit{in arbitrary dimension}。由于其非常简单的分布特性，导致极大极小率，蒙德里安树是一个有前途的基础，更复杂的，但理论上健全的随机森林的变种。
2019-04-09 math.ST stat.ML stat.TH
Asymptotically Minimax Robust Likelihood Ratio Test
University Medical Center of the Johannes Gutenberg University Mainz（约翰内斯·古腾堡大学美因茨大学医学中心）；Center for Thrombosis and Hemostasis, University Medical Center Johannes Gutenberg University Mainz（约翰内斯·古腾堡大学美因茨大学医学中心血栓与止血中心）；German Center for Cardiovascular Research (DZHK), Partner Site Rhine Main, University Medical Center of the Johannes Gutenberg University Mainz（德国心血管研究联盟（DZHK）莱茵美因合作点，约翰内斯·古腾堡大学美因茨大学医学中心）
本文提出了一种统一框架，用于在分布不确定性下进行渐近最小最大稳健假设检验，通过非线性方程组计算，并验证了理论结果。
2026-02-09 cs.IT math.IT math.ST
Minimax Rates and Adaptivity in Combining Experimental and Observational Data
随机对照试验（RCT）是评价治疗因果效应的金标准;然而，它们通常具有有限的样本量，有时概括性较差。另一方面，来自大型管理数据库的非随机、观察性数据具有大的样本量和更好的概括性，但它们容易产生不可测量的混杂偏倚。因此，协调从随机对照试验和观察性研究中获得的效果估计值是相当有意义的，这些研究调查了相同的干预措施，可能会从两个领域中获得最佳结果。在本文中，我们从理论上描述了从极大极小的角度将观测数据整合到基于RCT的分析中的潜在效率增益。对于估计，我们推导出的最小最大收敛速度的均方误差，并提出了一个完全自适应锚定阈值估计，达到最佳的速度多对数因子。对于推断，我们的特点是极大极小率的长度置信区间和适应（未知的混杂偏差）一般是不可能的。一个奇怪的现象，从而出现：估计，从数据集成的效率增益可以实现没有先验知识的混淆偏差的大小;推理，同样的任务成为信息理论上不可能的一般。我们使用模拟和来自RCT DUPLICATE倡议的真实数据示例证实了我们的理论发现[Franklin et al.，2021 b]。
2021-09-22 math.ST stat.ME stat.TH
KL-Entropy-Regularized RL with a Generative Model is Minimax Optimal
University of Alberta（阿尔伯塔大学）；Peking University（北京大学）；Google Research（谷歌研究院）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；IECL（洛林计算机科学及其应用实验室）；University of Tokyo（东京大学）；DeepMind（深度思维）；Otto von Guericke University Magdeburg（奥托·冯·格里克马格德堡大学）
在这项工作中，我们考虑和分析的无模型强化学习与生成模型的样本复杂度。特别地，我们分析了Geist等人（2019）和Vieillard等人（2020 a）的镜像下降值迭代（MDVI），该迭代在其值和策略更新中使用了Kullback-Leibler散度和熵正则化。我们的分析表明，当$\varepsilon$足够小时，它几乎是最小最大最优的$\varepsilon$ -最优的政策。这是第一个理论结果，证明了一个简单的无模型算法没有方差减少可以接近最小最优的考虑设置下。
2022-05-27 cs.AI cs.LG stat.ML
Nearly Minimax-Optimal Regret for Linearly Parameterized Bandits
Northwestern University（西北大学）；University of Florida（佛罗里达大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究了具有有限行动集的线性上下文Bandit问题。当问题维度为$d$，时间范围为$T$，并且每个时间段有$n \leq 2^{d/2}$候选动作时，我们（1）证明每个算法的极大极小期望遗憾是$Ω(\sqrt{dT (\log T) (\log n)})$，并且（2）引入可变置信度（VCL）SupLinUCB算法，其遗憾与迭代对数因子的下限相匹配。我们的算法结果节省了两个$\sqrt{\log T}$因素从以前的分析，我们的信息理论下限也提高了以前的结果的一个$\sqrt{\log T}$因素，揭示了一个遗憾的规模与经典的多臂土匪，其中没有对数$T$长期存在于极小极大遗憾。我们的证明技术包括变量置信水平和一个仔细的分析层大小的SupLinUCB的上限侧，和精心构造的对抗序列显示的紧密性的椭圆势引理的下限侧。
2020-08-18 cs.LG stat.ML
Asymptotic Minimax Estimation under Global-Local Priors
University of Florida（佛罗里达大学）
本文针对全局-局部先验，在放宽样本方差已知的假设、同时对误差方差赋予先验的情况下，推导收缩因子新尾界，给出目标参数后验均值的渐近极小极大速率。
2026-08-03 math.ST stat.TH
Minimax rates of convergence for nonparametric regression under adversarial attacks
本文研究非参数回归在输入对抗攻击下的鲁棒性极限，推导对抗上确界范数的极小极大收敛速率，并证明由标准极小极大最优估计量构造的对抗式插入方法可达最优速率。
2025-05-13 math.ST stat.ML stat.TH
Linear Bandits on Ellipsoids: Minimax Optimal Algorithms
Laboratoire des signaux et systèmes（信号与系统实验室）；Univ. Paris-Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央高等电力学院）
针对动作集为椭球的线性赌博机，提出首个极小极大最优算法，通过估计参数范数并采用探索-提交策略，达到信息论下界，且计算高效，并具备局部渐近最优性。
2025-02-24 cs.LG stat.ML
Minimax Confidence Intervals for the Sliced Wasserstein Distance
由于Wasserstein距离的变体在统计和机器学习中越来越受欢迎，我们研究了切片Wasserstein距离的统计推断-Wasserstein距离的一个易于计算的变体。具体来说，我们构造置信区间的切片Wasserstein距离，有有限样本有效性下没有假设或温和的时刻假设。这些间隔的长度适应于基础分布的规律性。我们还绑定了估计切片Wasserstein距离的极大极小风险，并因此建立了我们提出的置信区间的长度在适当的分布类上是极大极小最优的。为了激励这些类的选择，我们还研究了极大极小率下的切片Wasserstein距离估计的分布。这些理论研究结果的补充与模拟研究表明，经典的自举的不足之处，我们提出的方法的优点。我们还显示了我们的理论预测和我们的置信区间长度在模拟中的适应性之间的强对应关系。最后，我们展示了使用我们的置信区间在设置基于模拟器的似然自由推理。在这种情况下，对比流行的近似贝叶斯计算方法，我们开发了不确定性量化方法与严格的频率覆盖保证。
2022-04-04 math.ST stat.ML stat.TH
Nonparametric Inference under B-bits Quantization
Biogen Inc（百健公司）；Texas Tech University（得克萨斯理工大学）；University of Miami（迈阿密大学）；New Jersey Institute of Technology（新泽西理工学院）
本文针对有损或不完整样本的统计推断问题，提出一种基于B比特量化的非参数检验方法，证明当B超过阈值时可达到样条模型的经典极小极大速率，并通过模拟和真实数据验证其有效性。
2023-08-11 cs.LG math.ST stat.ML
Quantile regression with deep ReLU Networks: Estimators and minimax rates
分位数回归是从已知协变量的集合中估计指定百分位响应（如中位数）的任务。我们研究了分位数回归，使用修正线性单元（ReLU）神经网络作为所选的模型类。我们推导出用于估计一组协变量条件下的任何分位数的ReLU网络的预期均方误差的上界。该上界仅取决于最佳可能的近似误差、网络中的层数以及每层的节点数。我们进一步表明，上界是紧的两大类功能：组成的Hölder功能和成员的Besov空间。这些严格的界限意味着具有分位数回归的ReLU网络可以为广泛的函数类型集合实现极大极小化率。与现有的工作不同，理论结果保持在最小的假设条件下，并适用于一般的误差分布，包括重尾分布。对一套合成响应函数的实证模拟表明，理论结果可以转化为ReLU网络的实际实现。总的来说，理论和实证结果提供了对ReLU神经网络在广泛的函数类和误差分布中进行分位数回归的强大性能的深入了解。本文的所有代码都可以在https://github.com/tansey/quantile-regression上公开获得。
2020-12-18 math.ST stat.ML stat.TH
Minimax Rates and Efficient Algorithms for Noisy Sorting
Massachusetts Institute of Technology（麻省理工学院）
最近，人们对研究基于排列的模型的兴趣激增，用于从成对比较数据中进行排名。尽管基于置换的模型在结构上比参数排名模型更丰富和更鲁棒，但在统计学上理解得不太好，并且通常缺乏有效的学习算法。在这项工作中，我们研究了一个原型的置换为基础的排名模型，即噪声排序模型。我们建立了两种抽样程序下模型的最优学习率。此外，我们提供了一个快速算法，以达到接近最佳的利率，如果观察独立采样。一路上，我们发现了对称群的性质，这是理论上的兴趣。
2017-10-28 cs.LG math.ST stat.ML
Oracle inequalities and minimax rates for non-local means and related adaptive kernel-based methods
University of California, San Diego（加州大学圣地亚哥分校）；Duke University（杜克大学）；Institute for Mathematics and its Applications（数学及其应用研究所）
本文描述了一种新的理论表征的非局部均值（NLM）的噪声去除性能。NLM已经在各种实证研究中证明是有效的，但是关于它相对于基于小波的经典方法如何执行或者各种参数（例如，补丁大小）。对于卡通图像和图像可能包含薄的功能和规则的纹理，NLM的错误衰减率推导和比较的线性滤波，预言估计，可变带宽核方法，雅罗斯拉夫斯基的过滤器和小波阈值估计。全局和局部搜索匹配补丁之间的权衡检查，并与本地多项式回归版本的NLM的偏差减少进行了分析。通过对加性高斯白噪声污染的二维图像的仿真，验证了理论结果。
2012-04-26 cs.CV cs.IT math.IT
Minimax Estimation of Bandable Precision Matrices
逆协方差阵为理解多变量设置中的统计模型提供了相当多的见解。特别地，当假设变量的分布为多元正态分布时，逆协方差阵（通常称为精度矩阵）中的稀疏模式对应于高斯-马尔可夫图的邻接矩阵表示，其编码变量之间的条件独立性陈述。谱范数下的极大极小结果以前已经建立了协方差阵，稀疏和带状，稀疏精度矩阵。我们建立了谱范数下带状精度矩阵的极大极小估计界。我们的研究结果大大提高了现有的界限，特别是，我们发现，估计带状精度矩阵的极大极小率估计带状协方差阵相匹配。在我们的分析中，关键的见解是，我们能够获得几乎没有噪声的估计$k \times k$子块的精度矩阵反转略宽块的经验协方差阵沿对角线。我们的理论结果是补充实验证明我们的界限的清晰度。
2017-10-19 stat.ML
Nearly Minimax Optimal Offline Reinforcement Learning with Linear Function Approximation: Single-Agent MDP and Markov Game
The Hong Kong University of Science Technology（香港科技大学）；Peking University（北京大学）；University of Virginia（弗吉尼亚大学）
离线强化学习（RL）的目标是使用预先收集的数据集学习最佳策略，而无需与环境进行进一步的交互。虽然在以前的文献中已经提出了各种离线RL算法，但极大极小最优性只（几乎）建立了表马尔可夫决策过程（MDP）。本文主要研究了具有线性函数逼近的离线强化学习，提出了一种新的基于悲观的离线线性多目标规划算法。在我们的算法的核心是不确定性分解通过一个参考函数，这是新的离线RL下的线性函数近似的文献。理论分析表明，我们的算法可以匹配的性能下限对数因子。我们还将我们的技术扩展到两人零和马尔可夫博弈（MG），并建立了一个新的性能下界，收紧了现有的结果，并验证了所提出的算法的近似极小极大最优性.据我们所知，这些是第一个计算效率和近极大极小最优算法离线单代理MDP和MG与线性函数近似。
2023-03-01 cs.GT cs.LG stat.ML
On the minimax optimality and superiority of deep neural network learning over sparse parameter spaces
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文通过非参数回归问题证明深度学习在不连续、稀疏函数类上可达极小极大最优速率，而线性估计器因凸包风险不变而次优，并指出参数共享可显著降低模型复杂度。
2019-09-20 cs.LG math.ST stat.ML
Regularization and Variance-Weighted Regression Achieves Minimax Optimality in Linear MDPs: Theory and Practice
The University of Tokyo（东京大学）；OMRON SINIC X（欧姆龙 SINIC X 研究院）；DeepMind（深度思维）；Google Research（谷歌研究院）；Peking University（北京大学）；Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）；University of Alberta（阿尔伯塔大学）
针对线性MDP中MDVI算法缺乏理论保证的问题，提出方差加权最小二乘MDVI（VWLS-MDVI）达到极小极大最优样本复杂度，并给出实用算法DVW提升深度RL性能。
2026-10-06 cs.LG stat.ML
Local Privacy, Data Processing Inequalities, and Statistical Minimax Rates
在一个隐私模型下，即使从统计学家那里，数据仍然是私有的，我们研究了隐私保证和所产生的统计估计的效用之间的权衡。我们证明了信息理论的数量，包括互信息和Kullback-Leibler分歧，这取决于隐私保证的界限。当结合标准的极大极小技术，包括Le Cam，Fano和Assouad方法，这些不平等允许在本地隐私约束下的统计率的精确表征。我们提供了几个典型的家庭的问题：平均估计，参数估计在固定设计回归，多项式概率估计，和非参数密度估计的治疗。对于所有这些家庭，我们提供的下限和上界，匹配常数因子，并展示新的（最佳）隐私保护机制和计算效率的估计，实现界限。
2014-08-27 cs.CR cs.IT math.IT
Minimax wavelet estimation for multisample heteroscedastic non-parametric regression
研究了从多采样噪声曲线中估计基线信号的问题。本文考虑了功能性混合效应模型，假设功能性固定效应属于Besov类。这个框架允许我们对可能表现出强烈不规则性的曲线进行建模，例如峰值或跳跃。提供了$L_2$极小极大风险的下限，以及极小极大比率的上限，该上限是通过构建函数固定效应的小波估计量推导出来的。我们的工作构成了多样本非参数回归的第一个理论结果。我们的方法说明了现实的模拟数据集以及实验数据。
2015-11-14 stat.ME
Minimax-Optimal Two-Sample Test with Sliced Wasserstein
LAMA, LIGM, Université Gustave Eiffel（LAMA、LIGM、埃菲尔大学）；CNRS, LIGM（CNRS、LIGM）
本文提出一种基于置换的 sliced Wasserstein 非参数两样本检验方法，证明了其具有有限样本第一类错误控制，并在多项式和有界支撑备择假设上达到极小化最优分离率 $n^{-1/2}$，兼具高功效与可扩展性。
2025-10-31 cs.LG math.ST stat.ME
Wasserstein-based Minimax Estimation of Dependence in Multivariate Regularly Varying Extremes
本文首次为多元线性因子模型中谱测度估计建立极小极大风险界，以Wasserstein距离导出非渐近收敛速率并证明最优性，提出两步估计量达到下界，弥合极值理论中偏差-方差权衡的空白。
2024-11-09 math.ST stat.ME stat.TH
Minimax semi-supervised confidence sets for multi-class classification
在这项工作中，我们研究了半监督框架的置信集分类与控制的期望大小在极小极大设置。在边际假设和回归函数的H{<$}lder条件下，我们得到了半监督极小极大收敛速度.此外，我们表明，如果没有进一步的假设，没有监督的方法，优于半监督估计提出了这项工作。我们建立了任何监督方法的最佳可达率是n^{-1/2}，即使边际假设是非常有利的。相反，半监督估计器可以实现更快的收敛速度，只要有足够多的未标记样本。我们还进行数值评估所提出的算法经验证实我们的理论研究结果。
2019-04-29 math.ST stat.TH
Adaptive Kernel Ridge Regression with Linear Structure: Sharp Oracle Inequalities and Minimax Optimality
University of Toronto（多伦多大学）
本文提出一种改进的岭回归方法，通过引入显式线性成分提升模型性能，理论证明其在一般核函数下达到最小最大最优预测风险。
2026-05-12 math.ST stat.TH
Linear Models are Most Favorable among Generalized Linear Models
建立了一类广义线性模型的$L_2$极大极小风险的一个非渐近下界.它进一步表明，极小极大风险的典型线性模型匹配这个下界的一个普遍的常数。因此，典型线性模型可以被认为是最有利的一类考虑的广义线性模型（在极大极小风险方面）。该证明利用了Aras等人（2019）建立的对数凹先验的信息论贝叶斯Cramér-Rao界。
2020-06-09 cs.IT math.IT math.ST
Computational barriers in minimax submatrix detection
本文研究了受加性高斯噪声污染的大矩阵中提高均值的小子阵的Minimax检测问题。为了从复杂性理论的角度研究统计性能和计算成本之间的权衡，我们考虑了一系列离散模型，这些模型渐近等价于高斯模型。假设当集团大小的阶数小于图大小的平方根时，种植集团检测问题不能在随机多项式时间内解决，则建立以下相变现象：当大矩阵$p\to\infty$的大小，如果子矩阵大小$k=Θ(p^α)$对于任何$α\in(0,{2}/{3})$，计算复杂性约束可能会导致统计性能的严重损失，因为任何随机多项式时间测试都是$p$中多项式因子的极小极大次优;如果对任何$α\in({2}/{3},1)$都有$k=Θ(p^α)$，则在线性时间内，在常数因子内可获得极小极大最优检测。以Schatten范数损失为例，证明了获得极小极大估计率的难度主要取决于损失函数。支持恢复的硬度的影响也得到。
2015-06-03 cs.IT math.IT math.ST
Confidence regions and minimax rates in outlier-robust estimation on the probability simplex
我们考虑的问题估计的平均值的分布支持的$k$维概率单纯形的设置中的一个$\varepsilon$分数的观察受到对抗腐败。一个简单的具体例子是估计离散随机变量的分布的问题。假设离散变量取$k$值，则未知参数$\boldsymbol θ$是属于概率单形的$k$维向量。我们首先描述了各种设置的污染，并讨论这些设置之间的关系。然后，我们建立极小极大率时，估计的质量是由总变差距离，海林格距离，或$\mathbb L^2$ -距离之间的两个概率测度。我们还提供了置信区域的未知的意思，缩小在最小最大率。我们的分析表明，与这三个距离相关的极大极小率都是不同的，但它们都是通过样本平均值获得的。此外，我们表明，后者是自适应的未知向量的可能的稀疏性。一些数值实验说明我们的理论研究结果的报告。
2020-02-01 cs.LG math.ST stat.TH
Stein Block Thresholding For Image Denoising
本文研究了任意维$d$中Stein块阈值的极小极大性质，重点研究了$d=2$ .为了实现这个目标，我们考虑一个框架系数空间，证明了极大极小性。这个空间的选择是由\cite{BorupNielsen}中提供的$\mathbb{R}^d$上的光滑空间族的特征所启发的，$\mathbb{R}^d$是所谓的分解空间\cite{Feichtinger}的子类。这些光滑空间涵盖了经典的Besov空间，以及对应于曲波型结构的光滑空间。我们的主要理论结果调查这些分解空间的极大极小率，并表明，我们的块估计可以实现最佳的极大极小率，或至少接近极大极小（高达$\log$因素）在最不利的情况。另一个贡献是，这里给出的最小最大速率是针对超出通常i.i.d.的变换系数域中的一般噪声序列模型来陈述的。高斯情况。从理论上讨论了门限参数的选择，并对某些噪声模型（不一定是i.i.d.）高斯情况。我们提供了一个简单，快速和实用的程序。我们还报告了一个全面的模拟研究，以支持我们的理论研究结果。我们的Stein块去噪的实际性能相比，非常有利的BLS-GSM国家的最先进的去噪算法在一个大的测试图像集。在因特网上提供了一个工具箱供下载，以复制本文讨论的结果。
2008-09-20 math.ST stat.TH
Minimax Optimal Sequential Hypothesis Tests for Markov Processes
在较弱的Markov假设下，得到了分布不确定性下多假设序贯检验的严格Minimax最优性的充分条件。首先，简单假设的最优序贯检验的设计被重新审视，它表明，相应的成本函数的偏导数是密切相关的基本序贯检验的性能指标。第二，一个隐含的表征最不利的分布为一个给定的测试政策。结合最优序贯检验和最不利分布的结果，得到了一般分布不确定性下序贯检验为minimax最优的充分条件。最小最大最优检验的成本函数被进一步确定为广义$f$-相异度，最不利的分布是那些最相似的相对于这种相异度。不同不确定度下的极小极大最优序贯检验的数值例子说明了理论结果。
2020-10-22 math.ST stat.TH
Optimal quantization of the mean measure and applications to statistical learning
本文讨论的情况下，数据作为点集，或更一般的离散措施。我们的动机是双重的：首先，我们打算用一个紧支持的测量来近似测量生成过程的平均值，该平均值与点过程框架中的强度测量一致，或者与基于持久性的拓扑数据分析框架中的预期持久性图一致。为了这个目的，我们提供了两个算法，我们证明几乎最小最大最优。其次，我们从平均测度的估计量构建一个矢量化映射，将每个测度发送到有限维欧几里得空间中，并通过面向聚类的镜头研究其属性。简而言之，我们表明，在一个混合物的措施产生的过程中，我们的技术产生的表示在$\mathbb{R}^k$，为$k \in \mathbb{N}^*$，保证了良好的聚类的数据点具有很高的概率。有趣的是，我们的研究结果适用于持久性为基础的形状分类通过ATOL程序中描述的\cite{Royer19}的框架。
2021-03-18 math.ST stat.TH
Minimax Optimal Convergence Rates for Estimating Ground Truth from Crowdsourced Labels
众包已经成为许多现实世界机器学习应用中标签收集的主要手段。从众包工作者提供的噪声标签中推断真实标签的经典方法是Dawid-Skene估计。本文证明了Dawid-Skene估计的投影期望最大化算法的收敛速度。显示指数的收敛速度被证明是最佳的，通过一个下界参数。我们的工作解决了长期存在的问题，是否Dawid-Skene估计有良好的理论保证，除了在实践中观察到的良好性能。此外，与多数表决的比较研究说明了Dawid-Skene估计的优点和缺陷。
2016-05-30 math.ST stat.ML stat.TH
Minimax Optimal Procedures for Locally Private Estimation
在一个隐私模型下工作，即使从统计学家那里，数据仍然是私有的，我们研究了隐私保证和由此产生的统计估计的风险之间的权衡。我们开发私人版本的经典信息理论的界限，特别是那些由于乐卡姆，法诺，和Assouad。这些不平等允许一个精确的表征统计率在当地的隐私限制和可证明（极大极小）的最优估计程序的发展。我们提供了几个典型的家庭的问题：均值估计和中位数估计，广义线性模型，和非参数密度估计的治疗。对于所有这些家庭，我们提供的下限和上界，匹配常数因子，并展示新的（最佳）隐私保护机制和计算效率的估计，实现界限。此外，我们提出了各种实验结果的估计问题，涉及敏感数据，包括工资，审查博客文章和文章，药物滥用，这些实验证明了最佳程序的重要性。
2017-11-14 cs.IT math.IT math.ST
Statistical inference for generative adversarial networks and other minimax problems
本文从统计推断角度研究GAN，证明样本极小极大问题的解集是总体解集的一致估计，并提出构造具有期望覆盖概率的置信集的方法，结果适用于非凸非凹多解的一般极小极大问题。
2023-12-05 math.ST stat.ML stat.TH
Transfer Learning for Nonparametric Classification: Minimax Rate and Adaptive Classifier
University of Pennsylvania（宾夕法尼亚大学）
人类学习者具有将在一种环境中获得的知识用于在不同但相关的环境中学习的自然能力。这种将知识从一项任务转移到另一项任务的能力对于有效学习至关重要。在本文中，我们研究了迁移学习的背景下，非参数分类的基础上，从不同的分布下的后验漂移模型，这是一个通用的框架，并出现在许多实际问题的观察。我们首先建立极小极大收敛率，并构造一个率最优的两样本加权$K$-NN分类器。结果精确地描述了从源分布到目标分布下的分类任务的观测的贡献。一个数据驱动的自适应分类器，然后提出，并同时达到在一个大的集合的参数空间的最佳速率的对数因子内。仿真研究和实际数据的应用进行了数值结果进一步说明了理论分析。扩展的情况下，多信源分布也被认为是。
2019-06-07 cs.LG math.ST stat.ME
Minimax Optimal Sparse Signal Recovery with Poisson Statistics
我们的动机是在一些应用程序中出现的问题，如在线营销和爆炸物检测，其中观察通常使用泊松统计建模。我们将每个观测值建模为泊松随机变量，其均值是已知模式的稀疏线性叠加。与许多传统的问题不同，这里的观测结果并不相同，因为它们与不同的传感方式相关联。我们分析了一个极大似然（ML）解码器，这对于我们的泊松设置涉及到一个非线性优化，但计算上是易处理的性能。当测量值被泊松噪声污染时，我们推导出稀疏恢复的基本样本复杂度界。与具有高斯噪声的最小二乘线性回归设置相反，我们观察到，除了稀疏性之外，参数的尺度也从根本上影响泊松设置中的$\ell_2$误差。我们在理论和实验上都证明了上界的紧密性。特别是，我们推导出一个极大极小匹配的下限上的均方误差，并表明我们的约束ML解码器是极大极小最优的这种制度。
2015-01-21 stat.ML
Exact minimax estimation of the predictive density in sparse Gaussian models
考虑了$\ell_0$稀疏高斯序列模型中Kullback-Leibler损失下的预测密度估计问题。一阶极大极小风险及其精确常数，渐近最不利的先验和最优预测密度估计的显式表达式。与正态均值点估计的稀疏恢复结果相比，发现了新的判决理论现象。插件密度估计类的次优性能反映了问题的预测性质，并且最优策略需要分散未来风险。我们发现，极小极大最优策略位于高斯家族之外，但可以构建阈值预测密度估计。新的极小极大技术，涉及同时校准的稀疏性调整和风险分散化机制被用来设计最佳的预测密度估计。
2015-06-03 math.ST stat.TH
Minimax and adaptive estimation of the Wigner function in quantum homodyne tomography with noisy data
在量子光学中，光束的量子态是通过维格纳函数来表示的，维格纳函数是$\mathbb R^2$上的密度，它可以取负值，但必须遵守量子物理学施加的固有正性约束。在带效率参数$1/2 < η\leq 1$的噪声量子零差层析成像的框架下，我们研究了Wigner函数的核估计的理论性能。我们证明了它是极大极小有效的，对数因子的样本量，$\mathbb L_\infty$ -风险一类无穷可微。我们还计算了$\mathbb L_2$ -风险的下界。本文构造了不依赖于光滑参数的自适应估计量，并证明了它对于相应的光滑类函数具有极大极小速率。我们的自适应程序的有限样本行为进行了探讨，通过数值实验。
2015-06-23 math.ST quant-ph stat.TH
Minimax Rates for High-dimensional Double Sparse Structure over $\ell_u(\ell_q)$-balls
针对兼具组间与组内稀疏性的高维双重稀疏结构，论文提出度量熵下界技术并建立匹配上下界，揭示相变现象，且给出最优 DSIHT 回归算法。
2023-07-18 math.ST stat.TH
Towards Sharp Minimax Risk Bounds for Operator Learning
Simon Fraser University（西蒙菲莎大学）；University of Bonn（波恩大学）；Fraunhofer Institute for Algorithms and Scientific Computing (SCAI)（弗劳恩霍夫算法与科学计算研究所）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）
本文研究了算子学习的最小最大风险界，证明了在不同噪声条件下，Lipschitz算子的最小最大风险无法以代数速率衰减，揭示了样本复杂度的诅咒。
2026-03-05 cs.NA math.NA math.ST
Stochastic Optimization in Semi-Discrete Optimal Transport: Convergence Analysis and Minimax Rate
针对半离散最优传输中SGD求解器近似OT映射缺乏理论保证的问题，研究证明平均投影SGD算法在温和假设下可实现$O(1/\u221an)$的极小极大收敛速率，适用于MTW代价函数并提供了数值验证。
2025-10-29 math.ST stat.ML stat.TH
The Beta-Mixture Shrinkage Prior for Sparse Covariances with Posterior Minimax Rates
稀疏协方差阵的统计推断对于揭示大型多元数据集的相关结构至关重要，但缺乏可扩展的和理论支持的贝叶斯方法。在本文中，我们提出了β-混合收缩先验，计算效率比尖峰和板坯先验，稀疏协方差阵，并建立其在高维设置的极大极小最优性。建议的先验由β混合收缩和伽马先验的非对角和对角条目，分别。为了保证所得到的协方差阵的正定性，我们进一步将先验的支持度限制在正定矩阵的子空间中。在Frobenius范数下，我们得到了诱导后验估计的后验收敛速度，并建立了稀疏协方差阵的极大极小下界。本文所考虑的极小极大下界的稀疏协方差阵类由非零非对角元素的个数控制，比文献中出现的稀疏协方差矩阵类具有更直观的吸引力.除非真的协方差阵是非常稀疏的，否则所得到的后验收敛速度与极大极小下界一致。在模拟研究中，我们表明，所提出的方法是计算效率比竞争对手，同时实现可比的性能。基于两个真实数据集的收缩先验的优点证明。
2021-01-12 math.ST stat.ME stat.TH
Minimax Optimal Estimation of Convex Functions in the Supreme Norm
凸函数的估计在工程和科学中有着广泛的应用，而凸形状约束在渐近性能分析中引起了许多挑战。本文在形状约束非参数估计的框架下，研究了Hölder类一元凸函数的Minimax最优估计.特别地，本文建立了Hölder阶在1和2之间的凸函数的极大极小超模风险的两步最优收敛速率.第一步，应用信息论关于概率测度距离的结果，通过构造一类新的Hölder类分段二次凸函数，得到了极大极小下界.在第二步中，我们提出了一个惩罚凸样条估计，并建立了极大极小上界。由于凸形状约束，惩罚凸样条的最优性条件由非光滑互补条件刻画。利用互补方法，建立了最优样条系数在无穷范数下的一致Lipschitz性质。这个属性，以及渐近估计技术，导致在整个区间上的偏差和随机误差的统一界限。通过选择合适的节点数和惩罚值，进一步产生最佳的收敛收敛速率。给出了最大范数下凸估计的最优极小极大风险的第一个严格证明。
2013-06-08 math.ST stat.TH
