Discrete minimax estimation with trees
McGill University（麦吉尔大学）
我们提出了一个简单的递归数据为基础的分区计划，产生分段常数或分段线性密度估计的间隔，并显示该计划可以确定一些离散的非参数类的最佳$L_1$极大极小率。
2019-06-27 cs.LG math.ST stat.TH
Minimax Confidence Intervals for the Sliced Wasserstein Distance
由于Wasserstein距离的变体在统计和机器学习中越来越受欢迎，我们研究了切片Wasserstein距离的统计推断-Wasserstein距离的一个易于计算的变体。具体来说，我们构造置信区间的切片Wasserstein距离，有有限样本有效性下没有假设或温和的时刻假设。这些间隔的长度适应于基础分布的规律性。我们还绑定了估计切片Wasserstein距离的极大极小风险，并因此建立了我们提出的置信区间的长度在适当的分布类上是极大极小最优的。为了激励这些类的选择，我们还研究了极大极小率下的切片Wasserstein距离估计的分布。这些理论研究结果的补充与模拟研究表明，经典的自举的不足之处，我们提出的方法的优点。我们还显示了我们的理论预测和我们的置信区间长度在模拟中的适应性之间的强对应关系。最后，我们展示了使用我们的置信区间在设置基于模拟器的似然自由推理。在这种情况下，对比流行的近似贝叶斯计算方法，我们开发了不确定性量化方法与严格的频率覆盖保证。
2022-04-04 math.ST stat.ML stat.TH
Universal Consistency of Wide and Deep ReLU Neural Networks and Minimax Optimal Convergence Rates for Kolmogorov-Donoho Optimal Function Classes
本文证明了宽深ReLU神经网络分类器的普适一致性，给出其达到极小极大最优收敛速率的概率测度充分条件，框架涵盖更一般场景，且logistic损失下的分类器呈现良性过拟合行为。
2024-01-30 cs.LG stat.ML
Kernel-based estimation for partially functional linear model: Minimax rates and randomized sketches
本文研究了部分函数线性模型（PFLM），其中所有的预测特征由一个函数协变量和一个高维标量向量组成。在无限维再生核希尔伯特空间上，PFLM的估计是一个函数范数和$\ell_1$范数混合正则化的最小二乘估计.本文的主要任务是建立高维情形下PFLM的Minimax估计率，并利用经验过程理论中分析核类的各种技巧建立最优Minimax估计率。此外，我们提出了一个有效的数值算法的基础上随机草图的核矩阵。几个数值实验来支持我们的方法和优化策略。
2021-10-18 math.ST stat.ML stat.TH
Statistical minimax approach of the Hausdorff moment problem
本文的目的是研究从噪声观测值的矩估计紧支概率密度的问题。事实上，我们提供了一个著名的豪斯多夫经典矩问题的统计方法。我们证明了上界和下界的均方误差的收敛速率表明，所考虑的估计达到极大极小率在相应的光滑类。
2009-04-23 math.ST stat.TH
Minimax testing of a composite null hypothesis defined via a quadratic functional in the model of regression
本文研究了非参数多元回归模型下复合原假设的检验问题。对于给定的二次函数$Q$，原假设声明回归函数$f$满足约束$Q[f]=0$，而替代假设对应于$Q[f]$远离零的函数。一方面，我们提供了极大极小化率的测试和确切的分离常数，以及尖锐的最佳测试程序，对角和非负二次泛函。我们考虑光滑类的椭球形和检查，我们的条件得到满足，在特定情况下，对应于各向异性的Sobolev类椭球。在这种情况下，我们提出了一个封闭的形式的极大极小速率和分离常数。另一方面，二次泛函的极小极大率既不是正的也不是负的，使得出现两种不同的状态：“正则”和“非正则”。在“规则”情况下，极大极小化速率等于$n^{-1/4}$，而在“不规则”情况下，速率取决于平滑类，并且比“规则”情况下慢。我们将其应用到测试在嘈杂的环境中观察到的两个功能的规范的平等的问题。
2013-01-04 math.ST stat.TH
Minimax Operator Learning for Holomorphic Maps between Hilbert Spaces
Humboldt University of Berlin（柏林洪堡大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Heidelberg University（海德堡大学）
本文研究希尔伯特空间间全纯算子学习的极小极大收敛速率，给出度量熵与统计下界，并应用于Darcy流方程的参数映射。
2026-10-07 math.ST stat.TH
Quantile regression with deep ReLU Networks: Estimators and minimax rates
分位数回归是从已知协变量的集合中估计指定百分位响应（如中位数）的任务。我们研究了分位数回归，使用修正线性单元（ReLU）神经网络作为所选的模型类。我们推导出用于估计一组协变量条件下的任何分位数的ReLU网络的预期均方误差的上界。该上界仅取决于最佳可能的近似误差、网络中的层数以及每层的节点数。我们进一步表明，上界是紧的两大类功能：组成的Hölder功能和成员的Besov空间。这些严格的界限意味着具有分位数回归的ReLU网络可以为广泛的函数类型集合实现极大极小化率。与现有的工作不同，理论结果保持在最小的假设条件下，并适用于一般的误差分布，包括重尾分布。对一套合成响应函数的实证模拟表明，理论结果可以转化为ReLU网络的实际实现。总的来说，理论和实证结果提供了对ReLU神经网络在广泛的函数类和误差分布中进行分位数回归的强大性能的深入了解。本文的所有代码都可以在https://github.com/tansey/quantile-regression上公开获得。
2020-12-18 math.ST stat.ML stat.TH
Minimax-optimal rates for sparse additive models over kernel classes via convex programming
稀疏加性模型是具有加性分解$f^* = \sum_{j \in S} f^*_j$的$d$ -变量函数族，其中$S$是基数$s \ll d$的未知子集。考虑了一元分量函数$f^*_j$位于再生核Hilbert空间（RKHS）中的情形，分析了一种基于核与$\ell_1$型凸正则化相结合的未知函数$f^*$的估计方法.工作在一个高维的框架内，允许两个维度$d$和稀疏$s$与$n$增加，我们得到收敛速度（上界）在$L^2(\mathbb{P})$和$L^2(\mathbb{P}_n)$规范类$\MyBigClass$的稀疏加性模型与每个单变量函数$f^*_j$在单位球的单变量RKHS有界核函数。我们补充我们的上限推导极小极大下限的$L^2(\mathbb{P})$错误，从而显示我们的方法的最优性。因此，我们获得了许多有趣的类的稀疏加性模型，包括多项式，样条，和Sobolev类的最优极大极小率。我们还表明，如果，在我们的单变量条件下，多变量函数类被假定为全局有界的，那么更快的估计速度是可能的任何稀疏$s = Ω(\sqrt{n})$，显示全局有界性是一个显着的限制，在高维设置。
2011-12-18 cs.IT math.IT math.ST
Minimax Rates and Spectral Distillation for Tree Ensembles
King’s College London（伦敦国王学院）
本文从频谱视角研究树集成算法，推导了随机森林回归的最小最大收敛率，并开发了树集成的压缩方案，通过频谱表示实现更高效的模型蒸馏。
2026-05-12 cs.AI cs.LG stat.ML
Minimax rate of estimation for invariant densities associated to continuous stochastic differential equations over anisotropic Holder classes
研究 $d$ 维随机微分方程平稳分布密度的非参数估计，在各向异性 Hölder 类上刻画了逐点 $\mathbf{L}^2$ 风险的极小极大收敛速度，并证明基于核的估计量及自适应程序能达到该最优速度。
2023-10-20 math.ST stat.TH
Estimation of a k-monotone density, part 1: characterizations consistency, and minimax lower bounds
形状约束密度在许多非参数估计问题中会遇到。单调或凸（和单调）密度类可以看作是k-单调密度类的特殊情况。称密度g是k-单调的，如果它的连续导数直到k-2阶交替为负或正，且k-2阶导数分别根据k是偶数（或奇数）而凸（或凹）。如果k=1，则g是不增加的。这些类的形状约束密度之间的差距桥梁类的单调（1-单调）和凸递减（2-单调）密度的渐近结果是已知的，一类完全单调密度与k无限。在这一系列的四篇论文中，我们考虑（非参数）最大似然估计和最小二乘估计的k-单调密度。在第一部分（第一部分）中，我们证明了估计的存在性，并给出了一些刻画。我们还建立了一致性的性质，并证明了估计是简单的节点阶k（度k-1）的样条。进一步给出了k-单调密度g_0（x_0）及其导数g_0^{（j）}（x_0）的渐近极小极大风险下界，其中j=1，.，k-1，在不动点x_0处，假设g_0在x_0处的k阶导数为非零。
2005-09-04 math.ST stat.TH
Minimax density estimation for growing dimension
本文提出了最小最大速率的密度估计时，数据维度$d$允许增长的观察数$n$，而不是保持固定的，在以前的分析。我们证明了一个非渐近的下界，它给出了最坏情况下的速度超过标准类的光滑密度，我们表明，核密度估计达到这个速度。我们也给Oracle的带宽选择，并得出最快的速度$d$可以与$n$增长，以保持估计的一致性。
2017-02-28 math.ST stat.TH
Minimax signal detection in ill-posed inverse problems
不适定反问题出现在各个科学领域。我们认为信号检测问题的温和，严重和极端不适定的反问题的$l^q$ -椭球（机构），$q\in(0,2]$，Sobolev，分析和广义解析类的功能下的高斯白噪声模型。我们研究率和尖锐的渐近误差概率在极大极小设置。通过构造，衍生测试通常是非适应性的。还构造了结构相当简单的Minimax率最优自适应检验。
2012-09-25 math.ST stat.TH
Machine vs Machine: Minimax-Optimal Defense Against Adversarial Examples
The Ohio-State University（俄亥俄州立大学）
最近，研究人员发现，最先进的对象分类器很容易被人眼无法察觉的输入中的小扰动所欺骗。我们还知道，如果攻击者知道分类器参数，她就可以生成强对抗性的示例。相反，防御者可以通过重新训练来鲁棒分类器，如果她可以访问对抗性示例的话。我们解释和制定这个对抗性的例子问题作为一个两个球员连续零和游戏，并证明了评估的防守或攻击作为一个静态问题的谬误。为了找到最好的最坏情况下的防御白盒攻击，我们提出了一个连续极大极小优化算法。我们演示了两种类型的攻击类-基于梯度和神经网络的攻击的极大极小防御。MNIST和CIFAR-10数据集的实验表明，数值极大极小优化发现的防御确实比非极大极小防御更强大。我们讨论的方向，以提高对多种类型的攻击类实现鲁棒性的结果。
2018-06-27 cs.LG stat.ML
Minimax sparse principal subspace estimation in high dimensions
研究了高维稀疏主成分分析，其中变量数$p$可以远大于观测数$n$，并分析了总体协方差阵的主特征向量所张成的子空间的估计问题.我们引入了$\ell_q$子空间稀疏性的两个互补概念：行稀疏性和列稀疏性。证明了$0\leq q\leq1$的极大极小子空间估计误差的非渐近上下上界。该界对于行稀疏子空间是最优的，对于列稀疏子空间是接近最优的，它们适用于一般类的协方差阵，并且它们表明$\ell_q$约束估计可以在没有限制性尖峰协方差条件的情况下获得最优的Minimax率。有趣的是，当有效噪声方差被适当定义时，速率的形式与稀疏回归的已知结果相匹配。我们的证明采用了一种新的变分$\sinΘ$定理，可能是有用的，在其他正则化谱估计问题。
2014-01-03 math.ST stat.ML stat.TH
Adaptive Nonparametric Estimation via Kernel Transport on Group Orbits: Oracle Inequalities and Minimax Rates
本文提出基于群轨道核传输的非参数估计框架，通过双空间方法建立oracle不等式并实现最小最大最优速率，同时在目标函数具有轨道结构时提升估计效率。
2025-12-10 math.ST stat.TH
Minimax Rates for Conditional Density Estimation via Empirical Entropy
针对一致熵无法刻画条件密度估计极小极大速率的问题，研究以经验Hellinger熵为基础，在模型设定正确的情况下得到了极小极大KL风险的匹配上下界，仅需条件密度有上界即可。
2023-06-14 math.ST stat.TH
Bandwidth selection in kernel density estimation: Oracle inequalities and adaptive minimax optimality
通过核估计量的选择，解决了具有$\mathbb{L}_s$ -损失的密度估计问题.我们开发了一个选择过程，并推导出相应的$\mathbb{L}_s$ -风险预言不等式。结果表明，建议的选择规则导致的估计是极小极大自适应的各向异性的Nikol'skii类的规模。在我们的推导中使用的主要技术工具是最近由Goldenshluger和Lepski开发的经验过程的$\mathbb{L}_s$ -范数的统一界限[Ann. Probab.（2011年）。
2012-11-22 math.ST stat.TH
Asymptotically Optimal Pointwise and Minimax Quickest Change-point Detection for Dependent Data
我们认为最快的变点检测问题在逐点和极大极小设置一般相关的数据模型。两个新的类的顺序检测程序与最大的“本地”的一个假警报的概率在一段时间内的一些固定长度的介绍。对于这些类别的检测程序，我们考虑两个流行的风险：预期的积极部分的延迟检测和条件延迟检测。在非常一般的条件下的观察，我们表明，流行的Shiryaev-罗伯茨过程是渐近最优的，作为局部的虚警概率为零，相对于这些风险逐点（均匀的每一个可能的点的变化），并在极大极小意义上（相对于最大的变化点的预期检测延迟）。这些条件是根据“变化”和“无变化”假设之间对数似然比的强大数律的收敛速率来制定的，具体地说，是归一化对数似然比到一个正数和有限数的均匀全收敛。我们还开发了工具和一组充分条件的一致全收敛的一大类马尔可夫过程的验证。这些工具是基于浓度不等式的功能的马尔可夫过程和Meyn-Tweedie几何遍历论。最后，我们检查这些充分条件的一些具有挑战性的例子（时间序列）经常出现在应用程序中，如自回归，自回归高斯等。
2016-01-15 math.ST stat.TH
Minimax Robust Quickest Change Detection
最快变化检测过程的最优性的流行准则是Lorden准则、Shiryaev-Roberts-Pollak准则和贝叶斯准则。本文考虑了这些最快变化检测问题的鲁棒版本，当变化前和变化后的分布不完全已知但属于已知的不确定性分布类别时。对于满足特定条件的不确定性类，它表明，人们可以识别最不利的分布（LFD）的不确定性类，这样的LFD设计的检测规则是最佳的鲁棒性问题在极大极小意义上。的条件是类似的，所需的鲁棒性假设检验问题的LFD识别最初由Huber研究。在Lorden最优性准则下的渐近设定中，也得到了鲁棒检验所引起的时滞的上界。这个界限量化了为保证鲁棒性而产生的延迟惩罚。当LFD可以被识别时，所提出的测试比基于广义似然比（GLR）统计量的Cumsum测试更容易实现，这是一种流行的方法，用于这种鲁棒的变化检测问题。所提出的测试也显示出更好的性能比GLR测试在模拟的一些参数值。
2010-06-01 cs.IT math.IT math.ST
Adaptive minimax testing for circular convolution
在非渐近框架下，考虑了受可加性测量误差污染的圆形随机变量的观测值的极大极小最优拟合优度检验问题。我们提出了直接和间接的测试程序，使用投影方法。最优检验的结构取决于模型的正则性和不适定性参数，这些参数在实际中是未知的。因此，自适应测试策略，同时进行了广泛的规律性和不适定性类的最佳。考虑到多个测试程序，我们得到自适应，即无干扰的程序，并分析其性能。与非自适应检验相比，它们的检验半径面临对数因子的恶化。我们表明，测试的均匀性，这种损失是不可避免的，通过提供一个下界。考虑索伯列夫空间和普通或超光滑误差密度的结果示出。
2020-07-13 math.ST stat.TH
On minimax density estimation via measure transport
我们研究的收敛性，在海林格和相关的距离，非参数密度估计的基础上测量运输。这些估计量将感兴趣的度量表示为运输图下所选参考分布的前推，其中该图是通过最大似然目标（等效地，最小化经验Kullback-Leibler损失）或其惩罚版本来选择的。通过将M-估计与基于运输的密度表示的分析性质相结合，建立了一类惩罚测度运输估计的浓度不等式.然后，我们证明了我们的理论的影响的情况下，三角形Knothe-Rosenblatt（KR）运输的$d$维单位立方体，并表明，惩罚和未惩罚的版本，这样的估计实现极小极大最优的收敛速度的Hölder类的密度。具体来说，我们建立了最优率的无惩罚的非参数极大似然估计有界Hölder型球，然后为某些Sobolev惩罚估计和筛选小波估计。
2022-09-19 math.PR math.ST stat.ML
Robust density estimation over star-shaped density classes
针对对抗性受损数据场景，该研究提出星形密度类下的鲁棒密度估计算法，推导了极小极大风险的上下界，明确了局部熵、数据维度等因素对估计性能的影响。
2025-01-17 math.ST stat.ML stat.TH
Adaptive minimax multivariate \(L^1\)-deconvolution: harmonic-mean rates under noise filtering, and a \(1\)-Wasserstein equivalence
该研究针对含各向异性噪声的多元卷积模型，扩展了L¹距离估计器，建立了匹配的极小极大速率，提出了自适应带宽选择方法，还揭示了L¹距离与1-瓦瑟斯坦距离的速率关联。
2026-10-09 math.ST stat.TH
From Asymptotic to Finite-Sample Minimax Robust Hypothesis Testing
University Medical Center of the Johannes Gutenberg University Mainz（约翰内斯·古腾堡美因茨大学医学中心）；Center for Thrombosis and Hemostasis, University Medical Center Johannes Gutenberg University Mainz（约翰内斯·古腾堡大学医学中心血栓与止血中心）；German Center for Cardiovascular Research (DZHK), Partner Site Rhine Main, University Medical Center of the Johannes Gutenberg University Mainz（德国心血管研究联合会（DZHK）莱茵美因合作点，约翰内斯·古腾堡大学医学中心）
本文提出了一种基于渐近理论的有限样本最小最大稳健假设检验方法，通过总变差距离和带模型分析，推导了参数形式的最不利分布和稳健似然比函数，并通过模拟验证了理论结果。
2026-02-23 cs.IT math.IT math.ST
Minimax Optimal Probability Matrix Estimation For Graphon With Spectral Decay
本文针对具有特征值谱衰减的图振子，研究随机图概率矩阵的极小极大最优估计，证明谱阈值算法可达与信息论下界仅差对数因子的速率，并揭示其不同于光滑图振子设定的计算—统计含义。
2024-10-01 math.ST stat.TH
Minimax Optimal Quantile and Semi-Adversarial Regret via Root-Logarithmic Regularizers
University of Toronto（多伦多大学）；Spanflug Technologies GmbH（Spanflug技术有限公司）；Boston University（波士顿大学）
分位数（以及更一般的KL）遗憾界限，例如NormalHedge（Chaudhuri，Freund，and Hsu 2009）及其变体，将与最佳个体专家竞争的目标放宽到只与大多数专家竞争对抗性数据。最近，半对抗范式（Bilodeau，Negrea和Roy 2020）通过考虑可能既不完全对抗也不完全随机（i.i.d.）的数据，提供了对抗在线学习的另一种放松。我们实现了极大极小最优后悔在这两个范例中使用FTRL与单独的，新颖的，根对数正则化，这两者都可以被解释为产生的NormalHedge的变种。我们将已有的KL后悔上界推广到具有任意先验的可能不可数专家类，给出了有限专家类上分位数后悔的第一个完全信息下界（紧）;并为半对抗范式提供了一种自适应极大极小优化算法，该算法更快地适应真实的未知约束，从而导致相对于现有方法的一致改进的后悔界限。
2021-11-07 cs.LG stat.ML
Minimax Quantum State Tomography with Periodic Clifford Measurements
School of Statistics, University of Minnesota（明尼苏达大学统计学院）
该论文研究量子态层析的极小极大风险，提出周期 Clifford 测量下的自适应估计器，在多项式谱衰减类上达到最优速率，并给出高效算法与形式化验证。
2026-10-02 math.ST quant-ph stat.TH
An Efficient Minimax Optimal Estimator For Multivariate Convex Regression
Electrical Engineering and Computer Science, Massachusetts Institute of Technology（麻省理工学院电气工程与计算机科学系）；Department of Mathematics, Tel Aviv University（特拉维夫大学数学系）
本文提出了一种高效且最小最大最优的多变量凸回归估计器，适用于高维数据和多面体支持条件，解决了传统方法的最小二乘估计器次优问题。
2025-12-28 cs.LG math.MG math.ST
Plugin Estimation of Smooth Optimal Transport Maps
本文研究最优传输映射估计，提出基于观测测度最优耦合与线性光滑或非参数密度估计的插件方法，证明其极小极大最优性及更快速率，并给出 Wasserstein 距离推断结果。
2024-06-16 math.ST stat.ML stat.TH
Asymptotically Minimax Robust Likelihood Ratio Test
University Medical Center of the Johannes Gutenberg University Mainz（约翰内斯·古腾堡大学美因茨大学医学中心）；Center for Thrombosis and Hemostasis, University Medical Center Johannes Gutenberg University Mainz（约翰内斯·古腾堡大学美因茨大学医学中心血栓与止血中心）；German Center for Cardiovascular Research (DZHK), Partner Site Rhine Main, University Medical Center of the Johannes Gutenberg University Mainz（德国心血管研究联盟（DZHK）莱茵美因合作点，约翰内斯·古腾堡大学美因茨大学医学中心）
本文提出了一种统一框架，用于在分布不确定性下进行渐近最小最大稳健假设检验，通过非线性方程组计算，并验证了理论结果。
2026-02-09 cs.IT math.IT math.ST
Inference and Computation for Sparsely Sampled Random Surfaces
与一维情况相比，二维域上的函数数据的非参数推断需要额外的计算和统计挑战。协方差的可分性通常被假设为在密集观测的情况下解决这些问题。相反，我们考虑稀疏制度，其中的潜在表面观察到只有在几个不规则的位置与添加剂测量误差，并提出了一个估计的协方差的基础上局部线性平滑。因此，可分性的假设减少了固有的四维平滑问题到几个二维平滑，并允许建议的估计，以保持经典的最小最大最优收敛速度的二维平滑。即使可分性不成立，作为正则化的一种形式，强加它仍然是有利的。仿真研究表明，我们的方法实现了有利的偏差方差权衡和大规模的加速。最后，所提出的方法用于定性分析隐含波动率表面对应的看涨期权，并预测的潜在表面的基础上，从整个数据集的信息，允许不确定性量化。我们的交叉验证样本外的定量结果表明，所提出的方法优于通常的方法，预先平滑每个隐含波动率表面分别。
2021-03-18 stat.AP stat.ME
Minimax Optimal Online Imitation Learning via Replay Estimation
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）；Aurora Innovation（奥罗拉创新公司）
在线模仿学习是如何最好地模仿专家演示的问题，给定访问环境或准确的模拟器。先前的工作表明，在无限样本制度，精确的时刻匹配实现价值等价的专家政策。然而，在有限样本范围内，即使没有优化误差，经验方差也可能导致性能差距，该性能差距与用于行为克隆的$H^2 / N$和用于在线矩匹配的$H / \sqrt{N}$成比例，其中$H$是视野，$N$是专家数据集的大小。我们引入重放估计技术，以减少这种经验方差：通过在随机模拟器中重复执行缓存的专家动作，我们计算出一个更平滑的专家访问分布估计匹配。在一般函数近似的存在下，我们证明了一个Meta定理，减少了我们的方法的离线分类（即学习专家策略）的参数估计误差的性能差距。在表格设置或线性函数近似，我们的Meta定理表明，我们的方法所产生的性能差距达到最佳的$\widetilde{O} \left( \min({H^{3/2}} / {N}, {H} / {\sqrt{N}} \right)$的依赖性，在显着较弱的假设相比，以前的工作。我们在几个连续的控制任务上实现了我们的方法的多个实例，并发现我们能够在各种数据集大小上显着提高策略性能。
2023-01-14 cs.LG stat.ML
Minimax rates for learning spectral Barron functions by deep ReLU neural networks
Sun Yat-sen University（中山大学）
本文研究深度ReLU神经网络对谱Barron函数的逼近与学习，给出逼近界并证明学习速率的极小极大最优性。
2026-10-01 cs.LG cs.NA math.NA
Adversarial learning for nonparametric regression: Minimax rate and adaptive estimation
Yau Mathematical Sciences Center, Tsinghua University（清华大学应用数学科学中心）
本文在非参数回归框架下研究未来X攻击的对抗学习统计最优性，建立了对抗L_q风险下的极小极大收敛速率，提出达到该速率的分段局部多项式估计量，并构造了在广泛非参数与对抗类上近乎最优的数据驱动自适应估计量。
2025-06-02 cs.LG math.ST stat.ME
Minimax-optimal and Locally-adaptive Online Nonparametric Regression
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；INRIA（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）；Vienna University（维也纳大学）
本文针对对抗性在线非参数回归提出一种无参数算法，通过修剪链式树动态适应局部 Hölder 平滑性，首次实现计算高效且局部自适应的极小极大最优速率。
2025-04-11 cs.LG math.ST stat.ML
Multivariate density estimation from privatised data: universal consistency and minimax rates
我们重新审视经典的非参数密度估计问题，但施加局部差分隐私约束。在这样的约束下，原始的多变量数据$X_1,\ldots,X_n \in \mathbb{R}^d$不能被直接观察到，并且所有的估计量都是合适的隐私机制的随机输出的函数。统计学家是自由选择的形式的隐私机制，在这项工作中，我们建议添加拉普拉斯分布噪声的离散化的矢量$X_i$的位置。基于这些随机化数据，我们设计了一种新的估计的密度函数，这可以被看作是一个私有化的版本，研究直方图密度估计。我们的理论结果包括泛逐点相容性和强泛$L_1$ -相容性。此外，还得到了Lipschitz函数类上的一个收敛速度，并给出了一个匹配的minimax下界.我们通过一个小的模拟研究说明了数据效用和隐私之间的权衡。
2022-11-12 math.ST stat.ME stat.TH
Empirical entropy, minimax regret and minimax risk
University of Pennsylvania（宾夕法尼亚大学）；Cornell University（康奈尔大学）；CREST-ENSAE（法国国家统计与经济管理学院（CREST-ENSAE））
考虑了平方损失的随机设计回归模型。我们提出了一种方法，聚集经验极小（ERM）在适当选择的随机子集，并减少到ERM在极端情况下，我们建立尖锐的预言不等式的风险。我们表明，在经验$\varepsilon$ -熵的$\varepsilon^{-p}$增长下，所提出的方法的超额风险对于$p\in(0,2)$达到率$n^{-2/(2+p)}$，对于$p>2$达到率$n^{-1/p}$，其中$n$是样本量。此外，对于$p\in(0,2)$，超额风险率匹配函数估计的极小极大风险在良好指定的模型下的回归问题中的行为。由此得出结论，在$p\in(0,2)$方案中，在明确指定的模型（极大极小风险）和错误指定的模型（极大极小后悔）中的统计估计率是相等的。换句话说，对于$p\in(0,2)$，统计学习问题与统计估计问题享有相同的极大极小化率。相反，对于$p>2$，我们表明，在一般情况下，最小最大后悔率比最小最大风险慢。我们的预言不等式还意味着$v\log(n/v)/n$率Vapnik-Chervonenkis型类的尺寸$v$没有通常的凸性假设的类，我们表明，这些利率是最优的。最后，对于一个稍微修改的方法，我们推导出一个界限上的超额风险的$s$ -稀疏凸聚集改进，Lounici [数学。16（2007）246-259]并提供最佳速率。
2017-07-03 cs.LG math.ST stat.TH
Minimax Rate of Distribution Estimation on Unknown Submanifold under Adversarial Losses
从高维低维结构数据中进行统计推断的研究近年来引起了人们的广泛关注。在机器学习中，深度生成建模方法通过从底层分布创建新样本来隐式地估计复杂对象的分布，并且在生成合成的逼真图像和文本方面取得了巨大成功。这些方法中的关键步骤是提取潜在特征或表示（编码），这些特征或表示可用于准确重建原始数据（解码）。换句话说，低维流形结构被隐含地假设并用于分布建模和估计。为了理解低维流形结构在生成建模中的好处，我们建立了一个通用的极小极大框架，用于在对抗损失下对未知子流形进行分布估计，并对目标分布和流形进行适当的平滑假设。所建立的极大极小率阐明了各种问题特征，包括数据的内在维数和目标分布和流形的平滑程度，如何影响高维分布估计的基本限制。为了证明极大极小上界，我们构建了一个估计的基础上的混合本地拟合生成模型，这是出于从微分几何的单位分解技术，是必要的，以涵盖的情况下，底层的数据流形不承认一个全球参数化。我们还提出了一个数据驱动的自适应估计，同时达到在一个对数因子的最佳速率在一个大的集合的分布类。
2022-02-18 math.ST stat.TH
Goodness-of-fit testing and quadratic functional estimation from indirect observations
我们考虑卷积模型，其中i.i.d.具有未知密度$f$的随机变量$X_i$用加性i.i.d.独立于$X$的噪声。我们假设密度$f$属于Sobolev类或超光滑函数类。噪声分布是已知的，并且其特征函数以多项式或指数方式渐近衰减。本文研究卷积模型的拟合优度检验问题。我们证明了间接观测的基础上，从核估计的二次函数$\int f^2$的检验统计量的风险的上界。当未知密度比噪声密度足够平滑时，我们证明了该估计量是$n^{-1/2}$相容的、渐近正态的和有效的（对于我们计算的方差）。否则，我们给非参数上界的风险相同的估计。我们给出了一个统一的方法证明这两个问题的非参数极大极小下界。我们建立他们的索伯列夫密度和超光滑密度比指数噪声更不平滑。在这两个设置中，我们获得了与渐近极大极小速率相关的精确检验常数。
2007-11-21 math.ST stat.TH
Memory Efficient And Minimax Distribution Estimation Under Wasserstein Distance Using Bayesian Histograms
该研究提出基于贝叶斯直方图的分布估计方法，证明在d<2v时其内存效率优于现有极小极大最优方法，构建速度达超线性，在低维Wasserstein距离场景下实用价值高并经仿真验证。
2023-07-19 math.ST stat.CO stat.ML
Smoothed Analysis of Sequential Probability Assignment
Caltech（加州理工学院）；UC Berkeley（加州大学伯克利分校）
本文首先研究了带上下文的序贯概率分配问题的平滑分析。我们研究信息理论上的最优极大极小率以及涉及最大似然估计甲骨文算法减少的框架。我们的方法建立了一个通用的减少，从最小化最大率的顺序概率分配平滑的对手，最小化最大率的转导学习。这导致了参数类和有限VC维类的最佳（对数）快速速率。在算法方面，我们开发了一种算法，有效地挖掘到MLE甲骨文，一般类的功能。我们表明，在一般条件下，这种算法的方法产生次线性遗憾。
2023-03-08 cs.DS cs.IT cs.LG
ConquerNet: Convolution-Smoothed Quantile ReLU Neural Networks with Minimax Guarantees
Department of Statistics and Data Science（统计与数据科学系）
ConquerNet通过卷积平滑技术解决分位数回归中非光滑损失函数的优化难题，提供非渐近风险界，并在多个分位数水平上提升估计精度和训练效率。
2026-05-07 cs.LG stat.ML
On recursive estimation for time varying autoregressive processes
本文研究非参数时变自回归过程的递推估计问题。当时变自回归参数属于适当的光滑类时，重新讨论了模型的稳定性，并给出了一致的结果。在递归估计过程中使用的校正项的适当归一化允许对新息分布进行非常温和的假设。证明了点态估计的收敛速率在$0<β\leq1$的$β$ -Lipschitz类中是极小极大的.对于$1<β\leq 2$，此属性不再有效。这可以通过使用估计误差的渐近展开看出。然后，提出了一种减少偏差的方法来恢复最小最大速率。
2006-03-02 math.ST stat.TH
Adaptive Estimation of Convex Sets and Convex Polytopes from Noisy Data
我们估计凸多胞体和一般凸集$\mathbb R^d,d\geq 2$的回归框架。我们使用一个$L^1$型损失函数来衡量我们的估计的风险，并证明这些风险的上界。我们表明，在多面体的情况下，这些估计达到极大极小率。对于多面体，这个极大极小率是$\frac{\ln n}{n}$，这不同于非正规家庭的参数率的对数因子，我们表明，这个额外的因素是必不可少的。使用多面体近似，我们将我们的结果扩展到一般的凸集，我们实现了极大极小率的对数因子。此外，我们提供了一个估计，是自适应的未知多面体的顶点数，我们证明了这个估计是最佳的在所有类的多面体与给定的顶点数。
2012-11-14 math.ST stat.TH
Benign overfitting and adaptive nonparametric regression
CREST-ENSAE（Crest-法国国立统计与经济管理学院）
在非参数回归中，我们构造了一个估计器，它是一个连续函数，以高概率插值数据点，同时在Hölder类尺度上自适应地获得均方风险下的Minimax最优收益率。
2022-06-27 cs.LG math.ST stat.ML
Support and distribution inference from noisy data
该研究针对支撑集未知的含噪分布观测问题，拓展了无需已知噪声分布的反卷积理论，给出可恢复支撑集类别，证明支撑集估计的自适应极小极大速率，还提出紧支撑分布的估计量并给出Wasserstein距离下的速率及匹配下界。
2024-06-20 math.ST stat.TH
Minimax and adaptive inference for branching ratios under long memory
Faculty of Engineering, Universidad del Desarrollo（发展大学工程学院）
针对长记忆霍克斯过程的分支比率推断，提出极小极大下界与块分散估计器，并给出自适应规则及诚实置信区间。
2026-10-01 math.ST stat.AP stat.TH
Optimal Recovery Meets Minimax Estimation
本文解决了现有极小化极大速率未仔细考虑噪声水平依赖的问题，确定了Besov类在$L_q$-范数误差下的噪声水平感知（NLA）极小化极大速率，实现了与最优恢复速率的调和。
2025-05-28 cs.NA math.NA math.ST
Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks
The University of Tokyo（东京大学）；Preferred Networks, Inc.（Preferred Networks公司）；RIKEN（理化学研究所）
本文提出一种ResNet型CNN，在宽度、通道数和滤波器大小恒定的稠密结构下即可达到Hölder类等函数类的极小极大最优误差率，并通过块稀疏FNN到CNN的逼近率自动转化理论，给出了Barron类和Hölder类的误差率。
2023-08-13 cs.LG math.ST stat.ML
Exact minimax risk for density estimators in non-integer Sobolev classes
证明了具有非整数光滑指数的Sobolev密度类的$L\_2$ -极大极小风险与整数Sobolev密度类的$L\_2$ -极大极小风险具有相似的形式.为此，Sobolev类的概念被推广到分数阶导数$β\in\mathbb R^+$。本文给出了这类函数的极大极小核密度估计，虽然目前文献中还没有相应的证明，但本文的结果在许多文献中得到了应用。因此，不能否认必须填补这一空白的某种必要性。
2005-04-19 math.ST stat.TH
Adaptive Gaussian inverse regression with partially unknown operator
本文研究了重构函数$f$的不适定反问题，其中$A$是一个具有未知奇异值和已知特征函数的紧线性算子，函数$f$隐式地给出为$g = Af$的解.我们观察到的功能$g$和奇异值的运营商受到高斯白噪声与各自的噪声水平$\varepsilon$和$σ$。我们开发了一个极大极小理论的噪声水平，并提出了一个正交系列估计达到极大极小率。该估计器需要根据$f$和$A$的某些特性来最优地选择维度参数。这项工作解决了完全数据驱动的尺寸参数的选择相结合的模型选择与Lepski的方法。我们表明，完全数据驱动的估计保留了极大极小最优性在广泛的类$f$和$A$和噪声水平$\varepsilon$和$σ$。考虑索伯列夫空间和轻度和严重不适定反问题的结果进行了说明。
2012-04-05 math.ST stat.TH
Wasserstein GANs are Minimax Optimal Distribution Estimators
本文证明 WGAN 估计器在估计光滑前推测度时能达到极小极大最优收敛速率，并推导出 Hölder IPM 间的尖锐插值不等式。
2025-03-12 math.ST stat.TH
