Minimax Learning for Remote Prediction
监督学习的经典问题是通过使用有限数量的标记训练样本从测量变量$X$推断目标变量$Y$的准确预测器。出于越来越多的分布式数据和决策的性质，在本文中，我们认为这个经典的问题，其中预测是远程进行基于速率约束的描述$M$的$X$的变化。在接收到$M$时，远程节点计算$Y$的估计$\hat Y$。我们遵循最近的极大极小的方法来研究这个学习问题，并表明它对应于一个一次性的极大极小噪声信源编码问题。然后，我们建立风险率拉格朗日成本的信息理论界和一个一般的方法来设计一个接近最优的预测器估计对，这可以被看作是一个率约束模拟的最大条件熵的原则，在经典的极大极小学习问题。我们的研究结果表明，一个朴素的估计压缩方案的速率约束预测是不是在一般情况下最优的。
2018-11-05 cs.IT math.IT
The Nearest Neighbor Information Estimator is Adaptively Near Minimax Rate-Optimal
我们分析了Kozachenko-Leonenko（KL）最近邻估计的微分熵。我们获得了其性能的第一个统一的上限在一个环面上的Hölder球，而不假设任何条件的密度可以从零接近。伴随着一个新的极大极小下界的Hölder球，我们表明，KL估计实现极大极小率对数因子没有认识到的平滑参数$s$的Hölder球$s\in (0,2]$和任意尺寸$d$，使它的第一个估计，证明满足这一属性。
2018-09-12 cs.IT math.IT stat.ML
Minimax Rates of Estimating Approximate Differential Privacy
差分隐私已经成为一个被广泛接受的隐私概念，导致了许多私有化机制的引入和部署。然而，确保隐私保证是一个容易出错的过程，无论是在设计机制和实现这些机制。如果我们有一个数据驱动的方法来验证隐私保证，从黑盒访问到机制，这两种类型的错误都会大大减少。我们把它作为一个属性估计问题，并研究基本的权衡估计隐私保证的准确性和所需的样本数量。我们介绍了一种新的估计，使用多项式逼近的精心选择的程度，以最佳的权衡偏差和方差。与$n$样本，我们表明，这种估计实现了一个简单的插件估计与$n \ln n$样本，被称为有效的样本大小放大的现象的性能。通过与一个匹配的基本下界比较，证明了该估计量的极大极小最优性。
2019-05-24 cs.IT math.IT
Volume Ratio, Sparsity, and Minimaxity under Unitarily Invariant Norms
本文提出了一种新的机器研究非渐近极小极大估计的高维矩阵，它产生紧极小极大率的大量收集的损失函数在各种问题。基于有限维巴拿赫空间的凸几何，本文首先给出了一种确定无约束正规平均矩阵在所有平方酉不变范数损失下的Minimax估计率的体积比方法.此外，我们建立了极大极小率估计平均矩阵与子矩阵稀疏，其中的稀疏约束引入了一个额外的长期的依赖于范数的速率完全不同的无约束问题的速率。此外，该方法适用于低秩约束下的矩阵完备化问题。新方法还扩展了正常均值模型。特别地，对于所有酉不变范数，它在协方差阵估计和泊松率矩阵估计问题中产生紧速率。
2013-06-15 cs.IT math.IT math.ST
Minimax Optimal Estimation of KL Divergence for Continuous Distributions
从完全相同且独立分布的样本中估计Kullback-Leibler散度是一个重要的问题。一个简单而有效的估计是基于这些样本之间的k个最近邻距离。在本文中，我们分析了这种估计的偏差和方差的收敛速度。此外，我们推导出了极大极小均方误差的下界，并证明了kNN方法是渐近速率最优的。
2020-02-26 cs.IT math.IT stat.ML
Minimax rates of entropy estimation on large alphabets via best polynomial approximation
考虑从$n$独立样本估计$k$元素上分布的香农熵的问题。我们表明，极小极大均方误差是在通用乘法常数因子的$$\Big(\frac{k }{n \log k}\Big)^2 + \frac{\log^2 k}{n}$$，如果$n$超过一个常数因子的$\frac{k}{\log k}$，否则不存在一致的估计。这完善了Valiant-Valiant \cite{VV11}的最新结果，即一致熵估计的最小样本量根据$Θ(\frac{k}{\log k})$进行缩放。最佳多项式逼近的装置在最佳估计量的构造中起着关键作用，并且通过对偶性参数，极大极小下界。
2016-02-18 cs.IT math.IT math.ST
Minimax Rate-Optimal Estimation of Divergences between Discrete Distributions
研究了整数$α\ge 1$离散分布间$α$ -发散的极小极大估计，其中包括Kullback-Leibler发散和$χ^2$ -发散作为特例.放弃通常的理论技巧，以获得独立性，我们构建了第一个极大极小率最优估计，不需要任何泊松化，样本分裂，或明确的近似多项式的建设。估计器使用一种混合的方法，解决了一个问题独立的线性规划的基础上矩匹配在非光滑政权，并适用于一个问题相关的偏差校正插件估计在光滑政权，与软决策边界这些政权之间。
2021-03-03 cs.IT math.IT math.ST
Minimax Optimal Rates of Estimation in High Dimensional Additive Models: Universal Phase Transition
在高维可加模型近似稀疏的条件下，建立了估计的极小极大最优收敛速度。我们的结果揭示了一个有趣的相变行为普遍这类高维问题。在{ \it稀疏区域}中，当分量足够平滑或维数足够大时，最佳速率与高维线性回归的速率相同，因此不存在接受非参数模型的额外成本。否则，在所谓的{ \it平滑区域}中，速率与用于估计单变量函数的最优速率一致，因此它们不受“维数灾难”的影响。
2015-03-10 cs.IT math.IT math.ST
Local Privacy and Minimax Bounds: Sharp Rates for Probability Estimation
我们提供了一个详细的研究估计的概率分布-离散和连续-在一个严格的设置中，数据是保密的，甚至从统计学家。我们给尖锐的极小极大收敛率估计在这些本地私人的设置，隐私和收敛速度之间表现出根本的权衡，以及提供的工具，让运动沿隐私统计效率连续。我们的研究结果的后果之一是，华纳的经典工作随机响应是一个最佳的方式进行调查抽样，同时保持受访者的隐私。
2013-05-26 cs.CR cs.IT math.IT
Minimax Optimal Additive Functional Estimation with Discrete Distribution: Slow Divergence Speed Case
本文讨论了$ϕ$的一个可加泛函$θ(P;ϕ)=\sum_{i=1}^kϕ(p_i)$的估计问题，其中给定$n$ i.i.d.从离散分布$P=(p_1,...,p_k)$中抽取的随机样本，字母大小为$k$。我们在前面的文章中已经揭示了这个问题的minimax最优率是由$ϕ$的四阶导数在快发散速度范围内的发散速度来表征的。在本文中，我们证明了这一事实的一个更广泛的范围内的发散速度。结果表明，在发散速度参数$α$的每一个取值范围内，可加函数估计的极小极大最优率都是存在的。对于$α\in (1,3/2)$，我们证明了极大极小化率是$\frac{1}{n}+\frac{k^2}{(n\ln n)^{2α}}$。此外，我们还证明了对于$α\in [3/2,2]$，极小极大速率是$\frac{1}{n}$。
2018-01-12 cs.IT math.IT math.ST
Local minimax rates for closeness testing of discrete distributions
Magdeburg University（马格德堡大学）；Pennsylvania State University（宾夕法尼亚州立大学）
本文研究了离散分布的封闭性检验问题。目标是区分两个样本是否来自同一个未指定的分布，或者它们各自的分布是否在$L_1$ -范数中分离。在本文中，我们专注于适应率的基本分布的形状，即我们认为\textit{a local minimax setting}。我们提供了，据我们所知，第一个本地的极大极小率的分离距离的对数因子，连同一个测试，实现it. In率，接近度测试原来是大大困难比相关的单样本测试问题在广泛的情况下。
2021-01-19 cs.IT cs.LG math.IT
A Convex Formulation for Mixed Regression with Two Components: Minimax Optimal Rates
The University of California, Berkeley（加州大学伯克利分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究了在对抗噪声和随机噪声下的两个分量的混合回归问题。我们给出了一个凸优化公式，可证明恢复的真实解，并提供上界的恢复误差为任意噪声和随机噪声设置。我们还匹配极大极小下界（对数因子），表明在一定的假设下，我们的算法是信息理论上最优的。我们的研究结果代表了第一个易于处理的算法，保证成功恢复与紧界恢复错误和样本的复杂性。
2015-02-13 cs.IT cs.LG math.IT
Noisy recovery from random linear observations: Sharp minimax rates under elliptical constraints
约束参数空间的估计问题出现在各种设置。在许多这些问题中，统计学家可用的观察结果可以被建模为随机线性算子的图像的噪声实现;一个重要的特殊情况是随机设计回归。我们推导出任意紧椭圆参数集的估计率，并演示了它们如何依赖于随机线性算子的分布。我们的主要结果是一个功能，其特点的最小最大估计率的噪声水平，法律的随机算子，和椭圆规范，定义的误差度量和参数空间。这个非渐近结果是尖锐的，直到一个显式的普适常数，它成为渐近精确的半径的参数空间允许增长。我们通过将其应用于参数和非参数回归问题，包括涉及分布偏移或相关协变量的问题，证明了结果的一般性。
2023-03-22 cs.IT math.IT math.ST
Minimax rates of estimation for high-dimensional linear regression over $\ell_q$-balls
考虑标准线性回归模型$\y = \Xmat \betastar + w$，其中$\y \in \real^\numobs$是观测向量，$\Xmat \in \real^{\numobs \times \pdim}$是设计矩阵，$\betastar \in \real^\pdim$是未知回归向量，而$w \sim \mathcal{N}(0, σ^2 I)$是加性高斯噪声。本文研究了在$\ell_\rpar$ -损失和$\ell_2$ -预测损失情况下估计$\betastar$的极小极大收敛速度，假设$\betastar$是一个$\ell_{\qpar}$ -球$\Ballq(\myrad)$，对于某些$\qpar \in [0,1]$ .我们表明，在适当的规则性条件下的设计矩阵$\Xmat$，在$\ell_2$ -损失和$\ell_2$ -预测损失规模为$\Rq \big(\frac{\log \pdim}{n}\big)^{1-\frac{\qpar}{2}}$的极小极大误差。此外，我们提供了最小最大风险的$\ell_{\rpar}$ -规范的下限，所有$\rpar \in [1, +\infty], \rpar \neq \qpar$。我们的证明的下界是信息理论的性质，基于Fano的不等式和结果的度量熵的球$\Ballq(\myrad)$，而我们的证明的上界是直接的和建设性的，…
2009-10-11 cs.IT math.IT math.ST
Local Privacy, Data Processing Inequalities, and Statistical Minimax Rates
在一个隐私模型下，即使从统计学家那里，数据仍然是私有的，我们研究了隐私保证和所产生的统计估计的效用之间的权衡。我们证明了信息理论的数量，包括互信息和Kullback-Leibler分歧，这取决于隐私保证的界限。当结合标准的极大极小技术，包括Le Cam，Fano和Assouad方法，这些不平等允许在本地隐私约束下的统计率的精确表征。我们提供了几个典型的家庭的问题：平均估计，参数估计在固定设计回归，多项式概率估计，和非参数密度估计的治疗。对于所有这些家庭，我们提供的下限和上界，匹配常数因子，并展示新的（最佳）隐私保护机制和计算效率的估计，实现界限。
2014-08-27 cs.CR cs.IT math.IT
Goodness-of-Fit Testing for Hölder-Continuous Densities: Sharp Local Minimax Rates
考虑Hölder光滑密度在$\mathbb{R}^d$上的拟合优度检验问题：给定$n$ iid观测值和未知密度$p$，给定已知密度$p_0$，我们研究$ρ$应该有多大才能以高概率区分$p=p_0$和所有Hölder光滑密度$p$的复合替代，使得$\|p-p_0\|_t \geq ρ$其中$t \in [1,2]$ .假设密度在$\mathbb{R}^d$上定义，并具有Hölder平滑参数$α>0$。在目前的工作中，我们解决的情况下，$α\leq 1$和处理的情况下，$α>1$使用额外的技术限制的密度。我们确定匹配的上限和下限的局部极小极大率的测试，明确给出的$p_0$。我们提出了新的测试统计，我们相信这可能是独立的利益。我们还建立了一个明确的截止$u_B$的第一个定义，允许我们分裂$\mathbb{R}^d$成一个散装部分（定义为$\mathbb{R}^d$的子集，其中$p_0$只取大于或等于$u_B$的值）和尾部部分（定义为互补的散装），每个部分涉及根本不同的贡献，本地极小极大率的测试。
2023-03-17 cs.IT math.IT math.ST
Hypothesis Testing For Densities and High-Dimensional Multinomials: Sharp Local Minimax Rates
Carnegie Mellon University（卡内基梅隆大学）
我们考虑的拟合优度检验问题区分数据是否来自一个指定的分布，与一个复合替代分离的空在全变差度量。在离散的情况下，我们考虑拟合优度测试时，零分布有可能增长或无界的类别数。在连续的情况下，我们考虑测试的Lipschitz密度，可能无界的支持，在低光滑度制度的Lipschitz参数不被假定为常数。在现有的结果相比，我们表明，极大极小率和临界测试半径在这些设置强烈依赖，并在一个精确的方式，对零分布进行测试，这激发了研究的（本地）极大极小率作为一个功能的零分布。对于多项式的局部极小极大率最近研究的工作，英勇和英勇。我们重新访问和扩展他们的结果，并开发两个修改卡方检验的性能，我们的特点。为了测试Lipschitz密度，我们表明，通常的分仓测试是不够的，在低平滑度制度，我们设计了一个空间自适应分区方案，形成我们的局部极小极大最优测试的基础。此外，我们提供了第一个本地极大极小下界这个问题产生一个尖锐的表征的依赖临界半径的原假设进行测试。在低平滑度区域，我们还提供了自适应测试，以适应未知的平滑度参数。我们通过各种模拟来说明我们的结果，这些模拟证明了我们提出的测试的实际效用。
2017-06-30 cs.IT cs.LG math.IT
Quantizing Heavy-tailed Data in Statistical Estimation: (Near) Minimax Rates, Covariate Quantization, and Uniform Recovery
本文提出截断与抖动预处理结合均匀量化的方案，证明在协方差估计、压缩感知和矩阵补全中可实现近极小极大误差速率，并针对协变量量化下的非凸恢复及重尾噪声建立近最优一致恢复保证。
2023-07-26 cs.IT math.IT math.ST
The Minimax Rate of HSIC Estimation for Translation-Invariant Kernels
Institute for Program Structures and Data Organization（程序结构与数据组织研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Department of Statistics（统计系）；London School of Economics（伦敦政治经济学院）
本文研究了HSIC估计的极小化极大速率，证明了在$\mathbb R^d$上包含高斯分布的Borel测度和连续有界平移不变特征核下，该速率为$\mathcal O(n^{-1/2})$，并证实了常用估计器的最优性。
2024-10-14 cs.IT cs.LG math.IT
Minimax Distribution Estimation in Wasserstein Distance
Carnegie Mellon University（卡内基梅隆大学）
Wasserstein度量是概率分布之间距离的重要度量，在机器学习、统计学、概率论和数据分析中有应用。本文仅使用样本空间的度量性质（如覆盖数和堆积数）和对概率分布的弱矩假设，给出了估计Wasserstein损失下概率分布的统计极大极小率的上界和下界.
2019-11-07 cs.IT cs.LG math.IT
Continuum-Armed Bandits: A Function Space Perspective
Carnegie Mellon University（卡内基梅隆大学）
连续武装匪徒（又名，黑盒或$0^{th}$阶优化）涉及在给定在查询点处评估函数的oracle的情况下优化未知目标函数，其目标是使用尽可能少的查询点。在最好的研究情况下，目标函数被假定为Lipschitz连续和minimax率的简单和累积的遗憾是已知的，在无噪声和嘈杂的设置。本文研究了目标函数在更一般的光滑性条件即Besov光滑性条件下的连续武装土匪问题。在无噪声和有噪声的条件下，我们得到了简单的和累积的遗憾下的极大极小率。我们的结果表明，极小极大率在目标函数的Besov空间是相同的极小极大率在最小的Hölder空间的Besov空间嵌入的目标函数。
2021-03-21 cs.IT cs.LG math.IT
