Conditioned Poisson distributions and the concentration of chromatic numbers
Achlioptis和Naor利用一个微妙的不等式建立了Erdos-Renyi随机图的色数的渐近集中性,本文给出了一个简单的证明方法.这些简化来自两个新的想法。第一个涉及一个尖锐的形式,一块统计民间传说的拟合优度测试双向表的泊松计数线性条件约束下。第二个想法采取的形式,一个新的不等式,控制极端的尾巴分布的二次型独立泊松随机变量。
2011-07-19 cs.DM math.ST stat.TH
Tails assumptions and posterior concentration rates for mixtures of Gaussians
如今,在密度估计中,高斯的位置和位置-尺度混合的后验收敛率仅在轻尾假设下是已知的;通过位置混合实现更好的速率。这是明确的,但没有证明,这种情况下应该扭转重尾假设。该猜想是基于这样的感觉,即没有必要在数据很少的区域(例如,在尾部)实现良好的近似顺序,有利于位置-尺度混合,允许空间变化的近似顺序。在这里,我们测试了前面的论点的高斯误差均值回归模型与随机设计,其中轻尾假设是不需要的证明。虽然我们不能无效的猜想,由于缺乏下界,我们发现,即使有重尾假设,位置规模的混合物显然总是比位置混合最差。然而,证据表明,引入混合位置规模的混合物,发现优于位置和位置规模的混合物,无论性质的尾巴。最后,我们表明,所有的尾部假设可以释放的代价,使协变量的先验分布依赖。
2016-08-23 math.ST stat.TH
Heavy-tailed Streaming Statistical Estimation
Carnegie-Mellon University(卡内基梅隆大学)
我们考虑流$p$维样本的重尾统计估计的任务。这也可以被看作是重尾分布下的随机优化,具有额外的$O(p)$空间复杂度约束。我们设计了一个裁剪的随机梯度下降算法,并提供了一个改进的分析,在一个更细致入微的条件下的随机梯度的噪声,我们表明是至关重要的,当分析随机优化问题所产生的一般统计估计问题。我们的结果保证收敛不仅在预期中,但指数浓度,而且这样做使用$O(1)$批量大小。我们提供了我们的平均估计和线性回归的结果的后果。最后,我们通过均值估计和线性回归的合成实验,提供了我们的结果和算法的经验佐证。
2022-02-25 cs.LG math.OC stat.ML
Adaptive global thresholding on the sphere
本文研究了在全局阈值框架下$d$维球面上非参数回归估计的自适应性质。的估计是通过一种形式的球面小波,所谓的针状,它享有很强的浓度属性在调和域和实域。作者建立了这些估计的$L^p$ -风险的收敛速度,着重于它们的极大极小性质,并证明了它们在非参数正则性函数空间,即Besov空间上的最优性。
2016-07-26 math.ST stat.TH
Weighted Poincaré inequalities, concentration inequalities and tail bounds related to the Stein kernels in dimension one
我们调查之间的联系,所谓的斯坦的密度方法在一维和一些功能和浓度不等式。我们表明,措施有一个有限的第一时刻和密度与连接支持满足加权Poincaré不等式的重量是斯坦内核,确实存在,在这种情况下是唯一的。进一步证明了与Stein核相关的加权log-Sobolev型不等式和非对称Brascamp-Lieb型不等式。我们还表明,存在一个一致有界的Stein内核是足以确保一个积极的Cheeger等周常数。然后,我们得到新的浓度不等式。特别地,我们证明了Stein核一致有界时的广义Mills型不等式和具有次线性Stein核的Lipschitz函数的次Gamma集中性.当某些指数矩是有限的时,利用Stein核的拉普拉斯变换的Legendre-Fenchel变换,给出了一个一般的浓度不等式.一路上,我们证明了一个一般的引理边界的随机变量的拉普拉斯变换,这应该是有用的,在许多其他情况下推导浓度不等式。最后,我们提供密度和尾部公式以及尾部边界,推广以前的结果,在Malliavin演算的上下文中获得。
2018-11-23 math.PR math.ST stat.TH
Sparsified-Learning for High-Dimensional Heavy-Tailed Locally Stationary Time Series, Concentration and Oracle Inequalities
Huaiyin Institute of Technology(淮阴工学院)
本文提出了一种适用于高维厚尾局部平稳时间序列的稀疏学习框架,结合加法建模与核平滑,推导了集中性不等式并建立了预测误差界,探讨了不同稀疏结构下的收敛率。
2026-02-08 cs.LG math.ST stat.ML
Universal concentration for sums under arbitrary dependence
School of Data Science, The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)数据科学学院)
本文提出了一种适用于任意依赖的随机变量和的通用集中界,并通过构造渐近极值耦合证明其渐近最优性,同时给出了基于凸变换顺序的实用充分条件以简化尾部特征。
2026-03-04 math.PR math.ST stat.TH
Concentration Inequalities for U-Statistics: A Survey with Explicit Constants
University of California, Berkeley(加州大学伯克利分校)
本综述收集并推导了带有显式常数的U统计量集中不等式相关经典结果,还概述了退化假设下的更尖锐界及重尾核的鲁棒方法,并通过数值示例分析了显式界的保守性。
2026-08-11 math.ST stat.TH
Some compact notations for concentration inequalities and user-friendly results
Princeton University(普林斯顿大学)
本文给出了集中不等式的简洁符号和简化概率分析的方便结果。新的表达式描述了随机变量的典型大小和尾部,允许简单的操作,而无需大量使用不必要的常数。他们桥梁古典渐近符号和现代非渐近尾界在一起。不同种类的例子证明了它们的功效。
2020-04-26 cs.IT cs.LG math.IT
Sharp Concentration Inequalities: Phase Transition and Mixing of Orlicz Tails with Variance
University of Southern California(南加州大学)
本文研究了子Weibull随机变量的精确集中不等式,揭示了在α=2时的相变现象,并通过min和max函数结合方差和OrliczΨ_α尾部,提出新的改进不等式,应用于各种统计和机器学习场景。
2026-03-26 math.PR math.ST stat.ML
Posterior concentration and fast convergence rates for generalized Bayesian learning
Dalhousie University(达尔豪斯大学);University of Science(理大学);Vietnam National University(越南国立大学);AISIA Research Lab(AISIA研究实验室);University of Delaware(特拉华大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文研究了一般情形下广义Bayes估计的学习率,其中假设类可以是不可数的且形状不规则,损失函数可以有重尾,最优假设可能不唯一.证明了在多尺度Bernstein条件下,广义后验分布集中在最优假设集附近,广义Bayes估计具有较快的学习速度.我们的结果表明,标准的贝叶斯线性回归是强大的重尾分布。
2021-11-19 cs.LG math.ST stat.TH
Sharper Sub-Weibull Concentrations
常数和指数浓度不等式在机器学习和高维统计领域的有限样本理论中起着重要的作用。我们得到更清晰和常数指定的浓度不等式的总和独立的子威布尔随机变量,这导致了两个尾巴的混合物:子高斯小偏差和子威布尔大偏差从平均值。这些界限是新的,并改善现有的界限与尖锐的常数。此外,如果斜体,则应保留新的子威布尔参数。请检查全文。也提出了,这使得恢复紧浓度不等式的随机变量(向量)。在统计应用方面,当重尾协变量服从稀疏结构的次威布尔分布时,我们给出了负二项回归系数估计的一个$\ell_2$ -误差,这是负二项回归的一个新结果.在应用随机矩阵时,我们得到了具有指数尾界的次威布尔项的白音定理的非渐近形式。最后,通过证明不带二阶矩条件的对数截尾Z-估计的次Weibull置信区域,讨论并定义了不带指数矩条件的独立观测值$\{X_i\}_{i=1}^{n}$的次Weibull型稳健估计.
2022-06-26 math.PR math.ST stat.ML
Exponential Concentration Inequalities For Independent Random Vectors Under Sublinear Expectations
Yale University(耶鲁大学)
本文首次在亚线性期望下提出多变量样本均值的指数集中不等式,通过亚高斯尾界和无维度界等方法,证明了样本均值与Minkowski平均的距离具有最优的亚高斯收敛速率。
2026-02-25 math.PR math.ST stat.TH
Bernstein-type dimension-free concentration for self-normalised martingales
University of Oxford(牛津大学);University of Alberta(阿尔伯塔大学)
本文提出了一种无维的伯恩斯坦型尾界不等式,用于自归一化鞅,其中归一化使用可预测的二次变分,半径取决于观测协方差的信息增益。应用包括为具有自适应选择的希尔伯特值协变量的逻辑回归提供椭球置信序列,以及为希尔伯特臂逻辑带宽提供实例自适应的后悔界。
2026-05-18 math.PR math.ST stat.TH
Order-Optimal Sequential 1-Bit Mean Estimation in General Tail Regimes
National University of Singapore(新加坡国立大学)
本文针对1比特通信约束下的均值估计问题,提出一种基于随机化阈值查询的自适应估计器,在任意固定k>1的尾分布下达到样本复杂度阶数最优,并揭示了非自适应估计的显著差距。
2026-05-22 cs.IT cs.LG math.IT
Robust Estimation in metric spaces: Achieving Exponential Concentration with a Fréchet Median
针对重尾数据下统计估计器的指数集中问题,将适用空间从欧几里得等扩展到更通用的CAT($κ$)空间,提出弗雷歇中位数的一般集中界,通过理论示例与模拟验证其有效性,为更广泛度量空间的鲁棒估计提供方法。
2025-04-19 math.MG math.ST stat.ML
Time-Uniform Self-Normalized Concentration for Vector-Valued Processes
本文为满足 sub-$ψ$ 尾部条件的多变量过程构造了通用的自归一化集中不等式,推导出紧致的迭代对数上定律,并应用于在线线性回归和自回归建模等统计任务。
2025-05-01 math.PR math.ST stat.ME
Variations and extensions of the Gaussian concentration inequality, Part II
本文证明了$f\left( X\right) $关于其中值的浓度不等式,其中$X$是$\mathbb{R}^n$中具有独立重尾坐标的Weibull型或幂型随机向量,$f:\mathbb{R}^n\rightarrow\mathbb{R}$是局部Lipschitz函数.本文是一系列四篇论文的一部分,第一部分,第二部分和两个辅助文件。它可以独立于第一部分阅读。
2022-08-11 math.PR math.ST stat.TH
On the Non-Asymptotic Concentration of Heteroskedastic Wishart-type Matrix
本文主要研究异方差Wishart型矩阵的非渐近集中性。假设$Z$是一个$p_1$ -by- $p_2$随机矩阵,并且$Z_{ij} \sim N(0,σ_{ij}^2)$是独立的,我们证明了Wishart矩阵偏差的期望谱范数(即,$\mathbb{E} \left\|ZZ^\top - \mathbb{E} ZZ^\top\right\|$)的上界为\begin{equation*} \begin{split} (1+ε)\left\{2σ_Cσ_R + σ_C^2 + Cσ_Rσ_*\sqrt{\log(p_1 \wedge p_2)} + Cσ_*^2\log(p_1 \wedge p_2)\right\}, \end{split} \end{equation*},其中$σ_C^2 := \max_j \sum_{i=1}^{p_1}σ_{ij}^2$、$σ_R^2 := \max_i \sum_{j=1}^{p_2}σ_{ij}^2$和$σ_*^2 := \max_{i,j}σ_{ij}^2$。一个极大极小下界的开发,这一上限相匹配。然后,我们推导出更一般的分布下,如亚高斯分布和重尾分布的异方差Wishart型矩阵的浓度不等式,矩和尾界。接下来,我们考虑$Z$具有同性列或行的情况(即,$σ_{ij} \approx σ_i$或$σ_{ij} \approx σ_j$)并导出速…
2022-02-16 math.PR math.ST stat.TH
A variational approach to dimension-free self-normalized concentration
Stanford University(斯坦福大学)
本文提出了一种变分方法,用于推导无维度自归一化集中性的界,扩展了亚高斯情况下的已有结果,并提供了首个无维度自归一化经验伯恩斯坦不等式。
2026-09-23 math.PR math.ST stat.ML
Convergence and Concentration of Empirical Measures under Wasserstein Distance in Unbounded Functional Spaces
我们提供了一个概率测度和它的经验版本之间的预期Wasserstein距离的上界,推广了最近的结果有限维欧几里得空间和有界函数空间。这样的推广可以覆盖大维数的欧几里得空间,并具有对维数的最佳依赖性。我们的方法还涵盖了重要的情况下,高斯过程中可分离的希尔伯特空间,与率最优的上界的函数数据分布,其坐标衰减几何或多项式。此外,我们的期望值的界限可以结合平均浓度的结果,以产生改进的指数尾概率界的经验措施下的Wasserstein误差伯恩斯坦型或对数Sobolev型条件。
2020-01-28 math.ST stat.ML stat.TH
Concentration of bounded sparse chaoses and sparse Khatri--Rao embeddings
Hong Kong University of Science and Technology(香港科技大学);University of California, San Diego(加州大学圣迭戈分校);University of Southern California(南加州大学)
本文为稀疏有界随机变量生成的解耦齐次混沌建立矩与混合尾不等式,并应用于稀疏Khatri-Rao嵌入,给出考虑稀疏性与输入几何的保证。
2026-11-05 math.PR math.ST stat.TH
Variational Tail Bounds for Norms of Random Vectors and Matrices
提出基于一维边际矩条件的随机向量和矩阵范数的变分尾界,通过高斯分布的推送实现聚合分布参数化,导出KL与Rényi散度组合的PAC-Bayes型界。
2026-06-24 math.PR math.ST stat.ML
Vector-valued self-normalized concentration inequalities beyond sub-Gaussianity
Department of Statistics & Data Science(统计与数据科学系);Machine Learning Department(机器学习系);Carnegie Mellon University(卡内基梅隆大学)
本文研究了超越子高斯性的向量值自归一化过程的集中不等式,提出适用于轻尾分布(如Bennett或Bernstein界)的界,并在在线线性回归中应用。
2026-05-14 cs.LG math.ST stat.ML
An Optimal Uniform Concentration Inequality for Discrete Entropies on Finite Alphabets in the High-dimensional Setting
本文证明了一个指数衰减浓度不等式,用以限制有限字母表上离散随机变量的对数似然与负熵之差的尾概率。我们推导出的浓度界在所有参数值上一致成立。新结果改进了Zhao(2020)早期结果的收敛速度,从$(K^2\log K)/n=o(1)$到$ (\log K)^2/n=o(1)$,其中$n$是样本量,$K$是字母表的大小。我们进一步证明了速率$(\log K)^2/n=o(1)$是最优的。结果扩展到误指定的对数似然分组随机变量。我们给出了新结果在信息论中的应用。
2021-06-21 cs.IT math.IT math.PR
On the Non-asymptotic and Sharp Lower Tail Bounds of Random Variables
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Duke University(杜克大学)
随机变量的非渐近尾界在概率论、统计学和机器学习中起着至关重要的作用。尽管在文献中成功地建立了尾概率的上界,但尾概率的下界相对较少。在本文中,我们介绍了系统的和用户友好的计划,发展非渐近的尾概率下界。此外,我们开发了尖锐的下尾边界为独立的次高斯和次指数随机变量,这符合经典的Hoeffding型和Bernstein型浓度不等式,分别。我们还提供了一套分布,包括伽玛,β,(定期,加权,和非中心)卡方,二项式,泊松,欧文霍尔等非渐近匹配的上,下尾界,我们应用的结果,建立匹配的上,下界极值期望的总和独立的次高斯和次指数随机变量。最后考虑稀疏非均匀混合信号识别的统计应用。
2020-09-05 cs.LG math.PR math.ST