Weighted sampling without replacement
比较均匀采样的浓度特性有很长的历史,可以追溯到Hoeffding(1963)的开创性工作。这篇短文的目的是使用两个样本之间的耦合将这种比较扩展到非均匀权重的情况。当项目的权重与其值的顺序相同时,我们证明了累积值的诱导耦合是下鞅耦合。因此,已知的强有力的有替换抽样的Besoff型上尾估计自动转移到不放回抽样的情况下。对于一般的权重,我们使用相同的耦合,建立一个亚高斯浓度不等式。我们还构造了另一个鞅耦合,它允许我们回答Luh和Pippenger(2014)提出的关于在具有不同替换数的Polya瓮中进行采样的问题。
2016-03-21 math.PR
Martingale Couplings and Bounds on the Tails of Probability Distributions
Hoeffding已经证明,从有限总体中进行替换抽样的分布的尾界也适用于相应的不放回抽样的情况。(该结果的一个特殊情况是二项尾界适用于相应的超几何尾。)通过构造一个鞅耦合的抽样分布,给出了Hoeffding结果的一个新的证明。这个结构是由一个明确的组合过程,涉及球和瓮。然后,我们应用这种构造来创建其他对抽样分布之间的鞅耦合,无论是没有替换还是有“替换”(即,不仅被抽样的个体被替换,而且该个体的一些“副本”被添加到总体中的抽样)。
2011-07-07 math.PR math.ST stat.TH
Second Order Concentration via Logarithmic Sobolev Inequalities
我们展示了以一阶随机展开为中心的测度集中现象的尖锐形式。该界基于二阶差分算子和二阶导数。本文研究了数理统计中的离散立方函数和随机Hoeffding型展开式以及随机矩阵理论中的线性特征值统计的应用。
2019-11-21 math.PR
Concentration inequalities for disordered models
我们使用的Hoeffding不等式的推广显示浓度的无序钉扎模型的自由能的结果,假设只有一个有限的指数矩的障碍。我们还证明了随机环境中有向聚合物的一些浓度不等式,并利用这些不等式在聚合物测度下建立了聚合物末端位置的一个大偏差结果.
2012-02-28 math.PR
Concentration Inequalities for Sums of Markov Dependent Random Matrices
本文针对一般状态空间上的时间依赖矩阵值函数,利用非交换矩母函数和谱方法,推导出 Markov 链随机矩阵和最大特征值的 Hoeffding 与 Bernstein 型集中不等式,推广了已有结果并建立了与动力系统及 Banach 空间理论的联系。
2024-11-09 math.PR
Concentration inequalities on the multislice and for sampling without replacement
我们提出的浓度不等式的多层的基础上(修改)log-Sobolev不等式。这包括凸函数和多线性多项式的边界。作为一个应用程序,我们显示浓度结果的三角形计数在$G(n,M)$ Erdens-Rényi模型类似已知的界限在$G(n,p)$的情况下。此外,我们给出了Talagrand的凸距离不等式的一个证明。在没有替换的情况下解释采样中的多层切片,我们进一步介绍了$n$在没有替换的$N$采样中的浓度结果。基于一个包含有限采样校正因子$1- n/N$的有界差分不等式,给出了Serfling不等式的一个简单证明,其中指数中包含一个稍差的因子,以及经验测度与样本真实分布之间的Kolmogorov距离具有亚高斯右尾.
2020-10-30 math.PR
Gaussian martingale inequality applies to random functions and maxima of empirical processes
得到了鞅的一个Bernstein型高斯浓度不等式.我们的不等式改进了中等偏差下的Azuma-Hoeffding不等式$x$ .继McDiarmid(1989),Talagrand(1996)和Boucheron,Lugosi and Massart(2000,2003)的工作之后,我们证明了我们的结果可以应用于随机函数的集中度,Erdös-Rényi随机图,以及经验过程的极大值.得到了几个有趣的高斯浓度不等式。
2017-10-16 math.PR
On the concentration of subgaussian vectors and positive quadratic forms in Hilbert spaces
该研究以迹类算子表示亚高斯方差代理,分析希尔伯特空间中亚高斯向量范数的尾行为,推广了Hoeffding型不等式与正随机二次型偏差界,并应用于统计逆问题正则化的方差界推导。
2023-10-03 math.PR
Chernoff-Hoeffding Bounds for Markov Chains: Generalized and Simplified
基于链的标准L1(变化距离)混合时间,证明了一般不可逆有限状态马尔可夫链的第一Chernoff-Hoeffding界。具体地,考虑遍历马尔可夫链M和M的状态空间[n]上的权函数f:[n] -> [0,1],其中平均值mu = E_{v <- pi} [f(v)],其中pi是M的平稳分布。t步随机游动(v_1,.,v_t)具有期望的总权重E[X] = mu t,其中X = sum_{i=1} ^t f(v_i)。设T为M的L_1混合时间。我们表明,X偏离其平均值的概率由一个乘法因子δ,即,PR [|X - mu t|>= delta mu t ],对于0 <= delta <= 1,至多为exp(-Omega(delta ^2 mu t / T)),对于delta > 1,至多为exp(-Omega(delta mu t / T))。事实上,即使i在[t]中的权函数f_i是不同的,只要它们都具有相同的平均值μ,界限也是成立的。基于M的谱展开式λ,我们也得到了M-Hoeffding界的一个简化证明,λ是M的第二大特征值(以绝对值表示)的平方根,其中M是M的时间反演马尔可夫链.我们证明了概率Pr [|X - mu t|对于0 <= delta <= 1,>= delta mu t ]至多为exp(-Omega(delta(1-lambda)mu t)),对于delta > 1,至多为ex…
2012-01-29 math.PR
Sharp Finite-Time Iterated-Logarithm Martingale Concentration
University of California, San Diego(加利福尼亚大学圣地亚哥分校)
给出了有限时间上一致鞅的浓度界,推广了经典的Hoeffding不等式和Bernstein不等式。我们还证明了我们的浓度范围是最佳的匹配反浓度不等式,证明使用相同的方法。这些共同构成了一个有限时间版本的法律的重对数,并阐明了之间的关系,它和中心极限定理。
2015-12-01 cs.LG math.PR stat.ML
Matrix Concentration: Order versus Anti-order
本文针对现有矩阵集中不等式多基于Loewner反序、仅能给出最大特征值上尾界的问题,通过推导新的矩阵马尔可夫不等式,建立了Loewner序下的各类对应不等式,得到紧密度比现有最大特征值界高d倍的最小特征值上尾界。
2024-08-13 math.PR
Efficient Concentration with Gaussian Approximation
Harvard University(哈佛大学);Microsoft Research New England(微软研究院新英格兰)
针对有界随机变量,提出具有渐近最优宽度、有限样本有效性和次高斯衰减的可计算集中不等式,通过零偏耦合和Stein交换对方法紧界非均匀Kolmogorov和Wasserstein距离,构建高效置信区间和经验Berry-Esseen界。
2026-05-29 math.PR math.ST stat.TH
Concentration inequalities for mean field particle models
本文研究了一类非线性测度值过程的离散生成和平均场粒子解释的涨落和集中性质。我们结合了原来的随机扰动分析与浓度分析的三角阵列的条件独立的随机序列,这可能是独立的利益。在极限测度值过程的一些附加稳定性性质下,还得到了关于时间参数的一致集中性。这里提出的浓度不等式推广了经典的Hoeffding,Bernstein和Bennett不等式的独立随机序列相互作用的粒子系统,产生非常新的结果,这类模型。我们说明了这些结果的背景下,McKean-Vlasov型扩散模型,McKean碰撞型模型的气体和一类Feynman-Kac分布流中产生的随机工程科学和分子化学。
2012-11-08 math.PR
Function-Specific Mixing Times and Concentration Away from Equilibrium
University of California, Berkeley(加州大学伯克利分校)
慢混合是使用马尔可夫链时的主要障碍,特别是用于蒙特卡罗近似(MCMC)的那些。在许多应用中,人们只对估计一小部分函数的平稳期望值感兴趣,因此通常基于全变差收敛的混合定义可能过于保守。因此,我们引入特定功能的混合时间和光谱间隙的类似物,并使用它们来证明Hoeffding样的特定功能的浓度不等式。这些结果表明,这是可能的经验期望的功能集中之前很久的基础链混合在经典意义上,我们表明,我们实现的浓度率是最佳的常数。我们使用我们的技术,以获得置信区间,比经典的马尔可夫链Hoeffding界限和贝里-埃森校正CLT界限所暗示的更尖锐。对于需要测试的应用程序,而不是点估计,我们表现出类似的改进,最近的顺序测试结果MCMC。最后,我们将我们的框架应用于MCMC的真实数据示例,证明我们的理论是准确的,并且与实践相关。
2016-09-30 cs.LG math.PR math.ST
Concentration inequalities for the sum in sampling without replacement: an approach via majorization
本文利用优序理论,为无放回抽样中样本总和超过期望值的概率提供了非渐近的上下界。
2025-03-26 math.PR math.ST stat.TH
A Bernstein type inequality for sums of selections from three dimensional arrays
我们考虑三维数组$\mathcal{A} = \{a_{i,j,k}\}_{1\le i,j,k \le n}$,与$a_{i,j,k} \in [0,1]$,和两个随机统计量$T_{1}:= \sum_{i=1}^n \sum_{j=1}^n a_{i,j,σ(i)}$和$T_{2}:= \sum_{i=1}^{n} a_{i,σ(i),π(i)}$,其中$σ$和$π$是从$\{1,2,\ldots,n \}.$的排列集合中独立选择的。这些可以被视为自然的三维推广的统计量$T_{3}=\sum_{i=1}^{n} a_{i,σ(i)}$,考虑由Hoeffding \cite{Hoe51}。本文通过推广Chatterjee \cite{Cha05}关于$T_{3}$集中度的论证,给出了$T_{1}$和$T_{2}$的Bernstein型集中度不等式.
2019-07-20 math.PR
Exponential inequality for chaos based on sampling without replacement
我们感兴趣的是特定泛函的行为,在一个框架中,唯一的随机性来源是一个不放回抽样没有更换。更确切地说,这篇短文的目的是证明一个2阶特殊U-统计量的指数集中不等式,它可以被视为混沌。
2018-08-28 math.PR math.ST stat.TH
How biased is your model? Concentration Inequalities, Information and Model Bias
我们得出严格的和可计算的界限上的偏差的统计估计,或更一般的数量的利益,当评估的基线模型P,而不是在典型的未知的真实模型Q。我们提出的方法结合了由P. Dupuis,K.Chowdhary,作者及其合作者导出的可扩展信息不等式以及经典的浓度不等式(如Bennett和Hoeffding-Azuma不等式)。我们的界用Kullback-Leibler散度R(Q)表示||此外,浓度不等式,即矩生成函数的界限,为感兴趣的量提供了紧密的和计算上便宜的模型偏差界限。最后,它们使我们能够为统计估计量推导出严格的置信带,这些置信带可以解释模型偏差,并且对任意数量的数据都有效。
2017-06-30 cs.IT math.IT math.PR
Deviation bound for non-causal machine learning
CY University(CY大学);University Paris 1 Panthéon-Sorbonne(巴黎第一大学先贤祠-索邦大学)
集中度不等式广泛用于分析机器学习算法。然而,目前的集中不等式不能应用于一些最流行的深度神经网络,特别是在自然语言处理中。这主要是由于这种涉及的数据的非因果性质,在这个意义上,每个数据点取决于其他相邻的数据点。本文给出了一个非因果随机场的建模框架,并在此框架下得到了一个Hoeffding型集中不等式.这一结果的证明依赖于非因果随机场的局部近似的函数的有限数量的i.i.d.随机变量。
2021-03-19 cs.LG math.PR stat.ML
Concentration of measure without independence: a unified approach via the martingale method
测度集中现象可以概括如下:一个由许多弱相关随机变量组成的函数,如果对它的任何一个自变量都不太敏感,那么它往往会取非常接近于它的期望值的值。当自变量是相互独立的随机变量时,这种现象被最完全地理解,并且存在用于证明浓度不等式的几种强大的补充方法,例如鞅方法、熵方法和运输不等式方法。相关参数的设置还不太清楚。本章主要讨论在没有独立性假设的情况下,用鞅方法推导浓度不等式。特别是,我们使用的机器,所谓的Wasserstein矩阵表明,Azuma-Hoeffding浓度不等式的鞅几乎肯定有界的差异,当应用在一个足够抽象的设置,是强大的,足以恢复和锐化几个已知的浓度结果的非产品措施。Wasserstein矩阵提供了一种自然的形式主义,用于捕获度量结构和概率结构之间的相互作用,这是集中现象的基础。
2016-11-17 cs.IT math.IT math.PR
Finite sample bounds for barycenter estimation in geodesic spaces
CREST-ENSAE;LPSM, Sorbonne(索邦大学LPSM)
研究测地线空间中给定独立同分布数据时估计分布重心的问题,在特定条件下建立期望和高概率的有限样本误差界,推广相关不等式并为重心计算算法提供统计保证。
2026-07-07 math.PR math.ST stat.ML
Asymptotic Normality and Concentration Inequalities of Statistics of Core Partitions with Bounded Perimeters
本文证明了有界周长均匀随机核分拆的若干统计量在Kolmogorov和Wasserstein距离下具有渐近正态性与次高斯性,并借助Stein方法、Hoeffding分解及Efron-Stein不等式等工具,将Zaleski猜想推广到严格$(n,dn+1)$-核分拆情形。
2024-12-30 math.CO math.PR
Concentration of empirical barycenters in metric spaces
重心(又名Fréchet平均)在20世纪40年代被引入统计学,并在形状统计学领域推广,后来在最优输运和矩阵分析中推广。它们提供了线性平均到非欧几里德几何的最自然扩张,这可能是数据科学中最基本和最广泛使用的工具。在不同的设置,他们的渐近性质,如大数定律和中心极限定理,已被建立,但他们的非渐近行为仍然没有得到很好的理解。在这项工作中,我们证明了有限样本浓度不等式(即推广Hoeffding的和Bernstein的不等式)的重心独立同分布。度量空间中具有Alexandrov意义下的非正曲率的随机变量。作为一个副产品,我们还获得PAC保证的随机在线算法,计算重心的一个有限的收集点在一个非正弯曲的空间。我们还讨论了我们的结果可能正曲率空间的扩展。
2023-03-02 math.MG math.PR math.ST
Random walks on hyperbolic spaces: Concentration inequalities and probabilistic Tits alternative
本文的目的是双重的:在第一部分中,我们证明了双曲空间上非初等随机游动的位移在漂移附近的Azuma-Hoeffding型集中不等式。对于一个适当的双曲空间$M$,我们得到明确的界限,只依赖于$M$,支持的大小的措施,在经典的情况下,独立随机变量的总和,并在范数的驱动概率测度的左正则表示的组的等距。我们得到了双曲群的一致界和秩为1的简单线性群的有效界。在第二部分中,利用我们的浓度不等式,我们给出了定量的有限时间估计的概率,两个独立的随机游动的等距群的双曲空间生成一个自由的非阿贝尔子群。我们的浓度结果遵循一个更一般的,但不太明确的声明,我们证明为cocycles满足一定的上同调方程。例如,这也使我们能够获得亚高斯浓度边界周围的顶部李雅普诺夫指数的随机矩阵产品在任意维度。
2022-02-03 math.GR math.MG math.PR
Concentration Inequalities for Exchangeable Tensors and Matrix-valued Data
University of Chicago(芝加哥大学)
本文提出了一种针对可交换张量和矩阵值数据的集中不等式方法,改进了现有结果并应用于多因素模型和联邦平均
2026-08-10 math.PR math.ST stat.ML
Concentration Inequalities for Output Statistics of Quantum Markov Processes
本研究运用谱方法、微扰技术等结合非交换$L_2$理论,推导了量子马尔可夫过程测量统计量的多类集中界,拓展了经典马尔可夫链相关结果的适用范围,还探讨了其在参数估计等方向的潜在应用与关联。
2022-10-10 cond-mat.stat-mech math-ph math.MP
Exponential Concentration Inequalities For Independent Random Vectors Under Sublinear Expectations
Yale University(耶鲁大学)
本文首次在亚线性期望下提出多变量样本均值的指数集中不等式,通过亚高斯尾界和无维度界等方法,证明了样本均值与Minkowski平均的距离具有最优的亚高斯收敛速率。
2026-02-25 math.PR math.ST stat.TH
Time-uniform Chernoff bounds via nonnegative supermartingales
University of California, Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
本文通过非负超鞅方法,统一并加强了多种鞅的尾界,提供了时间均匀集中性的最强大且通用的陈述。
2025-12-17 math.PR
Matrix concentration inequalities for dependent binary random variables
本文针对满足特定独立性假设的二元随机变量建立矩阵集中不等式,并利用解耦不等式将随机子矩阵算子范数估计推广到一般强 Rayleigh 抽样方案。
2025-04-10 cs.DM math.FA math.PR
On the Degree Distribution of Pólya Urn Graph Processes
本文给出了任意Pólya urn图过程度分布的一个严格界,证明了对于任何$ε> 0$,度为$d$的顶点比例服从幂律分布$P(d) \propto d^{-γ}$ for $d \leq n^{\frac{1}{6}-ε}$,其中$n$表示网络中的顶点数. Bollobás等人先前的工作将Barabási和Albert著名的偏好依恋模型形式化,并表明$d \leq n^{\frac{1}{15}}$与$γ= 3$的幂律分布成立。我们修改后的界限是一个显着的改进,在无标度网络的度分布的现有模型,其紧密性是由Azuma-Hoeffding浓度不等式鞅的限制。我们通过仔细分析网络生成过程中的第一组顶点来实现这个更紧的边界,并表明新获得的顶点处于耗尽Bollobás模型的边缘,因为其他幂的度期望会崩溃。
2014-10-30 cs.SI math.PR physics.soc-ph
Small coresets via negative dependence: DPPs, linear statistics, and concentration
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);National University of Singapore(新加坡国立大学);Université Paris-Saclay(巴黎萨克雷大学);CEA(法国原子能和替代能源委员会)
本文针对DPP基核心集基数是否优于独立采样核心集的开放问题,将核心集损失视为线性统计量,推导了涵盖非对称核的更优集中不等式,证明DPP核心集效果更优,还拓展了向量值目标的核心集研究。
2024-11-01 cs.LG math.PR stat.ML