Convergence rates for estimating multivariate scale mixtures of uniform densities
Korea University（高丽大学）；University of California at Berkeley（加利福尼亚大学伯克利分校）
本文提出了一种多变量尺度混合均匀密度估计方法，证明其收敛速度为立方根，且避免了维度灾难，同时提供了计算算法和实证分析。
2026-02-22 math.ST stat.TH
Nonparametric estimation of multivariate convex-transformed densities
本文研究了多元密度$p$的估计，其形式为$p(x)=h(g(x))$，对于$x\in \mathbb {R}^d$，对于固定单调函数$h$和未知凸函数$g$。典型的例子是$y\in \mathbb {R}$的$h(y)=e^{-y}$;在这种情况下，得到的密度类[ \mathcal {P}（e^{-y}）={p= \exp（-g）：g是凸的}]被称为对数凹密度类。其他函数$h$允许密度类比对数凹类具有更重的尾部。我们首先调查当最大似然估计$\hat{p}$存在的类$\mathcal {P}(h)$的各种选择的单调变换$h$，包括增加和减少功能$h$。由此产生的模型增加转换$h$扩展类的对数凸密度研究以前在计量经济学文献中，对应于$h(y)=\exp(y)$。然后，我们建立一致性的最大似然估计相当一般的功能$h$，包括日志凹类$\mathcal {P}(e^{-y})$和许多其他。在最后一节中，我们提供了渐近极小极大下界估计的$p$和它的向量的衍生物在一个固定点$x_0$自然光滑的假设下$h$和$g$。证明严重依赖于凸分析的结果。
2012-11-14 math.ST stat.TH
Semiparametric Estimation of Symmetric Mixture Models with Monotone and Log-Concave Densities
在这篇文章中，我们重新讨论了混合模型的拟合问题，假设混合成分是对称的和对数凹的。为此，我们首先研究了单调对数凹概率密度的非参数极大似然估计。通过遵循Rujiach（2006）的论点，我们证明了NPMLE关于支撑内部的紧子集上确界范数是一致相容的。为了拟合混合模型，我们提出了一个半参数EM（SEM）算法，它可以适用于其他半参数混合模型。在我们的数值实验中，我们将我们的算法与Balabdaoui和Doss（2014）以及模拟和真实世界数据集上的其他混合模型进行了比较。
2018-02-27 stat.ME
Maximum Likelihood Estimation of Log-Concave Densities on Tree Space
系统发育树是生物学中的重要数据对象，系统发育重建的方法已经得到了很大的发展。系统树空间是一个非正曲度量空间。最近，正在开发利用这一属性的统计方法来分析该空间上的树的集合。同时，在欧氏空间中，对数凹极大似然方法作为一种新的非参数概率密度估计方法应运而生。本文给出了树空间上对数凹极大似然估计存在唯一的一个充分条件。我们还提出了一个估计算法的一维和二维。由于各种因素影响推断的树，很难指定样本树的分布。对数凹密度类是非参数的，但估计可以进行极大似然方法，而无需选择超参数。我们比较了估计性能与以前开发的核密度估计数值。在我们的例子中，真密度是对数凹的，我们证明了我们的估计有一个较小的集成平方误差时，样本量是大的。我们还使用期望最大化（EM）算法进行聚类的数值实验，并将结果与使用Fréchet均值的k-means ++聚类进行比较。
2022-11-22 stat.CO stat.ME
Recent progress in log-concave density estimation
近年来，对数凹密度估计通过极大似然估计已成为一个迷人的替代传统的非参数平滑技术，如核密度估计，需要选择一个或多个带宽。本文的目的是描述$\mathbb{R}^d$上的对数凹密度类的一些性质，这些性质使得它从统计的角度来看是如此有吸引力，并概述了该领域最新的方法，理论和计算进展。
2017-09-10 math.ST stat.ME stat.OT
Quasi-concave density estimation
将对数凹概率密度的极大似然估计表示为一个凸优化问题，并证明了它与约束最大Shannon熵问题具有等价的对偶形式.密切相关的最大Renyi熵估计，施加较弱的约束的拟合密度也被认为是，特别是一个最小的Hellinger差异估计，约束的倒数的平方根的密度是凹的。这些估计的限制形式约束类的准凹密度的解决方案。
2010-11-15 math.ST stat.ME stat.TH
Global rates of convergence in log-concave density estimation
$\mathbb{R}^d$上对数凹密度的估计是形状约束下非参数推断领域的一个中心问题。本文研究了对数凹密度估计在全局损失函数下的性能，并采用了极大极小方法。我们首先表明，没有统计程序的基础上的样本大小$n$可以估计一个对数凹密度的平方Hellinger损失函数的上确界风险小于$n^{-4/5}$时，$d=1$，为了$n^{-2/(d+1)}$时，$d \geq 2$。特别是，这揭示了一种意义，其中，当$d \geq 3$，对数凹密度估计是从根本上更具挑战性的密度估计与两个有界导数（一个问题，它已被比较）。其次，我们证明了对于$d \leq 3$，一类对数凹密度的Hellinger $ε$ -包围熵具有小的平均值和协方差矩阵接近恒等式，其增长类似于$\max\{ε^{-d/2},ε^{-(d-1)}\}$（当$d=2$时达到对数因子）。这使我们能够证明，当$d \leq 3$的对数凹最大似然估计达到极大极小最优率（对数因子时，$d = 2,3$）相对于平方海灵格损失。
2015-09-26 math.ST stat.TH
Log-concave density estimation in undirected graphical models
Aalto University（阿尔托大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出了一种在无向图模型中对数凹密度估计的方法，通过有限维凸优化问题求解MLE，并探讨了其存在性、唯一性和自洽性条件。
2022-06-10 math.ST stat.CO stat.ME
Robust density estimation with the $\mathbb{L}_{1}$-loss. Applications to the estimation of a density on the line satisfying a shape constraint
本文提出一种基于 $\mathbb{L}_{1}$-损失和密度模型的稳健密度估计方法，适用于 MLE 不存在的模型，在全局收敛速度和自适应性质上具有与 MLE 类似的最优性，并对模型误设、污染和离群点具有稳健性。
2024-01-04 math.ST stat.TH
Bi-log-concave distribution functions
定性形状约束下的分布函数F或密度f=F'的非参数统计为经典的参数或完全非参数方法提供了一种有趣的替代方法。我们通过考虑一个新的形状约束对这一领域做出了贡献：如果log（F）和log（1 - F）都是凹的，则称F是双对数凹的。许多通常考虑的分布与此约束兼容。例如，任何C.D.F.具有对数凹密度f = F'的F是双对数凹的。但与后一种约束相反，双对数正态分布允许多峰密度。我们提供了各种表征。结果表明，结合任何非参数的置信带F与新的形状约束导致实质性的改善，特别是在尾部。为了查明这一点，我们表明，这些置信带意味着非平凡的任意时刻和F的矩母函数的置信界限。
2016-10-28 stat.ME
Learning the score under shape constraints
University of Oxford（牛津大学）；London School of Economics and Political Science（伦敦政治经济学院）；Nanjing University（南京大学）；Rutgers University（罗格斯大学）；University of Cambridge（剑桥大学）
在形状约束下，研究了分数估计的最小最大风险，通过引入对数凹密度的子类，结合尾部行为和光滑性假设，提出了多尺度估计器以提高估计效率。
2025-12-16 math.ST stat.ML stat.TH
A Kiefer--Wolfowitz theorem for convex densities
基弗和沃尔福威茨[Z.华什弗鲁Gebiete 34（1976）73- 85]表明，如果$F$是严格弯曲的凹分布函数，（对应于严格单调密度$f$），则最大似然估计$\hat{F}_n$，其实际上是经验分布函数$\mathbb {F}_n$的最小凹优，与经验分布函数在一致范数下的差异不超过常数乘以$(n^{-1}\log n)^{2/3}$。我们回顾了他们的结果，并给出了他们证明的更新版本。我们证明了一类分布函数$F$与凸递减密度$f$的一个可比定理，但用最小二乘估计量$\widetilde{F}_n$代替$F$的最大似然估计量$\hat{F}_n$：如果从具有严格凸密度$f$分布函数$F$采样$X_1,..., X_n$，则$F$的最小二乘估计量$\widetilde{F}_n$和经验分布函数$\mathbb {F}_n$在一致范数上相差不超过一个常数乘以$(n^{-1}\log n)^{3/5}$。这些证明依赖于Hall [J. Approximation Theory 1（1968）209- 218]，Hall和Meyer [J. Approximation Theory 16（1976）105- 122]，建立在Birkhoff和de Boor [J.Math.Mech.13（1964）827- 835]的早期工作基础上的完全样条插值的插值误差的界限。这些结果，这是至关重要的发…
2007-09-07 math.ST stat.TH
Exact Solutions in Log-Concave Maximum Likelihood Estimation
该研究针对对数凹密度的最大似然估计问题，证明其数据点高度一般为超越数，给出一维单元的广义W-Lambert函数闭式解，建立其与特殊多项式-指数方程组的等价性，并借助Smale α理论优化数值解与认证解的正确性。
2023-10-10 math.CO math.OC math.ST
Implicit Riemannian Concave Potential Maps
DeepMind（深度思维）
我们感兴趣的具有挑战性的问题建模密度黎曼流形与一个已知的对称群使用规范化流。这在物理科学中有许多潜在的应用，如分子动力学和量子模拟。在这项工作中，我们结合了隐式神经层和最优传输理论的思想，提出了一个概括现有的工作指数映射流，隐式黎曼凹势映射，IRCPMs。IRCPM有一些很好的属性，如合并对称性的简单性，并且比ODE流更便宜。我们提供了一个初步的理论分析，其性能和布局稳定优化的充分条件。最后，我们用圆环面和球面上的密度估计实验说明了IRCPM的性质。
2021-10-04 cs.LG stat.ML
Estimating a Polya frequency function_2
本文研究了二阶Polya频率函数类，即具有凹对数的密度函数的非参数极大似然估计。这是单峰密度的一个子类，一般来说相当丰富。NPMLE被证明是欧几里得空间中凸规划问题的解，并且设计了一个类似于Jongbleod（1999）的迭代凸次优算法的算法。当真密度为PFF_2时，估计量达到了Hellinger相合性.
2007-08-08 math.ST stat.TH
Maximum Likelihood Estimation of a Semiparametric Two-component Mixture Model using Log-concave Approximation
受生物科学中发现差异表达基因研究的启发，本文研究了一个已知成分的半参数两成分混合模型。假设未知组分的密度是对数凹的，它包含一个非常广泛的密度族，我们提出了一个半参数极大似然估计，并提出了一个计算它的期望最大化算法，我们的新估计方法同时找到混合比例和未知组分的分布。我们建立了半参数混合模型的可辨识性，并证明了估计的存在性和相合性。我们进一步比较我们的估计与现有的几个估计，通过模拟研究，并将我们的方法应用到两个真实的数据集，从生物科学和天文学。
2019-03-27 stat.AP stat.CO stat.ME
Likelihood-based Spacings Goodness-of-Fit Statistics for Univariate Shape-constrained Densities
University of Washington（华盛顿大学）；Queen’s University（女王大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；The Chinese University of Hong Kong（香港中文大学）
研究基于样本间距的统计量来检验对参数分布的拟合优度，针对单变量形状受限密度，考虑基于观测间距的似然比检验，证明其在原假设下渐近正态且无分布依赖等性质。
2026-07-07 math.ST stat.TH
Smooth tail index estimation
本文提出用基于对数凹密度估计的分布函数分位数替代次序统计量，构造平滑尾部指数估计量，以改善小样本估计性能，并通过Monte Carlo模拟验证其在均方误差上显著优于非平滑估计量。
2007-07-31 math.ST stat.ME stat.TH
Density estimation for Hellinger via minimum-distance estimators: mixtures of Gaussians, log-concave, and more
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）
将最小距离估计方法从总变差距离扩展到Hellinger距离，通过反向数据处理不等式，实现了对对数凹混合和高斯混合（任意方差）的近线性时间学习，样本复杂度接近最优。
2026-06-11 cs.DS cs.LG math.ST
Saddle Point Approximation and Central Limit Theorem for Densities in High Dimensions
School of Data, Mathematical, and Statistical Sciences, University of Central Florida（数据、数学与统计科学学院，中佛罗里达大学）
本研究改进高维独立同分布随机向量和的鞍点近似误差率至O(d^2/n)，并首次在d^2/n趋于0条件下建立密度函数的局部中心极限定理，提供显式误差界。
2026-10-02 math.PR math.ST stat.TH
Estimation of a k-monotone density, part 1: characterizations consistency, and minimax lower bounds
形状约束密度在许多非参数估计问题中会遇到。单调或凸（和单调）密度类可以看作是k-单调密度类的特殊情况。称密度g是k-单调的，如果它的连续导数直到k-2阶交替为负或正，且k-2阶导数分别根据k是偶数（或奇数）而凸（或凹）。如果k=1，则g是不增加的。这些类的形状约束密度之间的差距桥梁类的单调（1-单调）和凸递减（2-单调）密度的渐近结果是已知的，一类完全单调密度与k无限。在这一系列的四篇论文中，我们考虑（非参数）最大似然估计和最小二乘估计的k-单调密度。在第一部分（第一部分）中，我们证明了估计的存在性，并给出了一些刻画。我们还建立了一致性的性质，并证明了估计是简单的节点阶k（度k-1）的样条。进一步给出了k-单调密度g_0（x_0）及其导数g_0^{（j）}（x_0）的渐近极小极大风险下界，其中j=1，.，k-1，在不动点x_0处，假设g_0在x_0处的k阶导数为非零。
2005-09-04 math.ST stat.TH
Geometry of Log-Concave Density Estimation
形状约束下的密度估计是数理统计中的一个重要课题。我们专注于密度的$\mathbb{R}^d$是对数凹的，我们研究的几何性质的极大似然估计（MLE）加权样本。Cule，Samworth和Stewart证明了最优对数凹密度的对数是分段线性的，并且支持样本的规则细分。这定义了一个从权重空间到样本的正则细分集的映射，即它们的次多面体的面偏序集。我们证明了这个映射是满射的。事实上，每一个规则的细分出现在MLE的一些权重集的正概率，但粗糙的细分似乎更有可能出现比精细的。为了量化这些结果，我们引入了一个连续版本的二级多面体，其对偶我们命名为Samworth体。本文建立了一个新的几何组合学和非参数统计之间的联系，它提出了许多开放的问题。
2022-07-22 stat.ME
Maximum likelihood estimation of a multidimensional log-concave density
令X_1，.，X_n是具有对数凹（Lebesgue）密度f的独立同分布随机向量。我们首先证明，在概率为1的情况下，存在唯一的f的极大似然估计。使用这种估计是有吸引力的，因为，不同于核密度估计，该方法是全自动的，没有平滑参数选择。虽然存在性证明是非建设性的，我们能够重新制定的问题的计算方面的一个不可微的凸优化问题，从而结合技术的计算几何与肖尔的r-算法产生一个序列，收敛到最大似然估计。对于中等或大样本量，在我们的模拟，极大似然估计提供了一个改进的性能相比，基于核的方法，即使当我们允许使用的理论，最佳的固定带宽的内核估计，将无法在实践中使用。我们还提出了一个真实的数据聚类的例子，这表明我们的方法可以与期望最大化（EM）算法配合使用，以适应有限的混合物的对数凹密度。该算法的R版本可在软件包LogConcDEAD --任意维度的对数凹面密度估计中获得。
2008-04-24 stat.CO stat.ME
Global Convergence of Least Squares EM for Demixing Two Log-Concave Densities
Cornell University（康奈尔大学）
本文研究了两种旋转不变对数凹密度混合模型的位置估计问题。我们证明了最小二乘EM，一个变种的期望最大化算法，收敛到真正的位置参数从一个随机初始化点。我们建立了显式的收敛速度和样本复杂性的界限，揭示了它们对信噪比和对数凹分布的尾部性质的依赖。此外，我们还证明了这种全局收敛性质在模型错误设定下是鲁棒的。我们的分析概括了以前的技术证明高斯混合的收敛结果。特别是，我们利用一个角度减小的属性建立全球收敛的最小二乘EM高斯设置之外，$\ell_2$距离收缩不再持有全球一般的日志凹混合。
2019-06-19 cs.LG math.ST stat.ML
A smooth ROC curve estimator based on log-concave density estimates
本文提出基于对数凹密度估计的平滑ROC曲线估计量，证明其渐近等价于经验ROC曲线，并在有限样本下具有效率增益、稳健性和更短的自举置信区间，计算高效。
2011-12-19 stat.ME
On predictive density estimation with additional information
基于独立分布的$X_1 \sim N_p(θ_1, σ^2_1 I_p)$和$X_2 \sim N_p(θ_2, σ^2_2 I_p)$，我们考虑了在附加信息$θ_1 - θ_2 \in A$和已知$σ^2_1, σ^2_2, σ^2_Y$的情况下，$Y_1 \sim N_p(θ_1, σ^2_Y I_p)$的各种预测密度估计的有效性.我们提供了改进的基准预测密度，如插件，最大似然，最小风险等变预测密度。$α-$发散损失的优势结果，包括反向Kullback-Leibler损失的贝叶斯改进，和Kullback-Leibler（KL）损失的单变量情况下（$p=1$）。一个合奏的技术，包括方差扩展（KL损失），点估计对偶，凹不等式。建立贝叶斯预测密度的表示，特别是与截断为$\{θ\in \mathbb{R}^{2p}: θ_1 - θ_2 \in A \}$的$θ=(θ_1, θ_2)$的统一先验相关的$\hat{q}_{π_{U,A}}$，并用于贝叶斯优势发现。最后，有趣的是，这些贝叶斯预测密度也涉及到偏正态分布，以及这种分布的新形式。
2017-09-22 math.ST stat.ME stat.TH
Theoretical guarantees for approximate sampling from smooth and log-concave densities
从各种分布中抽样是统计学中最重要的问题，因为它通常是构造估计量、检验程序或置信区间的关键成分。在许多情况下，从给定分布中进行精确采样是不可能的，或者计算成本很高，因此需要采用近似采样策略。然而，没有发达的理论提供有意义的非渐近保证的近似抽样程序，特别是在高维问题。本文在这个方向上取得了一些进展，考虑的问题，从分布具有光滑和对数凹密度定义在\(\RR^p\)，为一些整数\(p>0\)。我们建立了由朗之万蒙特卡罗方法及其变体得到的目标分布近似误差的非渐近界。我们用各种实验说明了所建立的保证的有效性。基于我们的分析是从连续时间扩散过程的理论，这可能是感兴趣的超出了在本工作中考虑的对数凹密度的框架的见解。
2016-12-03 math.ST stat.CO stat.ML
Bi-log-concavity: some properties and some remarks towards a multi-dimensional extension
概率测度的双对数测度是最近在统计文献中提出的对数测度概念的单变量扩展。除此之外，从建模的角度来看，它具有很好的属性，可以允许一些多峰分布，同时保留对数凹度量的一些很好的特征。我们计算了双对数凹测度的等周常数，推广了对数凹测度的一个性质。这意味着双对数凹测度具有指数递减的尾部。然后证明了双对数凹测度与对数凹测度的卷积是双对数凹的。因此，无穷可微的正密度在$L_p-$范数为$p \in [1;+\infty]$的双对数凹密度集中是稠密的。我们还得到了两个双对数凹测度的卷积是双对数凹测度的一个充要条件。最后，我们讨论了如何定义双对数周期概念的多维扩展。我们提出了一种方法的基础上的一个变种的等周问题，仅限于半空间。
2019-03-18 math.PR math.ST stat.TH
High-dimensional nonparametric density estimation via symmetry and shape constraints
我们解决了高维非参数密度估计的问题，采取类的对数凹密度$\mathbb{R}^p$，并在它的对称性假设，这有利于可扩展的估计算法，可以减轻灾难的维数。我们的主要对称性假设是密度的超能级集是$K$ -位似的（即凸体$K \subseteq \mathbb{R}^p$的标量倍数）。当$K$是已知的，我们证明了$K$ -位似对数凹最大似然估计的基础上$n$独立的意见，从这样的密度有一个最坏情况下的风险界，例如，$O(n^{-4/5})$的平方Hellinger损失，与$p$无关。此外，我们表明，估计是自适应的意义上说，如果数据生成密度承认一个特殊的形式，然后可以达到一个近参数率。我们还提供了最坏情况和自适应风险界限的情况下，$K$是唯一已知的正定变换，它是完全未知的，必须估计非参数。我们的估计算法是快速的，即使当$n$和$p$是在几十万的顺序，我们说明了强大的有限样本性能的模拟数据，我们的方法。
2019-03-14 math.ST stat.CO stat.ME
Active set algorithms for estimating shape-constrained density ratios
在许多情况下，对密度的形状施加约束是合理且灵活的假设。它提供了一种替代参数模型，可以是过于刚性和其他非参数方法，需要选择调整参数。本文在一个统一的框架下，用有效集算法讨论对数凹或对数凸密度比的非参数估计。在对数凹密度的设置中，新算法与以前考虑的活动集方法类似，但速度要快得多。对数凸性是一种不太常见的形状约束，被一些作者描述为“尾部膨胀”。这里提出的有效集方法在这方面是新颖的。作为一个副产品，新的拟合优度测试的单一假设制定和被证明是更强大的比更高的批评测试在模拟研究。
2020-12-08 stat.CO
Multivariate Log-Concave Distributions as a Nearly Parametric Model
本文证明了R^d上具有对数凹密度的概率分布族P_d满足强连续性条件。特别是，它原来在这个家庭的弱收敛需要（i）收敛的全变差距离，（ii）收敛的任意时刻，和（iii）逐点收敛的拉普拉斯变换。因此，非参数模型P_d具有与参数模型类似的性质，例如，所有d变量高斯分布族。
2011-04-21 math.PR math.ST stat.TH
A Kiefer-Wolfowitz type of result in a general setting, with an application to smooth monotone estimation
我们考虑单调函数$f$的Grenander型估计在一个非常一般的设置，其中包括估计单调回归曲线，单调密度，和单调失效率。这些估计量定义为对应于$f$的积分曲线$F$的朴素估计量$F_n$的最小凹优数$\hat{F}_n$的左侧斜率。我们证明，对于某些表征$F_n$逼近过程尾概率的$τ\in[0,4)$，$\hat{F}_n$和$F_n$之间的上确界距离为$O_p(n^{-1}\log n)^{2/(4-τ)}$阶。在典型的例子中，近似过程是高斯和$τ=1$，在这种情况下，收敛速度是$n^{-2/3}(\log n)^{2/3}$与Kiefer和Wolfowitz（1976）在估计密度下降的特殊情况下得到的结果是相同的。我们也得到了类似的结果为$F_n$的原语，在这种情况下$τ=2$，导致更快的速率$n^{-1}\log n$，也发现了王和Woodfroofe（2007）。作为我们的一般设置中的应用，我们证明了一个平滑Grenander型估计及其衍生物是渐近等价于普通的核估计及其衍生物在一阶。
2014-10-08 math.ST stat.TH
Sparse/Robust Estimation and Kalman Smoothing with Nonsmooth Log-Concave Densities: Modeling, Computation, and Theory
我们引入了一类二次支持（QS）函数，其中许多在各种应用中发挥着至关重要的作用，包括机器学习，鲁棒统计推断，稀疏性提升，卡尔曼平滑。众所周知的例子包括l2、Huber、l1和Vapnik损失。我们建立在一个双重表示的QS功能使用凸分析，揭示了必要的结构QS功能被解释为负对数的概率密度，并提供基础的统计解释和分析的QS损失函数。对于一个子类的QS函数称为分段线性二次（PLQ）的罚款，我们还开发了有效的数值估计方案。这些组件形成了一个灵活的统计建模框架，用于各种学习应用程序，以及一个工具箱，用于推理的有效数值方法。具体地，对于PLQ密度，可以使用内点（IP）方法。IP方法解决非光滑优化问题的工作直接与光滑方程组表征其最优性。IP方法的效率取决于特定应用程序的结构。我们考虑一类动态逆问题，使用卡尔曼平滑，其目的是重建一个动态系统的状态与已知的过程和测量模型从噪声输出样本。在经典的情况下，高斯误差假设在过程和测量模型。扩展的框架允许使用任意PLQ密度，建议的IP方法解决了广义卡尔曼平滑问题，同时保持线性复杂度的大小的时间序列，就像在高斯的情况下。这将经典算法的计算效率扩展到更广泛的非光滑设置，并包括许多最近提出的鲁棒和稀疏平滑器作为特例。
2013-05-02 math.OC math.ST stat.ML
Rapid Bayesian Computation and Estimation for Neural Networks via Log-Concave Coupling
针对单隐层神经网络贝叶斯估计中后验多模态导致MCMC采样混合慢的问题，提出对数凹耦合方法，将后验表示为对数凹混合密度，参数足够多时可仅通过对数凹采样实现快速后验采样。
2026-08-19 math.ST stat.TH
Learning Multivariate Log-concave Distributions
University of Southern California（南加州大学）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）
研究了多元对数凹概率密度函数的估计问题。我们证明了在$\mathbb{R}^d$上学习对数凹密度的第一个样本复杂度上界，对于所有的$d \geq 1$。在我们的工作之前，对于$d>3$的情况，这个学习问题的样本复杂度没有上限。更详细地说，我们给出了一个估计量，对于任何$d \ge 1$和$ε>0$，从$\mathbb{R}^d$上的未知目标对数凹密度中抽取$\tilde{O}_d \left( (1/ε)^{(d+5)/2} \right)$样本，并输出一个假设，即（以高概率）是$ε$ -接近目标，在总变化距离。我们的样本复杂性的上限接近已知的$Ω_d \left( (1/ε)^{(d+1)/2} \right)$这个问题的下限。
2017-06-05 cs.IT cs.LG math.IT
Bounding the error of discretized Langevin algorithms for non-strongly log-concave targets
ENSAE, CREST, IP Paris（国立统计与经济行政学校，经济研究与应用统计中心，巴黎综合理工学院）；University of Warwick（华威大学）
在本文中，我们提供了非渐近的上界的采样误差从目标密度使用三个计划的离散朗之万扩散。第一种方案是朗之万蒙特卡罗（LMC）算法，朗之万扩散的欧拉离散化。第二种和第三种方案分别是可微势的动力学朗之万蒙特卡罗（KLMC）和二次可微势的动力学朗之万蒙特卡罗（KLMC 2）。主要关注的是在$\mathbb R^p$上平滑和对数凹的目标密度，但不一定是强对数凹的。在两种光滑性假设下，得到了计算复杂性的界：势函数具有Lipschitz连续梯度和势函数具有Lipschitz连续黑塞矩阵.抽样误差用Wasserstein- $q$距离度量。我们主张使用一个新的尺寸适应缩放的计算复杂性的定义，当Wasserstein- $q$距离被认为是。所得结果表明，迭代次数，以实现缩放误差小于一个规定的值只依赖于多项式的维数。
2021-12-05 cs.LG math.ST stat.TH
The Geometry of Existence and Uniqueness of Maximum Likelihood Estimation in Categorical Response Models
本文揭示分类响应模型中MLE存在性与唯一性可由统一几何判据刻画，通过结构向量重叠条件与线性规划判定，并应用于健康数据共享模型诊断。
2026-10-26 math.ST stat.AP stat.ME
Convergence of coordinate ascent variational inference for log-concave measures via optimal transport
Columbia University（哥伦比亚大学）
本文针对对数凹测度下坐标上升变分推断（CAVI）收敛性不明确的问题，借助最优传输中的位移凸性性质，证明了CAVI的收敛性，并分别给出了对数凹密度带Lipschitz梯度及强对数凹情形下的线性与指数收敛速率。
2024-04-12 cs.LG math.OC math.PR
On sampling from a log-concave density using kinetic Langevin diffusions
ENSAE-CREST（法国国家统计与经济管理学院-应用经济科学研究中心）
朗之万扩散过程及其离散化常用于从目标密度采样。最方便的框架来评估这样一个抽样方案的质量对应于光滑和强对数凹密度定义在$\mathbb R^p$。目前的工作集中在这个框架和研究的动力学朗之万扩散的离散化的基础上的Monte Carlo算法的行为。我们首先证明几何混合动力学朗之万扩散的混合率，这是在过阻尼制度，最佳的条件数的依赖性。然后，我们使用这个结果获得改进的保证，使用动力学朗之万蒙特卡罗方法的采样时，采样的质量是由Wasserstein距离测量。我们还考虑了目标分布的对数密度的Hessian函数是Lipschitz连续的情况。在这种情况下，我们引入了一个新的离散化的动力学朗之万扩散，并证明这导致大幅改善的上界测量Wasserstein距离的采样误差。
2018-12-26 cs.LG math.PR math.ST
Convergence Rates for Non-Log-Concave Sampling and Log-Partition Estimation
INRIA Ecole Normale Supérieure PSL Research University（INRIA 格尔诺勒高等师范大学PSL研究大学）
研究非对数凹采样和对数分区估计的收敛速率，探讨其与优化问题的关系，发现采样和分区计算的最优速率有时等于或快于优化。
2026-04-23 cs.LG math.ST stat.CO
Estimating a scalar log-concave random variable, using a silence set based probabilistic sampling
研究了随机变量的概率抽样问题，即只有当随机变量落在一个给定的集（称为沉默集）之外时，才对其进行抽样。这有助于我们理解IID随机过程的特殊情况下的最佳基于事件的采样，也有助于我们理解其他情况下的次优方案的设计。我们考虑这种概率抽样的标量，对数凹随机变量的设计，以最小化均方估计误差，或平均绝对估计误差。我们表明，最佳的沉默时间间隔：（i）本质上是唯一的，和（ii）是一个迭代过程的中心的限制。此外，我们通过数值实验表明，超级间隔似乎是显着接近最佳的均方估计。最后，我们使用高斯不等式的标量单峰密度，表明概率采样给出了一个均方失真，是小于三分之一的失真所引起的周期性采样，如果平均采样率是0.3和0.9之间的样本每滴答。
2023-03-16 cs.IT cs.SY eess.SP
Parallelized Midpoint Randomization for Langevin Monte Carlo
City University of Hong Kong（香港城市大学）
本文针对光滑强对数凹密度，在可并行评估梯度的设定下分析并行化随机中点 Langevin Monte Carlo，给出 Wasserstein 距离上界并证明并行处理带来显著运行时间提升。
2025-01-08 cs.LG math.PR math.ST
A proximal gradient algorithm for composite log-concave sampling
Yale University（耶鲁大学）
本文提出一种近端梯度算法，用于采样复合对数凹分布，通过梯度和受限高斯 oracle 实现，在强凸和光滑条件下达到总变差距离误差 ε 的精度。
2026-10-16 cs.DS cs.LG math.ST
Spectral Gap of Replica Exchange Langevin Diffusion on Mixture Distributions
朗之万扩散（LD）是采样问题的主要工具之一。然而，如果目标分布是多种密度的混合物，特别是当每个分量集中在不同的模式周围时，其收敛速度会显著降低。电子交换朗之万扩散（ReLD）是一种可以避免这个问题的采样方法。特别是，ReLD增加了另一个LD采样目标密度的高温版本，并根据Metropolis-Hasting类型的定律交换两个LD的位置。这种方法可以进一步扩展到多副本交换朗之万扩散（mReLD），其中$K$附加的LD被添加到不同温度下的样本分布，并且交换发生在相邻温度过程之间。虽然ReLD和mReLD已被广泛用于统计物理，分子动力学和其他应用中，但很少有现有的分析其收敛速度和温度的选择。本文关闭这些差距，假设目标分布是一个混合的对数凹密度。我们表明，ReLD可以获得恒定的，甚至更好的收敛速度，即使当密度成分的混合物集中在孤立的模式。我们还表明，使用mReLD与$K$额外的LD可以达到相同的结果，而交换频率只需要是$(1/K)$ -th权力的一个在ReLD。
2020-07-10 math.PR math.ST stat.TH
Instance-Optimal Adaptive Location Estimation via Multiscale Mid-Summaries
Department of Statistics, University of Chicago（芝加哥大学统计学系）
针对未知噪声分布的位置估计问题，提出一种形状无关的估计器，通过多尺度中位数摘要达到实例最优速率，适用于更广的对称单峰密度类，且计算复杂度为O(log n)。
2026-09-18 math.ST stat.ME stat.ML
