Query lower bounds for log-concave sampling
Institute for Advanced Study（普林斯顿高等研究院）；Microsoft Research（微软研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Massachusetts Institute of Technology（麻省理工学院）
本文针对对数凹采样问题建立了查询复杂度下界，证明强对数凹对数光滑分布在常数维度上需要Ω(log κ)次查询，高斯分布需要近精确的Ω̃(min(√κ log d, d))次查询，并通过多尺度构造和块Krylov算法最优性归约完成证明。
2023-10-30 cs.DS cs.LG math.ST
Poisson Midpoint Method for Log Concave Sampling: Beyond the Strong Error Lower Bounds
Google DeepMind（谷歌DeepMind）
本研究提出用于强对数凹分布采样的Poisson中点离散化方法，证明其在2-Wasserstein距离下收敛，精度依赖上较Euler-Maruyama法实现三次方加速，且欠阻尼场景下W₂收敛复杂度低于已知L²强误差下界。
2025-10-01 cs.LG math.PR math.ST
Fast Score-Based Sampling via Log-Concave Reductions
提出将分数扩散采样问题约简为一系列强对数凹子问题，利用任意强对数凹采样器实现高效采样，并给出采样复杂度界限。
2026-07-02 cs.LG math.ST stat.ML
Randomized Midpoint Method for Log-Concave Sampling under Constraints
Department of Mathematical Sciences, Tsinghua University（清华大学数学科学系）；Artificial Intelligence Research Institute, Shenzhen MSU-BIT University（深圳MSU-BIT大学人工智能研究院）；Department of Data Science, City University of Hong Kong（香港城市大学数据科学系）
提出约束域中过阻尼和动能朗之万扩散的随机中点离散化方法，通过投影算子建立统一框架，证明Wasserstein-q距离下的收敛保证并得到近最优下界。
2026-06-17 cs.LG math.PR math.ST
Implicit Langevin Algorithms for Sampling From Log-concave Densities
UC Berkeley（加州大学伯克利分校）；International Computer Science Institute（国际计算机科学研究所）；Queensland University of Technology（昆士兰科技大学）；University of Queensland（昆士兰大学）
对于对数凹密度采样，我们研究了过阻尼Langevin扩散随机微分方程的$θ$方法离散化的隐式积分。理论和算法特性的采样方法$ θ\in [0,1] $和一系列的步长的建立。我们的结果在几个方向上推广和扩展了先前的工作。特别是，对于$θ\ge1/2$，我们证明了几何遍历性和稳定性的所有步长的方法。我们表明，获得后续样本相当于解决一个强凸优化问题，这是很容易实现的使用众多现有的方法之一。数值例子支持我们的理论分析。
2021-07-10 cs.LG stat.CO stat.ML
On sampling from a log-concave density using kinetic Langevin diffusions
ENSAE-CREST（法国国家统计与经济管理学院-应用经济科学研究中心）
朗之万扩散过程及其离散化常用于从目标密度采样。最方便的框架来评估这样一个抽样方案的质量对应于光滑和强对数凹密度定义在$\mathbb R^p$。目前的工作集中在这个框架和研究的动力学朗之万扩散的离散化的基础上的Monte Carlo算法的行为。我们首先证明几何混合动力学朗之万扩散的混合率，这是在过阻尼制度，最佳的条件数的依赖性。然后，我们使用这个结果获得改进的保证，使用动力学朗之万蒙特卡罗方法的采样时，采样的质量是由Wasserstein距离测量。我们还考虑了目标分布的对数密度的Hessian函数是Lipschitz连续的情况。在这种情况下，我们引入了一个新的离散化的动力学朗之万扩散，并证明这导致大幅改善的上界测量Wasserstein距离的采样误差。
2018-12-26 cs.LG math.PR math.ST
High-accuracy log-concave sampling with stochastic queries
MIT（麻省理工学院）；Yale University（耶鲁大学）
本文提出利用具有亚指数尾部的随机梯度实现高精度对数凹采样，展示其在迭代和查询复杂度上与凸优化问题的分离，并提供信息论论证证明轻尾随机梯度对高精度的必要性。
2026-05-14 cs.DS cs.LG math.PR
An Improved Analysis of Langevin Algorithms with Prior Diffusion for Non-Log-Concave Sampling
Hong Kong University of Science and Technology（香港科技大学）；The University of Hong Kong（香港大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究针对满足对数Sobolev不等式的更广泛非对数凹分布，证明带先验扩散的改进朗之万算法可实现KL散度的维度无关收敛，通过构造插值SDE优化了理论分析，为快速采样算法研发提供新思路。
2024-03-10 cs.LG math.OC math.ST
Complexity of zigzag sampling algorithm for strongly log-concave distributions
Duke University（杜克大学）；Carnegie Mellon University（卡内基梅隆大学）
研究了强对数凹分布下锯齿形抽样算法的计算复杂性。Z字形过程具有不需要时间离散化来实现的优点，并且每个提出的弹跳事件仅需要对电势的偏导数进行一次评估，而其收敛速率是与维度无关的。使用这些属性，我们证明了锯齿形采样算法实现$\varepsilon$错误卡方发散的计算成本相当于$O\bigl(κ^2 d^\frac{1}{2}(\log\frac{1}{\varepsilon})^{\frac{3}{2}}\bigr)$梯度评价制度$κ\ll \frac{d}{\log d}$下的热启动假设，其中$κ$是条件数和$d$是维度。
2022-01-26 cs.LG cs.NA math.NA
Faster high-accuracy log-concave sampling via algorithmic warm starts
NYU（纽约大学）；MIT（麻省理工学院）
从实践和理论的角度来看，理解从$\mathbb{R}^d$上的强对数凹和对数平滑分布$π$到高精度的采样的复杂性是一个基本问题。在实践中，高精度的采样器，如经典的大都会调整的朗之万算法（MALA）仍然是事实上的黄金标准;在理论上，通过近端采样器减少，可以理解，这样的采样器是关键的采样，甚至超过对数周期（特别是，对于满足等周假设的分布）。在这项工作中，我们改进了这个采样问题的尺寸依赖$\tilde{O}(d^{1/2})$，而以前最好的结果为MALA是$\tilde{O}(d)$。这结束了关于MALA复杂性的长期工作，并且还导致了在强对数和更高条件下对高精度采样的最新保证（由于上述减少）。我们的出发点是，MALA的复杂性提高到$\tilde{O}(d^{1/2})$，但仅在热启动（初始化时具有恒定的Rényi散度w.r.t. $π$）。以前的算法需要更长的时间来找到一个温暖的开始比使用它，并关闭这个差距仍然是一个重要的开放问题在该领域。我们的主要技术贡献解决了这个问题，建立了第一个$\tilde{O}(d^{1/2})$ Rényi混合率的离散欠阻尼朗之万扩散。为此，我们开发了新的差分隐私启发技术的基础上雷尼分歧与Orlicz-Wasserstein的变化，这使我们能够回避长期的挑战，证明快速收敛的hypocorctive微分方程。
2023-02-20 cs.DS cs.LG math.AP
Zeroth-Order Non-Log-Concave Sampling with Variance Reduction and Applications to Inverse Problems
Elmore School of Electrical and Computer Engineering, Purdue University, West Lafayette, USA（电子工程学院，普渡大学，西拉法叶，美国）；Weldon School of Biomedical Engineering, Purdue University, West Lafayette, USA（生物医学工程学院，普渡大学，西拉法叶，美国）
针对黑盒设置下非对数凹分布采样中梯度不可访问且经典零阶估计器方差大的问题，提出方差缩减的零阶朗之万采样方法，首次建立非渐近收敛保证，并应用于逆问题后验采样。
2026-05-28 cs.LG
Zeroth-Order Sampling Methods for Non-Log-Concave Distributions: Alleviating Metastability by Denoising Diffusion
Georgia Institute of Technology（佐治亚理工学院）
本文针对非对数凹分布采样问题，提出基于去噪扩散的DDMC元框架及零阶实现ZOD-MC，证明其逆多项式收敛性，实验显示低维下性能优于现有扩散采样器且对势垒升高、势能不连续不敏感。
2024-10-30 cs.LG math.PR math.ST
Efficient Robust Proper Learning of Log-concave Distributions
University of Southern California（南加州大学）；University of California, San Diego（加州大学圣地亚哥分校）
本文研究了一元对数凹分布（连续域和离散域）的{ \em鲁棒正确学习}。给定一组从未知目标分布中提取的样本，我们希望计算一个在总变异距离上尽可能接近目标的对数凹假设分布。在这项工作中，我们给这个学习问题的第一个计算效率高的算法。我们的算法实现了信息理论上的最优样本量（一个常数因子），运行在多项式时间，并具有接近最优的误差保证模型误指定的鲁棒性。具体来说，我们给出了一个算法，输入$n=O(1/\eps^{5/2})$样本从一个未知的分布$f$，运行在时间$\widetilde{O}(n^{8/5})$，并输出一个对数凹假设$h$，（以高概率）满足$\dtv(h, f) = O(\opt)+\eps$，其中$\opt$是最小的总变化之间的距离$f$和类的对数凹分布。我们的方法是相当灵活的，可以适用于许多其他单变量分布族的鲁棒适当的学习问题。
2016-06-09 cs.DS cs.LG math.ST
The Randomized Midpoint Method for Log-Concave Sampling
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
对数凹分布的抽样是一个在统计学和机器学习中有许多应用的研究问题。本文研究了$p^{*}\propto\exp(-f(x))$型的分布，其中$f:\mathbb{R}^{d}\rightarrow\mathbb{R}$具有$L$ -Lipschitz梯度，并且是$m$ -强凸的.本文提出了一种基于欠阻尼朗之万扩散（ULD）的马尔可夫链蒙特卡罗（MCMC）算法。它可以在$\tilde{O}\left(κ^{7/6}/ε^{1/3}+κ/ε^{2/3}\right)$步骤中实现$ε\cdot D$误差（以2-Wasserstein距离计），其中$D\overset{\mathrm{def}}{=}\sqrt{\frac{d}{m}}$是问题的有效直径，$κ\overset{\mathrm{def}}{=}\frac{L}{m}$是条件数。我们的算法执行速度显着比以前最好的已知算法解决这个问题，这需要$\tilde{O}\left(κ^{1.5}/ε\right)$的步骤。此外，我们的算法可以很容易地并行化，只需要$O(κ\log\frac{1}ε)$并行步骤。为了解决抽样问题，我们提出了一个新的框架来离散随机微分方程。我们应用这个框架离散和模拟ULD，它收敛到目标分布$p^{*}$。该框架不仅可用于解决对数凹抽样问题，还可用于解决涉及模拟（随机）微分方程的任何问题。
2019-09-12 cs.DS cs.LG math.PR
Non-Log-Concave and Nonsmooth Sampling via Langevin Monte Carlo Algorithms
Northwestern University（西北大学）；The University of Chicago Booth School of Business（芝加哥大学布斯商学院）；Graz University of Technology（格拉茨工业大学）
本文研究了从非对数凹与非光滑分布中近似采样的难题，通过数值模拟比较了多种基于过阻尼Langevin扩散离散化的Langevin Monte Carlo及proximal MCMC算法在贝叶斯推理与成像逆问题中的性能。
2024-05-29 cs.LG stat.CO stat.ME
Minimax Mixing Time of the Metropolis-Adjusted Langevin Algorithm for Log-Concave Sampling
Duke University（杜克大学）
研究了对数光滑和强对数凹分布下的Metropolis调整Langevin算法（MALA）的混合时间。我们建立了它的最佳minimax混合时间下的一个温暖的启动。我们的主要贡献是双重的。首先，对于$d$维对数凹密度与条件数$κ$，我们表明，MALA与热启动混合在$\tilde O(κ\sqrt{d})$迭代对数因子。这改进了先前对条件数$κ$或维度$d$的依赖性的工作。我们的证明依赖于比较蛙跳积分与连续哈密顿动力学，在那里我们建立了一个新的浓度范围的接受率。其次，我们证明了一般状态空间上可逆MCMC算法的一个基于谱间隙的混合时间下界。我们应用这个下限结果来构造一个硬分布，MALA至少需要$\tilde Ω(κ\sqrt{d})$步骤来混合。MALA的下限在条件数和维数方面与我们的上限相匹配。最后，数值实验验证了我们的理论结果。
2022-10-02 cs.LG stat.CO stat.ML
Sampling from a log-concave distribution with Projected Langevin Monte Carlo
Microsoft Research（微软研究院）；Weizmann Institute（魏茨曼科学研究所）；Université Paris-Dauphine（巴黎第九大学）
我们通过一个投影步骤，类似于投影随机梯度下降（SGD）的朗之万蒙特卡罗（LMC）算法，以compensate支持的措施。我们表明（投影）LMC允许在多项式时间内从具有光滑势的对数凹分布中进行采样。这给出了一个新的马尔可夫链从对数凹分布中采样。我们的主要结果表明，特别是当目标分布是均匀的，LMC混合在$\tilde{O}(n^7)$步骤（其中$n$是尺寸）。我们还提供了初步的实验证据表明，LMC执行至少以及打了就跑，其中一个更好的混合时间的$\tilde{O}(n^4)$由洛夫{á}sz和Vempala证明。
2015-07-09 cs.DS cs.LG math.PR
Chain of Log-Concave Markov Chains
Genentech（基因泰克公司）；Inria（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；Université PSL（巴黎文理研究大学）
本文提出由对数凹马尔可夫链构成的非马尔可夫采样框架，以固定高斯平滑和经验贝叶斯推广 walk-jump sampling，并通过 2-Wasserstein 指标验证其多模态隧穿能力。
2023-09-29 cs.LG stat.CO stat.ML
Variance Reduction for Non-Log-Concave Sampling with Applications to Inverse Problems
School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）；School of Electrical and Computer Engineering, University of Southern California（南加州大学电气与计算机工程学院）；School of Biomedical Engineering, Purdue University（普渡大学生物医学工程学院）
针对非对数凹分布采样中随机梯度高方差问题，提出统一分析动量、STORM和PAGE等方差缩减方法，证明其在相对Fisher信息和非平方总变差距离下的改进收敛率，并扩展至基于得分的生成先验逆问题求解。
2026-06-16 cs.AI cs.LG
Learning Multivariate Log-concave Distributions
University of Southern California（南加州大学）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）
研究了多元对数凹概率密度函数的估计问题。我们证明了在$\mathbb{R}^d$上学习对数凹密度的第一个样本复杂度上界，对于所有的$d \geq 1$。在我们的工作之前，对于$d>3$的情况，这个学习问题的样本复杂度没有上限。更详细地说，我们给出了一个估计量，对于任何$d \ge 1$和$ε>0$，从$\mathbb{R}^d$上的未知目标对数凹密度中抽取$\tilde{O}_d \left( (1/ε)^{(d+5)/2} \right)$样本，并输出一个假设，即（以高概率）是$ε$ -接近目标，在总变化距离。我们的样本复杂性的上限接近已知的$Ω_d \left( (1/ε)^{(d+1)/2} \right)$这个问题的下限。
2017-06-05 cs.IT cs.LG math.IT
Near-Optimal Sample Complexity Bounds for Maximum Likelihood Estimation of Multivariate Log-concave Densities
The Ohio State University（俄亥俄州立大学）；University of Southern California（南加州大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
研究了关于全局损失函数的多元对数凹密度的学习问题。我们得到的第一个上界的样本复杂性的最大似然估计（MLE）的对数凹密度$\mathbb{R}^d$，所有$d \geq 4$。在此之前的工作，没有有限的样本上限是已知的估计在超过$3$尺寸。更详细地说，我们证明了，对于任何$d \geq 1$和$ε>0$，给定$\tilde{O}_d((1/ε)^{(d+3)/2})$样本从一个未知的对数凹密度$f_0$上$\mathbb{R}^d$，极大似然估计输出一个假设$h$，具有很高的概率是$ε$ -接近$f_0$，在平方海灵格损失。$Ω_d((1/ε)^{(d+1)/2})$的样本复杂度下限对于实现该保证的任何学习算法是先前已知的。因此，我们建立的样本复杂性的对数凹MLE是接近最佳的，高达$\tilde{O}(1/ε)$的因素。
2018-12-05 cs.IT cs.LG math.IT
Sampling from Log-Concave Distributions with Infinity-Distance Guarantees
Worcester Polytechnic Institute（伍斯特理工学院）；Yale University（耶鲁大学）
对于约束到凸体$K$的$d$维对数凹分布$π(θ) \propto e^{-f(θ)}$，在差分私有优化中出现了从分布$ν$输出样本的问题，该分布$ν$是与$π$在无限距离$\sup_{θ\in K} |\log \frac{ν(θ)}{π(θ)}|$上接近的分布。虽然在$π$的全变差距离$\varepsilon$内的采样可以通过其运行时间多项式地依赖于$\frac{1}{\varepsilon}$的算法来完成，但是用于在$\varepsilon$无穷远距离中采样的现有算法具有多项式地依赖于$\frac{1}{\varepsilon}$的运行时间界限。我们提出了一种算法，输出一个点$\varepsilon$ -接近$π$在无限远的距离，需要在最多$\mathrm{poly}(\log \frac{1}{\varepsilon}, d)$调用成员资格的预言$K$和评估的预言$f$，当$f$是Lipschitz的，我们弥合了这一差距。我们的方法从以前的工作出发，构造马尔可夫链上的$\frac{1}{\varepsilon^2}$离散$K$，以实现一个样本与$\varepsilon$无限距离误差，并提出了一种方法，直接转换连续样本从$K$与全变差界的样本与无限界。这种方法也使我们能够获得一个改进的维度$d$的运行时间的问题，从一个对数凹分布的多面体$K$无限距离$\varepsilon$…
2022-11-11 cs.CR cs.DS cs.LG
Truncated Log-concave Sampling with Reflective Hamiltonian Monte Carlo
National Kapodistrian University of Athens（雅典国立卡波迪斯特里安大学）；Cornell University（康奈尔大学）；INRIA Paris（法国国家信息与自动化研究所巴黎分部）
我们引入反射哈密顿蒙特卡罗（ReHMC），HMC为基础的算法，从一个对数凹分布限制到凸体采样。我们证明，从一个温暖的开始，步行混合到一个对数凹目标分布$π(x) \propto e^{-f(x)}$，其中$f$是$L$ -光滑和$m$ -强凸，在精确度$\varepsilon$后，$\widetilde O(κd^2 \ell^2 \log (1 / \varepsilon))$步骤的一个良好的圆形凸体，其中$κ= L / m$是负对数密度的条件数，$d$是尺寸，$\ell$是反射数的上限，并且$\varepsilon$是准确度参数。我们还开发了一个高效的开源ReHMC实现，并在各种高维数据集上进行了实验研究。实验表明，ReHMC outperfroms打了就跑和协调打了就跑的时间，它需要产生一个独立的样本，并介绍了实际的截断抽样在数千个维度。
2021-08-26 cs.CG cs.LG
Log-Concave Coupling for Sampling Neural Net Posteriors
Yale University（耶鲁大学）
本文提出一种基于Greedy Bayes的单隐层神经网络采样算法，通过将多模态后验与辅助变量耦合，证明条件分布与边际密度具有对数凹性，并利用快速混合MCMC和Langevin动力学实现高效准确的神经元权重后验采样。
2024-07-26 cs.IT cs.LG math.IT
Conditionally Strongly Log-Concave Generative Models
École Normale Supérieure（巴黎高等师范学院）；New York University（纽约大学）；Collège de France（法兰西公学院）；Flatiron Institute（熨斗研究院）
针对深度生成模型缺乏理论保证而经典方法假设过强的问题，提出CSLC模型，用适配数据的正交投影子将分布分解为强对数凹条件分布，并在φ⁴场和弱透镜图上实现高分辨率验证。
2023-05-31 cs.CV cs.LG eess.SP
Beyond Log-Concavity: Theory and Algorithm for Sum-Log-Concave Optimization
Technology Innovation Institute（技术创新研究院）
论文研究sum-log-concave函数负对数的非凸最小化问题，提出基于交叉梯度的XGD算法并证明其收敛性，同时用checkered regression实现非线性可分分类。
2023-09-26 cs.LG math.OC
Quantum Algorithms for Sampling Log-Concave Distributions and Estimating Normalizing Constants
Joint Center for Quantum Information and Computer Science（量子信息与计算机科学联合中心）；University of Maryland（马里兰大学）；Center on Frontiers of Computing Studies（计算前沿研究中心）；Peking University（北京大学）；Simons Institute（西蒙斯研究所）；UC Berkeley（加州大学伯克利分校）；Pennsylvania State University（宾夕法尼亚州立大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出基于欠阻尼 Langevin 扩散和量子 Metropolis 调整 Langevin 的算法，用于对数凹采样与归一化常数估计，在零阶查询下匹配经典一阶复杂度，并取得相对经典算法的多项式加速及近最优误差下界。
2022-10-12 cs.LG math.OC quant-ph
