Provably Efficient Bayesian Optimization with Unknown Gaussian Process Hyperparameter Estimation
RMIT University（RMIT大学）；Amazon（亚马逊公司）；Deakin University（迪肯大学）；Chongqing University（重庆大学）；University of Adelaide（阿德莱德大学）
针对贝叶斯优化中高斯过程超参数未知且估计有偏的问题，本文提出结合EXP3多臂老虎机随机采样与一致性训练损失函数的新方法，在保证次线性全局收敛的同时实现优于现有方法的性能。
2024-06-06 cs.LG stat.ML
Radial Neighbors for Provably Accurate Scalable Approximations of Gaussian Processes
针对大规模地统计问题中高斯过程近似方法缺乏理论支撑、对图结构敏感的问题，提出基于有向无环图的径向邻居高斯过程RadGP，证明其Wasserstein-2距离近似误差界，并通过实验验证其先验和后验近似的优异性能。
2024-06-20 math.ST stat.ME stat.TH
Screening for an Infectious Disease as a Problem in Stochastic Control
Czech Technical University（捷克技术大学）
最近人们对筛查人群中的传染病很感兴趣。在这里，我们提出了一个随机控制模型，其中的最佳筛选政策是证明很难找到，但其中汤普森抽样证明最佳的性能保证贝叶斯后悔的形式。汤普森抽样似乎特别适用于我们不太了解其动态的疾病，例如超级传播的COVID-19。
2020-11-01 cs.LG math.OC physics.soc-ph
Exploiting Exact Conditionals Improves Conditioning: Provably Fast Mixing Time Bounds By Sampling from the Marginal
Tufts University（塔夫茨大学）；Northwestern University（西北大学）；Emory University（埃默里大学）
该研究提出MarCo算法，利用目标分布的边缘-条件结构，通过从边缘分布采样结合精确条件分布采样，实现了更优的MCMC混合时间界与收敛性能，数值结果验证了其有效性。
2026-08-31 math.ST stat.CO stat.TH
Towards High-Order Mean Flow Generative Models: Feasibility, Expressivity, and Provably Efficient Criteria
Wyoming Seminary（怀俄明私立学院）；San Jose State University（旧金山州立大学）；University of California, Berkeley（加州大学伯克利分校）
本文提出Second-Order MeanFlow，将平均加速度场引入MeanFlow目标，通过证明广义一致性条件确立可行性，经电路复杂性分析揭示其表达性，并利用快速近似注意力推导出可证明的高效准则，为高阶流匹配模型奠定理论基础。
2025-08-09 cs.AI cs.CV cs.LG
Provably adaptive sampling with uniform and remasking discrete diffusion models
University of Pennsylvania（宾夕法尼亚大学）；the Wharton School（沃顿商学院）；Department of Statistics and Data Science（统计与数据科学系）
该研究针对均匀与重掩蔽离散扩散模型，提出带留一法去噪器的一阶自适应采样器，证明其采样复杂度由目标分布固有依赖结构决定，而非环境维度，实验验证了维度自适应行为。
2026-08-25 cs.IT cs.LG math.IT
Provably Robust Score-Based Diffusion Posterior Sampling for Plug-and-Play Image Reconstruction
Carnegie Mellon University（卡内基梅隆大学）
针对一般非线性逆问题，本文提出交替调用近端一致性采样器与扩散去噪采样器的DPnP框架，并给出渐近及非渐近鲁棒性保证。
2024-06-12 cs.CV cs.LG eess.IV
Provably Safe Generative Sampling with Constricting Barrier Functions
Mechanical Engineering University of California, Riverside（机械工程 加州大学河滨分校）；Electrical Engineering and Computer Science University of California, Irvine（电气工程与计算机科学 加州大学伊尔弗分校）
通过约束屏障函数实现安全生成采样，确保生成样本满足硬约束并保持语义保真度。
2026-08-04 cs.AI cs.LG cs.SY
Provably Efficient Information-Directed Sampling Algorithms for Multi-Agent Reinforcement Learning
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Northwestern Polytechnical University（西北工业大学）；Institute of Artificial Intelligence (TeleAI), China Telecom Corp Ltd（中国电信人工智能研究院（TeleAI））
本文基于信息导向采样原理提出MAIDS、Reg-MAIDS和Compressed-MAIDS三种多智能体强化学习算法，在双人零和及多人一般和马尔可夫博弈中实现样本高效的均衡学习。
2024-04-30 cs.IT cs.LG cs.MA
Shallow diffusion networks provably learn hidden low-dimensional structure
Carnegie Mellon University（卡内基梅隆大学）；Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学研究所）；University of Southern California（南加州大学）；University of Pennsylvania（宾夕法尼亚大学）
本文分析了单层神经网络的Barron空间上的扩散模型学习，证明浅层扩散网络能自适应低维结构从而避免维度灾难，并给出了端到端的样本复杂度界限。
2024-10-15 cs.LG stat.ML
Sequential sampling of Gaussian process latent variable models
University of Oxford（牛津大学）
我们考虑的问题，推断一个潜在的功能在概率模型的数据。当潜在函数的依赖性由高斯过程指定并且数据似然是复杂的时，有效的计算通常涉及马尔可夫链蒙特卡罗采样，其对大数据集的适用性有限。我们扩展这些技术的一些规模有效地当问题表现出顺序结构。我们提出了一个近似，使序贯抽样的潜在变量和相关参数。我们展示了强大的性能增长的数据设置，否则是不可行的天真，非序贯抽样。
2018-07-20 cs.LG stat.ML
Transformer-Based Masked Diffusion Models Provably Learn Distributions with Latent Structure
University of Michigan（密歇根大学）
该研究针对现有掩码扩散模型（MDMs）理论存在的维度灾难问题，提出基于Transformer的MDMs，通过隐马尔可夫树混合模型建模潜在结构，证明其可自动适应未知潜在结构，以Õ(LK_par/ε)样本复杂度实现ε精度采样，为MDMs的经验有效性提供理论支撑。
2026-10-12 cs.IT cs.LG math.IT
Learning Mixtures of Gaussians Using the DDPM Objective
UT Austin（德克萨斯大学奥斯汀分校）；UC Berkeley（加州大学伯克利分校）
本文首次证明了在特定分离条件下，梯度下降优化DDPM目标能高效恢复高斯混合模型的真实参数，并揭示了基于得分的方法与EM算法、谱方法之间的新联系。
2023-07-03 cs.DS cs.LG stat.ML
A Strategy for Adaptive Sampling of Multi-fidelity Gaussian Process to Reduce Predictive Uncertainty
General Electric Research（通用电气研究中心）
多保真度高斯过程是解决优化、校准和不确定度量化等计算量大的算法的常用方法。多保真度高斯过程的自适应采样是一个不断变化的任务，因为我们不仅要估计设计变量的下一个采样位置，而且还要估计模拟器的保真度。这个问题通常通过将模拟器的成本作为搜索标准中的另一个因素与不确定性降低度量结合来解决。在这项工作中，我们扩展了传统的设计实验框架的多保真度高斯过程的预测不确定性的基础上的保真度水平和相关的执行成本进行分区。此外，我们利用的概念，量化的影响，增加一个探索性的设计点上的高斯过程的不确定性预测的信徒。我们使用理论实例以及流化床过程稳态热力学操作点的工业应用来证明我们的框架
2019-07-26 cs.LG stat.ML
Normalizing Constant Estimation with Gaussianized Bridge Sampling
Peking University（北京大学）；University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Lab（劳伦斯伯克利国家实验室）
归一化常数（也称为配分函数、贝叶斯证据或边际似然）是贝叶斯推断的核心目标之一，然而大多数现有方法既昂贵又不准确。在这里，我们开发了一种新的方法，从后验样本得到一个标准的马尔可夫链蒙特卡罗（MCMC）。我们应用一种新的归一化流（NF）方法从这些样本中获得一个解析密度估计，然后通过最优桥采样（OBS）获得归一化常数。我们比较我们的方法，我们称之为高斯桥采样（GBS）现有的方法，如嵌套采样（NS）和退火重要性抽样（AIS）的几个例子，显示我们的方法是显着更快，更准确地比这些方法，并具有可靠的误差估计。
2019-12-12 astro-ph.CO cs.LG stat.CO
The Poisson Midpoint Method for Langevin Dynamics: Provably Efficient Discretization for Diffusion Models
Cornell University（康奈尔大学）；Google DeepMind（谷歌DeepMind）
针对扩散模型中LMC收敛慢的问题，提出泊松中点方法，以大步长近似小步长LMC，证明在弱假设下实现二次加速，并实验表明用50-80次网络调用保持DDPM质量且优于ODE方法。
2025-10-09 cs.LG cs.NA math.NA
Accelerating Convergence of Score-Based Diffusion Models, Provably
The Chinese University of Hong Kong（香港中文大学）；University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
针对基于分数的扩散模型采样速度慢且加速技术理论基础不足的问题，提出免训练的加速确定性与随机采样算法，分别将收敛速率提升至O(1/T²)和O(1/T)，且无需目标分布满足对数凹性或平滑性。
2024-03-06 cs.AI cs.IT cs.LG
The Gaussian Latent Machine: Efficient Prior and Posterior Sampling for Inverse Problems
Institute of Visual Computing, Graz University of Technology（视觉计算研究所，格拉茨技术大学）
本文提出高斯潜在机，通过统一和泛化现有采样算法，实现高效逆问题采样，适用于多种贝叶斯成像先验和后验分布。
2026-04-15 cs.CV cs.LG eess.IV
Metropolis-Hastings Sampling Using Multivariate Gaussian Tangents
我们提出了MH-MGT，从二次可微，对数凹概率密度函数抽样的多变量技术。MH-MGT是Metropolis-Hastings抽样，使用从对数密度函数的泰勒级数展开构造的非对称多元高斯建议函数。高斯建议函数的平均值表示完整的牛顿步骤，因此MH-MGT是牛顿优化的随机对应物。收敛性分析表明，MH-MGT是非常适合从计算昂贵的对数密度与许多独立的观察贡献的采样。我们采用的技术，吉布斯抽样分析的层次贝叶斯营销有效性模型建立了一个大型的美国食品服务分销商。与单变量切片采样相比，MH-MGT显示抽样效率提高了6倍，以“每个独立样本的功能评价当量”衡量。为了便于广泛适用的MH-MGT的统计模型，我们证明了二次可微分布的对数是不变的“线性投影”的转换，包括但不限于，广义线性模型。
2013-08-03 stat.ME
Efficiently Sampling Functions from Gaussian Process Posteriors
Imperial College London（伦敦帝国学院）；St. Petersburg State University（圣彼得堡国立大学）；St. Petersburg Department of Steklov Mathematical Institute of Russian Academy of Sciences（俄罗斯科学院斯捷克洛夫数学研究所圣彼得堡分所）；University College London（伦敦大学学院）
高斯过程是许多现实世界建模问题的黄金标准，特别是在模型的成功取决于其忠实表示预测不确定性的能力的情况下。这些问题通常作为较大框架的一部分存在，其中感兴趣的量最终通过对后验分布进行积分来定义。这些量通常是难以处理的，从而激发了蒙特卡罗方法的使用。尽管在将高斯过程放大到大训练集方面取得了实质性进展，但用于从其后验分布准确生成绘制的方法仍然在测试位置的数量上按立方缩放。我们确定了一个分解的高斯过程，自然适合于可扩展的采样分离出的数据之前。基于这种分解，我们提出了一种易于使用和通用的快速后验采样方法，该方法与稀疏近似无缝配对，以在训练和测试时提供可扩展性。在一系列旨在测试竞争抽样方案的统计特性和实际后果的实验中，我们演示了解耦样本路径如何以通常成本的一小部分准确地表示高斯过程后验。
2020-08-16 cs.LG stat.CO stat.ML
Correcting CondOT: Exact Finite-Step Sampling in Gaussian Flow Matching
Technion（以色列理工学院）
本文研究高斯流匹配中有限步采样的误差，证明标准CondOT调度可消除主要中点误差，并构造以1/S速率逼近其噪声调度的调度以实现精确采样。
2026-10-01 cs.LG
Slice sampling covariance hyperparameters of latent Gaussian models
高斯过程（GP）是一种在概率模型中指定随机变量之间依赖关系的流行方法。在贝叶斯框架中，协方差结构可以使用未知的超参数来指定。在进行预测时，对这些超参数进行积分会考虑对数据的不同可能解释。该积分通常使用马尔可夫链蒙特卡罗（MCMC）采样来执行。然而，对于非高斯观测，标准超参数采样方法需要仔细调整，并且可能收敛缓慢。在本文中，我们提出了一个切片采样方法，需要很少的调整，同时混合以及在强和弱的数据制度。
2010-10-28 stat.CO stat.ML
Gaussian Processes Sampling with Sparse Grids under Additive Schwarz Preconditioner
本文针对高斯过程采样中高维计算难题，提出结合稀疏网格诱导点近似与加性Schwarz预处理器的可扩展采样算法，降低计算复杂度并保证快速收敛，实验验证了其有效性与准确性。
2024-08-01 stat.CO stat.ML
Nested Sampling for Non-Gaussian Inference in SLAM Factor Graphs
Massachusetts Institute of Technology（麻省理工学院）；Woods Hole Oceanographic Institution（伍兹霍尔海洋研究所）
我们提出了因子图的嵌套抽样（NSFG），一种新的嵌套抽样方法来近似推断因子图上表示的后验分布。执行这样的推理是同时定位与地图构建（SLAM）中的关键步骤。虽然高斯近似通常工作得很好，但在其他更具挑战性的SLAM情况下，后验分布是非高斯的，并且不能用标准分布显式表示。我们的技术适用于后验分布基本上是非高斯分布的设置（例如，多模态），因此需要更有表现力的表示。NSFG利用嵌套抽样方法直接对后验样本进行抽样，以表示没有参数密度模型的分布。虽然嵌套抽样方法以其在对多模态分布进行抽样方面的强大能力而闻名，但将该方法应用于SLAM因子图并不简单。NSFG利用因子图的结构来构造信息丰富的先验分布，这些先验分布被有效地采样，并为嵌套采样方法提供显着的计算优势。我们目前的模拟实验表明，NSFG是更强大的和计算的解决方案超过一个数量级的速度比国家的最先进的采样技术。同样，我们比较NSFG国家的最先进的高斯和非高斯SLAM方法，并证明NSFG是显着更强大的描述非高斯后验。
2022-08-09 cs.RO stat.AP
Ensemble-based implicit sampling for Bayesian inverse problems with non-Gaussian priors
College of Mathematics and Econometrics, Hunan University（湖南大学数学与统计学院）；School of Mathematical Sciences, Tongji University（同济大学数学科学学院）
本文提出了一种基于集合的隐式采样方法，用于解决具有非高斯先验的贝叶斯反问题，通过结合迭代集合平滑（IES）和隐式采样，生成重要样本以构建重要密度，从而避免显式计算雅可比矩阵和海森矩阵，提高计算效率，并应用于非高斯模型中的反问题。
2018-12-02 cs.NA math.NA stat.CO
Cluster Sampling Filters for Non-Gaussian Data Assimilation
Virginia Polytechnic Institute and State University（弗吉尼亚理工大学）
本文提出一种非高斯Hamilton蒙特卡罗采样滤波器，通过引入聚类步骤和高斯混合模型估计先验密度，实现对非高斯先验的灵活处理，验证了该方法在准地转模型中的有效性。
2016-08-18 cs.NA math.NA stat.AP
A Provably Accurate Randomized Sampling Algorithm for Logistic Regression
Oak Ridge National Laboratory（橡树岭国家实验室）
本文提出一种基于杠杆分数采样的随机算法，用于在大规模数据上高效近似逻辑回归的估计概率和模型偏差，并通过理论和实验证明其精确性与计算效率。
2024-03-31 cs.DS cs.LG stat.ML
Provably Correct Algorithms for Matrix Column Subset Selection with Selectively Sampled Data
Carnegie Mellon University（卡内基梅隆大学）；School of Computer Science（计算机科学学院）；Machine Learning Department（机器学习系）；Forbes Avenue, Pittsburgh, PA 15213, USA（5000 Forbes Avenue, Pittsburgh, PA 15213, USA（地址非机构，此处按要求应忽略，但原文本中该地址与机构关联，需确认））
我们考虑矩阵列子集选择问题，它从输入矩阵中选择列的子集，使得输入可以很好地近似于所选列的跨度。列子集选择已被应用于许多现实世界的数据应用，如人口遗传学总结，电子电路测试和推荐系统。在许多应用中，完整的数据矩阵是不可用的，人们需要通过检查输入矩阵的一小部分来选择代表性的列。在本文中，我们提出了第一个可证明正确的列子集选择算法的部分观测数据矩阵。我们提出的算法表现出不同的优点和局限性的统计精度，计算效率，样本的复杂性和采样方案，这提供了一个很好的探索列子集选择这些所需的属性之间的权衡。所提出的方法采用反馈驱动采样的思想，并且受到先前针对低秩矩阵近似任务引入的几种采样方案的启发（Drineas等人，2008; Frieze等人，2004年; Deshpande和Vempala，2006年; Krishnamurthy和Singh，2014年）。我们的分析表明，假设输入数据矩阵具有不相干的行，但可能相干的列，所有算法可证明收敛到最佳的低秩近似的原始数据作为选定的列数的增加。此外，所提出的算法享有相对误差界，这是首选的列子集选择和矩阵近似的目的。我们还通过理论和实证分析证明了反馈驱动采样的力量相比，均匀随机采样的输入矩阵具有高度相关的列。
2018-01-25 cs.LG stat.ML
Provably Efficient Kernelized Q-Learning
University of California, San Diego（加州大学圣地亚哥分校）
我们提出并分析了一个内核化版本的Q学习。虽然核空间通常是无限维的，但广泛的研究表明，泛化只受数据的有效维数的影响。我们将这些想法纳入Q-学习框架，并推导出任意内核的遗憾界。特别是，我们为线性核和高斯RBF核提供了具体的界限;值得注意的是，后者的界限看起来几乎与前者相同，只是实际的维度被不同的维度概念所取代。最后，我们在一系列经典控制任务上测试了我们的算法;值得注意的是，在高斯RBF内核下，它在仅1000个环境步骤后就实现了相当好的性能，而其神经网络对应物深度Q学习仍然很难。
2022-04-21 cs.LG stat.ML
Greedy Sampling Is Provably Efficient for RLHF
Electrical and Computer Engineering University of Virginia（电气与计算机工程大学弗吉尼亚大学）；Princeton Language and Intelligence Princeton University（普林斯顿语言与智能普林斯顿大学）
该研究针对RLHF理论理解不足的问题，跳出经典乐观/悲观估计框架，基于KL正则化目标下最优策略类的结构特性，证明贪心采样在通用偏好模型及BT模型中均能实现阶数提升的性能保证，为RLHF算法设计提供新理论依据。
2025-10-28 cs.AI cs.IT cs.LG
Completing Any Low-rank Matrix, Provably
University of California, Berkeley（加州大学伯克利分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
矩阵完备化，即，从其元素的一个小子集中精确且可证明地恢复低秩矩阵，目前已知仅当矩阵在其行和列空间上满足限制性结构约束--称为{ \em不相干性}时才是可能的。在这些情况下，元素的子集被随机均匀地采样。在本文中，我们表明，{ \em任何}秩- $ r $ $ n$ -由- $ n $矩阵可以完全恢复从尽可能少的$O(nr \log^2 n)$随机选择的元素，提供这种随机选择是根据一个{ \em特定的偏置分布}：任何元素被采样的概率应该是成比例的相应行和列的杠杆分数的总和。也许同样重要的是，我们表明，这种特定形式的抽样几乎是必要的，在一个自然的精确意义上，这意味着其他可能更直观的抽样方案失败。我们进一步建立了三种方法，在杠杆分数未知时将上述结果用于设置\textit{a priori}：（a）用于只有一个行或列空间不相干的情况的采样策略，（b）用于一般矩阵的双重抽样过程，首先采样以估计杠杆分数，然后采样以精确恢复，以及（c）分析显示了在非均匀采样的情况下加权核/迹范数最小化相对于香草未加权公式化的优点。
2014-07-21 cs.IT cs.LG math.IT
Provably Efficient Model-based Policy Adaptation
University of California, San Diego（加州大学圣地亚哥分校）；Microsoft Research（微软研究院）
强化学习的高样本复杂性对其在实践中的应用提出了挑战。一个有希望的方法是快速调整预先训练的策略以适应新的环境。现有的策略自适应问题的方法通常依赖于域随机化和元学习，通过在预训练期间从目标环境的一些分布中采样，因此在分布外的目标环境中面临困难。我们提出了新的基于模型的机制，能够使在线适应在看不见的目标环境中，通过结合从无遗憾在线学习和自适应控制的想法。我们证明了该方法在目标环境中学习策略，可以快速从源环境中恢复轨迹，并在一般设置中建立收敛速度。我们证明了我们的方法的政策适应在一组不同的连续控制任务的好处，实现了最先进的方法的性能，低得多的样本复杂性。
2020-06-14 cs.LG stat.ML
Inference via Interpolation: Contrastive Representations Provably Enable Planning and Inference
Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
针对高维时间序列的概率推断难题，提出将对比学习变体应用于时间序列，证明其学到的表示遵循高斯-马尔可夫链，推断可转化为低维矩阵求逆，特殊情形下等价于表示插值，并通过46维内的数值模拟验证了理论。
2025-05-21 cs.LG stat.ML
From matrix inversion to constraints: provably tighter confidence regions for importance weights in label shift
The Pennsylvania State University（宾夕法尼亚州立大学）
针对标签偏移中重要性权重估计的不确定性，提出直接矩阵约束框架替代基于求逆的推断，通过线性规划提取边际区间，获得可证明更紧且有限样本有效的置信域，在多个基准上优于现有方法。
2026-11-10 cs.LG stat.ML
Fast Online Learning with Gaussian Prior-Driven Hierarchical Unimodal Thompson Sampling
本文提出基于高斯先验的分层单峰汤普森采样算法，用于解决具有高斯反馈奖励的聚类多臂老虎机问题，通过分层结构和单峰假设降低遗憾界并验证算法优势。
2026-02-17 cs.LG stat.ML
Thompson Sampling for Gaussian Entropic Risk Bandits
National University of Singapore（新加坡国立大学）
多臂强盗（MAB）问题是一个普遍存在的决策问题，体现了探索-开发权衡。标准公式排除了决策中的风险。Risnotably复杂的基本奖励最大化的目标，部分原因是没有普遍认同的定义it. In本文中，我们认为熵风险（ER）的措施和探索的表现汤普森抽样为基础的算法ERTS下提供遗憾的界限ERTS和相应的实例相关的下限的风险措施。
2021-05-14 cs.LG stat.ML
Thompson Sampling for Online Learning with Linear Experts
Technion（以色列理工学院）
在这篇文章中，我们提出了一个版本的汤普森采样算法的问题，在线线性推广与充分的信息（即，Kalai和Vempala在2005年进行了研究。该算法使用高斯先验和随时间变化的高斯似然，我们表明，它基本上减少到Kalai和Vempala的跟随扰动领导者的策略，用高斯噪声代替指数分布的噪声。这意味着对于具有完整信息的在线学习，Thompson采样（具有时变似然）的sqrt（T）遗憾界限。
2013-11-03 cs.LG stat.ML
SiPPing Neural Networks: Sensitivity-informed Provable Pruning of Neural Networks
Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室）；Robotics and Big Data Laboratory, University of Haifa（海法大学机器人与大数据实验室）
我们引入了一种修剪算法，该算法可以证明稀疏化训练模型的参数，从而近似保留模型的预测准确性。我们的算法使用一小批输入点，构建一个数据通知的重要性采样分布在网络的参数，并自适应地混合基于采样和确定性修剪过程，以丢弃冗余的权重。我们的修剪方法同时计算效率高，可证明是准确的，并广泛适用于各种网络架构和数据分布。我们的实证比较表明，我们的算法可靠地产生高度压缩的网络，相对于原始网络的性能损失最小。我们目前的实验结果表明，我们的算法的潜力，挖掘出必要的网络连接，可以成功地训练隔离，这可能是独立的利益。
2021-03-15 cs.DS cs.LG stat.ML
Provably efficient variational generative modeling of quantum many-body systems via quantum-probabilistic information geometry
Google Brain（谷歌大脑）；Institute for Quantum Computing, University of Waterloo（滑铁卢大学量子计算研究所）；UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）；University of Waterloo（滑铁卢大学）
量子哈密顿学习和量子吉布斯采样的双重任务与物理和化学中的许多重要问题有关。在低温状态下，这些任务的算法通常会遇到棘手的问题，例如样本或时间复杂性差。为了解决这些棘手的问题，我们引入了量子自然梯度下降的泛化参数化混合态，以及提供一个强大的一阶近似算法，量子概率镜像下降。我们使用信息几何和量子精密测量的工具证明了双重任务的数据采样效率，从而首次将经典Fisher效率的开创性结果推广到变分量子算法。我们的方法扩展了以前的样本效率技术，以允许模型选择的灵活性，包括基于量子哈密顿模型的光谱分解模型，这可能会规避棘手的时间复杂性。我们的一阶算法是使用一种新的量子推广的经典镜像下降对偶。这两个结果都需要一个特殊的度量选择，即Bogoliubov-Kubo-Mori度量。为了测试我们提出的算法数值，我们比较它们的性能现有的基线上的任务的量子吉布斯采样的横向场伊辛模型。最后，我们提出了一个初始化策略，利用几何局部性的状态序列，如量子随机过程所产生的建模。我们证明了它的有效性经验为真实和虚构的时间演化，同时定义了更广泛的潜在应用。
2022-06-09 cs.LG quant-ph stat.ML
Learning Self-Correctable Policies and Value Functions from Demonstrations with Negative Sampling
Princeton University（普林斯顿大学）；University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
模仿学习，其次是强化学习算法，是一个有前途的范例，以解决复杂的控制任务的样本效率。然而，示教学习经常遭受协变量偏移问题，这导致学习策略的级联错误。我们引入了保守外推的价值函数的概念，这可证明导致政策的自我校正。我们设计了一个算法负采样值迭代（VINS），实际上学习这样的价值函数保守外推。我们表明，VINS可以纠正错误的行为克隆政策的模拟机器人基准任务。我们还提出了使用VINS来初始化强化学习算法的算法，该算法在样本效率方面明显优于先前的工作。
2019-10-11 cs.AI cs.LG stat.ML
Optimal Differentially Private Sampling of Unbounded Gaussians
Cheriton School of Computer Science, University of Waterloo（滑铁卢大学切里顿计算机科学学院）；Vector Institute（矢量研究所）
本文提出在$(\varepsilon, \delta)$-差分隐私约束下从无界高斯分布采样的首个$\widetilde{\mathcal{O}}(d)$样本算法，实现了二次改进并解决了相关开放问题。
2025-03-03 cs.CR cs.DS cs.IT
Composite Logconcave Sampling with a Restricted Gaussian Oracle
University of Washington（华盛顿大学）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
我们考虑从复合密度$\mathbb{R}^d$的形式$dπ(x) \propto \exp(-f(x) - g(x))dx$的采样良好的条件$f$和凸（但可能是非光滑）$g$，一个家庭推广到一个凸集的限制，通过抽象的限制高斯预言。对于条件数为$κ$的$f$，我们的算法在$O \left(κ^2 d \log^2\tfrac{κd}ε\right)$迭代中运行，每次查询$f$的梯度和受限的高斯预言，以实现总变化距离$ε$。限制高斯预言机，从分布的负对数似然总和二次和$g$，以前已经研究过，是一个自然的扩展，在复合优化中使用的邻近预言机。我们的算法是概念上简单，并获得更强的可证明的保证和更大的通用性比现有的复合抽样方法。我们进行的实验表明，我们的算法大大提高了打了就跑算法采样的限制（非对角）高斯的正正交。
2020-06-10 cs.DS cs.LG cs.NA
Scalable Parallel Factorizations of SDD Matrices and Efficient Sampling for Gaussian Graphical Models
USC（南加州大学）；MIT（麻省理工学院）
基于计算统计推断的抽样问题，我们为谱图理论和数值分析中的一个基本问题开发了一个近似最优算法。给定一个$n\times n$ SDDM矩阵${\bf \mathbf{M}}$，和一个常数$-1 \leq p \leq 1$，我们的算法给出了有效的访问稀疏$n\times n$线性算子$\tilde{\mathbf{C}}$，使$${\mathbf{M}}^{p} \approx \tilde{\mathbf{C}} \tilde{\mathbf{C}}^\top.$$的解决方案是基于因子分解${\bf \mathbf{M}}$到一个简单的和稀疏的矩阵，使用平方和频谱稀疏化的产品。对于具有$m$非零条目的${\mathbf{M}}$，我们的算法在$m$中以接近线性的方式工作，并且在具有$m$处理器的并行机上以多对数深度工作。这给出了第一个仅需要近似线性功和$n$ i.i.d.的采样算法。随机单变量高斯样本以生成i.i.d.具有SDDM精度矩阵的$n$维高斯随机场的随机样本。对于高斯随机场的这个自然子类的采样，它在随机性方面是最优的，在工作量和并行复杂度方面几乎是最优的。此外，我们的采样算法可以直接推广到具有SDD精度矩阵的高斯随机场。
2014-10-20 cs.DS cs.LG cs.NA
