Partially deterministic sampling for compressed sensing with denoising guarantees
University of British Columbia（不列颠哥伦比亚大学）；CNRS – PIMS International Research Laboratory（CNRS-PIMS国际研究实验室）
本文提出一种结合随机与确定性选择的优化采样方案，改进了图像压缩感知中生成和稀疏先验的采样效果，并提供了更优的样本复杂度和去噪保证。
2026-04-06 cs.IT cs.LG eess.SP
Scalable Natural Gradient Langevin Dynamics in Practice
Department of Biomedical Engineering, Columbia University（哥伦比亚大学生物医学工程系）
随机梯度朗之万动力学（SGLD）是一种适用于大型数据集和模型的贝叶斯建模抽样方案。SGLD依赖于在随机梯度下降（SGD）更新的每一步注入高斯噪声。在该方案中，噪声向量中的每个分量都是独立的，并且具有相同的尺度，而我们试图估计的参数在尺度和显著的相关结构中表现出强烈的变化，导致收敛性差和混合时间。我们比较了不同的预处理方法对噪声向量的归一化，并根据以下标准对这些方法进行了基准测试：1）多变量参数向量的混合时间，2）对容易过拟合的小数据集的正则化效果，3）协变量偏移检测和4）抵抗对抗性示例。
2018-06-07 cs.AI cs.LG cs.NE
Standard vs. Modular Sampling: Best Practices for Reliable LLM Unlearning
Scuola Superiore Sant’Anna（圣安纳高等学院）；University of Pisa（比萨大学）
针对大语言模型遗忘中采样策略的不足，提出模块化实体级遗忘（MELU）策略，通过多样化邻居集和模块化采样平衡遗忘效果与模型效用。
2026-06-05 cs.AI cs.LG
Theory-to-Practice Gap for Neural Networks and Neural Operators
Department of Mathematics（数学系）；University of Vienna（维也纳大学）；G-Research；Department of Computing and Mathematical Sciences（计算与数学科学系）；California Institute of Technology（加州理工学院）
研究ReLU神经网络和神经算子学习的采样复杂度，在一般$L^p$设置中统一处理理论与实践差距并改进界，还扩展到无限维算子学习，结果适用于多种网络和算子，得出博赫纳$L^p$范数下最佳收敛速率的界定。
2026-07-23 cs.LG math.FA
Character-level Recurrent Neural Networks in Practice: Comparing Training and Sampling Schemes
Ghent University（根特大学）；imec；IDLab
循环神经网络如今已成功地应用于从文本、语音和图像处理到推荐系统的大量应用中。通过时间的反向传播是通常用于在特定任务上训练这些网络的算法。许多深度学习框架都有自己的循环神经网络训练和采样过程的实现，而实际上还有多种其他可能性可供选择，也有其他参数可供调整。在现有的文献中，这一点往往被忽视或忽略。因此，在本文中，我们概述了字符级循环神经网络的可能训练和采样方案，以解决预测给定序列中下一个令牌的任务。我们在各种数据集，神经网络架构和参数设置上测试这些不同的方案，并制定了一些带回家的建议。训练和采样方案的选择取决于许多权衡，例如训练稳定性，采样时间，模型性能和实施工作，但在很大程度上独立于数据。也许最令人惊讶的结果是，为了正确初始化模型而转移隐藏状态通常会导致不稳定的训练行为，这取决于数据集。
2018-01-09 cs.CL cs.LG stat.ML
Advocate for Complete Benchmarks for Formal Reasoning with Formal/Informal Statements and Formal/Informal Proofs
Huawei Hong Kong Research Center（华为香港研究中心）；Department of Cultural Studies（文化研究系）；The Chinese University of Hong Kong（香港中文大学）
本文批判性地审视形式推理与自动定理证明领域的基准测试实践，倡导开放代码、开放数据及完整无错误的基准，并识别和提出消除贡献障碍的方法，以促进跨群体协作。
2025-07-07 cs.AI cs.LG cs.LO
A Bandit-Based Approach to Educational Recommender Systems: Contextual Thompson Sampling for Learner Skill Gain Optimization
本文提出基于上下文性汤普森采样的方法，通过优化学习者技能提升来生成个性化练习序列，有效适应不同学习者需求。
2026-02-04 cs.LG stat.ML
Q-Star Meets Scalable Posterior Sampling: Bridging Theory and Practice via HyperAgent
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Tencent AI and Robotics X（腾讯AI与机器人X实验室）
本文提出基于超模型框架的强化学习算法 HyperAgent，通过高效增量近似最优 Q 值后验实现探索，在大规模深度 RL 基准上表现稳健，并在表格设定下实现对数级每步计算复杂度和次线性遗憾。
2024-06-14 cs.AI cs.LG stat.ML
Information-Theoretic Proofs for Diffusion Sampling
本文直接针对离散时间随机过程分析扩散采样，通过耦合理想化高斯卷积比较过程并利用信息论恒等式，在广泛假设下提供了精确的非渐近收敛保证及加速收敛视角。
2025-06-24 cs.IT cs.LG math.IT
Reparameterized Sampling for Generative Adversarial Networks
Peking University（北京大学）
近年来，采样方法已被成功地应用于提高生成对抗网络（GANs）的样本质量。然而，在实践中，它们通常具有较差的采样效率，因为来自生成器的独立建议采样。在这项工作中，我们提出了REP-GAN，一种新的采样方法，允许一般依赖的建议，通过REparameterizing的马尔可夫链的潜在空间的生成器。从理论上讲，我们表明，我们的重新参数化的建议承认一个封闭形式的大都会黑斯廷斯验收比。在人工和真实数据集上的大量实验表明，我们的REP-GAN大大提高了样本效率，同时获得了更好的样本质量。
2021-07-01 cs.LG stat.ML
Surrogate Likelihoods for Variational Annealed Importance Sampling
Broad Institute（博德研究所）；Google Research（谷歌研究院）
变分推断是近似贝叶斯推断的一个强大范例，具有许多吸引人的属性，包括支持模型学习和数据子采样。相比之下，MCMC方法，如哈密顿蒙特卡罗不共享这些属性，但仍然有吸引力，因为与参数方法相反，MCMC是渐近无偏的。由于这些原因，研究人员试图结合这两类算法的优势，最近的方法更接近于在实践中实现这一愿景。然而，在这些混合方法中支持数据子采样可能是一个挑战，我们通过引入可以与其他变分参数联合学习的代理似然来解决这个缺点。我们认为，从理论上说，由此产生的算法允许用户作出直观的权衡之间的推理保真度和计算成本。在广泛的实证比较中，我们表明，我们的方法在实践中表现良好，它非常适合概率编程框架中的黑盒推理。
2022-07-12 cs.LG stat.ML
Policy Choice and Best Arm Identification: Asymptotic Analysis of Exploration Sampling
AI Lab, CyberAgent, Inc.（CyberAgent公司AI实验室）；School of Electrical Engineering and Computer Science, KTH（KTH皇家理工学院电气工程与计算机科学学院）；Stern School of Business, New York University（纽约大学斯特恩商学院）；Fox School of Business, Temple University（天普大学福克斯商学院）；Columbia Business School, Columbia University（哥伦比亚大学商学院）
我们考虑了“政策选择”问题-在强盗文献中也称为最佳手臂识别-由Kasy和Sautmann（2021）提出的自适应实验设计。Kasy和Sautmann（2021）的定理1提供了三个渐近结果，为这种设置开发的勘探采样提供了理论保证。我们首先指出定理1（1）的证明存在技术问题，定理1（2）的证明和陈述是不正确的。然后，我们通过一个反例证明定理1（3）是假的。对于前两种情况，我们对这些说法进行了修正，并给出了严格的证明。对于定理1（3），我们提出了一个可供选择的目标函数，我们称之为后验加权策略后悔，并导出了探索抽样的渐近最优性。
2021-11-24 cs.LG econ.EM stat.ME
Exploring Best Practices for ECG Pre-Processing in Machine Learning
University of Alberta, Computing Science（阿尔伯塔大学计算机科学系）；University of Alberta, Canadian Vigour Centre（阿尔伯塔大学加拿大活力中心）
本文在 3 个多标签 ECG 数据集和 3 个高性能时间序列分类器上评估下采样、归一化与滤波，发现降至 50Hz 可保持性能并节省资源，而盲目归一化和带通滤波无益。
2025-05-14 cs.LG eess.SP
Is Simple Uniform Sampling Effective for Center-Based Clustering with Outliers: When and Why?
University of Science and Technology of China（中国科学技术大学）；City University of Hong Kong（香港城市大学）
针对带离群点的 $k$-center/median/means 聚类，提出均匀采样框架，并通过“显著性”理论说明其样本量可独立于 $n$ 与 $d$。
2023-10-03 cs.CG cs.DB cs.LG
The Effectiveness of Uniform Sampling for Center-Based Clustering with Outliers
University of Science and Technology of China（中国科学技术大学）
聚类在计算机科学中有许多重要的应用，但现实世界的数据集往往包含离群值。此外，离群值的存在会使聚类问题更具挑战性。为了降低复杂性，在过去的几年中，已经提出了各种采样方法。也就是说，我们从输入中取一个小样本（均匀或非均匀），并对该样本运行现有的近似算法。与现有的非均匀采样方法相比，均匀采样方法具有几个显著的优点。例如，它只需要在一次通过中读取数据，并且在实践中非常容易实现。因此，均匀抽样在孤立点聚类中的有效性是一个自然的和基本的问题，值得在理论和实践中研究。本文提出了一个新的统一的框架来分析均匀抽样对三种典型的基于中心的离群点聚类问题的有效性，即$k$ -中心/中值/均值离群点聚类。我们引入了一个“显著性”准则，并证明了均匀采样的性能取决于给定实例的显著程度。特别是，我们表明，样本大小可以是独立的比例$n/z$和维数。更重要的是，据我们所知，我们的方法是第一个统一的采样方法，允许丢弃正是$z$离群值为这三个基于中心的聚类离群值的问题。本文的结果也可以看作是以前的次线性时间算法的普通聚类问题（无离群点）的推广。实验结果表明，均匀采样方法可以达到与其他现有方法相当的聚类结果，但大大减少了运行时间。
2020-05-01 cs.DS cs.LG
On the Suboptimality of Thompson Sampling in High Dimensions
在本文中，我们考虑汤普森采样（TS）的组合半土匪。我们证明，也许令人惊讶的是，TS是次优的这个问题的意义上说，它的遗憾的规模呈指数级的环境尺寸，其极大极小遗憾规模几乎是线性的。这种现象发生在各种各样的假设下，包括非线性和线性奖励函数，具有伯努利分布的奖励和均匀的先验。我们还表明，包括固定量的强制探索TS并不能缓解这个问题。我们补充我们的理论结果与数值结果表明，在实践中TS确实可以在一些高维的情况下表现得很差。
2021-10-20 cs.LG stat.ML
Reversibility of elliptical slice sampling revisited
Faculty of Computer Science and Mathematics, Universität Passau（帕绍大学计算机科学与数学系）；Expert Analytics GmbH（Expert Analytics 公司）
本文将椭圆切片采样推广到无穷维可分希尔伯特空间，通过分析收缩马尔可夫链重新证明其可逆性，并证明其诱导半正定马尔可夫算子。
2024-05-06 cs.LG math.ST stat.CO
Efficient Reinforcement Learning via Initial Pure Exploration
Conduent Labs India（康杜恩特印度实验室）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
在几种现实情况下，交互式学习代理可以在进行评估之前练习和改进其策略。例如，考虑一个学生准备一系列测试。她通常会做一些实践测试，以了解她需要改进的领域。根据这些模拟考试的分数，她会制定一个策略，以最大限度地提高她在实际考试中的分数。我们对待这种情况下，代理人探索一个固定的地平线情节马尔可夫决策过程（MDP），代理人可以实践MDP的一些情节（不一定事先知道）之前，开始招致后悔的行动。在实践中，代理的目标必须是最大化遵循最优策略的概率。这类似于纯探索（PE）问题。我们扩展的PE问题的多武装土匪（MAB）的MDP，并提出了一个贝叶斯算法称为后验抽样纯勘探（PSPE），这是类似于它的土匪对应。我们表明，贝叶斯简单后悔收敛在一个最佳的指数率时，使用PSPE。当代理开始被评估时，它的目标是最小化累积的后悔。这类似于强化学习（RL）的问题。该代理使用后验采样强化学习算法（PSRL），该算法使用练习阶段的后验进行初始化。我们假设，这个PSPE + PSRL组合是一个最佳的策略，最大限度地减少后悔RL问题的初始实践阶段。我们的实证结果证明，有一个较低的简单的遗憾，在实践阶段结束时的结果，在评估过程中有较低的累积遗憾。
2017-06-07 cs.LG stat.ML
Collaborative Sampling in Generative Adversarial Networks
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
生成对抗网络（GANs）的标准做法是在采样期间丢弃该节点。然而，这种采样方法丢失了由CPU学习的关于数据分布的有价值的信息。在这项工作中，我们提出了一个协作的采样方案之间的生成器和改进的数据生成的数据处理器。在该模型的指导下，我们的方法通过在生成器的特定层进行基于梯度的更新来细化生成的样本，使生成器分布更接近真实数据分布。此外，我们提出了一个实用的采样整形方法，可以平滑的损失景观提供的采样有效的细化。通过对合成数据集和图像数据集的大量实验，我们证明了我们提出的方法可以在定量和定性上改善生成的样本，为GAN采样提供了一个新的自由度。
2019-11-22 cs.CV cs.LG stat.ML
Adaptive Sampling for Estimating Distributions: A Bayesian Upper Confidence Bound Approach
University of Southern California（南加州大学）；University of California, San Diego（加州大学圣地亚哥分校）
研究了概率质量函数（pmf）一致估计的自适应抽样问题。采样策略的性能以最差情况下的均方误差来衡量。提出了一种贝叶斯变体现有的置信上限（UCB）为基础的方法。分析表明，这种贝叶斯变体的性能并不比现有的方法差。贝叶斯设置中pmfs上的后验分布允许更严格地计算置信上限，这在实践中导致显著的性能增益。使用这种方法，自适应采样协议提出了估计SARS-CoV-2血清阳性率在不同的群体，如位置和种族。这一战略的有效性进行了讨论，使用从洛杉矶县的血清阳性率调查获得的数据。
2020-12-08 cs.LG stat.ME
Position-Based Multiple-Play Bandits with Thompson Sampling
Louis Vuitton（路易威登）；Univ. Rennes（雷恩大学）；Ensai（雷恩高等统计与信息分析学院）；CNRS（法国国家科学研究中心）；CREST；Université de Rennes 1（雷恩第一大学）；IRISA；INRIA（法国国家信息与自动化研究所）；IUF（法国大学研究院）
多播放强盗的目的是在网页上的相关位置显示相关的项目。我们介绍了一种新的基于带宽的算法，PB-MHB，在线推荐系统，它使用汤普森采样框架。该算法处理由基于位置的模型支配的显示设置。我们的抽样方法不需要作为输入的概率，用户看在网页中的一个给定的位置，在实践中，很难获得。模拟和真实数据集上的实验表明，我们的方法，具有较少的先验信息，提供更好的建议比国家的最先进的算法。
2021-03-03 cs.IR cs.LG stat.ML
Convergence of Uncertainty Sampling for Active Learning
Inria（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
主动学习中的不确定性采样在实践中被大量使用以降低标注成本。然而，一直没有广泛的共识的功能，用于不确定性估计在二进制分类任务和相应的主动学习算法的收敛保证没有得到很好的理解。对于多类别分类来说，这种情况更具挑战性。在这项工作中，我们提出了一个有效的不确定性估计的二进制分类，我们也扩展到多个类，并提供了一个非渐近收敛速度为我们的不确定性采样为基础的主动学习算法在这两种情况下，在无噪声条件下（即，线性可分离数据）。我们还扩展我们的分析，噪声的情况下，我们的算法在噪声的影响下，在二进制和多类分类任务提供理论保证。
2021-10-29 cs.LG math.OC
Rejection sampling from shape-constrained distributions in sublinear time
MIT（麻省理工学院）
我们考虑的任务，从一个目标分布，已知的归一化，在一个有限的字母表生成精确的样本。该任务的经典算法是拒绝采样，尽管它已在实践中使用了几十年，但令人惊讶的是，对其基本局限性的研究却很少。在这项工作中，我们研究了查询的复杂性拒绝抽样在一个极大极小的框架，各类离散分布。我们的研究结果提供了新的算法采样的复杂度与字母表的大小呈次线性关系。当应用于对抗土匪，我们表明，略有修改的Exp3算法减少了每次迭代的复杂度从$\mathcal O(K)$到$\mathcal O(\log^2 K)$，其中$K$是武器的数量。
2021-05-29 cs.LG math.ST stat.ML
Sampling with Riemannian Hamiltonian Monte Carlo in a Constrained Space
Georgia Tech（佐治亚理工学院）；Microsoft Research（微软研究院）；University of Washington（华盛顿大学）
我们首次证明了病态的，非光滑的，约束分布在非常高的维度，超过100，000，可以有效地采样$\textit{in practice}$。我们的算法将限制纳入到黎曼版本的哈密顿蒙特卡罗，并保持稀疏性。这使我们能够实现独立于平滑度和条件数的混合速率。在系统生物学和线性规划的基准数据集上，我们的算法的性能优于现有的软件包的数量级。特别是，我们实现了1,000倍的采样速度从最大的已发表的人类代谢网络（RECON 3D）。我们的软件包已被纳入COBRA工具箱。
2022-10-15 cs.DS cs.LG
Solving Linear Inverse Problems Provably via Posterior Sampling with Latent Diffusion Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出首个利用预训练潜在扩散模型求解线性逆问题的框架，通过理论分析证明了线性模型设置下的样本恢复，并在多种任务上超越现有后验采样算法。
2023-07-02 cs.AI cs.LG stat.ML
Controlling Privacy Loss in Sampling Schemes: an Analysis of Stratified and Cluster Sampling
Boston University（波士顿大学）；Institute for Employment Research（就业研究所）；University of Maryland（马里兰大学）；Apple（苹果公司）；Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）
本研究将差分隐私的隐私放大分析扩展到数据依赖的复杂抽样方案，发现分层抽样与整群抽样不仅不能放大隐私，反而可能导致隐私退化，并提供了相关见解。
2023-06-21 cs.CR cs.LG stat.ME
Enhancing Neural Theorem Proving through Data Augmentation and Dynamic Sampling Method
National Institute of Science Education and Research（国家教育与科学研究院）；Homi Bhabha National Institute（霍米·巴巴国家研究所）
本文提出DS-Prover动态采样方法，通过根据剩余时间调整策略数量优化证明搜索，并分解多前提策略增强训练数据，在MiniF2F和ProofNet上取得显著性能提升。
2024-02-15 cs.AI cs.LG cs.LO
Learning Energy-Based Prior Model with Diffusion-Amortized MCMC
UCLA（加州大学洛杉矶分校）；Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院）；Google DeepMind（谷歌DeepMind）
针对潜空间EBM短程MCMC采样质量差导致生成质量低、训练不稳定的问题，提出基于扩散的长程MCMC摊销采样方法及对应学习算法，经理论验证有效性且在图像基准数据集上性能优于同类方法。
2023-10-05 cs.AI cs.LG stat.ML
Query Lower Bounds for Diffusion Sampling
UT Austin（德克萨斯大学奥斯汀分校）
本文研究了扩散采样中查询次数的下限，证明了在多维分布下，任何采样算法需要至少O(√d)次适应性查询，解释了多尺度噪声调度的必要性。
2026-09-30 cs.AI cs.DS cs.LG
On Thompson Sampling with Langevin Algorithms
University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
多臂强盗问题的Thompson采样方法在理论和实践中都有良好的性能。然而，它遭受了显着的限制计算，所产生的需要在每次迭代后验分布的样本。我们提出了两个马尔可夫链蒙特卡罗（MCMC）的方法，汤普森采样量身定制，以解决这个问题。我们构造快速收敛的Langevin算法来生成具有精度保证的近似样本，并利用新的后验浓度率来分析由此产生的近似Thompson采样算法的遗憾。此外，我们指定必要的超参数的MCMC过程，以保证最佳的实例相关的频率后悔，同时具有低的计算复杂性。特别是，我们的算法利用后验浓度和样本重用机制，以确保在每一轮中只需要恒定数量的迭代和恒定数量的数据。所得到的近似Thompson采样算法具有对数遗憾性，并且其计算复杂性不与算法的时间范围成比例。
2020-06-18 cs.LG stat.ML
Proof: Accelerating Approximate Aggregation Queries with Expensive Predicates
Stanford University（斯坦福大学）；University of Chicago（芝加哥大学）
给定一个数据集$\mathcal{D}$，我们感兴趣的是计算匹配谓词的$\mathcal{D}$子集的均值。ABae利用分层抽样和代理模型，在给定抽样预算$N$的情况下有效地计算此统计量。在本文中，我们从理论上分析了ABae，并证明了估计的MSE以$O(N_1^{-1} + N_2^{-1} + N_1^{1/2}N_2^{-3/2})$的速率衰减，其中$N=K \cdot N_1+N_2$（对于某个整数常数$K$）和$K \cdot N_1$和$N_2$分别表示ABae阶段1和阶段2中使用的样本数。因此，如果将总样本预算$N$的一个恒定部分分配给每个阶段，则我们将获得$O(N^{-1})$的均方误差，该均方误差与最佳分层抽样算法的均方误差率相匹配，前提是已知每层的等同阳性率和标准差。
2021-07-28 cs.DB cs.LG math.ST
Mixed-Effect Thompson Sampling
Criteo AI Lab（Criteo人工智能实验室）；Amazon（亚马逊）
上下文强盗是一种流行的在线学习框架，用于在不确定性下行动。在实践中，行动的数量是巨大的，它们的预期回报是相关的。在这项工作中，我们引入了一个通用的框架，通过混合效应模型，通过多个共享的效果参数相关的行动捕捉这种相关性。为了有效地探索使用这种结构，我们提出了混合效应汤普森采样（meTS）和约束其贝叶斯遗憾。后悔界有两个术语，一个用于学习动作参数，另一个用于学习共享效应参数。这些术语反映了我们模型的结构和先验的质量。我们的理论研究结果进行了实证验证，使用合成和现实世界的问题。我们还提出了许多具有实际意义的扩展。虽然它们没有担保，但它们在经验上表现良好，显示了拟议框架的普遍性。
2023-03-05 cs.LG stat.ML
Link prediction for egocentrically sampled networks
网络中的链路预测通常通过估计或排序所有节点对的边的概率来实现。在实践中，特别是对于社交网络，数据通常通过以自我为中心的采样来收集，这意味着选择节点的子集并记录它们的所有边。这种采样机制需要与链路随机缺失的典型假设不同的预测工具。我们提出了一个新的计算效率的链接预测算法的自我中心采样网络，估计其行空间的潜在概率矩阵。对于通过采样行创建的网络，我们的方法优于许多流行的链接预测和图子估计技术。
2018-03-12 cs.LG stat.CO stat.ML
A Simple Proof of the Mixing of Metropolis-Adjusted Langevin Algorithm under Smoothness and Isoperimetry
Duke University（杜克大学）；MIT（麻省理工学院）
该研究在等周性与海森矩阵有界条件下，推导了MALA算法从暖启动达到目标采样精度的混合时间界，该界适用于非对数凹场景且仅依赖海森迹，在强对数凹光滑场景下可恢复已有极小极大界。
2023-06-08 cs.CC cs.LG stat.CO
The Mathematician's Assistant: Integrating AI into Research Practice
Fachbereich Mathematik und Informatik, Philipps-Universität Marburg（数学与计算机科学系，马尔堡菲利普斯大学）
本文评估公开LLM在数学研究中的能力与缺陷，提出以人类批判性指导为核心的“增强型数学家”框架及七类应用方式。
2025-08-27 cs.AI cs.HC cs.LG
