Adaptive Threshold Sampling
Tableau Software（Tableau软件公司）
抽样是计算机科学和统计学中的一个基本问题。然而，对于给定的任务和流，通常不可能提前选择好的采样概率。我们得到了一个一般的框架，自适应地改变抽样概率通过收集thresholds.In一般情况下，自适应抽样过程中引入的依赖性之间的采样点，使其难以计算的期望值，并确保估计是无偏或一致的。我们的框架解决了这个问题，并进一步表明，当自适应阈值可以被视为，如果他们是固定的阈值，样本项目独立。这使得我们的自适应采样方案易于应用，因为不需要为采样方法创建自定义估计器。使用我们的框架，我们得到新的采样器，可以解决广泛的新的和现有的问题，包括与内存采样，而不是样本量预算，分层样本，多个目标，不同的计数，滑动窗口。特别是，我们设计了一个抽样程序的前K问题，不同的是，在重击球问题，草图的大小和抽样概率是自适应选择。
2022-06-15 cs.LG stat.ML
AdaSTaR: Adaptive Data Sampling for Training Self-Taught Reasoners
KAIST AI（韩国科学技术院人工智能研究所）；LG AI Research（LG人工智能研究）
针对自提升推理语言模型训练中随机采样导致的数据失衡问题，提出融合多样性与课程式两条自适应采样原则的AdaSTaR算法，在6个基准上均取得最优准确率，且平均减少58.6%训练FLOPs，效果可跨模型规模迁移。
2025-10-06 cs.AI cs.CL cs.LG
Adaptive Sampling for Probabilistic Forecasting under Distribution Shift
Carnegie Mellon University（卡内基梅隆大学）；AWS AI Labs（亚马逊云科技人工智能实验室）；D2S Inc.（D2S公司）
世界不是静止的：这导致真实世界的时间序列随着时间的推移而发生变化，例如宏观经济周期或COVID-19大流行等外部和潜在的破坏性事件。我们提出了一种自适应采样策略，选择的时间序列的历史，是相关的预测的一部分。我们通过贝叶斯优化在相关时间步长上学习离散分布来实现这一点。我们用一个两步方法来实例化这个想法，该方法用均匀采样进行预训练，然后用自适应采样训练一个轻量级的自适应架构。我们用合成和真实世界的实验表明，该方法适应分布偏移，并显着减少了五个数据集的三个基础模型的预测误差。
2023-02-23 cs.LG
Adaptive Importance Sampling for Estimation in Structured Domains
Brown University（布朗大学）；Massachusetts Institute of Technology（麻省理工学院）
采样是估计高维空间上的大的、复杂的和与积分的重要工具。例如，重要抽样已被用作信念网络中精确推理方法的替代方法。理想情况下，我们希望有一个提供最优方差估计的抽样分布。在本文中，我们提出的方法，改善抽样分布系统地适应它，因为我们从样本中获取信息。我们提出了一种随机梯度下降法的基础上直接最小化的方差顺序更新的抽样分布。我们还提出了其他随机梯度下降方法的基础上minimizationof典型的概念之间的距离的当前采样分布和近似的目标，最佳分布。最后，我们验证和比较不同的方法经验，将它们应用到影响图中的行动评估问题。
2013-01-16 cs.AI cs.LG stat.ML
Adaptive Bayesian Sampling with Monte Carlo EM
The Ohio State University（俄亥俄州立大学）
我们提出了一种新的技术，用于学习从离散动力学获得的采样器中的质量矩阵，保持一些能量函数。现有的自适应采样器使用黎曼预处理技术，其中质量矩阵是被采样的参数的函数。这导致了能量重构和由此产生的动力学的显着复杂性，通常导致隐式方程组，并需要在蛙跳步骤中求高维矩阵的逆。我们的方法提供了一个更简单的替代方案，通过使用现有的动态在抽样步骤的Monte Carlo EM框架，并学习质量矩阵的M步骤与一种新的在线技术。我们还提出了一种自适应地设置在E步骤中收集的样本数量的方法，使用来自蛙跳动态的采样误差估计。随着一种新的随机采样器的基础上Nosé-庞加莱动力学，我们使用这个框架与标准的哈密顿蒙特卡罗（HMC）以及较新的随机算法，如SGHMC和SGNHT，并显示出强大的性能合成和真正的高维采样的情况下，我们实现采样精度相媲美的黎曼采样器，同时显着更快。
2017-11-06 cs.AI cs.LG stat.ML
Adaptive Candidate Point Thompson Sampling for High-Dimensional Bayesian Optimization
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）
本文提出ACTS方法，通过自适应缩减搜索空间提高高维贝叶斯优化效率，改进了现有汤普森采样方法在合成和现实基准中的表现。
2026-04-10 cs.LG
Conformal Prediction-Driven Adaptive Sampling for Digital Water Twins
Department of Computer Science, University of Verona, Verona, 37134, Italy（计算机科学系，威尼斯大学，威尼斯，37134，意大利）
本文提出结合LSTM预测和置信预测的自适应采样方法，用于提升数字水双胞胎在供水网络中的状态估计精度与效率。
2026-01-18 cs.AI cs.LG math.OC
Adaptive Moments are Surprisingly Effective for Plug-and-Play Diffusion Sampling
Cornell University（康奈尔大学）
本文提出利用自适应矩估计来稳定扩散采样中的噪声似然分数，通过实验证明该方法在图像修复和类别条件生成任务中优于复杂方法，提升了对齐效果。
2026-04-22 cs.CV cs.LG
Context-Aware Adaptive Sampling for Intelligent Data Acquisition Systems Using DQN
Northeastern University（东北大学）；Vanderbilt University（范德堡大学）；Rochester Institute of Technology（罗切斯特理工学院）；Brown University（布朗大学）；University of Rochester（罗切斯特大学）；Carnegie Mellon University（卡内基梅隆大学）
针对多传感器系统传统采样策略的冗余、高能耗等问题，本文提出基于DQN的自适应采样方法，将任务建模为MDP并优化策略，实验证明其在提升数据质量、降低能耗冗余及鲁棒性方面优于现有方法。
2025-04-12 cs.LG
Adaptive sampling using variational autoencoder and reinforcement learning
Department of Engineering Cybernetics, Norwegian University of Science and Technology（工程 cybernetics 系，挪威科学与技术大学）；Department of Engineering Sciences, University of Agder（工程科学系，阿格德大学）
本文提出结合变分自编码器和强化学习的自适应稀疏感知框架，通过顺序选择测量提升稀疏采样效率和重建质量。
2025-12-03 cs.LG
Adaptive Sampling for Minimax Fair Classification
UCSD（加州大学圣地亚哥分校）；Google Research（谷歌研究院）
在未经策划的数据集上训练的机器学习模型通常会对属于代表性不足的群体的输入产生不利影响。为了解决这个问题，我们考虑的问题，自适应地构建训练集，使我们能够学习分类器是公平的，在极大极小意义上。首先，我们提出了一种基于乐观原则的自适应采样算法，并推导出其性能的理论界。我们还提出了启发式扩展，该算法适用于大规模的，实际的问题。接下来，通过推导算法独立的下界为一类特定的问题，我们表明，我们的自适应方案所取得的性能一般不能得到改善。然后，我们验证了自适应构建训练集的好处，通过实验与逻辑回归分类器的合成任务，以及在几个现实世界的任务，使用卷积神经网络（CNN）。
2021-07-20 cs.LG
Non-Adaptive Adaptive Sampling on Turnstile Streams
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
自适应采样是一个有用的算法工具，在经典的集中式设置的数据汇总问题，其中整个数据集可用于执行计算的单个处理器。自适应采样重复地选择基础矩阵$\mathbf{A}\in\mathbb{R}^{n\times d}$的行，其中$n\gg d$的概率与它们到先前选择的行的子空间的距离成比例。直观地说，自适应采样似乎仅限于流计算模型中的平凡多遍算法，这是由于其固有的顺序性质，即仅在前一次迭代完成后才将采样概率分配给每行。令人惊讶的是，我们表明，这是不是这样的情况下，通过给第一个单通算法的自适应采样旋转栅门流和使用空间$\text{poly}(d,k,\log n)$，其中$k$是自适应采样轮数进行。我们的自适应采样过程可以应用于各种数据汇总问题，这些问题要么改进了最新技术，要么之前只在更宽松的行到达模型中进行过研究。我们给出了第一个相对误差算法的列子集选择，子空间近似，投影聚类，并使用空间次线性$n$的旋转栅门流的体积最大化。我们补充我们的体积最大化算法的结果与下界，是紧到低阶项，即使是多通道算法。通过类似的构造，我们也得到了行到达模型中体积最大化的下界，我们将其与竞争性上界相匹配。见论文全文摘要。
2020-04-23 cs.CG cs.DS cs.LG
Domain-informed Adaptive Sampling for Generalizable PINNs in Metal Additive Manufacturing via Conditional Flow Matching
Texas A&M University（德克萨斯A&M大学）
针对金属增材制造中PINN热建模依赖手工静态采样、泛化差的问题，提出基于条件流匹配的两阶段自适应采样策略，在相同配点预算下平均相对L2误差降低62.1%。
2026-10-08 cs.LG
On Exploration, Exploitation and Learning in Adaptive Importance Sampling
University of Oxford（牛津大学）；Northeastern University（东北大学）
我们研究自适应重要性抽样（AIS）作为一个在线学习问题，并认为在这种适应的探索和利用之间的权衡的重要性。借鉴土匪文学的思想，我们提出了Daisee，一个基于分区的AIS算法。我们进一步介绍了一个概念的遗憾AIS和Daisee有$\mathcal{O}(\sqrt{T}(\log T)^{\frac{3}{4}})$累积伪遗憾，其中$T$是迭代次数。然后，我们扩展Daisee自适应学习的样本空间的分层分区更有效的采样和确认这两种算法的性能经验。
2018-10-31 cs.LG stat.ML
Enforcing Constraints in Generative Sampling via Adaptive Correction Scheduling
Department of Computer Science（计算机科学系）
本文提出自适应修正调度方法，通过动态分配修正预算提升生成采样效率，实验显示在相同修正预算下，该方法恢复了71.2%的全步修正收益，且修正次数减少75%。
2026-05-11 cs.LG
Safe Adaptive Importance Sampling
EPFL（洛桑联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
重要性采样已成为大规模优化算法中不可或缺的加速策略。改进的自适应变体-使用由在优化期间改变的完整梯度信息定义的重要性值-享有有利的理论性质，但通常在计算上是不可行的。在本文中，我们提出了一个有效的近似梯度为基础的采样，这是基于安全界限的梯度。建议的采样分布是（i）可证明的最佳采样相对于给定的界限，（ii）总是优于均匀采样和固定的重要性采样和（iii）可以有效地计算-在许多应用中，可以忽略不计的额外成本。建议的采样方案是通用的，可以很容易地集成到现有的算法。特别是，我们表明，坐标下降（CD）和随机梯度下降（SGD）可以享受显着的加速下的新计划。所提出的采样的证明效率进行了验证，通过广泛的数值试验。
2017-11-07 cs.LG math.OC
Adaptive Graph Signal Processing: Algorithms and Optimal Sampling Strategies
Dept. of Engineering, University of Perugia（工程系，佩鲁吉亚大学）
本文提出自适应图信号学习的新策略，通过分析随机采样对算法性能的影响，设计优化采样策略以提升稳态性能和收敛速度。
2017-09-12 cs.LG cs.SY eess.SY
Adaptive Sampling for Continuous Group Equivariant Neural Networks
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research（高通人工智能研究中心）
针对连续群等变可导向网络中全群采样计算成本高的问题，提出自适应采样方法，根据数据对称性动态调整采样，减少采样量，在提升性能的同时小幅提高内存效率。
2024-09-13 cs.LG
Adaptive Sampled Softmax with Kernel Based Sampling
Google（谷歌）
Softmax是多类问题最常用的输出函数，广泛应用于视觉、自然语言处理和推荐等领域。softmax模型在类的数量上具有线性成本，这使得它对于许多现实世界的问题来说过于昂贵。加快训练速度的一种常见方法是在每个训练步骤中只对一些类进行采样。已知该方法是有偏的，并且采样分布偏离输出分布越多，偏置就越大。然而，几乎所有最近的工作都使用简单的抽样分布，需要大样本量来减轻偏差。在这项工作中，我们提出了一类新的基于核的采样方法，并开发了一个有效的采样算法。基于核的采样在训练模型时适应模型，从而产生低偏差。基于核的采样可以很容易地应用于许多模型，因为它只依赖于模型的最后一个隐藏层。我们实证研究了偏差，抽样分布和样本大小的权衡，并表明基于核的抽样结果在低偏差与少量样本。
2018-08-01 cs.LG
Reinforcement Learning and Adaptive Sampling for Optimized DNN Compilation
University of California, San Diego（加州大学圣地亚哥分校）
以更短的编译时间实现更快的执行可以使神经网络进一步多样化和创新。然而，目前执行神经网络的范例要么依赖于手工优化的库，传统的编译算法，要么依赖于最近的模拟退火和遗传算法。我们的工作采取了一种独特的方法，将神经网络的编译器优化作为一个强化学习问题，其解决方案需要更少的步骤来收敛。这个解决方案被称为ReLeASE，它带有一个采样算法，该算法利用聚类将昂贵的样本（实际硬件测量）集中在代表性点上，包含整个子空间。我们的自适应采样不仅减少了样本的数量，而且还提高了样本的质量，以便在更短的时间内更好地探索。因此，实际硬件实验表明，具有自适应采样的强化学习在优化时间上比AutoTVM快4.45倍，同时还将现代深度网络的推理时间提高了5.6%。进一步的实验也证实了我们的自适应采样甚至可以将AutoTVM的模拟退火提高4.00倍。
2019-05-30 cs.LG stat.ML
Adaptive Sampling for Convex Regression
UC Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）
在本文中，我们介绍了第一个原则性的自适应采样程序学习凸函数的$L_\infty$规范，经常出现在行为和社会科学的问题。我们提出了一个函数的复杂性的措施，并使用它来证明，对于每个凸函数$f_{\star}$，我们的算法几乎达到信息理论上的最佳，功能特定的出错率。我们还证实了我们的理论贡献与数值实验，发现我们的方法大大优于被动，均匀采样有利的合成和数据导出的功能，在低噪声设置与大的采样预算。我们的研究结果还提出了一个理想化的“预言策略”，我们用它来衡量任何自适应采样策略的潜在进步被动采样，对于任何给定的凸函数。
2018-08-26 cs.LG math.ST stat.ML
Adaptive Sampling for Estimating Distributions: A Bayesian Upper Confidence Bound Approach
University of Southern California（南加州大学）；University of California, San Diego（加州大学圣地亚哥分校）
研究了概率质量函数（pmf）一致估计的自适应抽样问题。采样策略的性能以最差情况下的均方误差来衡量。提出了一种贝叶斯变体现有的置信上限（UCB）为基础的方法。分析表明，这种贝叶斯变体的性能并不比现有的方法差。贝叶斯设置中pmfs上的后验分布允许更严格地计算置信上限，这在实践中导致显著的性能增益。使用这种方法，自适应采样协议提出了估计SARS-CoV-2血清阳性率在不同的群体，如位置和种族。这一战略的有效性进行了讨论，使用从洛杉矶县的血清阳性率调查获得的数据。
2020-12-08 cs.LG stat.ME
Efficient Distance Metric Learning by Adaptive Sampling and Mini-Batch Stochastic Gradient Descent (SGD)
Michigan State University（密歇根州立大学）；NEC Laboratories America（NEC美国实验室）
距离度量学习（DML）是一个重要的任务，已发现在许多领域的应用。DML的高计算成本来自于要确定的大量变量以及距离度量必须是半正定（PSD）矩阵的约束。虽然随机梯度下降（SGD）已经成功地应用于提高DML的效率，但是它仍然可能在计算上是昂贵的，因为为了确保解是PSD矩阵，它必须在每次迭代时将更新的距离度量投影到PSD锥上，这是昂贵的操作。我们通过在SGD中开发两种策略来应对这一挑战，即小批量和自适应采样，以有效地减少更新次数（即，投影到PSD锥体上）。我们还开发了混合方法，结合自适应采样的强度与小批量在线学习技术，以进一步提高SGD的DML的计算效率。我们证明了自适应采样和基于小批量的DML方法的理论保证。我们还进行了广泛的实证研究，以验证所提出的算法的有效性DML。
2013-04-03 cs.LG
Gradient-based Sampling: An Adaptive Importance Sampling for Least-squares
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
在现代数据分析中，随机抽样是克服大样本量带来的计算困难的一种有效而广泛使用的策略。在以往的研究中，研究者进行随机抽样，这是根据输入数据，但独立于响应变量，但响应变量也可能是抽样的信息。在本文中，我们提出了一种自适应采样称为基于梯度的采样，这是依赖于输入数据和输出的快速解决最小二乘（LS）问题。我们根据数据点的梯度值从全部数据中随机抽取数据点。这种采样在计算上是节省的，因为计算采样概率的运行时间减少到O（nd），其中n是完整的样本量，d是输入的维数。在理论上，我们建立了一般重要性抽样关于全数据LS解的误差界分析。该结果建立了使用我们的基于梯度的采样的改进的性能。利用合成数据和真实数据进行实证分析，从统计效率和计算量两个方面论证了基于梯度的抽样方法相对于现有抽样方法具有明显的优势。
2018-03-02 cs.LG stat.ML
Adaptive Policies for Sequential Sampling under Incomplete Information and a Cost Constraint
University of Athens（雅典大学）
我们考虑的问题，序贯抽样从一个有限数量的独立的统计总体，以最大限度地提高期望的无限地平线平均结果每一个时期，在约束下，期望的平均抽样成本不超过一个上限。结果分布未知。我们构造了一类相容的自适应策略，在此策略下，对于所有具有有限均值的分布，在完全信息下，平均结果以概率1收敛到真值。我们还比较了收敛速度的各种政策在这一类使用模拟。
2012-01-19 cs.LG math.OC stat.ML
Adaptive Data Augmentation for Thompson Sampling
Department of Artificial Intelligence（人工智能系）
本文针对线性上下文老虎机提出一种近乎极小极大最优的汤普森采样方法，通过自适应增强与耦合假设样本的新估计器，无需上下文分布假设即可准确预测奖励，实证性能显著优于现有方法。
2025-06-17 cs.LG stat.ML
Adaptive Sampling for Discovery
University of Michigan（密歇根大学）
在本文中，我们研究了一个顺序决策问题，称为自适应采样发现（ASD）。从一个大型的未标记数据集开始，ASD算法自适应地标记点，目标是最大化响应的总和。这个问题在现实世界的发现问题中有着广泛的应用，例如在机器学习模型的帮助下的药物发现。ASD算法面临着众所周知的探索-利用困境。该算法需要选择产生信息的点来改进模型估计，但它也需要利用模型。我们严格制定的问题，并提出了一个通用的信息定向采样（IDS）算法。我们提供了理论上的保证，在线性，图和低秩模型的入侵检测系统的性能。入侵检测系统的好处是在模拟实验和真实数据实验发现化学反应条件。
2023-01-02 cs.LG stat.ML
Statistical Inference After Adaptive Sampling for Longitudinal Data
Harvard University（哈佛大学）
针对多用户在线强化学习等自适应采样造成的纵向数据依赖，本文提出基于 Z 估计的分析方法和 adaptive 三明治方差估计量，实现一致方差估计与有效统计推断。
2023-04-19 cs.LG stat.ME
A Novel Adaptive Causal Sampling Method for Physics-Informed Neural Networks
National University of Defense Technology（国防科技大学）
物理信息神经网络（PINNs）已成为求解偏微分方程（PDE）的一种有吸引力的机器学习方法。PINN的训练可以看作是一个半监督学习任务，在求解正问题时只能得到初始点和边界点的精确值，并且在整个时空域中对配置点进行采样而没有精确的标号，这给训练带来了困难。因此，在PINN的训练中，搭配点的选择和采样方法是非常关键的。现有的采样方法包括固定采样和动态采样两种，在动态采样中，通常采用PDE残差损失控制采样。指出自适应采样中只考虑残差损失是不够的，采样应服从时间因果关系。我们进一步将时间因果关系引入自适应采样，提出了一种新的自适应因果采样方法，以提高PINN的性能和效率。对Cahn-Hilliard方程和KdV方程等几类高阶导数强非线性偏微分方程的数值实验表明，该采样方法可以在配置点较少的情况下提高PINN的性能.我们证明，通过利用这样一个相对简单的采样方法，预测性能可以提高到两个数量级相比，国家的最先进的结果，几乎没有额外的计算成本，特别是当点是有限的。
2022-10-24 cs.LG cs.NA math.NA
Adaptive randomized pivoting and volume sampling
University of California Berkeley（加州大学伯克利分校）；Caltech（加州理工学院）
本文将自适应随机 pivoting 算法与体积采样分布及线性回归主动学习算法联系起来，提出新的分析和更高效的实现方法。
2026-04-03 cs.DS cs.LG cs.NA
Amortised adaptive importance sampling
University of Edinburgh（爱丁堡大学）
该研究提出一种摊销自适应重要性采样算法，通过轻量级神经网络实现，可高效从训练分布族内的目标采样，性能优于特定目标摊销采样器及无训练自适应重要性采样算法，还探索了其泛化潜力。
2026-10-14 cs.LG stat.ML
oASIS: Adaptive Column Sampling for Kernel Matrix Approximation
Rice University（莱斯大学）；University of Maryland, College Park（马里兰大学帕克分校）；Rehabilitation Institute of Chicago（芝加哥康复研究所）；Northwestern University（西北大学）
核矩阵（例如Gram或相似性矩阵）对于许多最先进的分类，聚类和降维方法是必不可少的。对于大型数据集，形成和分解这样的核矩阵的成本变得棘手。为了应对这一挑战，我们引入了一种新的自适应采样算法，称为加速顺序不一致选择（oASIS），该算法无需显式计算整个内核矩阵即可对列进行采样。我们提供的条件下，oASIS是保证准确地恢复内核矩阵与选定的列的最佳数量。在合成和真实世界数据集上的数值实验表明，oASIS以一小部分计算成本实现了与最先进的自适应采样方法相当的性能。oASIS的低运行时复杂性及其低内存占用使得能够解决使用其他自适应方法难以解决的大型问题。
2015-05-19 cs.LG stat.ML
ASCAI: Adaptive Sampling for acquiring Compact AI
UC San Diego（加州大学圣地亚哥分校）
本文介绍了ASCAI，这是一种新的自适应采样方法，可以学习如何有效压缩深度神经网络（DNN），以在资源受限的平台上加速推理。现代DNN压缩技术包括各种超参数，需要逐层定制以确保高精度。选择这样的超参数是麻烦的，因为相关的搜索空间随着模型层的数量呈指数增长。为了有效地遍历这个大的空间，我们设计了一个智能采样机制，采用定制的操作灵感来自遗传算法的采样策略。作为一种特殊情况，我们把模型压缩的空间看作一个向量空间。自适应选择的样本使ASCAI能够自动学习如何调整每层压缩超参数，以优化精度/模型大小的权衡。我们广泛的评估表明，ASCAI在压缩率和/或准确性方面优于基于规则的方法和强化学习方法
2019-11-15 cs.LG cs.NE stat.ML
Adaptive Task Sampling for Meta-Learning
Salesforce Research Asia（Salesforce亚洲研究院）；Singapore Management University（新加坡管理大学）；South China University of Technology（华南理工大学）；Carnegie Mellon University（卡内基梅隆大学）
元学习方法在计算机视觉中得到了广泛的研究和应用，特别是对于Few-Shot分类任务。用于Few-Shot分类的元学习的关键思想是通过在Meta训练数据中随机采样类来构造用于情景训练的Few-Shot任务，以模拟测试时面临的Few-Shot情况。虽然丰富的工作线只关注如何跨任务提取元知识，但我们利用了如何生成信息任务的补充问题。我们认为，随机抽样的任务可能是次优的和无信息的（例如，将“狗”与“膝上型计算机”分类的任务通常是微不足道的）。在本文中，我们提出了一个自适应的任务采样方法，以提高泛化性能。与基于实例的采样不同，基于任务的采样更具挑战性，因为每个事件中任务的隐含定义。因此，我们相应地提出了一种基于贪婪类对的抽样方法，该方法根据类对潜力选择困难的任务。我们在两个Few-Shot分类基准上评估了我们的自适应任务采样方法，它在不同的特征骨干，Meta学习算法和数据集上实现了一致的改进。
2020-07-17 cs.CV cs.LG
A minimax near-optimal algorithm for adaptive rejection sampling
Numberly (1000mercis Group)（Numberly（1000mercis 集团））；Otto-von-Guericke University（奥托·冯·格里克大学）；Potsdam University（波茨坦大学）
拒绝抽样是一种基本的蒙特卡罗方法。它用于从允许概率密度函数的分布中采样，该概率密度函数可以在任何给定点精确地进行评估，尽管计算成本很高。然而，如果没有适当的调整，这种技术意味着高拒绝率。已经探索了几种方法来应对这个问题，基于通过一个简单的函数，使用以前的样本的信息，自适应地估计密度的原则。它们中的大多数要么依赖于对密度形式的强假设，要么不提供任何理论性能保证。我们给出了第一个自适应拒绝抽样问题的理论下限，并引入了一个新的算法，保证了一个接近最优的拒绝率在极大极小意义上。
2018-10-22 cs.LG stat.ML
Adaptive Sketches for Robust Regression with Importance Sampling
Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
我们介绍了通过随机梯度下降（SGD）通过以与其范数成比例的概率对梯度进行采样来解决鲁棒回归的数据结构，即，重要性采样。虽然SGD广泛用于大规模机器学习，但众所周知，由于均匀采样的高方差，它可能会经历缓慢的收敛速度。另一方面，重要性采样可以显著降低方差，但通常难以实现，因为计算采样概率需要额外的数据传递，在这种情况下，可以使用标准梯度下降（GD）来代替。在本文中，我们介绍了一种算法，近似采样$T$梯度的尺寸$d$从几乎最佳的重要性采样分布的稳健回归问题超过$n$行。因此，我们的算法有效地运行$T$步骤的SGD与重要性采样，而使用次线性空间，只是使一个单一的通过的数据。我们的技术还扩展到执行二阶优化的重要性采样。
2022-07-16 cs.DS cs.LG
Testing Rare Downstream Safety Violations via Upstream Adaptive Sampling of Perception Error Models
University of Edinburgh（爱丁堡大学）
在模拟中测试黑盒感知控制系统面临两个困难。首先，仿真中的感知输入缺乏真实世界传感器输入的保真度。其次，对于一个相当准确的感知系统，遇到罕见的故障轨迹可能需要运行不可行的许多模拟。本文结合感知误差模型-代理人的传感器为基础的检测系统-与状态相关的自适应重要性采样。这使我们能够有效地评估罕见的故障概率为现实世界中的感知控制系统的模拟。我们的实验与自主制动系统配备了RGB障碍物检测器表明，我们的方法可以计算准确的故障概率与廉价的模拟数量。此外，我们展示了如何选择的安全度量可以影响的过程中学习的建议分布能够可靠地抽样高概率故障。
2023-02-03 cs.LG cs.RO
Rate-Informed Discovery via Bayesian Adaptive Multifidelity Sampling
Waymo, LLC（Waymo有限责任公司）
针对自动驾驶车辆安全性需准确估计性能与高效发现故障案例的问题，本文提出贝叶斯自适应多保真采样（BAMS），其优先探索低性能区域，发现的问题数量是MC和IS的10倍，速率估计方差分别窄15倍和6倍。
2024-11-26 cs.LG cs.RO stat.ML
Adaptive Importance Sampling for Finite-Sum Optimization and Sampling with Decreasing Step-Sizes
McGill University（麦吉尔大学）
已知减小梯度估计器的方差以提高基于随机梯度的优化和采样算法的收敛速度。实现方差减小的一种方法是设计重要性采样策略。最近，设计这样的方案的问题被公式化为一个在线学习问题与强盗反馈，和算法与次线性静态遗憾的设计。在这项工作中，我们建立在这个框架，并提出Avare，一个简单而有效的算法，自适应重要性采样有限和优化和采样的步长减小。在标准的技术条件下，我们表明，Avare实现$\mathcal{O}(T^{2/3})$和$\mathcal{O}(T^{5/6})$动态遗憾SGD和SGLD分别运行时，与$\mathcal{O}(1/t)$步长。我们实现这个动态的遗憾约束，利用我们的知识的动态定义的算法，并结合思想从在线学习和方差减少随机优化。我们经验验证我们的算法的性能，并确定设置中，它导致显着的改善。
2021-03-23 cs.LG math.OC stat.ML
Adaptive Sampling for Stochastic Risk-Averse Learning
ETH Zurich（苏黎世联邦理工学院）；Technion（以色列理工学院）；MIT（麻省理工学院）
在高风险的机器学习应用中，不仅要在平均水平上表现良好，而且要在限制于困难的示例时表现良好。为了解决这个问题，我们考虑以风险规避的方式训练模型的问题。我们提出了一个自适应抽样算法随机优化的条件风险价值（CVaR）的损失分布，衡量其性能的$α$部分最困难的例子。我们使用一个分布鲁棒的制定CVaR短语的问题作为两个玩家之间的零和游戏，并有效地解决它使用遗憾最小化。我们的方法依赖于从结构化的决定性点过程（DPP）中采样，这使得它能够扩展到大型数据集。最后，我们实证证明了其有效性的大规模凸和非凸学习任务。
2020-11-06 cs.LG stat.ML
Tree pyramidal adaptive importance sampling
Intel Labs, Intel Corporation（英特尔公司英特尔研究院）
本文介绍了树-金字塔自适应重要性抽样（TP-AIS），一种新的迭代抽样方法，它优于确定性混合总体蒙特卡罗（DM-PMC）、混合总体蒙特卡罗（M-PMC）和分层自适应重要性抽样（LAIS）等最先进的方法。TP-AIS迭代地构建由树金字塔参数化的建议分布，其中每个树叶跨越表示其重要性密度的子空间。在每个新的采样操作之后，一组树叶被细分，以改善建议分布对目标密度的近似。与文献中的其他方法不同，TP-AIS是无参数的，不需要调整就能达到最佳性能。我们评估TP-AIS与不同的复杂性随机目标概率密度函数（PDF），并分析其应用到不同的维度。最先进的迭代重要性抽样方法和其他基线MCMC方法使用归一化有效样本量（N-ESS），詹森-香农发散和时间复杂度的结果进行比较。
2020-03-23 cs.LG stat.CO stat.ML
Spatio-Temporal Tensor Sketching via Adaptive Sampling
Emory University（埃默里大学）
挖掘海量时空数据可以帮助各种现实世界的应用，如城市容量规划，事件管理和社会网络分析。张量表示可用于捕获空间和时间之间的相关性，并同时以无监督的方式利用空间和时间模式的潜在结构。然而，随着时空数据量的不断增加，使用张量分解进行存储和分析的成本变得非常昂贵。在本文中，我们提出了SkeTenSmooth，一种新的张量因式分解框架，使用自适应采样来压缩张量的时间流的方式，并保留底层的全局结构。SkeTenSmooth根据检测到的数据动态自适应地对传入张量切片进行采样。因此，草图更具有张量动态模式的代表性和信息性。此外，我们提出了一个强大的张量分解方法，可以处理草图张量和恢复原始模式。在纽约市黄色出租车数据上的实验表明，SkeTenSmooth大大降低了内存开销，在保留底层模式方面优于随机采样和固定速率采样方法。
2020-06-21 cs.LG stat.ML
An Adaptive Sampling Framework for Detecting Localized Concept Drift under Label Scarcity
H. Milton Stewart School of Industrial & Systems Engineering（H. Milton Stewart工业与系统工程学院）；Georgia Institute of Technology（佐治亚理工学院）；EDF Trading（EDF交易）
针对动态工业环境中标签稀缺和局部概念漂移问题，提出结合基于残差的探索与利用及EWMA监控的自适应采样框架，在标注预算约束下高效提升了漂移检测准确性与标签效率。
2025-11-04 cs.LG stat.ML
RL-PINNs: Reinforcement Learning-Driven Adaptive Sampling for Efficient Training of PINNs
School of Mathematics, Southeast University（东南大学数学学院）
针对物理信息神经网络（PINNs）传统自适应采样方法多轮训练、计算低效的问题，提出RL-PINNs框架，通过强化学习驱动单轮自适应采样，以函数变分替代梯度残差作为奖励，提升精度并降低开销，可扩展至高维/高阶场景。
2025-04-17 cs.LG cs.NA math.NA
How to Guide Adaptive Depth Sampling?
Technion - Israel Institute of Technology（以色列理工学院）
深度感测技术的最新进展允许激光束的快速电子操纵，而不是固定的机械旋转。这将使未来的传感器，在原则上，实时变化的采样模式。我们在这里研究的抽象问题，是否适应采样模式为一个给定的帧可以减少重建误差或允许稀疏模式。我们提出了一个建设性的通用方法来指导自适应深度采样算法。给定采样预算B、深度预测器P和期望的质量度量M，我们提出了突出重要采样位置的重要性图。对于给定的帧，该映射被定义为在给定B个随机样本的模式的情况下，由预测器P产生的M的每像素期望值。该图可以在训练阶段很好地估计。我们表明，一个神经网络可以学习产生一个高度忠实的重要性地图，给定的RGB图像。然后，我们提出了一种算法来产生一个采样模式的场景，这是密集的区域，难以重建。我们的模块化框架的采样策略可以根据硬件限制、深度预测器的类型以及应最小化的任何自定义重建误差度量进行调整。我们通过模拟验证，我们的方法优于网格和随机采样模式，以及最近的国家的最先进的自适应算法。
2022-05-20 cs.CV cs.LG cs.RO
CAS4DL: Christoffel Adaptive Sampling for function approximation via Deep Learning
Simon Fraser University（西蒙弗雷泽大学）
从采样点近似平滑的多变量函数的问题出现在科学计算的许多应用中，例如，计算不确定性量化（UQ）的科学和工程。在这些应用中，目标函数可以表示参数化偏微分方程（PDE）的期望的感兴趣量。由于解决这些问题的成本很高，其中每个样本都是通过求解PDE来计算的，因此样本效率是这些应用的关键。最近，人们越来越关注使用深度神经网络（DNN）和深度学习（DL）从数据中学习这些函数。在这项工作中，我们提出了一种自适应采样策略，CAS4DL（用于深度学习的Christoffel自适应采样），以提高DL用于多元函数逼近的样本效率。我们的新方法是基于将DNN的倒数第二层解释为该层上节点定义的函数字典。有了这个观点，然后，我们定义了一个自适应采样策略的动机最近提出的自适应采样计划的线性逼近方案，其中随机抽取样本相对于这个字典所跨越的子空间的Christoffel函数。我们目前的数值实验比较CAS4DL与标准蒙特卡罗（MC）采样。我们的研究结果表明，CAS4DL往往会产生大量节省的样本数量，以达到给定的精度，特别是在光滑的激活函数的情况下，它显示出更好的稳定性相比，MC。因此，这些结果是一个充满希望的一步，充分适应DL对科学计算的应用。
2022-08-25 cs.LG cs.NA math.NA
Adaptive Sampling Distributed Stochastic Variance Reduced Gradient for Heterogeneous Distributed Datasets
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
我们研究分布式优化算法，最大限度地减少平均分布在几台机器上的\emph{heterogeneous}功能，重点是通信效率。在这样的设置中，天真地使用经典的随机梯度下降（SGD）或其变体（例如，SVRG）的机器的均匀采样通常会产生较差的性能。这往往导致收敛速度依赖于跨设备梯度的最大Lipschitz常数。在本文中，我们提出了一种新的\emph{adaptive}采样的机器专门迎合这些设置。我们的方法依赖于一个自适应估计的局部Lipschitz常数的基础上过去的梯度信息。我们表明，新的方法提高了收敛速度的依赖性从最大Lipschitz常数\emph{average} Lipschitz常数跨机器，从而显着加快收敛。我们的实验表明，我们的方法确实加快了标准SVRG算法在异构环境中的收敛速度。
2020-11-17 cs.LG math.OC stat.ML
Learning Adaptive Sampling and Reconstruction for Volume Visualization
Technical University of Munich（慕尼黑工业大学）
数据可视化的一个核心挑战是理解需要哪些数据样本来生成数据集的图像，其中相关信息被编码。在这项工作中，我们对回答人工神经网络是否可以预测在哪里采样的数据具有更高或更低的密度，通过学习数据，采样模式和生成的图像之间的对应关系的问题迈出了第一步。我们介绍了一种新的神经渲染管道，它是训练端到端生成一个稀疏的自适应采样结构从一个给定的低分辨率输入图像，并重建一个高分辨率的图像从稀疏的样本集。这是第一次，据我们所知，我们证明了选择的结构，是相关的最终视觉表示可以共同学习与重建的表示，从这些结构。因此，我们引入了可微分采样和重建阶段，这可以利用基于监督损失的反向传播，仅在最终图像上。我们阐明了网络管道产生的自适应采样模式，并分析了其用于体可视化，包括等值面和直接体渲染。
2020-07-20 cs.GR cs.LG eess.IV
Faster Coordinate Descent via Adaptive Importance Sampling
ETH Zurich（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）
坐标下降法采用随机部分更新的决策变量，以解决大规模的凸优化问题。在这项工作中，我们引入了新的自适应规则，随机选择他们的更新。所谓自适应，我们的意思是我们的选择规则是基于对偶残差或原始-对偶间隙估计，并且可以在每次迭代时改变。我们从理论上描述了我们的选择规则的性能，并证明了最先进的改进，并将我们的理论和算法扩展到一般的凸目标。用铰链损失支持向量机和Lasso的数值实验证实了理论与实践的一致性。
2017-03-07 cs.CV cs.LG math.OC
An adaptive data sampling strategy for stabilizing dynamical systems via controller inference
本文提出了一种自适应数据采样策略，通过控制器推断在减少数据样本的情况下实现系统稳定化。
2026-02-10 cs.LG cs.NA math.DS
