Adaptive Data Augmentation for Thompson Sampling
Department of Artificial Intelligence（人工智能系）
本文针对线性上下文老虎机提出一种近乎极小极大最优的汤普森采样方法，通过自适应增强与耦合假设样本的新估计器，无需上下文分布假设即可准确预测奖励，实证性能显著优于现有方法。
2025-06-17 cs.LG stat.ML
ASCAI: Adaptive Sampling for acquiring Compact AI
UC San Diego（加州大学圣地亚哥分校）
本文介绍了ASCAI，这是一种新的自适应采样方法，可以学习如何有效压缩深度神经网络（DNN），以在资源受限的平台上加速推理。现代DNN压缩技术包括各种超参数，需要逐层定制以确保高精度。选择这样的超参数是麻烦的，因为相关的搜索空间随着模型层的数量呈指数增长。为了有效地遍历这个大的空间，我们设计了一个智能采样机制，采用定制的操作灵感来自遗传算法的采样策略。作为一种特殊情况，我们把模型压缩的空间看作一个向量空间。自适应选择的样本使ASCAI能够自动学习如何调整每层压缩超参数，以优化精度/模型大小的权衡。我们广泛的评估表明，ASCAI在压缩率和/或准确性方面优于基于规则的方法和强化学习方法
2019-11-15 cs.LG cs.NE stat.ML
RL-PINNs: Reinforcement Learning-Driven Adaptive Sampling for Efficient Training of PINNs
School of Mathematics, Southeast University（东南大学数学学院）
针对物理信息神经网络（PINNs）传统自适应采样方法多轮训练、计算低效的问题，提出RL-PINNs框架，通过强化学习驱动单轮自适应采样，以函数变分替代梯度残差作为奖励，提升精度并降低开销，可扩展至高维/高阶场景。
2025-04-17 cs.LG cs.NA math.NA
Quantile estimation with adaptive importance sampling
我们引入新的分位数估计与自适应重要性抽样。自适应估计是基于加权样本，既不是独立的，也不是同分布。利用鞅的一个新的重对数律，证明了具有非唯一分位数的一般分布的自适应分位数估计的收敛性，从而推广了Feldman和Tucker [Ann. Math. Statist. 37（1996）451- 457]。我们说明了一个例子，从信贷组合风险分析的算法。
2010-02-26 math.ST stat.TH
Bayesian Quantile Regression for Ordinal Longitudinal Data
自Koenker和Bassett（1978）的开创性工作以来，分位数回归模型及其应用在许多领域的研究中变得越来越受欢迎和重要。本文提出了一个随机效应有序分位数回归模型，用于分析具有有序结果的纵向数据。基于偏态双指数分布的位置-尺度混合表示，推导了一种有效的吉布斯抽样算法。所提出的方法说明使用模拟数据和真实数据的例子。这是第一个工作，讨论分位数回归分析的纵向数据与有序的结果。
2016-02-27 stat.CO
Sampling-guided Heterogeneous Graph Neural Network with Temporal Smoothing for Scalable Longitudinal Data Imputation
East China Normal University（华东师范大学）；Stanford University（斯坦福大学）；The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
提出SHT-GNN框架，通过异质图建模观测与协变量，结合受试者级采样和时序平滑，实现大规模纵向数据的高效插补，在ADNI等数据集上显著优于现有方法。
2024-11-07 cs.LG
Adaptive Sampling for Estimating Distributions: A Bayesian Upper Confidence Bound Approach
University of Southern California（南加州大学）；University of California, San Diego（加州大学圣地亚哥分校）
研究了概率质量函数（pmf）一致估计的自适应抽样问题。采样策略的性能以最差情况下的均方误差来衡量。提出了一种贝叶斯变体现有的置信上限（UCB）为基础的方法。分析表明，这种贝叶斯变体的性能并不比现有的方法差。贝叶斯设置中pmfs上的后验分布允许更严格地计算置信上限，这在实践中导致显著的性能增益。使用这种方法，自适应采样协议提出了估计SARS-CoV-2血清阳性率在不同的群体，如位置和种族。这一战略的有效性进行了讨论，使用从洛杉矶县的血清阳性率调查获得的数据。
2020-12-08 cs.LG stat.ME
Efficient Estimation for Longitudinal Networks via Adaptive Merging
The Chinese University of Hong Kong（香港中文大学）；Southern University of Science and Technology（南方科技大学）
本文针对纵向网络估计问题，提出融合自适应网络合并、张量分解和点过程的估计框架，通过合并相邻稀疏网络降低方差并控制偏差，理论分析和数值实验均验证了其显著降低估计误差的有效性。
2024-07-01 cs.LG stat.ML
TAPAS: Two-pass Approximate Adaptive Sampling for Softmax
Google Inc.（谷歌公司）
TAPAS是softmax模型的一种新的自适应采样方法。它使用两次采样策略，其中用于近似分区函数梯度的示例首先根据压缩的总体分布进行采样，然后使用上下文和当前模型自适应地重新采样。我们描述了一个有效的分布式实现TAPAS。我们表明，在合成数据和一个大的真实数据集，TAPAS具有较低的计算开销，并能很好地用于最小化具有非常大的标签空间的多类分类问题的秩损失。
2017-07-14 cs.LG
A comprehensive study of non-adaptive and residual-based adaptive sampling for physics-informed neural networks
University of Pennsylvania（宾夕法尼亚大学）；University of Southern California（南加州大学）；Georgia Institute of Technology（佐治亚理工学院）
该研究针对物理信息神经网络的残差点采样问题，综合对比10种非自适应与自适应采样方法，提出两种基于残差的自适应采样方法，可在更少残差点下显著提升求解精度，为采样方法选择提供实用指南。
2022-07-21 cs.LG physics.comp-ph
Adaptive Threshold Sampling
Tableau Software（Tableau软件公司）
抽样是计算机科学和统计学中的一个基本问题。然而，对于给定的任务和流，通常不可能提前选择好的采样概率。我们得到了一个一般的框架，自适应地改变抽样概率通过收集thresholds.In一般情况下，自适应抽样过程中引入的依赖性之间的采样点，使其难以计算的期望值，并确保估计是无偏或一致的。我们的框架解决了这个问题，并进一步表明，当自适应阈值可以被视为，如果他们是固定的阈值，样本项目独立。这使得我们的自适应采样方案易于应用，因为不需要为采样方法创建自定义估计器。使用我们的框架，我们得到新的采样器，可以解决广泛的新的和现有的问题，包括与内存采样，而不是样本量预算，分层样本，多个目标，不同的计数，滑动窗口。特别是，我们设计了一个抽样程序的前K问题，不同的是，在重击球问题，草图的大小和抽样概率是自适应选择。
2022-06-15 cs.LG stat.ML
Accelerating MRI with Longitudinally-informed Latent Posterior Sampling
Electrical Engineering , Stanford University , California , USA（电气工程，斯坦福大学，加利福尼亚，美国）；Radiology , Stanford University , California , USA（放射学，斯坦福大学，加利福尼亚，美国）
提出一种无需纵向配对训练的扩散MRI重建框架，利用临床既往DICOM指导随访k空间重建，并发布多期开放数据集，显著提升加速成像质量。
2025-10-18 cs.CV cs.LG eess.IV
AdaPCLA: Adaptive Prior-Calibrated Logit Adjustment for Long-Tailed Longitudinal EHR Generation
University of Science and Technology of China（中国科学技术大学）；Sun Yat-sen University（中山大学）
研究针对纵向电子健康记录生成中标准模型的不足，提出AdaPCLA框架，通过数据分布感知训练策略、模拟退火训练及零样本分布控制实现自适应拟合与生成，理论分析刻画相关界限，实验验证其在多方面有提升。
2026-10-15 cs.LG
Adaptive Sampling for Probabilistic Forecasting under Distribution Shift
Carnegie Mellon University（卡内基梅隆大学）；AWS AI Labs（亚马逊云科技人工智能实验室）；D2S Inc.（D2S公司）
世界不是静止的：这导致真实世界的时间序列随着时间的推移而发生变化，例如宏观经济周期或COVID-19大流行等外部和潜在的破坏性事件。我们提出了一种自适应采样策略，选择的时间序列的历史，是相关的预测的一部分。我们通过贝叶斯优化在相关时间步长上学习离散分布来实现这一点。我们用一个两步方法来实例化这个想法，该方法用均匀采样进行预训练，然后用自适应采样训练一个轻量级的自适应架构。我们用合成和真实世界的实验表明，该方法适应分布偏移，并显着减少了五个数据集的三个基础模型的预测误差。
2023-02-23 cs.LG
Adaptive Candidate Point Thompson Sampling for High-Dimensional Bayesian Optimization
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）
本文提出ACTS方法，通过自适应缩减搜索空间提高高维贝叶斯优化效率，改进了现有汤普森采样方法在合成和现实基准中的表现。
2026-04-10 cs.LG
Beyond Random Partitioning: Unsupervised Spatio-Temporal Stratification for Cohort Balancing in Longitudinal Medical Imaging
Oslo University Hospital（奥斯陆大学医院）
针对纵向医学影像随机划分导致的协变量偏移和采样失衡问题，提出三方数据集分析框架，结合肘部优化K-means与分层抽样，实现队列平衡，大幅降低强度偏差，提升划分稳定性。
2026-08-04 cs.CV cs.LG
Bayesian Graph Neural Networks with Adaptive Connection Sampling
Texas A&M University（德克萨斯A&M大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了一个统一的框架，自适应连接采样的图神经网络（GNNs），概括了现有的随机正则化方法训练GNNs。所提出的框架不仅消除了深度GNN的过度平滑和过度拟合趋势，而且还可以在使用GNN的图分析任务中进行不确定性学习。与现有随机正则化方法中使用固定采样率或手动调整它们作为模型超参数不同，我们的自适应连接采样可以与GNN模型参数以全局和局部方式联合训练。使用自适应连接采样的GNN训练在数学上等价于训练贝叶斯GNN的有效近似。在基准数据集上进行消融研究的实验结果验证了自适应学习给定图训练数据的采样率是提高GNNs在半监督节点分类中性能的关键，不易于过平滑和过拟合，具有更强大的预测能力。
2020-06-30 cs.LG stat.ML
Adaptive Moments are Surprisingly Effective for Plug-and-Play Diffusion Sampling
Cornell University（康奈尔大学）
本文提出利用自适应矩估计来稳定扩散采样中的噪声似然分数，通过实验证明该方法在图像修复和类别条件生成任务中优于复杂方法，提升了对齐效果。
2026-04-22 cs.CV cs.LG
Adaptive Sampling for Minimax Fair Classification
UCSD（加州大学圣地亚哥分校）；Google Research（谷歌研究院）
在未经策划的数据集上训练的机器学习模型通常会对属于代表性不足的群体的输入产生不利影响。为了解决这个问题，我们考虑的问题，自适应地构建训练集，使我们能够学习分类器是公平的，在极大极小意义上。首先，我们提出了一种基于乐观原则的自适应采样算法，并推导出其性能的理论界。我们还提出了启发式扩展，该算法适用于大规模的，实际的问题。接下来，通过推导算法独立的下界为一类特定的问题，我们表明，我们的自适应方案所取得的性能一般不能得到改善。然后，我们验证了自适应构建训练集的好处，通过实验与逻辑回归分类器的合成任务，以及在几个现实世界的任务，使用卷积神经网络（CNN）。
2021-07-20 cs.LG
Non-Adaptive Adaptive Sampling on Turnstile Streams
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
自适应采样是一个有用的算法工具，在经典的集中式设置的数据汇总问题，其中整个数据集可用于执行计算的单个处理器。自适应采样重复地选择基础矩阵$\mathbf{A}\in\mathbb{R}^{n\times d}$的行，其中$n\gg d$的概率与它们到先前选择的行的子空间的距离成比例。直观地说，自适应采样似乎仅限于流计算模型中的平凡多遍算法，这是由于其固有的顺序性质，即仅在前一次迭代完成后才将采样概率分配给每行。令人惊讶的是，我们表明，这是不是这样的情况下，通过给第一个单通算法的自适应采样旋转栅门流和使用空间$\text{poly}(d,k,\log n)$，其中$k$是自适应采样轮数进行。我们的自适应采样过程可以应用于各种数据汇总问题，这些问题要么改进了最新技术，要么之前只在更宽松的行到达模型中进行过研究。我们给出了第一个相对误差算法的列子集选择，子空间近似，投影聚类，并使用空间次线性$n$的旋转栅门流的体积最大化。我们补充我们的体积最大化算法的结果与下界，是紧到低阶项，即使是多通道算法。通过类似的构造，我们也得到了行到达模型中体积最大化的下界，我们将其与竞争性上界相匹配。见论文全文摘要。
2020-04-23 cs.CG cs.DS cs.LG
Domain-informed Adaptive Sampling for Generalizable PINNs in Metal Additive Manufacturing via Conditional Flow Matching
Texas A&M University（德克萨斯A&M大学）
针对金属增材制造中PINN热建模依赖手工静态采样、泛化差的问题，提出基于条件流匹配的两阶段自适应采样策略，在相同配点预算下平均相对L2误差降低62.1%。
2026-10-08 cs.LG
Enforcing Constraints in Generative Sampling via Adaptive Correction Scheduling
Department of Computer Science（计算机科学系）
本文提出自适应修正调度方法，通过动态分配修正预算提升生成采样效率，实验显示在相同修正预算下，该方法恢复了71.2%的全步修正收益，且修正次数减少75%。
2026-05-11 cs.LG
Safe Adaptive Importance Sampling
EPFL（洛桑联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
重要性采样已成为大规模优化算法中不可或缺的加速策略。改进的自适应变体-使用由在优化期间改变的完整梯度信息定义的重要性值-享有有利的理论性质，但通常在计算上是不可行的。在本文中，我们提出了一个有效的近似梯度为基础的采样，这是基于安全界限的梯度。建议的采样分布是（i）可证明的最佳采样相对于给定的界限，（ii）总是优于均匀采样和固定的重要性采样和（iii）可以有效地计算-在许多应用中，可以忽略不计的额外成本。建议的采样方案是通用的，可以很容易地集成到现有的算法。特别是，我们表明，坐标下降（CD）和随机梯度下降（SGD）可以享受显着的加速下的新计划。所提出的采样的证明效率进行了验证，通过广泛的数值试验。
2017-11-07 cs.LG math.OC
Efficient Neural Field Learning via Adaptive Coverage and Focused Sampling
Brookhaven National Laboratory（布鲁克海文国家实验室）
针对隐式神经表示训练中均匀采样效率低的问题，提出ACES结构化采样框架，通过自适应空间划分确保覆盖、区域级重要性加权聚焦信息丰富区域，实现更快收敛与更低误差。
2026-10-05 cs.AI cs.LG
Adaptive Sampling for Continuous Group Equivariant Neural Networks
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research（高通人工智能研究中心）
针对连续群等变可导向网络中全群采样计算成本高的问题，提出自适应采样方法，根据数据对称性动态调整采样，减少采样量，在提升性能的同时小幅提高内存效率。
2024-09-13 cs.LG
Adaptive Graph Signal Processing: Algorithms and Optimal Sampling Strategies
Dept. of Engineering, University of Perugia（工程系，佩鲁吉亚大学）
本文提出自适应图信号学习的新策略，通过分析随机采样对算法性能的影响，设计优化采样策略以提升稳态性能和收敛速度。
2017-09-12 cs.LG cs.SY eess.SY
Adaptive Sampling for Convex Regression
UC Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）
在本文中，我们介绍了第一个原则性的自适应采样程序学习凸函数的$L_\infty$规范，经常出现在行为和社会科学的问题。我们提出了一个函数的复杂性的措施，并使用它来证明，对于每个凸函数$f_{\star}$，我们的算法几乎达到信息理论上的最佳，功能特定的出错率。我们还证实了我们的理论贡献与数值实验，发现我们的方法大大优于被动，均匀采样有利的合成和数据导出的功能，在低噪声设置与大的采样预算。我们的研究结果还提出了一个理想化的“预言策略”，我们用它来衡量任何自适应采样策略的潜在进步被动采样，对于任何给定的凸函数。
2018-08-26 cs.LG math.ST stat.ML
Gradient-based Sampling: An Adaptive Importance Sampling for Least-squares
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
在现代数据分析中，随机抽样是克服大样本量带来的计算困难的一种有效而广泛使用的策略。在以往的研究中，研究者进行随机抽样，这是根据输入数据，但独立于响应变量，但响应变量也可能是抽样的信息。在本文中，我们提出了一种自适应采样称为基于梯度的采样，这是依赖于输入数据和输出的快速解决最小二乘（LS）问题。我们根据数据点的梯度值从全部数据中随机抽取数据点。这种采样在计算上是节省的，因为计算采样概率的运行时间减少到O（nd），其中n是完整的样本量，d是输入的维数。在理论上，我们建立了一般重要性抽样关于全数据LS解的误差界分析。该结果建立了使用我们的基于梯度的采样的改进的性能。利用合成数据和真实数据进行实证分析，从统计效率和计算量两个方面论证了基于梯度的抽样方法相对于现有抽样方法具有明显的优势。
2018-03-02 cs.LG stat.ML
Adaptive Policies for Sequential Sampling under Incomplete Information and a Cost Constraint
University of Athens（雅典大学）
我们考虑的问题，序贯抽样从一个有限数量的独立的统计总体，以最大限度地提高期望的无限地平线平均结果每一个时期，在约束下，期望的平均抽样成本不超过一个上限。结果分布未知。我们构造了一类相容的自适应策略，在此策略下，对于所有具有有限均值的分布，在完全信息下，平均结果以概率1收敛到真值。我们还比较了收敛速度的各种政策在这一类使用模拟。
2012-01-19 cs.LG math.OC stat.ML
SSBNet: Improving Visual Recognition Efficiency by Adaptive Sampling
The Hong Kong University of Science and Technology（香港科技大学）
下采样被广泛采用，以实现视觉识别的准确性和延迟之间的良好权衡。不幸的是，通常使用的池化层没有学习，因此不能保留重要信息。作为另一种降维方法，自适应采样对与任务相关的区域进行加权和处理，从而能够更好地保留有用信息。然而，自适应采样的使用仅限于某些层。在本文中，我们证明了在深度神经网络的构建块中使用自适应采样可以提高其效率。特别是，我们提出了SSBNet，它是通过将采样层重复插入现有网络（如ResNet）来构建的。实验结果表明，该SSBNet在ImageNet和COCO数据集上均能实现具有竞争力的图像分类和目标检测性能.例如，SSB-ResNet-RS-200在ImageNet数据集上实现了82.6%的准确率，比基线ResNet-RS-152高出0.6%，具有类似的复杂性。可视化显示了SSBNet在允许不同层聚焦于不同位置方面的优势，消融研究进一步验证了自适应采样优于统一方法的优势。
2022-07-23 cs.AI cs.CV cs.LG
Adaptive Sampling for Discovery
University of Michigan（密歇根大学）
在本文中，我们研究了一个顺序决策问题，称为自适应采样发现（ASD）。从一个大型的未标记数据集开始，ASD算法自适应地标记点，目标是最大化响应的总和。这个问题在现实世界的发现问题中有着广泛的应用，例如在机器学习模型的帮助下的药物发现。ASD算法面临着众所周知的探索-利用困境。该算法需要选择产生信息的点来改进模型估计，但它也需要利用模型。我们严格制定的问题，并提出了一个通用的信息定向采样（IDS）算法。我们提供了理论上的保证，在线性，图和低秩模型的入侵检测系统的性能。入侵检测系统的好处是在模拟实验和真实数据实验发现化学反应条件。
2023-01-02 cs.LG stat.ML
SHAPE: A Sample-adaptive Hierarchical Prediction Network for Medication Recommendation
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；Melax Tech, Inc.（Melax科技公司）；The University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心）；Gennlife(Beijing) Technology Co Ltd（北京泛生子基因科技有限公司）
本文提出样本自适应分层药物预测网络SHAPE，通过紧凑的单次就诊编码器和跨次纵向编码器结合软课程学习解决多病共存药物推荐问题，在基准数据集上表现优于基线。
2023-09-09 cs.AI cs.LG
Amortised adaptive importance sampling
University of Edinburgh（爱丁堡大学）
该研究提出一种摊销自适应重要性采样算法，通过轻量级神经网络实现，可高效从训练分布族内的目标采样，性能优于特定目标摊销采样器及无训练自适应重要性采样算法，还探索了其泛化潜力。
2026-10-14 cs.LG stat.ML
A Novel Adaptive Causal Sampling Method for Physics-Informed Neural Networks
National University of Defense Technology（国防科技大学）
物理信息神经网络（PINNs）已成为求解偏微分方程（PDE）的一种有吸引力的机器学习方法。PINN的训练可以看作是一个半监督学习任务，在求解正问题时只能得到初始点和边界点的精确值，并且在整个时空域中对配置点进行采样而没有精确的标号，这给训练带来了困难。因此，在PINN的训练中，搭配点的选择和采样方法是非常关键的。现有的采样方法包括固定采样和动态采样两种，在动态采样中，通常采用PDE残差损失控制采样。指出自适应采样中只考虑残差损失是不够的，采样应服从时间因果关系。我们进一步将时间因果关系引入自适应采样，提出了一种新的自适应因果采样方法，以提高PINN的性能和效率。对Cahn-Hilliard方程和KdV方程等几类高阶导数强非线性偏微分方程的数值实验表明，该采样方法可以在配置点较少的情况下提高PINN的性能.我们证明，通过利用这样一个相对简单的采样方法，预测性能可以提高到两个数量级相比，国家的最先进的结果，几乎没有额外的计算成本，特别是当点是有限的。
2022-10-24 cs.LG cs.NA math.NA
Adaptive randomized pivoting and volume sampling
University of California Berkeley（加州大学伯克利分校）；Caltech（加州理工学院）
本文将自适应随机 pivoting 算法与体积采样分布及线性回归主动学习算法联系起来，提出新的分析和更高效的实现方法。
2026-04-03 cs.DS cs.LG cs.NA
oASIS: Adaptive Column Sampling for Kernel Matrix Approximation
Rice University（莱斯大学）；University of Maryland, College Park（马里兰大学帕克分校）；Rehabilitation Institute of Chicago（芝加哥康复研究所）；Northwestern University（西北大学）
核矩阵（例如Gram或相似性矩阵）对于许多最先进的分类，聚类和降维方法是必不可少的。对于大型数据集，形成和分解这样的核矩阵的成本变得棘手。为了应对这一挑战，我们引入了一种新的自适应采样算法，称为加速顺序不一致选择（oASIS），该算法无需显式计算整个内核矩阵即可对列进行采样。我们提供的条件下，oASIS是保证准确地恢复内核矩阵与选定的列的最佳数量。在合成和真实世界数据集上的数值实验表明，oASIS以一小部分计算成本实现了与最先进的自适应采样方法相当的性能。oASIS的低运行时复杂性及其低内存占用使得能够解决使用其他自适应方法难以解决的大型问题。
2015-05-19 cs.LG stat.ML
Self-adaptive weighting and sampling for physics-informed neural networks
Pacific Northwest National Laboratory（太平洋西北国家实验室）
针对物理信息神经网络（PINNs）求解偏微分方程时精度和效率受限的问题，提出混合自适应采样与加权方法，结合二者优势提升预测精度与训练效率，解决单一方法在训练点稀缺时效果不佳的问题。
2025-11-11 cs.AI cs.LG physics.comp-ph
Adaptive Task Sampling for Meta-Learning
Salesforce Research Asia（Salesforce亚洲研究院）；Singapore Management University（新加坡管理大学）；South China University of Technology（华南理工大学）；Carnegie Mellon University（卡内基梅隆大学）
元学习方法在计算机视觉中得到了广泛的研究和应用，特别是对于Few-Shot分类任务。用于Few-Shot分类的元学习的关键思想是通过在Meta训练数据中随机采样类来构造用于情景训练的Few-Shot任务，以模拟测试时面临的Few-Shot情况。虽然丰富的工作线只关注如何跨任务提取元知识，但我们利用了如何生成信息任务的补充问题。我们认为，随机抽样的任务可能是次优的和无信息的（例如，将“狗”与“膝上型计算机”分类的任务通常是微不足道的）。在本文中，我们提出了一个自适应的任务采样方法，以提高泛化性能。与基于实例的采样不同，基于任务的采样更具挑战性，因为每个事件中任务的隐含定义。因此，我们相应地提出了一种基于贪婪类对的抽样方法，该方法根据类对潜力选择困难的任务。我们在两个Few-Shot分类基准上评估了我们的自适应任务采样方法，它在不同的特征骨干，Meta学习算法和数据集上实现了一致的改进。
2020-07-17 cs.CV cs.LG
A minimax near-optimal algorithm for adaptive rejection sampling
Numberly (1000mercis Group)（Numberly（1000mercis 集团））；Otto-von-Guericke University（奥托·冯·格里克大学）；Potsdam University（波茨坦大学）
拒绝抽样是一种基本的蒙特卡罗方法。它用于从允许概率密度函数的分布中采样，该概率密度函数可以在任何给定点精确地进行评估，尽管计算成本很高。然而，如果没有适当的调整，这种技术意味着高拒绝率。已经探索了几种方法来应对这个问题，基于通过一个简单的函数，使用以前的样本的信息，自适应地估计密度的原则。它们中的大多数要么依赖于对密度形式的强假设，要么不提供任何理论性能保证。我们给出了第一个自适应拒绝抽样问题的理论下限，并引入了一个新的算法，保证了一个接近最优的拒绝率在极大极小意义上。
2018-10-22 cs.LG stat.ML
Adaptive Sketches for Robust Regression with Importance Sampling
Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）
我们介绍了通过随机梯度下降（SGD）通过以与其范数成比例的概率对梯度进行采样来解决鲁棒回归的数据结构，即，重要性采样。虽然SGD广泛用于大规模机器学习，但众所周知，由于均匀采样的高方差，它可能会经历缓慢的收敛速度。另一方面，重要性采样可以显著降低方差，但通常难以实现，因为计算采样概率需要额外的数据传递，在这种情况下，可以使用标准梯度下降（GD）来代替。在本文中，我们介绍了一种算法，近似采样$T$梯度的尺寸$d$从几乎最佳的重要性采样分布的稳健回归问题超过$n$行。因此，我们的算法有效地运行$T$步骤的SGD与重要性采样，而使用次线性空间，只是使一个单一的通过的数据。我们的技术还扩展到执行二阶优化的重要性采样。
2022-07-16 cs.DS cs.LG
Testing Rare Downstream Safety Violations via Upstream Adaptive Sampling of Perception Error Models
University of Edinburgh（爱丁堡大学）
在模拟中测试黑盒感知控制系统面临两个困难。首先，仿真中的感知输入缺乏真实世界传感器输入的保真度。其次，对于一个相当准确的感知系统，遇到罕见的故障轨迹可能需要运行不可行的许多模拟。本文结合感知误差模型-代理人的传感器为基础的检测系统-与状态相关的自适应重要性采样。这使我们能够有效地评估罕见的故障概率为现实世界中的感知控制系统的模拟。我们的实验与自主制动系统配备了RGB障碍物检测器表明，我们的方法可以计算准确的故障概率与廉价的模拟数量。此外，我们展示了如何选择的安全度量可以影响的过程中学习的建议分布能够可靠地抽样高概率故障。
2023-02-03 cs.LG cs.RO
Rate-Informed Discovery via Bayesian Adaptive Multifidelity Sampling
Waymo, LLC（Waymo有限责任公司）
针对自动驾驶车辆安全性需准确估计性能与高效发现故障案例的问题，本文提出贝叶斯自适应多保真采样（BAMS），其优先探索低性能区域，发现的问题数量是MC和IS的10倍，速率估计方差分别窄15倍和6倍。
2024-11-26 cs.LG cs.RO stat.ML
Adaptive Sampling for Stochastic Risk-Averse Learning
ETH Zurich（苏黎世联邦理工学院）；Technion（以色列理工学院）；MIT（麻省理工学院）
在高风险的机器学习应用中，不仅要在平均水平上表现良好，而且要在限制于困难的示例时表现良好。为了解决这个问题，我们考虑以风险规避的方式训练模型的问题。我们提出了一个自适应抽样算法随机优化的条件风险价值（CVaR）的损失分布，衡量其性能的$α$部分最困难的例子。我们使用一个分布鲁棒的制定CVaR短语的问题作为两个玩家之间的零和游戏，并有效地解决它使用遗憾最小化。我们的方法依赖于从结构化的决定性点过程（DPP）中采样，这使得它能够扩展到大型数据集。最后，我们实证证明了其有效性的大规模凸和非凸学习任务。
2020-11-06 cs.LG stat.ML
Adaptive Importance Sampling for Finite-Sum Optimization and Sampling with Decreasing Step-Sizes
McGill University（麦吉尔大学）
已知减小梯度估计器的方差以提高基于随机梯度的优化和采样算法的收敛速度。实现方差减小的一种方法是设计重要性采样策略。最近，设计这样的方案的问题被公式化为一个在线学习问题与强盗反馈，和算法与次线性静态遗憾的设计。在这项工作中，我们建立在这个框架，并提出Avare，一个简单而有效的算法，自适应重要性采样有限和优化和采样的步长减小。在标准的技术条件下，我们表明，Avare实现$\mathcal{O}(T^{2/3})$和$\mathcal{O}(T^{5/6})$动态遗憾SGD和SGLD分别运行时，与$\mathcal{O}(1/t)$步长。我们实现这个动态的遗憾约束，利用我们的知识的动态定义的算法，并结合思想从在线学习和方差减少随机优化。我们经验验证我们的算法的性能，并确定设置中，它导致显着的改善。
2021-03-23 cs.LG math.OC stat.ML
AdaSTaR: Adaptive Data Sampling for Training Self-Taught Reasoners
KAIST AI（韩国科学技术院人工智能研究所）；LG AI Research（LG人工智能研究）
针对自提升推理语言模型训练中随机采样导致的数据失衡问题，提出融合多样性与课程式两条自适应采样原则的AdaSTaR算法，在6个基准上均取得最优准确率，且平均减少58.6%训练FLOPs，效果可跨模型规模迁移。
2025-10-06 cs.AI cs.CL cs.LG
Tree pyramidal adaptive importance sampling
Intel Labs, Intel Corporation（英特尔公司英特尔研究院）
本文介绍了树-金字塔自适应重要性抽样（TP-AIS），一种新的迭代抽样方法，它优于确定性混合总体蒙特卡罗（DM-PMC）、混合总体蒙特卡罗（M-PMC）和分层自适应重要性抽样（LAIS）等最先进的方法。TP-AIS迭代地构建由树金字塔参数化的建议分布，其中每个树叶跨越表示其重要性密度的子空间。在每个新的采样操作之后，一组树叶被细分，以改善建议分布对目标密度的近似。与文献中的其他方法不同，TP-AIS是无参数的，不需要调整就能达到最佳性能。我们评估TP-AIS与不同的复杂性随机目标概率密度函数（PDF），并分析其应用到不同的维度。最先进的迭代重要性抽样方法和其他基线MCMC方法使用归一化有效样本量（N-ESS），詹森-香农发散和时间复杂度的结果进行比较。
2020-03-23 cs.LG stat.CO stat.ML
How to Guide Adaptive Depth Sampling?
Technion - Israel Institute of Technology（以色列理工学院）
深度感测技术的最新进展允许激光束的快速电子操纵，而不是固定的机械旋转。这将使未来的传感器，在原则上，实时变化的采样模式。我们在这里研究的抽象问题，是否适应采样模式为一个给定的帧可以减少重建误差或允许稀疏模式。我们提出了一个建设性的通用方法来指导自适应深度采样算法。给定采样预算B、深度预测器P和期望的质量度量M，我们提出了突出重要采样位置的重要性图。对于给定的帧，该映射被定义为在给定B个随机样本的模式的情况下，由预测器P产生的M的每像素期望值。该图可以在训练阶段很好地估计。我们表明，一个神经网络可以学习产生一个高度忠实的重要性地图，给定的RGB图像。然后，我们提出了一种算法来产生一个采样模式的场景，这是密集的区域，难以重建。我们的模块化框架的采样策略可以根据硬件限制、深度预测器的类型以及应最小化的任何自定义重建误差度量进行调整。我们通过模拟验证，我们的方法优于网格和随机采样模式，以及最近的国家的最先进的自适应算法。
2022-05-20 cs.CV cs.LG cs.RO
Adaptive Importance Sampling for Estimation in Structured Domains
Brown University（布朗大学）；Massachusetts Institute of Technology（麻省理工学院）
采样是估计高维空间上的大的、复杂的和与积分的重要工具。例如，重要抽样已被用作信念网络中精确推理方法的替代方法。理想情况下，我们希望有一个提供最优方差估计的抽样分布。在本文中，我们提出的方法，改善抽样分布系统地适应它，因为我们从样本中获取信息。我们提出了一种随机梯度下降法的基础上直接最小化的方差顺序更新的抽样分布。我们还提出了其他随机梯度下降方法的基础上minimizationof典型的概念之间的距离的当前采样分布和近似的目标，最佳分布。最后，我们验证和比较不同的方法经验，将它们应用到影响图中的行动评估问题。
2013-01-16 cs.AI cs.LG stat.ML
Adaptive Bayesian Sampling with Monte Carlo EM
The Ohio State University（俄亥俄州立大学）
我们提出了一种新的技术，用于学习从离散动力学获得的采样器中的质量矩阵，保持一些能量函数。现有的自适应采样器使用黎曼预处理技术，其中质量矩阵是被采样的参数的函数。这导致了能量重构和由此产生的动力学的显着复杂性，通常导致隐式方程组，并需要在蛙跳步骤中求高维矩阵的逆。我们的方法提供了一个更简单的替代方案，通过使用现有的动态在抽样步骤的Monte Carlo EM框架，并学习质量矩阵的M步骤与一种新的在线技术。我们还提出了一种自适应地设置在E步骤中收集的样本数量的方法，使用来自蛙跳动态的采样误差估计。随着一种新的随机采样器的基础上Nosé-庞加莱动力学，我们使用这个框架与标准的哈密顿蒙特卡罗（HMC）以及较新的随机算法，如SGHMC和SGNHT，并显示出强大的性能合成和真正的高维采样的情况下，我们实现采样精度相媲美的黎曼采样器，同时显着更快。
2017-11-06 cs.AI cs.LG stat.ML
Faster Coordinate Descent via Adaptive Importance Sampling
ETH Zurich（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）
坐标下降法采用随机部分更新的决策变量，以解决大规模的凸优化问题。在这项工作中，我们引入了新的自适应规则，随机选择他们的更新。所谓自适应，我们的意思是我们的选择规则是基于对偶残差或原始-对偶间隙估计，并且可以在每次迭代时改变。我们从理论上描述了我们的选择规则的性能，并证明了最先进的改进，并将我们的理论和算法扩展到一般的凸目标。用铰链损失支持向量机和Lasso的数值实验证实了理论与实践的一致性。
2017-03-07 cs.CV cs.LG math.OC
