Adaptive Threshold Sampling
Tableau Software(Tableau软件公司)
抽样是计算机科学和统计学中的一个基本问题。然而,对于给定的任务和流,通常不可能提前选择好的采样概率。我们得到了一个一般的框架,自适应地改变抽样概率通过收集thresholds.In一般情况下,自适应抽样过程中引入的依赖性之间的采样点,使其难以计算的期望值,并确保估计是无偏或一致的。我们的框架解决了这个问题,并进一步表明,当自适应阈值可以被视为,如果他们是固定的阈值,样本项目独立。这使得我们的自适应采样方案易于应用,因为不需要为采样方法创建自定义估计器。使用我们的框架,我们得到新的采样器,可以解决广泛的新的和现有的问题,包括与内存采样,而不是样本量预算,分层样本,多个目标,不同的计数,滑动窗口。特别是,我们设计了一个抽样程序的前K问题,不同的是,在重击球问题,草图的大小和抽样概率是自适应选择。
2022-06-15 cs.LG stat.ML
Equilibrium Forcing: Adaptive Video Generation Without Noise Conditioning
UC San Diego(加州大学圣地亚哥分校);MIT(麻省理工学院);Harvard University(哈佛大学)
该研究提出无需噪声条件的均衡强迫(EqF)框架,解耦去噪场学习与采样,实现自适应闭环推理,提升自回归视频生成的质量与一致性,性能优于传统噪声条件方法。
2026-10-15 cs.AI cs.CV cs.LG
Beyond Fixed Horizons: A Theoretical Framework for Adaptive Denoising Diffusions
Kiel University(基尔大学);Heidelberg University(海德堡大学);University of Stuttgart(斯图加特大学)
本文提出了一种自适应去噪扩散模型,通过时间齐结构和h-变换实现步骤数自适应调整,适用于低维数据生成和多种下游任务。
2026-01-21 cs.LG stat.ML
Bayesian Graph Neural Networks with Adaptive Connection Sampling
Texas A&M University(德克萨斯A&M大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了一个统一的框架,自适应连接采样的图神经网络(GNNs),概括了现有的随机正则化方法训练GNNs。所提出的框架不仅消除了深度GNN的过度平滑和过度拟合趋势,而且还可以在使用GNN的图分析任务中进行不确定性学习。与现有随机正则化方法中使用固定采样率或手动调整它们作为模型超参数不同,我们的自适应连接采样可以与GNN模型参数以全局和局部方式联合训练。使用自适应连接采样的GNN训练在数学上等价于训练贝叶斯GNN的有效近似。在基准数据集上进行消融研究的实验结果验证了自适应学习给定图训练数据的采样率是提高GNNs在半监督节点分类中性能的关键,不易于过平滑和过拟合,具有更强大的预测能力。
2020-06-30 cs.LG stat.ML
Conditional Contrastive Learning with Kernel
Carnegie Mellon University(卡内基梅隆大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
条件对比学习框架考虑了条件采样过程,该过程构造以特定变量为条件的正或负数据对。例如,公平对比学习从相同的性别(以敏感信息为条件)构建负对,这反过来又减少了来自学习的表示的不期望的信息;弱监督对比学习构建具有相似注释属性的正对(以辅助信息为条件),这反过来又被纳入表示中。虽然条件对比学习可以实现许多应用,但如果我们无法获得条件变量的某些值的足够数据对,则条件采样过程可能具有挑战性。本文提出了带核的条件对比学习(CCL-K),将现有的条件对比目标转换为替代形式,以减轻数据不足的问题。CCL-K不是根据条件变量的值对数据进行采样,而是使用核条件嵌入运算符,该运算符从所有可用数据中采样数据,并根据条件变量值之间的核相似性为每个采样数据分配权重。我们使用弱监督,公平和硬否定对比学习进行实验,显示CCL-K优于最先进的基线。
2022-03-15 cs.LG
Self-Conditioning Enables Deep Sequential Reasoning in Flow Matching
Shanghai Qi Zhi Institute(上海人工智能实验室);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Georgia Institute of Technology(佐治亚理工学院);Xiongan AI Institute(雄安人工智能研究院)
该研究针对视觉推理任务,发现自条件化可解决普通流匹配的深度推理瓶颈,使流匹配随采样步骤增加提升性能,达到空间有界图灵机的表达能力,为视觉推理设计提供了新原则。
2026-10-14 cs.CV cs.LG
On Exploration, Exploitation and Learning in Adaptive Importance Sampling
University of Oxford(牛津大学);Northeastern University(东北大学)
我们研究自适应重要性抽样(AIS)作为一个在线学习问题,并认为在这种适应的探索和利用之间的权衡的重要性。借鉴土匪文学的思想,我们提出了Daisee,一个基于分区的AIS算法。我们进一步介绍了一个概念的遗憾AIS和Daisee有$\mathcal{O}(\sqrt{T}(\log T)^{\frac{3}{4}})$累积伪遗憾,其中$T$是迭代次数。然后,我们扩展Daisee自适应学习的样本空间的分层分区更有效的采样和确认这两种算法的性能经验。
2018-10-31 cs.LG stat.ML
Reinforcement Learning and Adaptive Sampling for Optimized DNN Compilation
University of California, San Diego(加州大学圣地亚哥分校)
以更短的编译时间实现更快的执行可以使神经网络进一步多样化和创新。然而,目前执行神经网络的范例要么依赖于手工优化的库,传统的编译算法,要么依赖于最近的模拟退火和遗传算法。我们的工作采取了一种独特的方法,将神经网络的编译器优化作为一个强化学习问题,其解决方案需要更少的步骤来收敛。这个解决方案被称为ReLeASE,它带有一个采样算法,该算法利用聚类将昂贵的样本(实际硬件测量)集中在代表性点上,包含整个子空间。我们的自适应采样不仅减少了样本的数量,而且还提高了样本的质量,以便在更短的时间内更好地探索。因此,实际硬件实验表明,具有自适应采样的强化学习在优化时间上比AutoTVM快4.45倍,同时还将现代深度网络的推理时间提高了5.6%。进一步的实验也证实了我们的自适应采样甚至可以将AutoTVM的模拟退火提高4.00倍。
2019-05-30 cs.LG stat.ML
Gradient-based Sampling: An Adaptive Importance Sampling for Least-squares
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
在现代数据分析中,随机抽样是克服大样本量带来的计算困难的一种有效而广泛使用的策略。在以往的研究中,研究者进行随机抽样,这是根据输入数据,但独立于响应变量,但响应变量也可能是抽样的信息。在本文中,我们提出了一种自适应采样称为基于梯度的采样,这是依赖于输入数据和输出的快速解决最小二乘(LS)问题。我们根据数据点的梯度值从全部数据中随机抽取数据点。这种采样在计算上是节省的,因为计算采样概率的运行时间减少到O(nd),其中n是完整的样本量,d是输入的维数。在理论上,我们建立了一般重要性抽样关于全数据LS解的误差界分析。该结果建立了使用我们的基于梯度的采样的改进的性能。利用合成数据和真实数据进行实证分析,从统计效率和计算量两个方面论证了基于梯度的抽样方法相对于现有抽样方法具有明显的优势。
2018-03-02 cs.LG stat.ML
Adaptive Data Augmentation for Thompson Sampling
Department of Artificial Intelligence(人工智能系)
本文针对线性上下文老虎机提出一种近乎极小极大最优的汤普森采样方法,通过自适应增强与耦合假设样本的新估计器,无需上下文分布假设即可准确预测奖励,实证性能显著优于现有方法。
2025-06-17 cs.LG stat.ML
Adaptive Sampling for Discovery
University of Michigan(密歇根大学)
在本文中,我们研究了一个顺序决策问题,称为自适应采样发现(ASD)。从一个大型的未标记数据集开始,ASD算法自适应地标记点,目标是最大化响应的总和。这个问题在现实世界的发现问题中有着广泛的应用,例如在机器学习模型的帮助下的药物发现。ASD算法面临着众所周知的探索-利用困境。该算法需要选择产生信息的点来改进模型估计,但它也需要利用模型。我们严格制定的问题,并提出了一个通用的信息定向采样(IDS)算法。我们提供了理论上的保证,在线性,图和低秩模型的入侵检测系统的性能。入侵检测系统的好处是在模拟实验和真实数据实验发现化学反应条件。
2023-01-02 cs.LG stat.ML
ARIA: Adaptive Region-Based Importance Allocation for Conditional Diffusion Distillation
Institute for AI, University of Stuttgart(斯图加特大学人工智能研究所);IMPRS-IS(国际马克斯·普朗克智能系统研究学院);Institute of Theoretical Chemistry, University of Stuttgart(斯图加特大学理论化学研究所)
提出ARIA框架,通过在线估计教师-学生差异,自适应分配训练资源到条件空间的不同区域,提升条件扩散模型蒸馏效率,尤其对未见和欠表示条件效果显著。
2026-06-24 cs.AI cs.LG
Pathwise Conditioning of Gaussian Processes
Imperial College London(帝国理工学院);St. Petersburg State University(圣彼得堡国立大学);St. Petersburg Department of Steklov Mathematical Institute of Russian Academy of Sciences(俄罗斯科学院斯捷克洛夫数学研究所圣彼得堡分所);University College London(伦敦大学学院)
随着高斯过程被用来回答越来越复杂的问题,解析解变得越来越少。蒙特卡罗方法作为一个方便的桥梁,通过采样连接棘手的数学表达式与可行的估计。用于模拟高斯过程后验的常规方法将样本视为从输入位置的有限集合处的过程值的边缘分布提取。这种以分布为中心的特征导致生成策略在所需随机向量的大小上按立方缩放。这些方法在我们理想情况下想要绘制高维向量甚至连续样本路径的情况下是非常昂贵的。在这项工作中,我们调查了一个不同的推理路线:而不是集中在分布,我们阐明高斯条件在随机变量的水平。我们将展示如何这种路径解释条件产生一个一般家庭的近似,借给自己有效地采样高斯过程后验。从第一性原理出发,我们推导了这些方法,并分析了它们引入的近似误差。然后,我们通过探索路径条件作用在各种应用环境中的实际意义,如全局优化和强化学习,来研究这些结果。
2021-07-30 cs.LG math.ST stat.ML
Towards SFW sampling for diffusion models via external conditioning
Imperial College London(伦敦帝国理工学院);Universidad de Chile(智利大学)
针对扩散模型被诱导生成 NSFW 内容的问题,提出利用多模态模型和 CLIP 外部条件进行轨迹校正的 SFW 采样器,无需微调即可减少露骨内容且保持图像质量。
2025-05-12 cs.CV cs.LG
Sympatheia: Emotionally Adaptive Voice Assistant with Continuous Affect Conditioning
Department of Electrical Engineering, Columbia University(电气工程系,哥伦比亚大学)
提出Sympatheia语音对话框架,通过从用户语音推断情感并结合连续效价-唤醒度控制信号,实现情感自适应响应,优于基线模型。
2026-05-30 cs.CL cs.HC cs.LG
Spanning Diffusion and Flow-based Posterior Sampling via Exact Gaussian Conditioning
University of Bath(巴斯大学);University of Zurich(苏黎世大学);LMU Munich(慕尼黑大学)
本研究提出通用即插即用方法β-Flow,可泛化流、扩散等先验,在7个逆问题上实现最先进性能,还揭示了先验与似然在贝叶斯推理中的互补作用。
2026-10-12 cs.CV cs.LG
Less Regret via Online Conditioning
Google, Inc.(谷歌公司)
我们分析和评估的在线梯度下降算法与自适应每坐标调整的学习率。我们的算法可以被认为是一个在线版本的批量梯度下降与对角预条件。对于一般的在线凸优化问题,这种方法导致了比标准在线梯度下降更强的遗憾界。实验表明,我们的算法是有竞争力的大规模机器学习问题的最先进的算法。
2010-02-25 cs.AI cs.LG
Boosting Operational DNN Testing Efficiency through Conditioning
Nanjing University(南京大学)
随着越来越多地采用深度神经网络(DNN)模型作为软件系统的组成部分,对DNN的有效操作测试是非常必要的,以确保这些模型在现场条件下的实际性能。一个挑战是,测试通常需要产生精确的结果,而用于标记现场收集的数据的预算非常有限。将软件测试视为通过统计抽样进行可靠性估计的实践,我们将传统结构覆盖率背后的想法重新解释为方差减少的条件。有了这个洞察力,我们提出了一个有效的DNN测试方法的基础上的条件下测试的DNN模型学习的表示。该表示由模型最后一个隐藏层中神经元输出的概率分布定义。为了从这种高维分布中采样,其中操作数据稀疏分布,我们设计了一种利用交叉熵最小化的算法。对各种DNN模型和数据集进行了实验,以评估该方法的总体效率。结果表明,与简单的随机抽样相比,该方法只需要大约一半的标记输入就可以达到相同的精度水平。
2019-06-27 cs.LG cs.SE
Adaptive Policies for Sequential Sampling under Incomplete Information and a Cost Constraint
University of Athens(雅典大学)
我们考虑的问题,序贯抽样从一个有限数量的独立的统计总体,以最大限度地提高期望的无限地平线平均结果每一个时期,在约束下,期望的平均抽样成本不超过一个上限。结果分布未知。我们构造了一类相容的自适应策略,在此策略下,对于所有具有有限均值的分布,在完全信息下,平均结果以概率1收敛到真值。我们还比较了收敛速度的各种政策在这一类使用模拟。
2012-01-19 cs.LG math.OC stat.ML
One-Way Coupling via Patchwise Adaptive Normalization in Transformer Surrogates
Mistral AI(米斯特拉尔人工智能公司);ASML The Netherlands B.V(阿斯麦荷兰有限公司)
本文提出分块自适应归一化(PAdaNorm),将其应用于受Walrus启发的Transformer PDE代理模型,可提升长时程预测精度、保持物理约束并降低推理FLOPs,消融实验验证了其有效性。
2026-10-14 cs.LG
ASCAI: Adaptive Sampling for acquiring Compact AI
UC San Diego(加州大学圣地亚哥分校)
本文介绍了ASCAI,这是一种新的自适应采样方法,可以学习如何有效压缩深度神经网络(DNN),以在资源受限的平台上加速推理。现代DNN压缩技术包括各种超参数,需要逐层定制以确保高精度。选择这样的超参数是麻烦的,因为相关的搜索空间随着模型层的数量呈指数增长。为了有效地遍历这个大的空间,我们设计了一个智能采样机制,采用定制的操作灵感来自遗传算法的采样策略。作为一种特殊情况,我们把模型压缩的空间看作一个向量空间。自适应选择的样本使ASCAI能够自动学习如何调整每层压缩超参数,以优化精度/模型大小的权衡。我们广泛的评估表明,ASCAI在压缩率和/或准确性方面优于基于规则的方法和强化学习方法
2019-11-15 cs.LG cs.NE stat.ML
Rate-Informed Discovery via Bayesian Adaptive Multifidelity Sampling
Waymo, LLC(Waymo有限责任公司)
针对自动驾驶车辆安全性需准确估计性能与高效发现故障案例的问题,本文提出贝叶斯自适应多保真采样(BAMS),其优先探索低性能区域,发现的问题数量是MC和IS的10倍,速率估计方差分别窄15倍和6倍。
2024-11-26 cs.LG cs.RO stat.ML
Adaptive Importance Sampling for Finite-Sum Optimization and Sampling with Decreasing Step-Sizes
McGill University(麦吉尔大学)
已知减小梯度估计器的方差以提高基于随机梯度的优化和采样算法的收敛速度。实现方差减小的一种方法是设计重要性采样策略。最近,设计这样的方案的问题被公式化为一个在线学习问题与强盗反馈,和算法与次线性静态遗憾的设计。在这项工作中,我们建立在这个框架,并提出Avare,一个简单而有效的算法,自适应重要性采样有限和优化和采样的步长减小。在标准的技术条件下,我们表明,Avare实现$\mathcal{O}(T^{2/3})$和$\mathcal{O}(T^{5/6})$动态遗憾SGD和SGLD分别运行时,与$\mathcal{O}(1/t)$步长。我们实现这个动态的遗憾约束,利用我们的知识的动态定义的算法,并结合思想从在线学习和方差减少随机优化。我们经验验证我们的算法的性能,并确定设置中,它导致显着的改善。
2021-03-23 cs.LG math.OC stat.ML
TAPAS: Two-pass Approximate Adaptive Sampling for Softmax
Google Inc.(谷歌公司)
TAPAS是softmax模型的一种新的自适应采样方法。它使用两次采样策略,其中用于近似分区函数梯度的示例首先根据压缩的总体分布进行采样,然后使用上下文和当前模型自适应地重新采样。我们描述了一个有效的分布式实现TAPAS。我们表明,在合成数据和一个大的真实数据集,TAPAS具有较低的计算开销,并能很好地用于最小化具有非常大的标签空间的多类分类问题的秩损失。
2017-07-14 cs.LG
Adaptive Sampling for Convex Regression
UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学)
在本文中,我们介绍了第一个原则性的自适应采样程序学习凸函数的$L_\infty$规范,经常出现在行为和社会科学的问题。我们提出了一个函数的复杂性的措施,并使用它来证明,对于每个凸函数$f_{\star}$,我们的算法几乎达到信息理论上的最佳,功能特定的出错率。我们还证实了我们的理论贡献与数值实验,发现我们的方法大大优于被动,均匀采样有利的合成和数据导出的功能,在低噪声设置与大的采样预算。我们的研究结果还提出了一个理想化的“预言策略”,我们用它来衡量任何自适应采样策略的潜在进步被动采样,对于任何给定的凸函数。
2018-08-26 cs.LG math.ST stat.ML
Comparative Analysis of Single and Hybrid Neuro-Fuzzy-Based Models for an Industrial Heating Ventilation and Air Conditioning Control System
Institute of advanced studies(高级研究院);Alba Regia Technical Faculty(阿尔巴雷吉亚技术学院);Obuda University(欧布达大学);University of Pannonia(潘诺尼亚大学);J. Selye University(赛利耶大学);Bauhaus Universität Weimar(魏玛包豪斯大学)
将机器学习方法与软计算技术相结合是提高预测模型性能的重要途径。特别是混合机器学习模型在高性能控制系统的发展中得到了普及。暖通空调系统控制回路中火用损和能耗的预测模型具有较高的精度和性能,在工业规模上具有很高的经济性和节能性。本研究提出了两种混合模型的自适应神经模糊推理系统粒子群优化(ANFIS-PSO),自适应神经模糊推理系统遗传算法(ANFIS-GA)的暖通空调。并与单一ANFIS模型的结果进行了比较。ANFIS-PSO模型的RMSE为0.0065,MAE为0.0028,R2为0.9999,最小偏差为0.0691(KJ/s),优于ANFIS-GA和单一ANFIS模型。
2020-02-22 cs.LG eess.SP
A comprehensive study of non-adaptive and residual-based adaptive sampling for physics-informed neural networks
University of Pennsylvania(宾夕法尼亚大学);University of Southern California(南加州大学);Georgia Institute of Technology(佐治亚理工学院)
该研究针对物理信息神经网络的残差点采样问题,综合对比10种非自适应与自适应采样方法,提出两种基于残差的自适应采样方法,可在更少残差点下显著提升求解精度,为采样方法选择提供实用指南。
2022-07-21 cs.LG physics.comp-ph
Automatically Adaptive Conformal Risk Control
Paris-Saclay University(巴黎萨克雷大学);CNRS(法国国家科学研究中心);University of California, Berkeley(加州大学伯克利分校);Laboratoire Interdisciplinaire des Sciences du Numerique(数字科学跨学科实验室);Capgemini Invent France(凯捷创新法国公司);ENSIIE(法国国立统计与信息工程学院);INRIA Paris(法国国家信息与自动化研究所巴黎分部)
提出一种自动自适应共形风险控制框架,通过数据驱动确定条件化函数类,实现对统计风险的近似条件控制,在回归和分割任务中比传统方法精度更高。
2025-03-27 cs.AI cs.LG
Sampling 3D Molecular Conformers with Diffusion Transformers
Technical University Berlin(技术大学柏林);BIFOLD Berlin(柏林BIFOLD);Google DeepMind(谷歌DeepMind);MPI for Informatics, Saarbrücken(萨尔布吕肯信息研究所);Department of Artificial Intelligence, Korea University(韩国大学人工智能系)
针对将扩散Transformer(DiTs)应用于分子构象生成时的离散-连续信息整合等挑战,提出DiTMC框架,通过模块化架构分离3D坐标处理与原子连接性条件,结合两种图条件策略及不同注意力机制,在GEOM基准上实现最优精度与物理有效性。
2025-11-11 cs.LG
Self-adaptive weighting and sampling for physics-informed neural networks
Pacific Northwest National Laboratory(太平洋西北国家实验室)
针对物理信息神经网络(PINNs)求解偏微分方程时精度和效率受限的问题,提出混合自适应采样与加权方法,结合二者优势提升预测精度与训练效率,解决单一方法在训练点稀缺时效果不佳的问题。
2025-11-11 cs.AI cs.LG physics.comp-ph
Adaptive Sampling for Probabilistic Forecasting under Distribution Shift
Carnegie Mellon University(卡内基梅隆大学);AWS AI Labs(亚马逊云科技人工智能实验室);D2S Inc.(D2S公司)
世界不是静止的:这导致真实世界的时间序列随着时间的推移而发生变化,例如宏观经济周期或COVID-19大流行等外部和潜在的破坏性事件。我们提出了一种自适应采样策略,选择的时间序列的历史,是相关的预测的一部分。我们通过贝叶斯优化在相关时间步长上学习离散分布来实现这一点。我们用一个两步方法来实例化这个想法,该方法用均匀采样进行预训练,然后用自适应采样训练一个轻量级的自适应架构。我们用合成和真实世界的实验表明,该方法适应分布偏移,并显着减少了五个数据集的三个基础模型的预测误差。
2023-02-23 cs.LG
Adaptive Candidate Point Thompson Sampling for High-Dimensional Bayesian Optimization
University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究所)
本文提出ACTS方法,通过自适应缩减搜索空间提高高维贝叶斯优化效率,改进了现有汤普森采样方法在合成和现实基准中的表现。
2026-04-10 cs.LG
Non-Parametric Inference Adaptive to Intrinsic Dimension
Stanford University(斯坦福大学);Microsoft Research(微软研究院)
本文研究了高维条件矩模型的非参数估计和推断。我们发现,即使当尺寸$D$的条件变量是大于样本量$n$,估计和推断是可行的,只要分布的条件变量具有小的内在尺寸$d$,测量本地低倍措施。我们的估计是基于$k$ -最近邻($k$ -NN)$Z$ -估计器的子采样集合。我们证明了,如果协变量分布的内在维数等于$d$,那么我们的估计量的有限样本估计误差是$n^{-1/(d+2)}$阶的,并且我们的估计量是$n^{1/(d+2)}$ -渐近正态的,与$D$无关。实现这些结果所需的子采样大小取决于未知的固有维数$d$。我们提出了一个自适应的数据驱动的方法来选择这个参数,并证明它达到了预期的速率。我们讨论的扩展和应用,异质性治疗效果估计。
2019-06-18 cs.LG econ.EM math.ST
Context-Aware Adaptive Sampling for Intelligent Data Acquisition Systems Using DQN
Northeastern University(东北大学);Vanderbilt University(范德堡大学);Rochester Institute of Technology(罗切斯特理工学院);Brown University(布朗大学);University of Rochester(罗切斯特大学);Carnegie Mellon University(卡内基梅隆大学)
针对多传感器系统传统采样策略的冗余、高能耗等问题,本文提出基于DQN的自适应采样方法,将任务建模为MDP并优化策略,实验证明其在提升数据质量、降低能耗冗余及鲁棒性方面优于现有方法。
2025-04-12 cs.LG
Adaptive sampling using variational autoencoder and reinforcement learning
Department of Engineering Cybernetics, Norwegian University of Science and Technology(工程 cybernetics 系,挪威科学与技术大学);Department of Engineering Sciences, University of Agder(工程科学系,阿格德大学)
本文提出结合变分自编码器和强化学习的自适应稀疏感知框架,通过顺序选择测量提升稀疏采样效率和重建质量。
2025-12-03 cs.LG
Adaptive Sampling for Minimax Fair Classification
UCSD(加州大学圣地亚哥分校);Google Research(谷歌研究院)
在未经策划的数据集上训练的机器学习模型通常会对属于代表性不足的群体的输入产生不利影响。为了解决这个问题,我们考虑的问题,自适应地构建训练集,使我们能够学习分类器是公平的,在极大极小意义上。首先,我们提出了一种基于乐观原则的自适应采样算法,并推导出其性能的理论界。我们还提出了启发式扩展,该算法适用于大规模的,实际的问题。接下来,通过推导算法独立的下界为一类特定的问题,我们表明,我们的自适应方案所取得的性能一般不能得到改善。然后,我们验证了自适应构建训练集的好处,通过实验与逻辑回归分类器的合成任务,以及在几个现实世界的任务,使用卷积神经网络(CNN)。
2021-07-20 cs.LG
Adaptive Moments are Surprisingly Effective for Plug-and-Play Diffusion Sampling
Cornell University(康奈尔大学)
本文提出利用自适应矩估计来稳定扩散采样中的噪声似然分数,通过实验证明该方法在图像修复和类别条件生成任务中优于复杂方法,提升了对齐效果。
2026-04-22 cs.CV cs.LG
Adaptive randomized pivoting and volume sampling
University of California Berkeley(加州大学伯克利分校);Caltech(加州理工学院)
本文将自适应随机 pivoting 算法与体积采样分布及线性回归主动学习算法联系起来,提出新的分析和更高效的实现方法。
2026-04-03 cs.DS cs.LG cs.NA
Success Conditioning as Policy Improvement: The Optimization Problem Solved by Imitating Success
Daniel J. Russo
本文证明成功条件化(模仿成功轨迹)精确求解了一个信任区域优化问题,其χ²散度约束半径由数据自动确定,并揭示了相对策略改进、策略变化幅度和动作影响之间的等式关系。
2026-06-02 cs.AI cs.LG cs.SY
Non-Adaptive Adaptive Sampling on Turnstile Streams
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学)
自适应采样是一个有用的算法工具,在经典的集中式设置的数据汇总问题,其中整个数据集可用于执行计算的单个处理器。自适应采样重复地选择基础矩阵$\mathbf{A}\in\mathbb{R}^{n\times d}$的行,其中$n\gg d$的概率与它们到先前选择的行的子空间的距离成比例。直观地说,自适应采样似乎仅限于流计算模型中的平凡多遍算法,这是由于其固有的顺序性质,即仅在前一次迭代完成后才将采样概率分配给每行。令人惊讶的是,我们表明,这是不是这样的情况下,通过给第一个单通算法的自适应采样旋转栅门流和使用空间$\text{poly}(d,k,\log n)$,其中$k$是自适应采样轮数进行。我们的自适应采样过程可以应用于各种数据汇总问题,这些问题要么改进了最新技术,要么之前只在更宽松的行到达模型中进行过研究。我们给出了第一个相对误差算法的列子集选择,子空间近似,投影聚类,并使用空间次线性$n$的旋转栅门流的体积最大化。我们补充我们的体积最大化算法的结果与下界,是紧到低阶项,即使是多通道算法。通过类似的构造,我们也得到了行到达模型中体积最大化的下界,我们将其与竞争性上界相匹配。见论文全文摘要。
2020-04-23 cs.CG cs.DS cs.LG
Safe Adaptive Importance Sampling
EPFL(洛桑联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
重要性采样已成为大规模优化算法中不可或缺的加速策略。改进的自适应变体-使用由在优化期间改变的完整梯度信息定义的重要性值-享有有利的理论性质,但通常在计算上是不可行的。在本文中,我们提出了一个有效的近似梯度为基础的采样,这是基于安全界限的梯度。建议的采样分布是(i)可证明的最佳采样相对于给定的界限,(ii)总是优于均匀采样和固定的重要性采样和(iii)可以有效地计算-在许多应用中,可以忽略不计的额外成本。建议的采样方案是通用的,可以很容易地集成到现有的算法。特别是,我们表明,坐标下降(CD)和随机梯度下降(SGD)可以享受显着的加速下的新计划。所提出的采样的证明效率进行了验证,通过广泛的数值试验。
2017-11-07 cs.LG math.OC
Efficient Neural Field Learning via Adaptive Coverage and Focused Sampling
Brookhaven National Laboratory(布鲁克海文国家实验室)
针对隐式神经表示训练中均匀采样效率低的问题,提出ACES结构化采样框架,通过自适应空间划分确保覆盖、区域级重要性加权聚焦信息丰富区域,实现更快收敛与更低误差。
2026-10-05 cs.AI cs.LG
Adaptive Graph Signal Processing: Algorithms and Optimal Sampling Strategies
Dept. of Engineering, University of Perugia(工程系,佩鲁吉亚大学)
本文提出自适应图信号学习的新策略,通过分析随机采样对算法性能的影响,设计优化采样策略以提升稳态性能和收敛速度。
2017-09-12 cs.LG cs.SY eess.SY
Adaptive Sampling for Estimating Distributions: A Bayesian Upper Confidence Bound Approach
University of Southern California(南加州大学);University of California, San Diego(加州大学圣地亚哥分校)
研究了概率质量函数(pmf)一致估计的自适应抽样问题。采样策略的性能以最差情况下的均方误差来衡量。提出了一种贝叶斯变体现有的置信上限(UCB)为基础的方法。分析表明,这种贝叶斯变体的性能并不比现有的方法差。贝叶斯设置中pmfs上的后验分布允许更严格地计算置信上限,这在实践中导致显著的性能增益。使用这种方法,自适应采样协议提出了估计SARS-CoV-2血清阳性率在不同的群体,如位置和种族。这一战略的有效性进行了讨论,使用从洛杉矶县的血清阳性率调查获得的数据。
2020-12-08 cs.LG stat.ME
SSBNet: Improving Visual Recognition Efficiency by Adaptive Sampling
The Hong Kong University of Science and Technology(香港科技大学)
下采样被广泛采用,以实现视觉识别的准确性和延迟之间的良好权衡。不幸的是,通常使用的池化层没有学习,因此不能保留重要信息。作为另一种降维方法,自适应采样对与任务相关的区域进行加权和处理,从而能够更好地保留有用信息。然而,自适应采样的使用仅限于某些层。在本文中,我们证明了在深度神经网络的构建块中使用自适应采样可以提高其效率。特别是,我们提出了SSBNet,它是通过将采样层重复插入现有网络(如ResNet)来构建的。实验结果表明,该SSBNet在ImageNet和COCO数据集上均能实现具有竞争力的图像分类和目标检测性能.例如,SSB-ResNet-RS-200在ImageNet数据集上实现了82.6%的准确率,比基线ResNet-RS-152高出0.6%,具有类似的复杂性。可视化显示了SSBNet在允许不同层聚焦于不同位置方面的优势,消融研究进一步验证了自适应采样优于统一方法的优势。
2022-07-23 cs.AI cs.CV cs.LG
Statistical Inference After Adaptive Sampling for Longitudinal Data
Harvard University(哈佛大学)
针对多用户在线强化学习等自适应采样造成的纵向数据依赖,本文提出基于 Z 估计的分析方法和 adaptive 三明治方差估计量,实现一致方差估计与有效统计推断。
2023-04-19 cs.LG stat.ME
A Novel Adaptive Causal Sampling Method for Physics-Informed Neural Networks
National University of Defense Technology(国防科技大学)
物理信息神经网络(PINNs)已成为求解偏微分方程(PDE)的一种有吸引力的机器学习方法。PINN的训练可以看作是一个半监督学习任务,在求解正问题时只能得到初始点和边界点的精确值,并且在整个时空域中对配置点进行采样而没有精确的标号,这给训练带来了困难。因此,在PINN的训练中,搭配点的选择和采样方法是非常关键的。现有的采样方法包括固定采样和动态采样两种,在动态采样中,通常采用PDE残差损失控制采样。指出自适应采样中只考虑残差损失是不够的,采样应服从时间因果关系。我们进一步将时间因果关系引入自适应采样,提出了一种新的自适应因果采样方法,以提高PINN的性能和效率。对Cahn-Hilliard方程和KdV方程等几类高阶导数强非线性偏微分方程的数值实验表明,该采样方法可以在配置点较少的情况下提高PINN的性能.我们证明,通过利用这样一个相对简单的采样方法,预测性能可以提高到两个数量级相比,国家的最先进的结果,几乎没有额外的计算成本,特别是当点是有限的。
2022-10-24 cs.LG cs.NA math.NA
AdaSTaR: Adaptive Data Sampling for Training Self-Taught Reasoners
KAIST AI(韩国科学技术院人工智能研究所);LG AI Research(LG人工智能研究)
针对自提升推理语言模型训练中随机采样导致的数据失衡问题,提出融合多样性与课程式两条自适应采样原则的AdaSTaR算法,在6个基准上均取得最优准确率,且平均减少58.6%训练FLOPs,效果可跨模型规模迁移。
2025-10-06 cs.AI cs.CL cs.LG