SGM-PINN: Sampling Graphical Models for Faster Training of Physics-Informed Neural Networks
Stevens Institute of Technology（史蒂文斯理工学院）
本研究提出基于图的重要性采样框架SGM-PINN，通过分解训练集构建的概率图模型生成带依赖关系的节点簇，结合鲁棒性度量与残差损失确定采样区域，实现PINNs训练速度3倍提升与精度改善。
2024-07-10 cs.LG
Sampling and Recovery of Graph Signals based on Graph Neural Networks
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））；Shanghai Jiao Tong University（上海交通大学）
我们提出了可解释的图神经网络的采样和恢复的图形信号，分别。为了进行信息测量，我们提出了一个新的图神经采样模块，其目的是选择那些最大限度地表达其相应邻域的顶点。这种表现力可以通过经由图神经网络估计的顶点特征和邻域特征之间的互信息来量化。为了从采样测量中重建原始图信号，我们提出了一个基于算法展开技术的图神经恢复模块。与以前的分析采样和恢复相比，所提出的方法能够灵活地学习各种图形信号模型的数据，通过利用神经网络的学习能力;与以前的基于神经网络的采样和恢复相比，所提出的方法是通过利用特定的图形属性设计的，并提供可解释性。我们进一步设计了一个新的多尺度图神经网络，它是一个可训练的多尺度图滤波器组，可以处理各种与图相关的学习任务。多尺度网络利用所提出的图神经采样和恢复模块来实现图的多尺度表示。在实验中，我们说明了所提出的图神经采样和恢复模块的效果，并发现该模块可以灵活地适应各种图结构和图信号。在基于主动采样的半监督学习任务中，图神经采样模块在Cora数据集上将分类精度提高了10%以上。我们进一步验证了建议的多尺度图神经网络上的几个标准数据集的顶点和图形分类。结果表明，我们的方法一贯提高分类精度。
2020-11-03 cs.LG cs.SI eess.SP
Aspects of importance sampling in parameter selection for neural networks using ridgelet transform
Graduate School of Science and Engineering, Saitama University（埼玉大学大学院科学工程学研究院）
本研究提出基于ridgelet变换的oracle分布用于神经网络参数选择，从重要性采样视角分析并提出参数采样扩展方法，实验表明权重参数幅度比截距参数更关键。
2024-07-26 cs.LG
Generalized Leverage Score Sampling for Neural Networks
Princeton University（普林斯顿大学）；University of Washington（华盛顿大学）；Institute for Advanced Study（高等研究院）；Columbia University（哥伦比亚大学）
杠杆分数抽样是一种源于理论计算机科学的强有力的技术，它可以用来加速大量的基本问题，如线性回归、线性规划、半定规划、割平面法、图稀疏化、最大匹配和最大流等。最近，已经表明，利用分数采样有助于加速内核方法[Avron，Kapralov，Musco，Musco，Velingker和Zandieh 17]。在这项工作中，我们将[Avron，Kapralov，Musco，Musco，Velingker和Zandieh 17]中的结果推广到更广泛的一类内核。我们进一步将杠杆分数抽样引入到深度学习理论领域。$\bullet$我们展示了神经网络训练的初始化和用随机特征逼近神经切线核之间的联系。$\bullet$我们证明了正则化神经网络和神经切线核岭回归在经典随机高斯和杠杆分数采样初始化下的等价性。
2020-09-21 cs.LG stat.ML
Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise
TU Darmstadt（达姆施塔特工业大学）
为了在安全关键领域采用神经网络，了解我们是否可以信任他们的预测是至关重要的。贝叶斯神经网络（BNN）通过相对于后验权重分布对预测进行平均来提供不确定性估计。BNN的变分推理方法用一个易处理的分布来近似难以处理的权重后验，但在训练和推理过程中主要依赖于从变分分布中采样。最近的无采样方法提供了一种替代方案，但会产生显着的参数开销。在这里，我们提出了一个更有效的参数化的后验近似采样自由变分推理，依赖于乘性高斯激活噪声引起的分布。这使我们能够将参数效率与无采样变分推理的好处结合起来。我们的方法对于标准回归问题产生了有竞争力的结果，并且可以很好地扩展到包括ImageNet在内的大规模图像分类任务。
2021-03-16 cs.CV cs.LG
Convex-Neural RRT*: Fast and Reliable Learning-Guided Sampling for High-Quality Robot Path Planning
提出Convex-Neural RRT*算法，通过神经网络预测高质量路径附近的凸候选区域来引导采样，在多种环境中相比神经引导变体减少30-75%计算时间，路径长度平均减少约5%，成功率超99%。
2026-05-24 cs.LG cs.NE cs.RO
A Sampling Theory Perspective on Activations for Implicit Neural Representations
University of Adelaide（阿德莱德大学）；Amazon（亚马逊公司）
本文从采样理论视角分析隐式神经表示的激活函数，发现sinc激活函数在信号编码上理论最优，并建立动力系统与INRs的关联。
2024-02-08 cs.LG
Neural Thompson Sampling
University of California, Los Angeles（加州大学洛杉矶分校）；Google Research（谷歌研究院）
汤普森采样算法是求解上下文多臂强盗问题的最有效的算法之一。在本文中，我们提出了一种新的算法，称为神经汤普森采样，它适应深度神经网络的探索和开发。在我们的算法的核心是一个新的后验分布的奖励，其平均值是神经网络逼近器，其方差是建立在相应的神经网络的神经切线功能。我们证明了，提供的基本奖励函数是有界的，该算法是保证实现$\mathcal{O}(T^{1/2})$，它匹配的总轮数$T$方面的其他上下文强盗算法的遗憾的累积遗憾。与其他基准的强盗算法在各种数据集上的实验比较证实了我们的理论。
2021-12-30 cs.LG stat.ML
Neural Transport Nested Sampling
Kavli Institute for Cosmology Cambridge（剑桥卡夫利宇宙学研究所）；Institute of Astronomy, University of Cambridge（剑桥大学天文研究所）
提出神经传输嵌套采样（NTNS），结合嵌套采样与神经流，高效估计高维分子系统配分函数，在Lennard-Jones簇基准上显著降低误差并恢复相结构。
2026-09-25 cs.LG stat.ML
Sampling from Neural Operator Priors to Solve Partial Differential Equations
Linköping University（林雪平大学）；Trinity College Dublin（都柏林圣三一大学）
该研究将神经算子先验与 pBS SMC 结合，适配 DPM++ 算法得到新提议分布，在五个基准 PDE 系统上实现最优误差-时间权衡，在多数逆问题中获最低误差，少采样步数时增益显著。
2026-10-14 cs.LG
Neural Ensemble Search via Bayesian Sampling
National University of Singapore（新加坡国立大学）
最近，神经结构搜索（NAS）已被应用于自动设计的神经网络在现实世界中的应用。已经开发了大量的算法来提高NAS中最终选择的架构的搜索成本或性能。不幸的是，这些NAS算法旨在从它们的搜索空间中仅选择一个单一的性能良好的架构，因此忽略了神经网络集成的能力（即，具有不同体系结构的神经网络的集合）在实现单个最终选择的体系结构上的改进的性能方面。为此，我们引入了一种新的神经集成搜索算法，称为贝叶斯采样神经集成搜索（NESBS），有效地和高效地选择性能良好的神经网络集成从NAS搜索空间。在我们广泛的实验中，NESBS算法被证明是能够实现改进的性能比国家的最先进的NAS算法，同时产生一个可比的搜索成本，从而表明我们的NESBS算法优于这些NAS算法在实践中的性能。
2022-06-17 cs.LG
Robustly representing uncertainty in deep neural networks through sampling
MRC Cognition and Brain Sciences Unit（MRC认知与脑科学组）；University of Cambridge（剑桥大学）；Columbia University（哥伦比亚大学）
随着深度神经网络（DNN）被应用于越来越具有挑战性的问题，它们将需要能够表示自己的不确定性。建模不确定性是贝叶斯方法的关键特征之一。最近提出了使用Bernoulli dropout在预测时间采样作为DNN的高效且性能良好的变分推理方法。然而，从其他基于乘性噪声的变分分布的采样尚未被深入研究。我们评估了使用伯努利或高斯乘法掩蔽单元（dropout）或权重（dropconnect）训练的贝叶斯DNN。我们在MNIST和CIFAR-10上测试了贝叶斯卷积神经网络（CNN）概率预测的校准。在预测时间采样增加了DNN的概率预测的校准。采样权重，无论是高斯或伯努利，导致更强大的代表性的不确定性相比，采样的单位。然而，使用高斯或伯努利dropout导致测试集分类精度增加。基于这些发现，我们同时使用了Bernoulli dropconnect和Gaussian dropconnect，我们表明这近似于使用尖峰和平板变分分布，而不增加学习参数的数量。我们发现，尖峰和平板采样具有更高的测试集性能比高斯dropconnect和更鲁棒地表示其不确定性相比，伯努利dropout。
2018-01-20 cs.CV cs.LG cs.NE
Quantum Deep Learning: Sampling Neural Nets with a Quantum Annealer
School of Computing Science（计算科学学院）；University of Glasgow（格拉斯哥大学）；OxBrdgRbtx Ltd（OxBrdgRbtx有限公司）
我们证明了将经典学习的深度神经网络框架为基于能量的模型的可行性，该模型可以在一步量子退火机上处理，以利用快速采样时间。我们提出的方法，以克服两个障碍的高分辨率图像分类的量子处理单元（QPU）：所需的数量和二进制性质的模型状态。通过这种新方法，我们成功地将卷积神经网络转移到QPU，并显示出至少一个数量级的分类加速潜力。
2021-07-19 cs.LG quant-ph
Semantic Relation Classification via Convolutional Neural Networks with Simple Negative Sampling
Institute of Computer Science & Technology, Peking University（北京大学计算机科学技术研究所）；IBM China Research Lab（IBM中国研究院）
句法特征在识别句子中的关系方面起着至关重要的作用。以往的神经网络模型往往会在主体和客体距离较远时引入不相关的信息。在本文中，我们提出通过卷积神经网络从最短依赖路径学习更鲁棒的关系表示。我们进一步提出了一个简单的负采样策略，以改善分配的主题和对象。实验结果表明，我们的方法优于国家的最先进的方法SemEval-2010任务8数据集。
2015-06-25 cs.CL cs.LG
ScatterSample: Diversified Label Sampling for Data Efficient Graph Neural Network Learning
Rice University（莱斯大学）；Amazon Web Services（亚马逊云科技）
什么样的目标标签对图神经网络（GNN）训练最有效？在某些GNN擅长的应用中，如药物设计或欺诈检测，标记新实例是昂贵的。我们开发了一个数据高效的主动采样框架ScatterSample，在主动学习设置下训练GNN。ScatterSample使用一个名为DiverseUncertainty的采样模块，从样本空间的不同区域收集具有较大不确定性的实例进行标记。为了确保所选节点的多样化，DiverseUncertainty对高不确定性节点进行聚类，并从每个聚类中选择代表性节点。我们的ScatterSample算法得到了严格的理论分析的进一步支持，证明了其与标准主动采样方法相比的优势，标准主动采样方法的目的是简单地最大化不确定性，而不是使样本多样化。特别是，我们证明了ScatterSample能够有效地降低整个样本空间的模型不确定性。我们在五个数据集上的实验表明，ScatterSample的性能明显优于其他GNN主动学习基线，特别是在达到相同测试精度的同时，它将采样成本降低了50%。
2022-06-09 cs.LG
Biased Importance Sampling for Deep Neural Network Training
Idiap Research Institute（伊迪亚普研究所）
重要性采样已被成功地用于许多凸优化问题的随机优化。然而，缺乏一种有效的方法来计算的重要性仍然阻碍了其应用到深度学习。在本文中，我们证明了损失值可以用作另一种重要性度量，并提出了一种方法来有效地近似深度模型，使用为此目的并行训练的小型模型。该方法特别允许利用有偏梯度估计，其隐含地优化软最大损失，并导致更好的泛化性能。虽然这样的方法遭受的梯度估计的方差过高时，使用标准的随机优化器，我们表明，当它与我们的采样机制相结合，它会导致一个可靠的过程。我们通过使用深度卷积和递归神经网络对图像分类和语言建模任务进行测试，展示了我们方法的通用性。特别是，我们的方法可以使CIFAR 10的CNN训练速度比使用均匀采样时快30%。
2017-09-13 cs.LG
Deep Bayesian Bandits Showdown: An Empirical Comparison of Bayesian Deep Networks for Thompson Sampling
Google Brain（谷歌大脑）
深度强化学习的最新进展在Go和Atari游戏等应用程序的性能方面取得了重大进展。然而，在复杂领域开发平衡勘探和开采的实用方法在很大程度上仍然没有解决。Thompson Sampling及其对强化学习的扩展提供了一种优雅的探索方法，只需访问模型的后验样本。与此同时，近似贝叶斯方法的进步使灵活的神经网络模型的后验近似变得实用。因此，在Thompson采样框架中考虑近似贝叶斯神经网络是有吸引力的。为了了解使用近似后验对汤普森采样的影响，我们对一系列上下文强盗问题的近似后验采样与汤普森采样相结合的方法进行了基准测试。我们发现，许多在监督学习环境中取得成功的方法在顺序决策场景中表现不佳。特别是，我们强调了适应缓慢收敛的不确定性估计在线设置的挑战。
2018-02-26 cs.LG stat.ML
On the Convergence of Locally Adaptive and Scalable Diffusion-Based Sampling Methods for Deep Bayesian Neural Network Posteriors
本文研究深度贝叶斯神经网络后验采样的局部自适应扩散方法，证明即使步长趋零且全批处理，这些方法仍可能采样到有偏分布，不收敛于正确后验。
2024-03-14 cs.LG stat.ML
Neighborhood Sampling Does Not Learn the Same Graph Neural Network
University of Chicago（芝加哥大学）；Argonne National Laboratory（阿贡国家实验室）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
本文利用神经正切核与后验高斯过程分析图神经网络的邻域采样，证明有限样本下不同方法得到不同后验且协方差不可比较，从而解释为何没有采样方法占优。
2025-09-26 cs.LG stat.ML
A function space analysis of finite neural networks with insights from sampling theory
Tel Aviv University（特拉维夫大学）
本文提出用抽样理论分析神经网络所代表的函数空间。首先，它表明，在有限输入域的假设下，这是在训练神经网络的常见情况下，由具有非扩张激活函数的多层网络生成的函数空间是光滑的。这扩展了以前的作品，这些作品显示了无限宽度ReLU网络的结果。然后，假设输入是带限的，我们提供了新的误差界的单变量神经网络。我们分析了确定性均匀和随机抽样显示前者的优势。
2022-02-25 cs.IT cs.LG math.FA
NU-Wave 2: A General Neural Audio Upsampling Model for Various Sampling Rates
MINDsLab Inc.（MINDsLab公司）；Seoul National University（首尔国立大学）
传统上，音频超分辨率模型固定初始和目标采样率，这需要针对每对采样率训练模型。我们介绍了NU-Wave 2，这是一种用于神经音频上采样的扩散模型，可以使用单个模型从各种采样率的输入生成48 kHz音频信号。基于NU-Wave的架构，NU-Wave 2使用短时傅立叶卷积（STFC）来产生谐波以解决NU-Wave的主要故障模式，并结合带宽谱特征变换（BSFT）来调节频域中输入的带宽。我们的实验证明，NU-Wave 2产生高分辨率的音频，无论输入的采样率，同时需要比其他模型更少的参数。官方代码和音频样本可在https://mindslab-ai.github.io/nuwave2上获得。
2022-07-01 cs.LG eess.AS
Bayesian Graph Neural Networks with Adaptive Connection Sampling
Texas A&M University（德克萨斯A&M大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了一个统一的框架，自适应连接采样的图神经网络（GNNs），概括了现有的随机正则化方法训练GNNs。所提出的框架不仅消除了深度GNN的过度平滑和过度拟合趋势，而且还可以在使用GNN的图分析任务中进行不确定性学习。与现有随机正则化方法中使用固定采样率或手动调整它们作为模型超参数不同，我们的自适应连接采样可以与GNN模型参数以全局和局部方式联合训练。使用自适应连接采样的GNN训练在数学上等价于训练贝叶斯GNN的有效近似。在基准数据集上进行消融研究的实验结果验证了自适应学习给定图训练数据的采样率是提高GNNs在半监督节点分类中性能的关键，不易于过平滑和过拟合，具有更强大的预测能力。
2020-06-30 cs.LG stat.ML
Hardware Acceleration of Sampling Algorithms in Sample and Aggregate Graph Neural Networks
University of Science and Technology of China（中国科学技术大学）
采样是许多GNN结构中的重要过程，以便以较小的计算复杂性训练较大的数据集。然而，与GNN中的其他过程（如聚合，反向传播）相比，采样过程仍然花费大量时间，这限制了训练的速度。为了减少采样时间，硬件加速是理想的选择。然而，最先进的GNN加速提案没有指定如何加速采样过程。另外，直接对传统的采样算法进行加速会使加速器的结构变得非常复杂。在这项工作中，我们做出了两个贡献：（1）提出了一种新的邻居采样器：CONCAT Sampler，可以在硬件层面轻松加速，同时保证测试准确性。(2)设计了一种基于FPGA的CONCAT采样加速器，使用该加速器，相邻采样过程的速度比不使用加速器时提高了300-1000倍。
2022-09-07 cs.AR cs.LG
Relation Matters in Sampling: A Scalable Multi-Relational Graph Neural Network for Drug-Drug Interaction Prediction
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Goldman Sachs（高盛）；OPKO Diagnostics（OPKO诊断公司）
采样是将图神经网络扩展到大型图的既定技术。然而，目前的方法假设图是同质的关系，忽略了关系类型，在生物医学图中至关重要。多关系图包含各种类型的关系，这些关系通常具有可变的频率，并且对于手头的问题具有不同的重要性。我们提出了一种在图神经网络中对邻域采样的关系类型的重要性进行建模的方法，并表明我们可以学习正确的平衡：反映频率和重要性的关系类型概率。我们对药物相互作用预测的实验表明，最先进的图神经网络在准确性和效率方面都受益于依赖关系的采样。
2021-05-28 cs.AI cs.LG stat.ML
Adaptive Sampling for Continuous Group Equivariant Neural Networks
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research（高通人工智能研究中心）
针对连续群等变可导向网络中全群采样计算成本高的问题，提出自适应采样方法，根据数据对称性动态调整采样，减少采样量，在提升性能的同时小幅提高内存效率。
2024-09-13 cs.LG
Adversarial Sampling for Solving Differential Equations with Neural Networks
Indian Institute of Technology, Varanasi（印度理工学院（瓦拉纳西））；Harvard University（哈佛大学）
基于神经网络的求解微分方程的方法越来越受到关注。它们的工作原理是在每次迭代中改进神经网络在点样本上的微分方程残差。然而，他们中的大多数采用标准的采样方案，如均匀或扰动等间距的点。我们提出了一种新的采样方案，样本点逆向最大化当前解决方案估计的损失。一个采样器的架构，以及用于训练的损失条款。最后，我们证明了这个计划优于预先存在的计划，通过比较两者的一些问题。
2021-11-20 cs.AI cs.LG cs.NA
Exhaustive Neural Importance Sampling applied to Monte Carlo event generation
Aplicaciones en Informática Avanzada (AIA)（高级信息应用公司）；University of Geneva（日内瓦大学）
为中微子振荡实验提供精确的中微子-核截面模型，需要同时描述多个自由度和精确计算以模拟核响应。完整模型的详细计算使得Monte Carlo生成器缓慢且不实用。我们提出了穷举神经重要性采样（ENIS），一种基于规范化流的方法，自动有效地找到一个合适的建议密度拒绝采样，并讨论了这种技术如何解决拒绝算法的常见问题。
2020-07-21 cs.LG hep-ex
Graph neural networks for sampling-invariant embeddings of organized signal sets
ONERA（法国航空航天研究院）；Université Paris-Saclay（巴黎萨克雷大学）；Mines Paris（巴黎矿业学院）；PSL University（巴黎文理研究大学）
本文提出用图神经网络编码器将异质采样的组织化信号集合嵌入固定大小向量空间，实现采样不变表示，并通过合成复值射频信号实验验证了波形分离判别能力。
2026-09-30 cs.AI cs.LG cs.NE
Learning Deep Representations By Distributed Random Samplings
Tsinghua National Laboratory for Information Science and Technology, Tsinghua University（清华大学清华信息科学与技术国家实验室）
在本文中，我们提出了一个非常简单的无监督非线性降维的深度模型-深度分布随机采样，它的表现就像一堆无监督的自举聚合。首先，它的网络结构新颖：网络的每一层是一组相互独立的$k$ -中心聚类。其次，它的学习方法极其简单：每次聚类的$k$中心只是从训练数据中随机选取的$k$样本;对于小规模数据集，通过简单的循环移位运算进一步随机重构$k$中心。非线性降维实验结果表明，该方法不仅可以学习大规模和小规模问题的抽象表示，而且在大规模问题上比深度神经网络学习速度更快.
2013-12-16 cs.LG
Sampling-Free Variational Inference of Bayesian Neural Networks by Variance Backpropagation
Heidelberg University（海德堡大学）；Özyeğin University（厄兹耶因大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
我们提出了一个新的贝叶斯神经网络制定，提供变分推断的证据下限是分析易处理的紧近似。我们通过（i）将ReLU非线性分解为恒等式和Heaviside阶跃函数的乘积，（ii）引入一个单独的路径，将神经网络期望从其方差中分解出来。我们正式证明，引入单独的潜在的二进制变量的激活允许代表的神经网络的可能性作为一个链的线性操作。执行变分推断上的这种结构，使一个采样自由计算的证据下限，这是一个更有效的近似比广泛应用的蒙特卡罗采样和CLT相关技术。我们评估了一系列回归和分类任务对BNN推理替代模型，表现出竞争力或改进的性能超过目前最先进的。
2019-06-12 cs.LG stat.ML
Approximate sampling and estimation of partition functions using neural networks
Santa Fe Institute（圣塔菲研究所）
我们认为密切相关的问题，从一个已知的分布采样到一个归一化常数，并估计说归一化常数。我们展示了如何变分自编码器（VAE）可以应用到这个任务。在其标准应用中，VAE经过训练以拟合从棘手分布中提取的数据。我们反转的逻辑和训练VAE，以适应一个简单的和易于处理的分布，假设一个复杂的和棘手的潜在的分布，指定的归一化。该过程在不使用训练数据或马尔可夫链蒙特卡罗采样的情况下构造近似。我们说明我们的方法上三个例子：伊辛模型，图聚类和排名。
2022-09-21 cs.LG stat.ME
Approximate blocked Gibbs sampling for Bayesian neural networks
The University of Manchester（曼彻斯特大学）
本文提出近似分块 Gibbs 采样以提升前馈神经网络小批量 MCMC 的可行性，通过参数分组与深层降方差缓解深度增加导致的接受率消失，从而支持更长链运行并改善分类准确率与不确定性量化。
2023-07-24 cs.LG stat.CO stat.ME
Almost Uniform Sampling From Neural Networks
University of Hawaii at Manoa（夏威夷大学马诺阿分校）
给定一个长度$n$样本从$\mathbb{R}^d$和一个神经网络具有固定的架构与$W$权重，$k$神经元，线性阈值激活函数，和二进制输出的每个神经元，我们研究的问题均匀采样从所有可能的标签上的样本对应于不同的选择的权重。我们提供了一个算法，在$n$和$W$的时间多项式中运行，使得任何标签出现的概率至少为$W<n$的$\left(\frac{W}{2ekn}\right)^W$。对于单个神经元，我们还提供了一个基于随机游走的算法，该算法可以完全均匀地采样。
2019-12-10 cs.LG stat.ML
Refined Grid Sampling for Efficient Implicit Neural Representations of Large-Scale Scientific Data
Brookhaven National Laboratory（布鲁克海文国家实验室）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
针对隐式神经表示训练效率低的问题，提出精细化网格采样方法，在高分辨率纳维-斯托克斯场实验中，该方法在固定时间预算内精度更高，达到全网格训练精度的速度比基线快达6倍。
2026-10-14 cs.LG
Bootstrapped Thompson Sampling and Deep Exploration
本技术说明提出了一种新的方法来进行汤普森抽样所实现的探索，但没有明确地保持或从后验分布采样。该方法是基于自举技术，使用观察到的和人工生成的数据相结合。后者用于诱导一个先验分布，正如我们将证明的那样，这对有效的勘探至关重要。我们解释了该方法如何应用于多臂强盗和强化学习问题，以及它如何与汤普森采样相关。该方法特别适合于探索与深度学习相结合的环境，因为在这些环境中，从后验分布中维护或生成样本在计算上变得不可行。
2015-07-01 cs.LG stat.ML
Evaluating Negative Sampling Approaches for Neural Topic Models
School of Mathematical and Computational Sciences, Indian Association for the Cultivation of Science（印度科学促进会数学与计算科学学院）；Ashoka University（阿育王大学）；Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
本文系统评估了负采样策略对神经主题模型的影响，通过在变分自编码器解码器中集成负采样，提升了主题连贯性、多样性和文档分类准确性，展示了其作为有效工具的潜力。
2025-03-25 cs.AI cs.CL cs.LG
Selective sampling for accelerating training of deep neural networks
Efi Arazi School of Computer Science（埃菲·阿拉齐计算机学院）；The Interdisciplinary Center（跨学科中心）
我们提出了一种选择性采样方法，旨在加速深度神经网络的训练。为此，我们引入了一种新的测量方法，最小边际得分（MMS），它测量输入的最小位移量，直到其预测的分类被切换。对于多类线性分类，MMS度量是基于边缘的选择准则的自然推广，其在二进制分类设置中被深入研究。此外，MMS措施提供了一个有趣的洞察力的培训过程的进展，并可能有助于设计和监测新的培训制度。从经验上讲，我们在为流行的图像分类任务训练常用的深度神经网络架构时表现出了显著的加速。我们的方法的效率进行了比较，对标准的训练程序，并对常用的选择性抽样的替代品：硬负挖掘选择，和基于熵的选择。最后，我们证明了一个额外的加速时，我们采用了更积极的学习下降制度，同时使用MMS选择性采样方法。
2019-11-16 cs.LG stat.ML
Deep Over-sampling Framework for Classifying Imbalanced Data
Tokyo University of Science（东京理科大学）
类不平衡是深度学习模型和传统模型在实际分类问题中的一个具有挑战性的问题。传统上成功的对策，如合成过采样，在深度学习模型处理的复杂结构化数据方面取得了有限的成功。在本文中，我们提出了深度过采样（DOS），这是一个扩展合成过采样方法的框架，可以利用卷积神经网络（CNN）获取的深度特征空间。它的关键特征是显式的、有监督的表示学习，其中训练数据在深特征空间中向每个原始输入样本呈现合成嵌入目标，该深特征空间从类内邻居的线性子空间中采样。我们实现了训练CNN和更新目标的迭代过程，这在嵌入之间引起了较小的类内方差，以增加深度表示的区分能力。我们提出了一个实证研究，使用公共基准，这表明，DOS框架不仅抵消类不平衡比现有的方法更好，但也提高了性能的CNN在标准的，平衡的设置。
2017-07-12 cs.LG stat.ML
Moving Sampling Physics-informed Neural Networks induced by Moving Mesh PDE
School of Mathematics, Sichuan University（四川大学数学学院）
本文提出基于移动网格方法的自适应采样网络 MMPDE-Net，并与 PINN 结合构建 MS-PINN，通过误差分析和数值实验验证其相比 PINN 的性能提升。
2024-06-09 cs.AI cs.LG cs.NA
The sampling complexity of learning invertible residual neural networks
Fudan University（复旦大学）；University of Vienna（维也纳大学）
本文研究可逆残差神经网络的采样复杂度，证明从点样本逼近该类网络在均匀范数下仍受维度灾难影响，表明其架构和可逆性无法克服前馈网络的复杂性障碍。
2024-11-08 cs.LG stat.ML
Character-level Recurrent Neural Networks in Practice: Comparing Training and Sampling Schemes
Ghent University（根特大学）；imec；IDLab
循环神经网络如今已成功地应用于从文本、语音和图像处理到推荐系统的大量应用中。通过时间的反向传播是通常用于在特定任务上训练这些网络的算法。许多深度学习框架都有自己的循环神经网络训练和采样过程的实现，而实际上还有多种其他可能性可供选择，也有其他参数可供调整。在现有的文献中，这一点往往被忽视或忽略。因此，在本文中，我们概述了字符级循环神经网络的可能训练和采样方案，以解决预测给定序列中下一个令牌的任务。我们在各种数据集，神经网络架构和参数设置上测试这些不同的方案，并制定了一些带回家的建议。训练和采样方案的选择取决于许多权衡，例如训练稳定性，采样时间，模型性能和实施工作，但在很大程度上独立于数据。也许最令人惊讶的结果是，为了正确初始化模型而转移隐藏状态通常会导致不稳定的训练行为，这取决于数据集。
2018-01-09 cs.CL cs.LG stat.ML
Provably Accurate Adaptive Sampling for Collocation Points in Physics-informed Neural Networks
1 Hubert Curien Laboratory, Jean Monnet University, Saint-\'Etienne, France
针对 PINN 配置点采样问题，本文基于 PDE 残差 Hessian 和新型定积分求积法提出一种可证明准确的自适应采样方法，并在一维、二维 PDE 实验中验证其优势。
2025-06-10 cs.LG
A comprehensive study of non-adaptive and residual-based adaptive sampling for physics-informed neural networks
University of Pennsylvania（宾夕法尼亚大学）；University of Southern California（南加州大学）；Georgia Institute of Technology（佐治亚理工学院）
该研究针对物理信息神经网络的残差点采样问题，综合对比10种非自适应与自适应采样方法，提出两种基于残差的自适应采样方法，可在更少残差点下显著提升求解精度，为采样方法选择提供实用指南。
2022-07-21 cs.LG physics.comp-ph
Optimizing Objective Functions from Trained ReLU Neural Networks via Sampling
Massachusetts Institute of Technology（麻省理工学院）
本文介绍了可扩展的基于采样的算法，这些算法使用ReLU激活来优化经过训练的神经网络。我们首先提出了一种迭代算法，该算法利用ReLU神经网络的分段线性结构，通过采样将初始混合整数最优化问题（MIP）简化为多个易于求解的线性最优化问题（LP）。随后，我们通过在每次迭代计算的LP解的邻域周围搜索来扩展这种方法。该方案使我们能够设计第二个增强算法，将初始MIP问题减少到更小的，更复杂的解决MIP。我们分析显示的方法的收敛性，我们提供了一个样本的复杂性保证。我们还验证了我们的算法的性能进行比较，对国家的最先进的基于MIP的方法。最后，我们计算如何采样算法可以有效地用于热启动MIP为基础的方法。
2022-06-06 cs.LG math.OC stat.ML
Adaptive importance sampling for Deep Ritz
Louisiana State University（路易斯安那州立大学）；Chinese Academy of Sciences（中国科学院）
本文针对深度里兹法求解偏微分方程提出自适应重要性采样方法，利用有界KRnet深度生成模型逼近变分损失中的未归一化概率密度并生成新配点，从而提升低正则性和高维问题的求解精度。
2023-10-30 cs.LG
J-MoDL: Joint Model-Based Deep Learning for Optimized Sampling and Reconstruction
University of Iowa（爱荷华大学）
现代MRI方案依赖于压缩感知或深度学习算法来从欠采样的多通道傅立叶测量恢复MRI数据，被广泛用于减少扫描时间。这些方法的图像质量在很大程度上取决于采样模式。我们引入了一个连续的策略，共同优化采样模式和网络参数。我们使用多通道前向模型，包括具有连续定义的采样位置的非均匀傅里叶变换，以实现基于模型的深度学习图像重建方案中的数据一致性块。该方法有利于采样模式和CNN参数的联合和连续优化，以提高图像质量。我们观察到，采样模式和重建模块的联合优化显著提高了大多数深度学习重建算法的性能。拟议联合学习框架的源代码可在https://github.com/hkaggarwal/J-MoDL上查阅。
2020-07-02 cs.CV cs.LG eess.IV
Approximate Thompson Sampling via Epistemic Neural Networks
DeepMind（深度思维）
汤普森抽样（TS）是一种流行的启发式的行动选择，但它需要从后验分布采样。不幸的是，在复杂的环境中，例如使用神经网络建模的环境中，这可能在计算上变得难以处理。近似的后验样本可以产生有效的行动，但前提是它们合理地近似了输入之间输出的联合预测分布。值得注意的是，边际预测分布的准确性是不够的。认知神经网络（ENN）被设计为产生精确的联合预测分布。我们通过计算实验比较了一系列ENN，这些实验评估了它们在Bandit和强化学习环境中近似TS的性能。结果表明，ENN很好地满足了这一目的，并说明了联合预测分布的质量如何驱动性能。此外，我们证明了\textit{epinet} -一个小的加性网络，估计不确定性-匹配的性能在数量级较低的计算成本的大型合奏。这使得TS的有效应用具有优雅地扩展到复杂环境的计算。
2023-02-18 cs.AI cs.LG
Offset Sampling Improves Deep Learning based Accelerated MRI Reconstructions by Exploiting Symmetry
Facebook AI Research（Facebook人工智能研究）；fastMRI team（fastMRI团队）
加速MRI的深度学习方法将采样的傅立叶空间线矩阵作为输入，并生成空间图像作为输出。在这项工作中，我们表明，通过仔细选择在采样过程中使用的偏移量，在k空间中的对称性可以更好地利用，产生更高质量的重建比标准的等距样本或随机样本的动机压缩感知。
2020-02-04 cs.CV cs.LG eess.IV
Wide Bayesian neural networks have a simple weight posterior: theory and accelerated sampling
University of Cambridge（剑桥大学）；Google Research（谷歌研究院）
我们介绍reprorisation，一个数据相关的reparameterisation，将贝叶斯神经网络（BNN）后的分布，其库尔贝克-莱布勒散度的BNN前消失层宽度的增长。的reprorisation映射直接作用于参数，其分析的简单性补充了已知的神经网络高斯过程（NNGP）的行为，广泛的BNN在函数空间。利用repriorisation，我们开发了一个马尔可夫链蒙特卡罗（MCMC）后验采样算法，混合更快更广泛的BNN。这与MCMC在高维中通常较差的性能形成对比。我们观察到高达50倍的有效样本量相对于没有重新参数化的完全连接和剩余网络。在所有宽度上都实现了改进，重新参数化和标准BNN之间的裕度随着层宽度的增加而增加。
2022-06-15 cs.LG stat.ML
MSR-NV: Neural Vocoder Using Multiple Sampling Rates
rinna Co., Ltd.（Rinna株式会社）
神经声码器（NVs）的发展导致了高质量和快速生成波形。然而，常规NV以单个采样率为目标，并且在应用于不同采样率时需要重新训练。由于语音质量和生成速度之间的权衡，合适的采样率因应用而异。在这项研究中，我们提出了一种方法来处理多个采样率在一个单一的NV，称为MSR-NV。通过从低采样率开始逐步生成波形，MSR-NV可以有效地学习每个频段的特性，并以多个采样率合成高质量的语音。它可以被看作是以前提出的NVs的扩展，在这项研究中，我们扩展了并行WaveGAN（PWG）的结构。实验结果表明，该方法在不增加推理时间的前提下，显著提高了在16、24和48 kHz下训练的PWG的主观质量。我们还表明，MSR-NV可以利用语音与较低的采样率，以进一步提高合成语音的质量。
2022-06-24 cs.LG cs.SD eess.AS
Deep Synthetic Minority Over-Sampling Technique
University of Houston（休斯顿大学）
合成少数过采样技术（SMOTE）是最流行的过采样方法。然而，其随机性使得合成的数据甚至不平衡的分类结果不稳定。这意味着在运行SMOTE n次的情况下，得到n个不同的合成实例，得到n个不同的分类结果。为了解决这个问题，我们在深度学习架构中采用了SMOTE思想。在该方法中，使用深度神经网络回归模型来训练传统SMOTE的输入和输出。所提出的深度回归模型的输入是两个随机选择的数据点，它们连接在一起形成一个双倍大小的向量。该模型的输出是两个随机选择的具有原始维数的向量之间对应的随机插值数据点。实验结果表明，在大多数测试用例中，Deep SMOTE在精度、F1得分和曲线下面积（AUC）方面都优于传统SMOTE。
2020-03-22 cs.LG stat.ML
Deep Active Learning over the Long Tail
Technion – Israel Institute of Technology（以色列理工学院）
本文关注深度神经网络的基于池的主动学习。受coreset数据集压缩思想的启发，我们提出了一种新的主动学习算法，该算法在表示层的神经激活空间中使用最远优先遍历从池中查询连续点。对于三个数据集：MNIST，CIFAR-10和CIFAR-100，我们在被动学习（随机采样）的样本复杂性方面表现出一致和压倒性的改善。此外，我们的算法优于传统的不确定性采样技术（使用softmax激活获得），并且我们确定了不确定性采样仅略优于随机采样的情况。
2017-11-02 cs.LG
Iterative Pseudo-Labeling with Deep Feature Annotation and Confidence-Based Sampling
University of Campinas（坎皮纳斯大学）；Utrecht University（乌得勒支大学）
当大型和带注释的数据集不可用时，训练深度神经网络具有挑战性。对数据样本进行大量的手动注释是耗时、昂贵且容易出错的，特别是当需要由专家完成时。为了解决这个问题，人们越来越关注将不确定标签（也称为伪标签）传播到大量无监督样本并将其用于训练模型的技术。然而，这些技术仍然需要训练集中每个类数百个监督样本，以及具有额外监督样本的验证集来调整模型。我们改进了最近的迭代伪标记技术，深度特征注释（DeepFA），通过选择最有信心的无监督样本来迭代训练深度神经网络。我们基于置信度的采样策略只依赖于每个类几十个带注释的训练样本，没有验证集，大大减少了用户在数据注释方面的工作。我们首先确定基线的最佳配置-一个自我训练的深度神经网络-然后评估我们对不同置信度阈值的置信度DeepFA。在六个数据集上的实验表明，DeepFA已经优于自训练的基线，但信心DeepFA可以大大优于原始DeepFA和基线。
2021-09-06 cs.LG
A Novel Adaptive Causal Sampling Method for Physics-Informed Neural Networks
National University of Defense Technology（国防科技大学）
物理信息神经网络（PINNs）已成为求解偏微分方程（PDE）的一种有吸引力的机器学习方法。PINN的训练可以看作是一个半监督学习任务，在求解正问题时只能得到初始点和边界点的精确值，并且在整个时空域中对配置点进行采样而没有精确的标号，这给训练带来了困难。因此，在PINN的训练中，搭配点的选择和采样方法是非常关键的。现有的采样方法包括固定采样和动态采样两种，在动态采样中，通常采用PDE残差损失控制采样。指出自适应采样中只考虑残差损失是不够的，采样应服从时间因果关系。我们进一步将时间因果关系引入自适应采样，提出了一种新的自适应因果采样方法，以提高PINN的性能和效率。对Cahn-Hilliard方程和KdV方程等几类高阶导数强非线性偏微分方程的数值实验表明，该采样方法可以在配置点较少的情况下提高PINN的性能.我们证明，通过利用这样一个相对简单的采样方法，预测性能可以提高到两个数量级相比，国家的最先进的结果，几乎没有额外的计算成本，特别是当点是有限的。
2022-10-24 cs.LG cs.NA math.NA
