Sparse aNETT for Solving Inverse Problems with Deep Learning
University of Innsbruck（因斯布鲁克大学）；University of Idaho（爱达荷大学）
我们提出了一个稀疏重建框架（aNETT）求解反问题。相对于现有的稀疏重建技术，是基于线性稀疏化变换，我们训练一个自动编码器网络$D \circ E$与$E$作为一个非线性稀疏化变换和最小化Tikhonov功能与学习正则化形成的编码器系数的$\ell^q$ -范数和惩罚的距离数据流形。我们提出了一种基于底层图像类的样本集训练自动编码器的策略，使得自动编码器独立于前向算子，并且随后适应于特定的前向模型。稀疏视图CT的数值结果，这清楚地表明了可行性，鲁棒性和改进的泛化能力和稳定性的aNETT后处理网络。
2020-04-20 cs.LG cs.NA eess.IV
Combating Adversarial Attacks Using Sparse Representations
University of California, Santa Barbara（加州大学圣巴巴拉分校）
众所周知，小的对抗性扰动会导致深度神经网络（DNN）中的分类错误。在本文中，我们提出的情况下，稀疏表示的输入数据是一个重要的工具，打击这种攻击。对于线性分类器，我们证明了一个稀疏化的前端是有效的，对$\ell_{\infty}$有界的攻击，减少输出失真，由于攻击的一个因素大致$K / N$其中$N$是数据维度和$K$是稀疏水平。然后，我们将这一概念扩展到DNN，表明“局部线性”模型可以用于开发攻击和防御的理论基础。MNIST数据集的实验结果表明，所提出的稀疏化前端的有效性。
2018-07-13 cs.IT cs.LG math.IT
MorphNet: Fast & Simple Resource-Constrained Structure Learning of Deep Networks
Google Research（谷歌研究院）；Google Brain（谷歌大脑）；MIT（麻省理工学院）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了MorphNet，一种自动设计神经网络结构的方法。MorphNet迭代地收缩和扩展网络，通过激活上的资源加权稀疏正则化器收缩，并通过所有层上的统一乘法因子扩展。与以前的方法相比，我们的方法可扩展到大型网络，适应特定的资源约束（例如，每次推理的浮点运算次数），并能够提高网络的性能。当应用于各种数据集上的标准网络架构时，我们的方法在每个域中发现了新的结构，在尊重资源约束的同时获得了更高的性能。
2018-04-17 cs.LG stat.ML
Analyzing noise in autoencoders and deep networks
Stanford University（斯坦福大学）
自动编码器已经成为内部表示的无监督学习的有用框架，并且已经提出了各种各样的明显概念上不同的正则化技术来生成有用的特征。在这里，我们扩展了现有的去噪自动编码器，在非线性之前和隐藏单元激活时额外注入噪声。我们表明，各种各样的以前的方法，包括去噪，收缩和稀疏自动编码器，以及辍学可以使用这个框架来解释。这种噪声注入框架通过提供统一的策略来开发新的内部表示，通过设计注入噪声的性质，从而获得实际好处。我们表明，噪声自动编码器在去噪的任务上优于去噪自动编码器，并且与MNIST和CIFAR-10上的其他单层技术相比具有竞争力。我们还表明，除dropout之外的其他类型的噪声通过稀疏化、去相关和跨表示传播信息来提高深度网络的性能。
2014-06-06 cs.LG cs.NE
Deep Neural Network Initialization with Sparsity Inducing Activations
University of Oxford（牛津大学）；The Alan Turing Institute（阿兰·图灵研究所）
本文利用大宽度高斯过程极限分析稀疏诱导激活在随机初始化时的行为，证明移位ReLU和软阈值函数存在训练不稳定问题，并提出幅度裁剪方法加以克服，实验表明在稀疏度高达85%时仍能保持接近完整的准确率。
2024-02-25 cs.LG
How Does BN Increase Collapsed Neural Network Filters?
SenseTime Research（商汤科技研究院）；The University of Hong Kong（香港大学）
提高深度神经网络（DNN）的稀疏性对于网络压缩至关重要，并引起了广泛关注。在这项工作中，我们公开了一种称为过滤器崩溃的有害稀疏化过程，这在具有批量归一化（BN）和整流线性激活函数（例如ReLU，Leaky ReLU）的DNN中很常见。即使没有显式的稀疏诱导正则化，如$L_1$，它也会发生。这种现象是由BN的归一化效应引起的，它在参数空间中引入了不可训练区域，从而降低了网络容量。当网络用大的学习率（LR）或自适应LR训练器训练时，以及当网络被微调时，这种现象变得更加突出。我们分析证明，BN的参数趋于成为稀疏SGD更新与高梯度噪声和稀疏化的概率是成正比的平方学习率和成反比的尺度参数的平方BN。为了防止不期望的崩溃滤波器，我们提出了一种简单而有效的方法，称为后移位BN（psBN），它具有与BN相同的表示能力，同时能够自动使BN参数在训练期间饱和时再次可训练。使用psBN，我们可以恢复崩溃的过滤器并提高各种任务的模型性能，例如CIFAR-10上的分类和MS-COCO 2017上的目标检测。
2020-01-31 cs.LG stat.ML
Deep Learning Optimization Using Self-Adaptive Weighted Auxiliary Variables
School of Mathematical Sciences, University of Electronic Science and Technology of China（电子科技大学数学科学学院）；Department of Mathematics, Hong Kong Baptist University（香港浸会大学数学系）
本文针对深度学习中梯度下降因非凸性和梯度消失导致的低效问题，提出一种通过引入辅助变量分离网络层并重构损失函数的自适应加权优化框架，数值实验验证了其有效性和鲁棒性。
2025-04-30 cs.LG
Winning the Lottery Ahead of Time: Efficient Early Network Pruning
Technical University Munich（慕尼黑工业大学）
修剪，稀疏化深度神经网络的任务，最近受到越来越多的关注。虽然最先进的修剪方法提取高度稀疏的模型，但它们忽略了两个主要挑战：（1）寻找这些稀疏模型的过程通常非常昂贵;（2）非结构化修剪在GPU内存，训练时间或碳排放方面没有提供好处。我们提出了通过梯度流保留的早期压缩（EarlyCroP），它在训练解决挑战（1）之前或早期有效地提取了最先进的稀疏模型，并且可以以结构化的方式应用于解决挑战（2）。这使我们能够在密集版本太大的商用GPU上训练稀疏网络，从而节省成本并降低硬件要求。我们的经验表明，EarlyCroP在许多任务（包括：分类，回归）和域（包括计算机视觉、自然语言处理、以及语音学习）。EarlyCroP导致与密集训练相当的准确性，同时优于修剪基线。
2022-06-21 cs.LG
RadiX-Net: Structured Sparse Matrices for Deep Neural Networks
MIT（麻省理工学院）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
深度神经网络（DNN）的规模正在迅速增长，超过了硬件存储和训练它们的能力。过去几十年的研究已经探索了在训练之前、期间和之后通过从底层拓扑中修剪边缘来稀疏化DNN的前景。得到的神经网络被称为稀疏神经网络。最近的工作已经证明了某些稀疏DNN可以以较低的运行时间和存储成本训练到与密集DNN相同的精度的显著结果。这些稀疏DNN中的一个有趣的类别是X-Net，它们在稀疏拓扑上进行初始化和训练，既不参考父密集DNN，也不进行后续修剪。我们提出了一种确定性地生成RadiX-Nets的算法：稀疏DNN拓扑结构，作为一个整体，比X-Net拓扑结构更加多样化，同时保留了X-Nets所需的特性。我们进一步提出了一个基于长期观察的功能分析猜想，即稀疏神经网络拓扑结构可以获得与密集拓扑结构相同的表达能力
2019-04-30 cs.LG stat.ML
Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks
Wuhan University（武汉大学）；Imperial College（帝国理工学院）；JD Explore Academy（京东探索研究院）；Yunnan University（云南大学）
图神经网络（Graph Neural Network，GNNs）由于图数据规模和模型参数数量呈指数级增长而导致计算成本高，限制了其在实际应用中的实用性。为此，最近的一些工作专注于使用彩票假设（LTH）稀疏化GNN，以降低推理成本，同时保持性能水平。然而，基于LTH的方法有两个主要缺点：1）它们需要对密集模型进行穷举和迭代训练，导致极大的训练计算成本，以及2）它们只修剪图结构和模型参数，但忽略了节点特征维度，其中存在显著的冗余。为了克服上述限制，我们提出了一个全面的图逐步修剪框架CGP。这是通过设计一个训练期间图修剪范例来实现的，以便在一个训练过程中动态地修剪GNN。与基于LTH的方法不同，所提出的CGP方法不需要重新训练，这显著降低了计算成本。此外，我们还设计了一种协同稀疏化策略来全面修剪GNN的所有三个核心元素：图结构、节点特征和模型参数。同时，为了改进剪枝操作，我们在CGP框架中引入了一个再生过程，以重新建立被剪枝但重要的连接。建议的CGP通过使用跨6个GNN架构的节点分类任务进行评估，包括浅模型（GCN和GAT），浅但深传播模型（SGC和APPNP）和深模型（GCNII和ResGCN），共14个真实世界的图数据集，包括来自具有挑战性的开放图基准的大规模图数据集。实验表明，我们提出的策略大大提高了训练和推理效率，同时匹配甚至超过现有方法的准确性。
2022-07-19 cs.AI cs.LG
The Flip Side of the Reweighted Coin: Duality of Adaptive Dropout and Regularization
Rice University（莱斯大学）
稀疏化深度（神经）网络最成功的方法之一是在整个训练过程中自适应地屏蔽网络权重。通过检查这种掩蔽，或辍学，在线性的情况下，我们发现这种自适应方法和正则化之间的对偶性，通过所谓的“$η$技巧”，铸造作为迭代重新加权优化。我们表明，任何辍学策略，适应的权重在单调的方式对应于一个有效的次二次正则化惩罚，因此导致稀疏的解决方案。我们得到了几个流行的稀疏化策略，这是非常相似的经典的惩罚稀疏优化中常用的有效的处罚。考虑变分dropout作为案例研究，我们在深度网络稀疏化任务上展示了自适应dropout方法和经典方法之间类似的经验行为，验证了我们的理论。
2022-01-03 cs.LG stat.ML
Compressing deep quaternion neural networks with targeted regularization
Sapienza University of Rome（罗马大学）
近年来，超复杂深度网络（如复值和四元数值神经网络）在文献中重新受到关注。它们在多个领域中找到应用，从图像重建到3D音频处理。类似于它们的实值对应物，四元数神经网络（QVNN）需要自定义正则化策略来避免过拟合。此外，对于许多现实世界的应用和嵌入式实现，需要设计足够紧凑的网络，具有很少的权重和神经元。然而，正则化和/或稀疏化QVNN的问题还没有得到适当的解决，在文献中。在本文中，我们展示了如何通过设计有针对性的正则化策略来解决这两个问题，这些策略能够在训练过程中最小化网络的连接和神经元数量。为此，我们研究两个扩展的l1和结构正则化的四元数域。在我们的实验评估中，我们表明，这些定制的策略显着优于经典的（实值）正则化方法，从而使小型网络特别适合低功耗和实时应用。
2020-07-13 cs.LG stat.ML
Scalable Generative Modeling of Weighted Graphs
Department of Biostatistics University of California, Los Angeles（生物统计学系 美国加利福尼亚大学洛杉矶分校）；Department of Computer Science Johns Hopkins University（计算机科学系 约翰霍普金斯大学）
针对现有深度生成模型难以适配加权图联合分布学习的问题，提出BiGG模型的扩展自回归模型BiGG-E，可高效学习加权图联合分布，实验验证其性能与可扩展性更优。
2025-07-30 cs.LG
Activity Sparsity Complements Weight Sparsity for Efficient RNN Inference
Birla Institute of Technology and Science, Pilani – Goa Campus（果阿校区，皮拉尼贝拉理工学院）；TUD Dresden University of Technology（德累斯顿工业大学）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
本研究提出将活动稀疏性与参数稀疏性相结合应用于GRU模型，在Penn Treebank语言建模任务中实现20倍计算量减少且困惑度低于60，为深度学习模型移植到神经形态设备提供可行策略并推动相关方法融合。
2024-11-26 cs.LG
Deep Gaussian Processes with Importance-Weighted Variational Inference
Imperial College London（帝国理工学院）
深度高斯过程（DGP）可以模拟复杂的边缘密度以及复杂的映射。非高斯边缘对于建模真实世界的数据是必不可少的，并且可以通过将不相关的变量合并到模型中来从DGP生成。以前的工作DGP模型引入噪声添加剂和使用变分推断与稀疏高斯过程和平均场高斯的组合的近似后验。加性噪声使信号衰减，并且高斯形式的变分分布可能导致不准确的后验。相反，我们将噪声变量作为潜在的协变量，并提出了一种新的重要性加权目标，它利用分析结果，并提供了一种机制，以权衡计算提高精度。我们的研究结果表明，重要性加权的目标在实践中运作良好，并始终优于经典的变分推断，特别是更深的模型。
2019-05-14 cs.LG stat.ML
Criticality & Deep Learning I: Generally Weighted Nets
CriticalAI
相变的临界性和普遍性可能在生物和人工网络中实现和维持学习和智能行为方面发挥至关重要的作用，我们分析了深度学习中临界现象的理论和实用实验设置。在理论方面，我们使用统计物理的结果来进行前馈/全连接网络中的临界点计算，而在实验方面，我们开始在深层神经网络中寻找临界性的痕迹。这是我们即将进行的一系列调查的第一步，以确定深度网络中关键性和学习之间的关系。
2017-05-31 cs.AI cs.LG
Enhancing Stroke Diagnosis in the Brain Using a Weighted Deep Learning Approach
Tsinghua University（清华大学）；University of Missouri（密苏里大学）
本研究提出加权投票集成机器学习模型，结合多种分类器预测脑卒中，在私有数据集上达到94.91%准确率，实现早期风险评估与预防。
2025-04-17 cs.AI cs.LG
Learning Sparse Neural Networks via Sensitivity-Driven Regularization
Politecnico di Torino（都灵理工大学）；Nuance Communications（Nuance通信公司）；Télécom ParisTech（巴黎高等电信学院）；Telecom Italia（意大利电信公司）
深度神经网络中不断增加的参数数量给内存有限的应用带来了挑战。正则化和修剪方法旨在通过稀疏化网络权重来应对这些挑战。在这种情况下，我们量化了输出对参数的敏感性（即它们与网络输出的相关性），并引入了一个正则化项，逐渐降低具有低敏感性的参数的绝对值。因此，很大一部分参数接近零，并最终通过简单的阈值设置为零。我们的方法超越了最近的技术，无论是在稀疏性和出错率。在某些情况下，该方法在相同的出错率下达到其他技术所获得的稀疏度的两倍。
2018-10-28 cond-mat.dis-nn cs.LG stat.ML
Weighted Double Deep Multiagent Reinforcement Learning in Stochastic Cooperative Environments
Tianjin University（天津大学）；Soochow University（苏州大学）
近年来，多智能体深度强化学习（DRL）受到越来越广泛的关注。现有的多智能体动态学习算法在随机协作环境中由于智能体同时更新策略而导致的非平稳性问题上效率低下。本文将最近提出的加权双重估计扩展到多智能体领域，提出了一个多智能体DRL框架，命名为加权双重深度Q网络（WDDQN）。通过使用加权双重估计器和深度神经网络，WDDQN不仅可以有效地减少偏差，而且还可以扩展到具有原始视觉输入的场景。为了实现多智能体领域的有效合作，我们引入了宽松的奖励网络和计划重放策略。实验表明，WDDQN优于现有的DRL和multiaent DRL算法，即，双DQN和宽松的Q学习，在随机合作环境中的平均回报和收敛速度。
2018-04-14 cs.AI cs.LG cs.MA
RNN Architecture Learning with Sparse Regularization
Carnegie Mellon University（卡内基梅隆大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
NLP的神经模型通常使用大量参数来达到最先进的性能，这可能导致过多的内存使用和运行时间增加。我们提出了一种结构学习方法来学习稀疏的，参数有效的NLP模型。我们的方法将组套索应用于有理RNN（Peng et al.，2018），一个与加权有限状态自动机（WFSA）密切相关的模型家族。我们利用了RNN对权重的自然分组，因此组套索惩罚直接删除了WFSA状态，大大减少了模型中的参数数量。我们在一些情感分析数据集上进行的实验，使用GloVe和BERT嵌入，表明我们的方法可以学习参数较少的神经结构，而不会牺牲相对于参数丰富的基线的性能。我们的方法还突出了理性RNN的可解释性。我们表明，稀疏化这样的模型，使他们更容易可视化，我们提出的模型，完全依赖于少至三个WFSA修剪后超过90%的权重。我们公开发布代码。
2019-09-06 cs.CL cs.LG stat.ML
FasterAI: A Lightweight Library for Creating Sparse Neural Networks
University of Mons（蒙斯大学）；IP Paris（巴黎理工学院）
FasterAI是一个基于PyTorch的库，旨在促进深度神经网络压缩技术的利用，如稀疏化，修剪，知识蒸馏或正则化。该库旨在实现快速实施和实验。更具体地说，压缩技术正在利用fastai和Pytorch Lightning等库的回调系统来带来用户友好的高级API。FasterAI的主要资产是其轻量级，但功能强大，使用简单。事实上，由于它是以非常细粒度的方式开发的，用户可以通过使用不同的参数组合来创建数千个独特的实验。在本文中，我们重点介绍FasterAI的稀疏化功能，它代表了库的核心。在FasterAI中执行神经网络的稀疏化只需要在传统的训练循环中添加一行代码，但允许执行最先进的技术，如彩票假设实验
2022-07-03 cs.AI cs.LG
Weighted Aggregating Stochastic Gradient Descent for Parallel Deep Learning
Stony Brook University（石溪大学）
本文研究了随机优化问题，重点是为深度学习任务开发可扩展的并行算法。我们的解决方案涉及神经网络模型中随机优化的目标函数的改革，以及一种新的并行策略，创造加权聚合随机梯度下降（WASGD）。在对新目标函数特性进行理论分析的基础上，提出了一种基于本地工人绩效的分散加权集结方案。在没有任何中心变量的情况下，新方法自动评估当地工人的重要性，并根据他们的贡献接受他们。此外，我们已经开发了一个增强版本的方法，WASGD+，通过（1）考虑设计的样本顺序和（2）应用更先进的权重评估函数。为了验证新方法，我们将我们的方案与几种流行的算法进行基准测试，包括最先进的技术（例如，弹性平均SGD）用于训练用于分类任务的深度神经网络。在CIFAR-100、CIFAR-10、Fashion-MNIST和MNIST四个经典数据集上进行了全面的实验。随后的结果表明了WASGD方案在加速深层架构训练方面的优越性。更好的是，增强版本WASGD+已经被证明是对其基本版本的重大改进。
2020-04-07 cs.DC cs.LG
Deep Weighted Bellman Residual Minimization for $Q^*$ Estimation
Wuhan University（武汉大学）
本文提出深度加权贝尔曼残差最小化框架，通过密度比加权整合专家演示与行为数据，解决离线强化学习中的分布偏移和Q值高估问题，并显著提升数值性能与策略泛化。
2026-09-29 cs.LG stat.ML
Energy-Constrained Compression for Deep Neural Networks via Weighted Sparse Projection and Layer Input Masking
University of Rochester（罗切斯特大学）；Kwai AI Lab（快手人工智能实验室）
深度神经网络（DNN）越来越多地部署在高度能源受限的环境中，如自主无人机和可穿戴设备，同时必须实时运行。因此，降低能耗已成为DNN训练中的主要设计考虑因素。本文提出了第一个端到端DNN训练框架，通过加权稀疏投影和输入掩蔽提供定量能耗保证。其关键思想是将DNN训练公式化为一个优化问题，其中能量预算施加了以前未考虑的优化约束。我们将定量DNN能量估计集成到DNN训练过程中，以辅助约束优化。我们证明了一个近似算法可以有效地解决优化问题。与现有的最佳节能方法相比，我们的框架训练的DNN在相同或更低的能量预算下提供更高的准确性。代码是公开的。
2019-06-02 cs.LG stat.ML
Deep Weighted Averaging Classifiers
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
深度学习的最新进展在各种类型的数据（包括图像和文本）的分类准确性方面取得了令人印象深刻的进步。然而，尽管取得了这些进展，人们对这些模型的校准、鲁棒性和可解释性提出了担忧。在本文中，我们提出了一种简单的方法来修改任何传统的深度架构，以自动为分类决策提供更透明的解释，以及每个预测可信度的直观概念。具体来说，我们借鉴了非参数核回归的思想，并提出基于训练实例的加权和来预测标签，其中权重由学习的实例嵌入空间中的距离确定。在共形方法的框架内工作，我们提出了一个新的措施，我们的模型建议的不一致性，并通过实验验证了相应的理论预期，表现出更高的透明度，控制出错率，并鲁棒性域外数据，而不影响精度或校准。
2018-11-18 cs.LG stat.ML
Neural Network Topologies for Sparse Training
MIT Department of Mathematics（麻省理工学院数学系）；MIT Lincoln Laboratory Supercomputing Center（麻省理工学院林肯实验室超级计算中心）
深度神经网络（DNN）的规模正在迅速增长，超过了硬件存储和训练它们的能力。过去几十年的研究已经探索了在训练之前、期间和之后通过从底层拓扑中修剪边缘来稀疏化DNN的前景。得到的神经网络被称为稀疏神经网络。最近的工作已经证明了某些稀疏DNN可以以较低的运行时间和存储成本训练到与密集DNN相同的精度的显著结果。这些稀疏DNN中的一个有趣的类别是X-Net，它们在稀疏拓扑上进行初始化和训练，既不参考父密集DNN，也不进行后续修剪。我们提出了一种算法，该算法确定性地生成稀疏DNN拓扑，作为一个整体，比X-Net拓扑更加多样化，同时保留X-Nets所需的特性。
2018-09-14 cs.LG stat.ML
Sparsity-based Defense against Adversarial Attacks on Linear Classifiers
University of California, Santa Barbara（加州大学圣巴巴拉分校）
深度神经网络代表了越来越多领域的机器学习的最新技术水平，包括视觉、语音和自然语言处理。然而，最近的工作提出了关于这种架构的鲁棒性的重要问题，通过表明有可能通过微小的，几乎察觉不到的扰动引起分类错误。这种“对抗性攻击”或“对抗性示例”的脆弱性已被证实是由于深度网络的过度线性。在本文中，我们研究了这种现象的设置中的线性分类器，并表明，它是可能的，利用自然数据中的稀疏性，以打击$\ell_{\infty}$有界对抗扰动。具体来说，我们证明了一个稀疏化前端通过合奏平均分析，MNIST手写数字数据库的实验结果的有效性。据我们所知，这是第一个表明稀疏性为防御对抗性攻击提供了理论上严格的框架的工作。
2018-06-19 cs.IT cs.LG math.IT
An Adaptive Weighted Deep Forest Classifier
Peter the Great St.Petersburg Polytechnic University (SPbPU)（彼得大帝圣彼得堡理工大学（SPbPU））；St.Petersburg Clinical Research Center for Special Types of Medical Care (Oncology-oriented)（圣彼得堡特殊医疗类型临床研究中心（肿瘤导向））
提出了一种改进的基于自适应加权的Deep Forest算法的置信度筛选机制。修改的基本思想非常简单，源于Pang等人提出的置信度筛选机制思想，通过根据每个训练实例的分类精度更新每个级别的训练集来简化Deep Forest分类器。然而，如果置信度筛选机制只是从训练和测试过程中删除实例，则所提出的修改更灵活，并通过考虑分类准确性来分配权重。这在某种程度上类似于AdaBoost。数值实验表明，与Zhou和Feng提出的Deep Forest算法相比，该算法具有良好的性能.
2019-01-04 cs.LG stat.ML
Weighted graphlets and deep neural networks for protein structure classification
University of Notre Dame（圣母大学）；Eck Institute for Global Health, University of Notre Dame（圣母大学埃克全球健康研究所）；Interdisciplinary Center for Network Science & Applications, University of Notre Dame（圣母大学网络科学与应用跨学科中心）；University of Tennessee at Knoxville（田纳西大学诺克斯维尔分校）
由于结构相似的蛋白质通常具有相似的功能，因此分析蛋白质结构可以帮助预测蛋白质功能，因此非常重要。我们考虑蛋白质结构分类的问题，它通过计算将蛋白质的结构分为预定义的组。我们开发了一个描述蛋白质结构的加权网络，更重要的是，我们提出了第一个适用于加权网络的基于图的度量。此外，我们开发了一个由卷积层和递归层组成的深度神经网络（DNN），以使用此度量进行分类。总的来说，我们的方法在36个真实数据集上显示了比现有的基于graphlet的方法性能的显着改进。即使与最先进的方法相比，它几乎将分类错误减半。除了蛋白质结构网络之外，我们的加权图测度和DNN分类器还可以应用于计算生物学以及其他领域的其他加权网络的分类。
2019-10-07 cs.LG q-bio.BM stat.ML
Sample-Efficient Optimization in the Latent Space of Deep Generative Models via Weighted Retraining
University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）；Microsoft Research（微软研究院）
科学和工程中的许多重要问题，如药物设计，涉及在复杂的，高维的，结构化的输入空间上优化昂贵的黑箱目标函数。尽管机器学习技术在解决这些问题方面已经显示出前景，但是现有方法基本上缺乏样本效率。我们介绍了一种改进的高效黑盒优化方法，该方法在通过深度生成模型学习的低维连续隐流形中进行优化。与以前的方法相比，我们积极地引导生成模型来维护一个潜在的流形，这对于有效地优化目标非常有用。我们通过周期性地重新训练生成模型来实现这一点，这些生成模型是沿着优化轨迹查询的数据点，并根据目标函数值对这些数据点进行加权。这种加权再训练可以很容易地在现有方法的基础上实现，并且经验表明，它可以显着提高合成和现实世界优化问题的效率和性能。
2020-10-25 cs.LG stat.ML
Deep unfolding of the weighted MMSE beamforming algorithm
KTH Royal Institute of Technology（瑞典皇家理工学院）
下行波束赋形是蜂窝网络的关键技术。然而，计算发射波束形成器，最大化的加权和速率服从功率约束是一个NP-难问题。因此，在实践中使用收敛到局部最优的迭代算法。其中，加权最小均方误差（WMMSE）算法已经得到普及，但其计算复杂度和随之而来的延迟，激励了需要以牺牲性能为代价的低复杂度近似。受最近成功的深度展开的复杂性和性能之间的权衡，我们提出了新的应用程序的深度展开的WMMSE算法的MISO下行链路信道。其主要思想是将固定迭代次数的WMMSE算法映射到可训练的神经网络层中，其结构反映了原算法的结构。相对于传统的端到端学习，深度展开自然地结合了专家知识，具有直接和基础良好的架构选择，更少的可训练参数和更好的可解释性的好处。然而，如Shi等人，由于在每次迭代中执行的矩阵求逆、本征分解和对分搜索而不适于展开。因此，我们提出了一种替代配方，通过诉诸投影梯度下降来规避这些操作。通过模拟，我们表明，在大多数的设置，展开的WMMSE优于或表现等同于WMMSE的一个固定的迭代次数，具有较低的计算负荷的优点。
2020-06-15 cs.LG eess.SP
Deep Active Learning for Regression Using $ε$-weighted Hybrid Query Strategy
Vanderbilt University（范德堡大学）
设计一个廉价的近似代理模型，捕捉一个昂贵的高保真行为的显着特征是一种流行的设计优化方法。近年来，深度学习（DL）模型正被用作工程问题的有前途的替代计算模型。然而，创建基于DL的代理的主要挑战是模拟/标记大量的设计点，这对于计算成本高和/或高维工程问题来说是耗时的。在目前的工作中，我们提出了一种新的采样技术相结合的主动学习（AL）方法与DL。我们称这种方法为$ε$ -加权混合查询策略（$ε$ -HQS），它侧重于在每个学习迭代的代理的评估，并提供在设计空间中的代理的失败概率的估计。通过重用已经收集的训练和测试数据，学习的故障概率将下一次迭代的采样过程引导到故障概率高的区域。在实证评估过程中，观察到更好的准确性的替代品相比，其他方法的样本选择。我们经验评估这种方法在两个不同的工程设计领域，基于有限元的潜艇压力容器（计算成本高的过程）和第二潜艇螺旋桨设计（高维问题）的静态应力分析。https://github.com/vardhah/epsilon_weighted_Hybrid_Query_Strategy
2022-07-10 cs.AI cs.LG
Designing weighted and multiplex networks for deep learning user geolocation in Twitter
Facultad de Ingeniería (UBA)（布宜诺斯艾利斯大学工程学院）；INTECIN (UBA-CONICET)（布宜诺斯艾利斯大学与阿根廷国家科学与技术研究理事会联合工程技术研究所）
预测Twitter等社交媒体用户的地理位置已经在健康监测、紧急情况监测、内容个性化和一般社会研究中找到了几种应用。在这项工作中，我们通过设计和评估基于加权多重图文献的新方法，结合最先进的深度学习技术，为这一领域的研究做出贡献。所探索的方法偏离了类似的底层结构（扩展提及和/或追随者网络的底层结构），但是使用不同的信息处理策略，例如，信息扩散通过转换和归纳算法-RGCN和GraphSAGE，分别-和节点嵌入与Node 2 vec+。然后将这些图与注意力机制相结合，将用户的文本视图纳入模型。我们评估了这些方法的性能，并将其与公开的Twitter-US数据集中的基线模型进行比较;我们还基于拉丁美洲的大型Twitter捕获提供了一个新的数据集。最后，我们的工作讨论了在不同的标签定义和指标的背景下，方法之间的比较的局限性和有效性。
2021-12-13 cs.LG cs.SI
IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures
DeepMind Technologies（DeepMind科技公司）
在这项工作中，我们的目标是解决一个大的任务集合使用一个单一的强化学习代理与一组参数。一个关键的挑战是处理增加的数据量和延长的训练时间。我们已经开发了一种新的分布式代理IMPALA（重要性加权的演员-学习者架构），它不仅在单机训练中更有效地使用资源，而且可以扩展到数千台机器，而不会牺牲数据效率或资源利用率。我们实现了稳定的学习，在高吞吐量相结合的解耦代理和学习与一种新的偏离政策的校正方法，称为V-跟踪。我们在DMLab-30（来自DeepMind实验室环境的一组30个任务）上证明了IMPAL用于多任务强化学习的有效性（Beattie等人，2016））和Atari-57（Arcade Learning Environment中所有可用的Atari游戏（Bellemare等人，2013年a））。我们的研究结果表明，IMPALA是能够实现更好的性能比以前的代理与更少的数据，关键是表现出积极的任务之间的转移，由于其多任务的方法。
2018-06-28 cs.AI cs.LG
Optimal Approximation with Sparsely Connected Deep Neural Networks
ETH Zürich（苏黎世联邦理工学院）；University of Vienna（维也纳大学）；Technische Universität Berlin（柏林工业大学）
我们推导出了深度神经网络的连通性和内存要求的基本下界，保证了$L^2(\mathbb R^d)$中任意函数类的一致逼近率。换句话说，我们在函数类的复杂性与深度神经网络的复杂性之间建立了联系，深度神经网络将该类函数逼近到规定的精度。此外，我们证明了我们的下限是可以实现的一个广泛的家庭的功能类。具体来说，所有的函数类，最佳近似的一般类的表示系统-所谓的\emph{affine systems} -可以近似的深度神经网络与最小的连接和内存要求。仿射系统包含来自应用谐波分析的大量表示系统，例如小波、脊波、曲波、剪切波、$α$ -剪切波，以及更一般地$α$ -分子。我们的中心结果阐明了神经网络的一个显着的普适性，并表明，他们实现了所有仿射系统的最佳逼近性能相结合。作为一个具体的例子，我们考虑类的$α^{-1}$ -卡通般的功能，这是最佳近似的$α$ -剪切波。我们还解释了如何我们的结果可以扩展到低维浸入流形上的函数的情况。最后，我们提出的数值实验表明，标准的随机梯度下降算法生成的深度神经网络提供接近最佳的近似率。此外，这些结果表明，随机梯度下降实际上可以学习在表示系统中稀疏的近似，从而最佳地稀疏化网络训练的函数类。
2018-05-16 cs.IT cs.LG math.FA
A deep learning framework for geodesics under spherical Wasserstein-Fisher-Rao metric and its application for weighted sample generation
Shanghai Jiao Tong University（上海交通大学）；Duke University（杜克大学）
Wasserstein-Fisher-Rao（WFR）距离是衡量两种Radon测量值差异的一组度量，它考虑了运输和重量变化。球面WFR距离是概率测度的WFR距离的投影形式，因此具有WFR的Radon测度空间可以看作是具有球面WFR的概率测度空间上的度量锥。与Wasserstein距离相比，球面WFR下的测地线的理解还不太清楚，仍然是一个正在进行的研究热点。在本文中，我们开发了一个深度学习框架来计算球形WFR度量下的测地线，并且可以采用学习的测地线来生成加权样本。我们的方法是基于一个Benamou-Brenier型动态制定球形WFR。为了克服权值变化带来的边界约束难以实现的问题，在代价函数中引入了基于逆映射的Kullback-Leibler（KL）发散项。此外，引入了一个新的正则化项，用粒子速度代替动力学公式中的Hamilton-Jacobi方程。当用于样本生成，我们的框架可以是有益的应用程序与给定的加权样本，特别是在贝叶斯推理，与以前的流模型的样本生成相比。
2022-08-25 cs.LG math.PR
Multi-Objective Optimization for Sparse Deep Multi-Task Learning
Paderborn University（帕德博恩大学）
提出基于改进加权切比雪夫标量化的多目标优化算法，通过增广拉格朗日方法求解单目标子问题，实现深度多任务模型的稀疏化而不影响性能。
2024-03-26 cs.AI cs.LG math.OC
Deep Clustering of Tabular Data by Weighted Gaussian Distribution Learning
Tennessee State University（田纳西州立大学）
针对表格数据异构特征带来的聚类挑战，提出无监督深度聚类框架G-CEALS，通过迭代更新聚类权重学习多元高斯分布参数，在16个数据集上优于9种SOTA方法及传统K-means、GMM。
2024-05-17 cs.AI cs.LG
Communication-Efficient Federated Deep Learning with Asynchronous Model Update and Temporally Weighted Aggregation
China University of Mining and Technology（中国矿业大学）；University of Surrey（萨里大学）
联邦学习通过聚合在客户端本地训练的模型来在服务器上获得中心模型。因此，联邦学习不需要客户端将其数据上传到服务器，从而保护客户端的数据隐私。联邦学习中的一个挑战是减少客户端-服务器通信，因为终端设备通常具有非常有限的通信带宽。本文提出了一种增强的联邦学习技术，提出了一个同步学习策略的客户端和一个时间加权聚合的本地模型的服务器上。在异步学习策略中，深度神经网络的不同层被分类为浅层和深层，并且深层的参数比浅层的参数更新得更少。此外，在服务器上引入时间加权聚合策略，以利用先前训练的局部模型，从而提高中心模型的准确性和收敛性。所提出的算法是经验上的两个数据集与不同的深度神经网络。我们的研究结果表明，所提出的异步联邦深度学习在通信成本和模型准确性方面都优于基线算法。
2019-03-18 cs.AI cs.DC cs.LG
Multigoal-oriented dual-weighted-residual error estimation using deep neural networks
Leibniz University（莱布尼茨大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）；Tongji University（同济大学）；Ton Duc Thang University（孙德胜大学）
深度学习已经在视觉识别和某些人工智能任务中显示出成功的应用。深度学习也被认为是一种强大的工具，具有高度的灵活性来近似函数。在目前的工作中，具有所需的属性的函数被设计来近似的解决方案的偏微分方程。我们的方法是基于后验误差估计，其中伴随问题解决的误差定位，制定误差估计的神经网络的框架内。提出了一种有效且易于实现的多目标泛函后验误差估计算法，该算法采用双加权残差法，然后利用神经网络计算原解和伴随解.本研究表明，这种基于数据驱动模型的学习具有优越的近似感兴趣的数量，即使相对较少的训练数据。新的算法的发展与数值试验的例子得到证实。论证了使用深层神经网络相对于浅层神经网络的优势，并提出了增强收敛性的技术
2021-12-22 cs.LG cs.NA math.NA
Distributionally Robust Deep Learning using Hardness Weighted Sampling
King’s College London（伦敦国王学院）；University Hospitals Leuven（鲁汶大学医院）；Medical University of Vienna（维也纳医科大学）；University College London（伦敦大学学院）
针对DRO在深度学习中优化效率低的问题，提出难度加权采样的SGD方法，在保持计算高效的同时证明其收敛性，并在医学图像分割中提升了鲁棒性。
2022-07-14 cs.CV cs.LG
Bad and good errors: value-weighted skill scores in deep ensemble learning
Università di Genova（热那亚大学）
在本文中，我们提出了一种新的方法来实现预测验证。具体来说，我们引入了一种策略，用于评估预测错误的严重性的基础上的证据，一方面，一个错误的警报只是预期发生的事件是优于一个在中间的连续的非发生的事件，另一方面，一个孤立的事件错过了一个更糟糕的影响比错过一个单一的事件，这是几个连续发生的一部分。依靠这个想法，我们引入了一个新的定义混淆矩阵和技能分数给予更大的重要性，而不是其质量的预测值。然后，我们介绍了一种用于二进制分类的深度集成学习过程，其中神经网络的概率结果通过优化这些值加权技能得分来聚类。最后，我们展示了这种方法在污染，空间天气和股票奖预测三个应用程序的情况下的性能。
2021-03-04 cs.AI cs.LG cs.NE
Deep Unfolding-based Weighted Averaging for Federated Learning in Heterogeneous Environments
Nagoya Institute of Technology（名古屋工业大学）
针对联邦学习中客户端异构性导致的性能下降问题，提出基于深度展开的聚合权重调优方法，可适配多种算法，提升未知类别平衡数据的测试准确率，支持大规模模型并给出收敛速率分析。
2023-08-28 cs.LG eess.SP
Unreasonable Effectivness of Deep Learning
Beautiful Data
我们展示了如何从有限自动机的加权组合中产生众所周知的反向传播规则。通过重新定义一个有限自动机作为一个预测器，我们结合使用加权多数算法的所有$k$状态有限自动机的集合。这种聚合预测算法可以简化使用对称性，我们证明了这样做的算法的等价性。我们证明，该算法是相当于一个完全连接的$k$节点神经网络的反向传播的形式。因此，加权多数算法的使用允许通过来自在线统计的已知结果对深度学习方法进行预测的一般性能进行限制。所提出的框架打开了更详细的问题，网络拓扑结构，它是一个桥梁，充分研究技术的半群理论和应用这些技术来回答什么特定的网络拓扑结构能够预测。这为人工网络的设计和神经科学模型的探索提供了信息。
2018-03-28 cs.LG stat.ML
Output-weighted and relative entropy loss functions for deep learning precursors of extreme events
Massachusetts Institute of Technology（麻省理工学院）
许多科学和工程问题需要精确的动力系统模型与罕见和极端事件。这些问题对数据驱动的建模提出了挑战性的任务，许多幼稚的机器学习方法无法预测或准确量化这些事件。这种困难的一个原因是，根据定义，具有极端事件的系统产生不平衡的数据集，并且标准损失函数容易忽略罕见事件。也就是说，用于训练模型的拟合优度的度量不是为了确保罕见事件的准确性而设计的。这项工作旨在提高极端事件的回归模型的性能，考虑损失函数，旨在突出离群值。我们提出了一种新的损失函数，调整后的输出加权损失，并扩大适用性的相对熵为基础的损失函数的低维输出系统。所提出的功能进行了测试，使用几种情况下的动力系统表现出极端事件，并显着提高极端事件的预测精度。
2021-12-01 cs.LG cs.NA math.NA
Large-Scale Pretraining for Improving Deep Learning-Based Geometric Distortion Correction of Diffusion-Weighted Imaging
Nepal Applied Mathematics and Informatics Institute for Research (NAAMII)（尼泊尔应用数学与信息学研究所）；University of Exeter（埃克塞特大学）；Institute of Engineering, Purwanchal Campus（工程学院普尔万查尔校区）；Institute of Engineering, Pulchowk Campus（工程学院普尔乔克校区）；Gandaki Medical College Teaching Hospital and Research Center（甘达基医学院教学医院与研究中心）；Madan Bhandari University of Science and Technology（马丹班达里科技大学）；Medical Artificial Intelligence Laboratory（医学人工智能实验室）；University of British Columbia（不列颠哥伦比亚大学）；Montreal Neurological Institute, McGill University（麦吉尔大学蒙特利尔神经研究所）；McGill University（麦吉尔大学）；University of Lagos（拉各斯大学）
本研究通过大规模预训练策略改进基于深度学习的弥散加权成像几何畸变校正，发现预训练模型优于基线，但跨域迁移存在挑战，配准至标准空间可提升性能。
2026-09-09 cs.CV cs.LG
Atlas-powered deep learning (ADL) -- application to diffusion weighted MRI
Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）
深度学习在估计扩散加权磁共振成像（dMRI）中的生物标志物方面具有巨大潜力。另一方面，生物标志物酶是用于模拟生物标志物的时空变异性的独特工具。在本文中，我们提出了第一个利用深度学习和地图集进行dMRI生物标志物估计的框架。我们的框架依赖于非线性扩散张量配准来计算生物标志物图谱和估计图谱可靠性图。我们还使用非线性张量配准来将图集与受试者对齐并估计这种对齐的误差。除了dMRI信号外，我们还使用生物标志物图谱、图谱可靠性图和比对误差图作为深度学习模型的输入，用于生物标志物估计。我们使用我们的框架来估计分数各向异性和神经突方向分散从下采样的dMRI数据的测试队列的70名新生儿受试者。结果表明，我们的方法明显优于标准估计方法以及最近的深度学习技术。我们的方法对更强的测量下采样因子也更鲁棒。我们的研究表明，深度学习和图谱的优势可以协同结合，以实现从dMRI数据中进行生物标志物估计的前所未有的准确性。
2022-05-05 cs.AI cs.CV cs.LG
GRAWA: Gradient-based Weighted Averaging for Distributed Training of Deep Learning Models
New York University（纽约大学）
针对时间受限的深度学习分布式训练场景，提出基于梯度加权平均的GRAWA算法及两种异步变体，理论上证明凸与非凸场景下的收敛性，实验验证其在收敛速度、解质量等方面优于现有基线。
2024-03-07 cs.DC cs.LG math.OC
Dynamically Weighted Momentum with Adaptive Step Sizes for Efficient Deep Network Training
针对SGD、Adam等现有深度学习优化算法在学习效率波动、复杂模型适配及非凸优化上的不足，本文提出DWMGrad算法，通过基于历史数据的动态引导机制动态更新动量与学习率，实验验证其在多场景下收敛更快、准确率更高。
2025-10-29 cs.LG cs.NE
DECONET: an Unfolding Network for Analysis-based Compressed Sensing with Generalization Error Bounds
National & Kapodistrian University of Athens（雅典国立卡波迪斯特里安大学）
本文提出一种基于分析稀疏压缩感知的深度展开网络DECONET，联合学习解码器与共享分析算子，并给出泛化误差界，实验验证其优于现有方法。
2023-04-26 cs.IR cs.IT cs.LG
Deep Learning-Based Fetal Lung Segmentation from Diffusion-weighted MRI Images and Lung Maturity Evaluation for Fetal Growth Restriction
School of Biomedical Engineering and Imaging Sciences, King's College London, London, UK（生物医学工程与成像科学学院，伦敦国王学院）；Elizabeth Garrett Anderson Institute for Women’s Health, University College, London, UK（埃利扎贝塔·加德纳妇女健康研究所，大学学院，伦敦）；University College London Hospital NHS Foundation Trust, London, UK（伦敦大学学院医院国家健康服务信托基金）；Department of Medical Physics and Biomedical Engineering, University College London Hospitals, London, UK（医学物理与生物医学工程系，伦敦大学学院医院）；Department of Radiology, University College London Hospitals NHS Foundation Trust, London, United Kingdom（放射科，伦敦大学学院医院国家健康服务信托基金）
本文提出基于3D nnU-Net的胎儿肺自动分割与IVIM模型拟合相结合的弥散加权MRI肺成熟度评估全自动流程，Dice达82.14%，验证了其临床可行性。
2025-07-17 cs.CV cs.LG
Uniform Approximation of Functions with Asymmetric Growth and Decay by Deep Weighted Polynomials
Department of Statistics and CCAM, University of Chicago（统计系和CCAM，芝加哥大学）；Department of Mathematics, ZBMATH-OPEN（数学系，ZBMATH-OPEN）
研究实轴一侧无界增长另一侧衰减至零的函数逼近问题，提出单边加权深度多项式逼近器，通过权重抑制衰减侧增长，经微调过程解决计算问题，实验表明该方法比基线有更小误差，能精确求解衰减尾部。
2026-07-16 cs.AI cs.LG cs.NA
CU-Net: Cascaded U-Net with Loss Weighted Sampling for Brain Tumor Segmentation
Xidian University（西安电子科技大学）；Weill Cornell Medical School, Cornell University（康奈尔大学威尔康奈尔医学院）
本文提出了一种新的级联U-网脑肿瘤分割。受脑肿瘤明显的层次结构的启发，我们设计了一个级联的深度网络框架，首先分割整个肿瘤，然后进一步分割肿瘤内部的子结构。考虑到级联结构带来的网络深度的增加会导致更深层精确定位信息的丢失，我们构造了许多跳跃连接来连接相同分辨率的特征，并将细节信息从浅层传递到更深层。然后，我们提出了一个损失加权采样（LWS）计划，以消除不平衡的数据在训练网络的问题。在BraTS 2017数据上的实验结果表明，我们的架构框架优于最先进的分割算法，特别是在分割灵敏度方面。
2019-07-17 cs.CV cs.LG eess.IV
Deep Reinforcement Learning with Weighted Q-Learning
IDSIA（IDSIA研究所）；Università della Svizzera italiana（瑞士意大利语区大学）；TU Darmstadt（达姆施塔特工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Politecnico di Milano（米兰理工大学）
基于Q学习的强化学习算法正在推动深度强化学习（DRL）研究解决复杂问题，并在其中许多问题上实现超人的性能。然而，Q-Learning被认为是正偏置的，因为它通过使用期望值的最大噪声估计来学习。动作值的系统性过高估计加上DRL方法固有的高方差可能导致误差逐渐累积，导致学习算法发散。理想情况下，我们希望DRL代理考虑到他们自己对每个动作的最优性的不确定性，并能够利用它来对预期回报做出更明智的估计。在这方面，加权Q学习（WQL）有效地减少了偏差，并在随机环境中显示出显着的效果。WQL使用估计动作值的加权和，其中权重对应于每个动作值为最大值的概率;然而，这些概率的计算仅在表格设置中是实用的。在这项工作中，我们提供了方法上的进步，以受益于DRL中的WQL属性，通过使用用Dropout训练的神经网络作为深度高斯过程的有效近似。特别是，我们采用具体辍学变量，以获得校准估计的认知不确定性DRL。然后，通过在动作值网络中进行几次随机向前传递并以蒙特卡洛方式计算权重来获得估计量。这样的权重是对应于最大w.r. t的每个动作值的概率的贝叶斯估计。由Dropout估计的后验概率分布。我们展示了我们的新的深度加权Q-学习算法如何减少偏差w.r.t.并提供经验证据，证明其在代表性基准方面的优势。
2022-06-13 cs.AI cs.LG stat.ML
