Survey: Exploiting Data Redundancy for Optimization of Deep Learning
North Carolina State University（北卡罗来纳州立大学）；William & Mary（威廉与玛丽学院）；Northeastern University（东北大学）
数据冗余普遍存在于深度神经网络（DNN）的输入和中间结果中。它为提高DNN的性能和效率提供了许多重要的机会，并且已经在大量的工作中进行了探索。这些研究分散在许多地点，跨越几年。他们关注的目标范围从图像到视频和文本，他们用来检测和利用数据冗余的技术也在许多方面有所不同。目前还没有一个系统的检查和总结的许多努力，使研究人员很难得到一个全面的看法，以前的工作，最先进的状态，差异和共同的原则，以及领域和方向尚未探索。本文试图填补这一空白。它调查了最近数百篇关于这个主题的论文，介绍了一种新的分类法，将各种技术放入一个单一的分类框架中，全面描述了用于利用数据冗余来改进多种DNN的主要方法，并指出了一系列未来探索的研究机会。
2022-08-29 cs.LG
Neurons Merging Layer: Towards Progressive Redundancy Reduction for Deep Supervised Hashing
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Horizon Robotics（地平线机器人）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
深度监督哈希算法已经成为信息检索中的一个活跃的话题。它通过深度哈希网络的输出神经元生成哈希位。在二进制离散化过程中，散列位之间往往存在大量冗余，这在存储和准确性方面都会降低检索性能。本文提出了一种简单而有效的神经元合并层（NMLayer），用于深度监督哈希。构造一个图来表示散列位之间的冗余关系，该图用于指导散列网络的学习。具体来说，它是通过一种在我们的活动和冻结阶段定义的新机制动态学习的。根据学习到的关系，NMLayer将冗余神经元合并在一起，以平衡每个输出神经元的重要性。此外，多个NM层被渐进地训练用于深度散列网络，以从长冗余码学习更紧凑的散列码。在四个数据集上的大量实验表明，我们提出的方法优于最先进的哈希方法。
2019-11-26 cs.CV cs.LG
RedTest: Towards Measuring Redundancy in Deep Neural Networks Effectively
Zhejiang University of Technology（浙江工业大学）；Singapore Management University（新加坡管理大学）；Zhejiang University（浙江大学）；The University of Tokyo（东京大学）；University of Alberta（阿尔伯塔大学）
针对深度学习模型优化中难以定量测量剩余冗余的问题，提出RedTest测试方法和模型结构冗余分数（MSRS）指标，并应用于神经架构搜索和大规模预训练模型剪枝，实验证明其能有效去除冗余且对模型效用影响可忽略不计。
2024-11-15 cs.CV cs.LG
Channel redundancy and overlap in convolutional neural networks with channel-wise NNK graphs
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；University of Southern California（南加州大学）
卷积神经网络（CNN）深层的特征空间通常是非常高维的，难以解释。然而，卷积层由多个通道组成，这些通道由不同类型的输入激活，这表明通过研究通道以及它们之间的关系可以获得更多的见解。在本文中，我们首先从理论上分析通道非负核（CW-NNK）回归图，这使我们能够量化通道之间的重叠，并间接地量化数据表示流形的内在维度。我们发现，通道之间的冗余是显着的，并在训练过程中随层深度和正则化水平而变化。此外，我们观察到最后一个卷积层中的信道重叠与泛化性能之间存在相关性。我们的实验结果表明，这些技术可以导致更好地理解深度表示。
2021-10-18 cs.CV cs.LG
Manipulating Identical Filter Redundancy for Efficient Pruning on Deep and Complicated CNN
Tsinghua University（清华大学）；Aberystwyth University（阿伯里斯特威斯大学）
卷积神经网络（CNN）中冗余的存在使我们能够在可接受的性能下降的情况下去除一些滤波器/通道。然而，CNN的训练目标通常倾向于最小化与准确性相关的损失函数，而不关注冗余，使得冗余随机分布在所有滤波器上，使得移除它们中的任何一个都可能触发信息丢失和准确性下降，需要后续的微调步骤来恢复。在本文中，我们建议在训练过程中操纵冗余以促进网络修剪。为此，我们提出了一种新的向心SGD（C-SGD）来使一些过滤器相同，从而产生理想的冗余模式，因为这些过滤器由于其重复而变得纯粹冗余;因此删除它们不会损害网络。如CIFAR和ImageNet所示，与现有方法相比，C-SGD提供了更好的性能，因为冗余更好地组织起来。效率也是C-SGD的特征，因为它与常规SGD一样快，不需要微调，并且即使在非常深的CNN中也可以在所有层上同时进行。此外，C-SGD可以通过首先训练具有相同架构但更宽层的模型，然后将其压缩到原始宽度来提高CNN的准确性。
2021-07-30 cs.CV cs.LG
Redundancy-Free Computation Graphs for Graph Neural Networks
Stanford University（斯坦福大学）；Microsoft（微软）
图神经网络（GNN）基于图中节点邻居之间的信息的重复聚合。然而，由于公共邻居在不同节点之间共享，这导致重复和低效的计算。我们提出了分层聚合计算图（HAGs），这是一种新的GNN图表示，通过分层管理中间聚合结果，消除GNN训练和推理中的重复计算和不必要的数据传输，显式地避免了冗余。我们引入了一个精确的成本函数来定量评估不同的HAGs的运行时性能，并使用一种新的HAG搜索算法来找到优化的HAGs。实验表明，HAG表示显著优于标准GNN图表示，将端到端训练吞吐量提高了2.8倍，并将GNN训练中的聚合和数据传输减少了6.3倍和5.6倍，同时保持了原始模型的准确性。
2019-06-09 cs.LG cs.SI stat.ML
Scale redundancy and soft gauge fixing in positively homogeneous neural networks
King Juan Carlos University, Facuty of Experimental Sciences and Technology, Department of Applied Physics（金 Juan 卡洛斯大学，实验科学与技术学院，应用物理系）
该研究通过引入规范适应坐标和软轨道选择功能，揭示了正齐次神经网络中尺度冗余与优化条件之间的联系，提升了模型的稳定性与学习效率。
2026-02-16 cs.AI cs.LG
Dependable Neural Networks Through Redundancy, A Comparison of Redundant Architectures
Zurich University of Applied Sciences（苏黎世应用科学大学）；Xilinx GmbH（赛灵思有限公司）
随着边缘人工智能在现实世界中的应用越来越多，特别是在工业中，使用人工智能的功能安全应用程序的问题已经开始被提出。在这方面的工作，我们探讨的问题，实现可靠的操作的神经网络。我们讨论的可靠性问题，在一般的实施条款之前，检查锁步解决方案。我们的直觉是，两个相似的神经网络不一定在同一时间产生结果，并且平台之间需要同步。我们进行了一些初步的测量，可以支持这种直觉，并介绍了一些工作，在实现锁步神经网络引擎。
2021-07-30 cs.AI cs.AR cs.LG
Inherent Redundancy in Spiking Neural Networks
Xi’an Jiaotong University（西安交通大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Peking University Health Science Center, Peking University（北京大学医学部）；Huawei Technologies Co Ltd.（华为技术有限公司）；Peng Cheng Laboratory（鹏城实验室）
针对脉冲神经网络因时空不变性产生的固有冗余与噪声脉冲问题，提出ASA模块自适应优化膜电位分布，在显著降低放电量的同时性能超过现有SNN基线。
2023-08-16 cs.CV cs.LG cs.NE
Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy
ETH Zürich（苏黎世联邦理工学院）；MPI-IS Tübingen（马克斯·普朗克智能系统研究所（蒂宾根））
该研究通过分析神经网络优化轨迹的方向结构，引入轨迹复杂度概念刻画优化的方向性特征，揭示优化选择间的关联与规模的作用，并验证了方向冗余性，为高效混合优化方案提供了思路。
2024-06-24 cs.CL cs.LG stat.ML
Generalized Key-Value Memory to Flexibly Adjust Redundancy in Memory-Augmented Networks
University of California, Berkeley（加州大学伯克利分校）；Research Institutes of Sweden（瑞典研究院）；IBM Research - Zurich（IBM苏黎世研究院）
记忆增强的神经网络通过外部键值记忆来增强神经网络，其复杂性通常由键记忆中的支持向量的数量决定。我们提出了一个广义的键值存储器，通过引入一个自由参数，可以任意添加或删除冗余的键存储器表示，从支持向量的数量，它的维数。实际上，它提供了额外的自由度来灵活地控制鲁棒性与存储和计算广义键值存储器所需的资源之间的权衡。这对于在存内计算硬件上实现密钥存储器特别有用，其中密钥存储器利用非理想但极其有效的非易失性存储器设备进行密集存储和计算。实验结果表明，适应这个参数的需求，有效地减轻高达44%的非理想性，在相同的精度和设备数量，而不需要任何神经网络再训练。
2022-03-11 cs.LG
Exploiting Non-Linear Redundancy for Neural Model Compression
Carnegie Mellon University（卡内基梅隆大学）
部署由数百万甚至数十亿参数的非线性组合组成的深度学习模型具有挑战性，因为现实世界存在内存、功耗和计算限制。这种情况导致了对模型压缩技术的研究，其中大部分依赖于次最优算法，并且不考虑由于过参数化网络中神经元激活之间的线性依赖而导致的参数冗余。在本文中，我们提出了一种新的模型压缩方法的基础上开发的线性相关性，压缩网络的消除整个神经元和重新分配其激活的方式，证明是无损的，而训练。我们将这种方法与退火算法相结合，该算法可以在训练过程中应用，甚至可以在训练模型上应用，并使用流行的数据集证明，我们的方法可以在整体网络大小减少高达99%的情况下，性能损失很小。此外，我们提供的理论结果表明，在存在冗余特征的过参数化局部线性（ReLU）神经网络中，通过正确的超参数选择，我们的方法确实能够捕获和抑制这些依赖关系。
2020-05-28 cs.LG stat.ML
SlimConv: Reducing Channel Redundancy in Convolutional Neural Networks by Weights Flipping
University of Electronic Science and Technology of China（电子科技大学）
卷积神经网络（CNN）特征映射中的通道冗余导致了大量的存储器和计算资源消耗。在这项工作中，我们设计了一种新的Slim卷积（SlimConv）模块，通过减少信道冗余来提高CNN的性能。我们的SlimConv由三个主要步骤组成：重构，变换和重构，通过这些步骤，特征以更有效的方式进行拆分和重组，从而可以有效地压缩学习的权重。特别是，我们的模型的核心是一个权重翻转操作，可以大大提高功能的dilibrium，有助于性能至关重要。我们的SlimConv是一个即插即用的架构单元，可用于直接替换CNN中的卷积层。我们通过在ImageNet、MS COCO 2014、Pascal VOC 2012分割和Pascal VOC 2007检测数据集上进行综合实验来验证SlimConv的有效性。实验结果表明，与未装备SlimConv的模型相比，装备SlimConv的模型具有更好的一致性，更少的内存和计算资源消耗.例如，使用SlimConv的ResNet-101在ImageNet上实现了77.84%的top-1分类准确率，4.87 GFLOPs和27.96M参数，表现出近0.5%的性能，约3 GFLOPs和38%的参数减少。
2020-03-16 cs.CV cs.LG eess.IV
ResNet Structure Simplification with the Convolutional Kernel Redundancy Measure
University of British Columbia（不列颠哥伦比亚大学）
深度学习，特别是卷积神经网络，引发了计算机视觉的加速发展，为我们的日常实践带来了变化。此外，标准化的深度学习模块（也称为骨干网络），即，ResNet和EfficientNet使新的计算机视觉解决方案能够高效快速地开发。然而，深度学习方法仍然存在几个缺点。最令人关注的问题之一是高存储器和计算成本，使得专用计算单元（通常为GPU）必须用于训练和开发。因此，在本文中，我们提出了一个量化的评价方法，卷积核冗余度，这是基于感知图像的差异，指导网络结构简化。当将我们的方法应用于ResNet的胸部X射线图像分类问题时，我们的方法可以保持网络的性能，并将参数的数量从超过$23$百万减少到大约$128$千（减少参数的$99.46\%$）。
2022-12-01 cs.CV cs.LG eess.IV
Label-Based Diversity Measure Among Hidden Units of Deep Neural Networks: A Regularization Method
Tianjin University（天津大学）；The Open University（开放大学）
虽然深层结构保证了深度网络（DNN）强大的表达能力，但它也引发了严重的过拟合问题。为了提高DNN的泛化能力，人们开发了许多策略来提高隐藏单元之间的多样性。然而，大多数这些策略是经验和启发式的，在缺乏多样性度量的理论推导或从多样性到泛化能力的明确联系的情况下。在本文中，从信息论的角度来看，我们引入了一个新的定义冗余描述的多样性隐藏单元下监督学习设置形式化的推广能力的互信息的隐藏层的影响。我们证明了定义的冗余和泛化能力之间存在相反的关系，即，冗余的减少通常提高了泛化能力。实验结果表明，采用冗余度作为正则化算子的DNN能有效地减少过拟合，降低泛化误差，很好地支持了上述观点。
2021-04-03 cs.AI cs.LG physics.app-ph
On Redundancy and Diversity in Cell-based Neural Architecture Search
University of Oxford（牛津大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
搜索结构单元是NAS中的一个主要范例。然而，很少有人关注的分析，基于细胞的搜索空间，即使它是非常重要的NAS的持续发展。在这项工作中，我们从流行的基于细胞的搜索空间的架构进行经验事后分析，发现现有的搜索空间包含高度的冗余：架构性能是最低限度的敏感性变化在大部分的细胞，和普遍采用的设计，如显式搜索减少细胞，显着增加的复杂性，但对性能的影响非常有限。在通过不同的搜索策略发现的架构中，我们始终发现，对架构性能有影响的单元部分通常遵循相似且简单的模式。通过明确地约束细胞，包括这些模式，随机抽样的架构可以匹配，甚至优于最先进的。这些发现投下怀疑我们的能力，发现真正新颖的架构，在现有的基于细胞的搜索空间，并激发我们的改进建议，以指导未来的NAS研究。代码可在https://github.com/xingchenwan/cell-based-NAS-analysis上获得。
2022-03-16 cs.AI cs.LG stat.ML
Examining Redundancy in the Context of Safe Machine Learning
ZHAW（苏黎世应用科技大学）；Institute of Applied Mathematics（应用数学研究所）；Institute of Embedded Systems（嵌入式系统研究所）
本文介绍了一组实验与神经网络分类器的MNIST数据库的数字。目的是研究冗余架构的简单实现，作为迈向安全可靠的机器学习的第一步。我们报告的一组测量使用MNIST数据库，最终用于强调预期的困难，在安全可靠的系统中使用NN分类。
2020-07-03 cs.LG stat.ML
Effective Does Not Mean Useful: Conditional Functional Substitutability for Redundancy and Scaling in Transformers
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Northeastern University, Shenyang（东北大学（沈阳））；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Tsinghua University, Beijing（清华大学）
本文提出条件功能可替代性（CFS）直接刻画Transformer中的输入条件化冗余，揭示传统度量遗漏的功能关系，并证明CFS能指导动态计算，实现更优的性能-计算权衡。
2026-10-01 cs.AI cs.LG
Diffused Redundancy in Pre-trained Representations
University of Maryland（马里兰大学）；MPI-SWS（马克斯·普朗克软件系统研究所）；The Alan Turing Institute（艾伦·图灵研究所）；University of Cambridge（剑桥大学）
本研究揭示预训练神经网络表示中存在弥散冗余：随机选取超过阈值的神经元子集即可与完整层性能相当，并探讨了利用该冗余实现高效泛化的潜力与风险。
2023-11-14 cs.AI cs.LG
DICE: Diversity in Deep Ensembles via Conditional Redundancy Adversarial Estimation
Sorbonne Université（索邦大学）
由于其成员的多样性，深度合奏比单一网络表现得更好。最近的方法使预测规则化以增加多样性;然而，它们也大大降低了个体成员的表现。在本文中，我们认为，深度集成的学习策略需要解决集成多样性和个体准确性之间的权衡。受信息论的启发，并利用条件互信息神经估计的最新进展，我们引入了一种新的训练标准DICE：它通过减少特征之间的虚假相关性来增加多样性。其主要思想是从成对成员中提取的特征应该只共享对目标类预测有用的信息，而不是有条件冗余。因此，除了信息瓶颈的分类损失外，我们还可以防止特征之间的条件预测。我们设法减少同时发生的错误，同时保护类信息。我们在CIFAR-10/100上获得了最先进的精度结果：例如，使用DICE训练的5个网络的集合与独立训练的7个网络的集合相匹配。我们进一步分析了校准，不确定性估计，分布外检测和在线共蒸馏的后果。
2021-01-14 cs.CV cs.IT cs.LG
Analyzing Redundancy in Pretrained Transformer Models
Qatar Computing Research Institute（卡塔尔计算研究所）；HBKU Research Complex（哈马德·本·哈利法大学研究中心）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
基于transformer的深度NLP模型使用数亿个参数进行训练，限制了它们在计算受限环境中的适用性。在本文中，我们研究这些限制的原因，通过定义一个概念的Redemption，我们分为两类：一般Redemption和特定任务Redemption。我们剖析了两个流行的预训练模型，BERT和XLNet，研究它们在表示级别和更细粒度的神经元级别上表现出多少冗余。我们的分析揭示了有趣的见解，例如：i）整个网络中85%的神经元是冗余的，ii）当优化下游任务时，至少92%的神经元可以被删除。基于我们的分析，我们提出了一个有效的基于特征的迁移学习过程，保持97%的性能，而使用最多10%的原始神经元。
2020-10-06 cs.CL cs.LG
Perturb and Correct: Post-Hoc Ensembles using Affine Redundancy
Department of Computing（计算系）
本文提出P&C方法，通过在预训练网络中引入随机隐藏层扰动并进行最小二乘校正，构建出在校准数据上一致但远离时分歧的预测器，实现ID/OOD的优异权衡。
2026-10-06 cs.LG
Third ArchEdge Workshop: Exploring the Design Space of Efficient Deep Neural Networks
George Mason University（乔治梅森大学）；Microsoft（微软）
本文概述了我们正在进行的高效深度神经网络（DNN）的设计空间探索工作。具体来说，我们涵盖了两个方面：（1）静态架构设计效率和（2）动态模型执行效率。对于静态架构设计，与现有的端到端硬件建模假设不同，我们在GPU核心级别进行全栈分析，以确定DNN设计的更好的准确性-延迟权衡。对于动态模型执行，与以前在DNN通道级别处理模型冗余的工作不同，我们探索了一个新的DNN特征映射冗余维度，以便在运行时动态遍历。最后，我们强调了几个开放的问题，准备在未来几年内引起研究的关注。
2020-11-22 cs.AR cs.LG
In Two Minds about Lifelong Learning: Exploring Hemispheric Redundancy and Specialisation in Neural Models
Monash University（莫纳什大学）；CSIRO（联邦科学与工业研究组织）；Cerenaut（塞雷诺特公司）
本文针对机器学习的持续学习挑战，提出4MAS架构，结合经验重放、REM睡眠与双侧性，利用不对称半球的长短时记忆机制，在三个分割数据集上取得有竞争力的准确率。
2026-09-29 cs.AI cs.LG
Optimal Transport for Brain-Image Alignment: Unveiling Redundancy and Synergy in Neural Information Processing
University of Tulsa（图拉大学）；Tsinghua University（清华大学）；Clemson University（克莱姆森大学）；The University of Arizona（亚利桑那大学）
本文提出基于最优传输的脑图像对齐方法，替代均方误差实现全局匹配，控制传输量抑制冗余，应用于脑字幕生成，在十项指标上超越先前最佳，并揭示大脑信息处理的冗余与协同。
2025-10-06 cs.AI cs.CV cs.LG
CGaP: Continuous Growth and Pruning for Efficient Deep Learning
Arizona State University（亚利桑那州立大学）
目前，降低深度神经网络（DNN）计算成本的一种规范方法是在训练前预先定义一个过参数化的模型，以保证学习能力，然后在训练过程中修剪不重要的学习单元（过滤器和神经元），以提高模型的紧凑性。我们认为在训练开始时引入冗余是不必要的，但随后减少最终推理模型的冗余。在本文中，我们提出了一个连续增长和修剪（CGaP）计划，以尽量减少从一开始的冗余。CGaP从一个小的网络种子开始训练，然后通过加强重要的学习单元来不断扩展模型，最后修剪网络以获得紧凑和准确的模型。由于生长阶段有利于重要的学习单元，CGaP为修剪阶段提供了明确的学习目的。在代表性数据集和DNN架构上的实验结果表明，CGaP优于以前处理预定义结构的仅修剪方法。对于CIFAR-100和SVHN数据集上的VGG-19，CGaP分别将参数数量减少了78.9%和85.8%，FLOP减少了53.2%和74.2%;对于CIFAR-10上的ResNet-110，CGaP减少了64.0%的参数数量和63.3%的FLOP。
2019-05-29 cs.CV cs.LG
Simplifying Graph Convolutional Networks with Redundancy-Free Neighbors
本文分析图卷积网络的消息传递机制，发现高阶邻居消息经由低阶邻居传递导致的过聚合是过平滑的根本原因，并据此提出简化方法。
2025-04-21 cs.LG
AntiDote: Attention-based Dynamic Optimization for Neural Network Runtime Efficiency
George Mason University（乔治梅森大学）；University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）；Microsoft（微软）；Northeastern University（东北大学）
卷积神经网络（CNN）以相当大的计算负荷为代价获得了很好的认知性能。为了减轻计算负荷，许多优化工作被开发，以减少模型冗余，通过识别和删除无关紧要的模型组件，如重量稀疏和过滤器修剪。然而，这些工作只评估模型组件的内部参数信息的静态意义，忽略了它们与外部输入的动态相互作用。通过激活每个输入的特征，模型组件的重要性可以动态地改变，因此静态方法只能获得次优结果。因此，我们在这项工作中提出了一个动态的CNN优化框架。基于神经网络的注意力机制，提出了一种综合的动态优化框架，包括（1）测试阶段通道和列特征图的剪枝，以及（2）训练阶段的目标丢弃优化。这种动态优化框架具有以下优点：（1）考虑到模型与输入的交互作用，能够准确识别并积极去除每个输入的特征冗余;（2）同时，由于多维灵活性，能够最大限度地去除各个维度上的特征映射冗余;（3）训练-测试协同优化有利于动态剪枝，即使在很高的特征剪枝率下也有助于保持模型的准确性。大量的实验表明，我们的方法可以带来37.4%到54.5%的FLOPs减少，在各种测试网络上的精度下降可以忽略不计。
2020-08-14 cs.CV cs.LG eess.IV
Efficient Error-Tolerant Quantized Neural Network Accelerators
Coburg University（科堡大学）；Fulda University of Applied Sciences（富尔达应用科学大学）；University of Kassel（卡塞尔大学）
神经网络是目前部署最广泛的机器学习算法之一。特别是卷积神经网络（CNN）越来越受欢迎，并被评估用于部署在安全关键应用中，如自动驾驶汽车。现代CNN具有巨大的内存带宽和高计算需求，挑战现有的硬件平台，以满足吞吐量，延迟和功耗要求。在安全关键系统中，需要考虑功能安全和容错性作为附加要求。一般来说，容错操作可以通过向系统添加冗余来实现，这进一步加剧了计算需求。此外，出现的问题是否修剪和量化方法的性能缩放，结果是适得其反的失败的安全要求。在这项工作中，我们提出了一种方法来评估影响量化神经网络（QNN）的永久性故障的影响，以及如何有效地减少它们在硬件加速器中的影响。我们使用基于FPGA的硬件加速错误注入，以使快速评估。详细的分析表明，包含卷积层的QNN对故障的鲁棒性远不如人们普遍认为的那样，并且可能导致精度下降高达10%。为了规避这一点，我们提出了两种不同的方法来提高其鲁棒性：1）选择性通道复制，其增加的冗余比常见的三重模块冗余少得多; 2）折叠实现的处理元件的故障感知调度
2019-12-16 cs.CV cs.LG eess.SP
A Spectral Interpretation of Redundancy in a Graph Reservoir
本文从随机游走视角理论分析图储层中的Fairing谱滤波器，通过调节谱系数控制冗余随机游走贡献，以缓解过平滑并提升图分类性能。
2025-07-17 cs.LG
Multi-Source Neural Variational Inference
Technical University of Munich（慕尼黑工业大学）；Volkswagen Group（大众集团）
从多个信息源中学习是机器学习研究中的一个重要问题。关键的挑战是学习表示和制定推理方法，考虑到各种信息源的互补性和冗余性。在本文中，我们制定了一个变分自动编码器为基础的多源学习框架中，每个编码器的条件是一个不同的信息源。这使我们能够通过计算单个源的后验近似之间的发散度量来通过共享的潜变量将源关联起来。我们探索了各种选择来学习这些编码器，并将它们计算的信念整合到一致的后验近似中。我们在一个玩具数据集上可视化了学习到的信念，并评估了我们学习共享表示和结构化输出预测的方法，显示了为每个信息源学习单独编码器的权衡。此外，我们展示了如何冲突检测和冗余可以增加鲁棒性的推理在多源设置。
2018-11-17 cs.LG stat.ML
Non-backtracking Graph Neural Networks
KAIST（韩国科学技术院）；POSTECH（浦项科技大学）
提出NBA-GNN通过不包含先前访问节点消息的更新方式解决图神经网络中的backtracking冗余问题，理论上证明其能缓解over-squashing，并在多个基准上验证了有效性。
2024-09-25 cs.LG stat.ML
Functional Error Correction for Robust Neural Networks
Texas A&M University（德州农工大学）；University of California, San Diego（加州大学圣地亚哥分校）
当神经网络（NeuralNets）在硬件中实现时，它们的权值需要存储在存储设备中。随着噪声在存储的权重中积累，NeuralNet的性能将下降。本文研究了如何使用纠错码来保护权值。与传统的数据存储纠错不同，优化目标是优化纠错后神经网络的性能，而不是最小化受保护位中的不可纠正位出错率。也就是说，通过将NeuralNet视为其输入的函数，纠错方案是面向函数的。一个主要的挑战是，深度神经网络通常有数百万到数亿个权重，这会导致ECC的大量冗余开销，并且权重与其神经网络性能之间的关系可能非常复杂。为了解决这个问题，我们提出了一个选择性保护（SP）计划，它只选择一个重要的ECC保护位的子集。为了找到这样的位并在ECC的冗余和NeuralNet的性能之间实现优化的权衡，我们提出了一种基于深度强化学习的算法。实验结果表明，与自然基线方案相比，所提出的算法在函数纠错任务中获得了更好的性能。
2020-01-12 cs.IT cs.LG math.IT
Channel-wise Hessian Aware trace-Weighted Quantization of Neural Networks
Intel（英特尔）
二阶信息在确定神经网络权重和激活的冗余度方面已被证明是非常有效的。最近的论文提出了使用Hessian迹的权重和激活的混合精度量化，并取得了最先进的结果。然而，现有的工作仅集中于为每一层选择比特，而层内不同信道的冗余度也相差很大。这主要是因为确定每个信道的比特的复杂度对于原始方法来说太高。在这里，我们介绍了逐行Hessian感知迹加权量化（CW-HAWQ）。CW-HAWQ使用Hessian迹来确定不同激活通道和权重的相对灵敏度顺序。更重要的是，CW-HAWQ提出使用基于深度强化学习（DRL）和深度确定性策略梯度（DDPG）的代理来找到不同量化比特的最佳比率，并根据Hessian迹顺序将比特分配给通道。与传统的基于AutoML的混合精度方法相比，CW-HAWQ中的状态数要少得多，因为我们只需要搜索量化比特的比率。比较CW-HAWQ与最先进的技术表明，我们可以实现更好的结果为多个网络。
2020-08-19 cs.CV cs.LG
NAPER: Fault Protection for Real-Time Resource-Constrained Deep Neural Networks
University of Central Florida, FL, US（佛罗里达中央大学）；Universitas Gadjah Mada, Indonesia（加查马达大学）；Telkom University, Indonesia（电信大学）；Arizona State University, AZ, US（亚利桑那州立大学）
NAPER通过异构模型冗余、高效故障检测和实时调度机制，在资源受限实时DNN中同时提升推理速度40%、精度4.2%，并保证故障恢复期间不间断运行，解决了可靠性、精度与时效性的三难困境。
2025-08-27 cs.LG cs.SY eess.SY
Feature Map Similarity Reduction in Convolutional Neural Networks
Cranfield University（克兰菲尔德大学）；Centre for Computational Engineering Sciences（计算工程科学中心）；Inria（法国国家信息与自动化技术研究院）；Univ. Bordeaux（波尔多大学）；ESTIA-Institute of Technology（ESTIA技术研究所）
本文提出卷积相似性方法，通过正则化或迭代初始化降低CNN特征图冗余，提升分类精度与收敛速度，并支持更小模型达到同等性能。
2025-05-22 cs.CV cs.LG
Towards Fast and Energy-Efficient Binarized Neural Network Inference on FPGA
Iluvatar CoreX（天数智芯）；University of California San Diego（加州大学圣地亚哥分校）
二值化神经网络（Binarized Neural Network，BNN）通过使用单个比特（-1/+1）作为网络参数和中间表示，消除了传统CNN中的位宽冗余，大大降低了片外数据传输和存储开销。然而，BNN推理仍然存在大量的计算冗余。通过分析图像的局部属性和学习的BNN内核权重，我们观察到平均$\sim$ 78%的输入相似性和$\sim$ 59%的权重内核之间的权重相似性，我们提出的度量在常见的网络架构。因此，确实存在冗余，可以利用这些冗余来进一步减少片上计算量。受观察的启发，在本文中，我们提出了两种类型的快速和节能的BNN推理架构。我们还提供了分析和见解，以便为不同的数据集和网络模型选择更好的策略。通过重用先前计算的结果，可以跳过用于数据缓冲器访问和计算的许多周期。通过实验，我们证明了80%的计算和40%的缓冲区访问可以跳过利用BNN相似性。因此，我们的设计可以实现减少17%的总功耗，减少54%的片上功耗和2.4 $\times$的最大加速比，与基线相比，没有应用我们的重用技术。我们的设计还显示了1.9 $\times$更多的面积效率相比，国家的最先进的BNN推理设计。我们相信，我们在FPGA上部署BNN将为在移动设备上运行深度学习模型带来光明的未来。
2018-10-04 cs.AI cs.AR cs.CV
Glance and Focus: a Dynamic Approach to Reducing Spatial Redundancy in Image Classification
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心）
深度卷积神经网络（CNN）的准确性在使用高分辨率图像时通常会提高。然而，这通常伴随着高计算成本和高存储器占用。受图像中并非所有区域都与任务相关这一事实的启发，我们提出了一种新的框架，该框架通过处理一系列相对较小的输入来执行有效的图像分类，这些输入是通过强化学习从原始图像中策略性地选择的。这样的动态决策过程自然有助于测试时的自适应推断，即，一旦模型对其预测足够有信心，则可以终止该过程，从而避免进一步的冗余计算。值得注意的是，我们的框架是通用和灵活的，因为它与大多数最先进的轻量级CNN（如MobileNets，EfficientNets和RegNets）兼容，可以方便地部署为骨干特征提取器。在ImageNet上的实验表明，我们的方法始终如一地提高了各种深度模型的计算效率。例如，它进一步将iPhone XS Max上高效MobileNet-V3的平均延迟降低了20%，而不会牺牲准确性。代码和预训练模型可在https://github.com/blackfeather-wang/GFNet-Pytorch上获得。
2020-10-11 cs.AI cs.CV cs.LG
Structure and Redundancy in Large Language Models: A Spectral Study via Random Matrix Theory
Laurea Magistrale in Computer Science Engineering - Ingegneria Informatica（计算机科学工程硕士课程 - 信息工程）
本研究通过谱几何和随机矩阵理论，提出EigenTrack用于检测大语言模型幻觉和分布外行为，以及RMT-KD用于压缩深度网络，提升模型可靠性与效率。
2026-02-25 cs.AI cs.LG
JGRA: Jacobian Geometry Robustness Assessment in NISQ Noise-Aware Quantum Neural Networks
Dipartimento di Elettronica, Informazione e Bioingegneria, Politecnico di Milano（电子、信息与生物工程系，米兰理工学院）；Department of Electrical and Computer Engineering, National Yang Ming Chiao Tung University（电子与计算机工程系，国立阳明交通大学）
提出JGRA框架，通过雅可比几何评估噪声感知量子神经网络的鲁棒性，包括熵匹配噪声校准、噪声感知训练和噪声条件雅可比提取，揭示干净域结构与噪声推理行为的关系。
2026-06-11 cs.LG quant-ph
Deep Reinforcement Learning Algorithms for Hybrid V2X Communication: A Benchmarking Study
Technology Innovation Institute（技术创新研究院）；Ecole Polytechnique（巴黎综合理工学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Oulu（奥卢大学）
针对混合V2X通信的垂直切换难题，提出基于深度强化学习的技术选择方案，在蛇形场景下相较现有方法在保障可靠性的同时降低了通信成本，为该问题提供了新的解决思路。
2023-10-04 cs.LG cs.NI eess.SP
Efficient Facial Feature Learning with Wide Ensemble-based Convolutional Neural Networks
University of Hamburg（汉堡大学）
传统上用独立训练的去相关模型构建的包络方法已被证明是用于减少剩余的泛化误差的有效方法，这导致用于现实世界应用的鲁棒且准确的方法。然而，在深度学习的背景下，训练深度网络的集合是昂贵的，并且产生效率低下的高冗余。在本文中，我们提出了基于卷积网络的具有共享表示的集成（ESRs）的实验，以定量和定性地证明其数据处理效率和对大规模面部表情数据集的可扩展性。我们表明，冗余和计算负载可以显着减少，通过改变分支水平的ESR没有损失的多样性和泛化能力，这两者都是重要的集成性能。在大规模数据集上的实验表明，ESR减少了AffectNet和FER+数据集上剩余的泛化误差，达到了人类水平的性能，并且在使用情感和情感概念的野外面部表情识别方面优于最先进的方法。
2020-01-17 cs.CV cs.LG stat.ML
CodeNet: Training Large Scale Neural Networks in Presence of Soft-Errors
Carnegie Mellon University（卡内基梅隆大学）；Simon Fraser University（西蒙弗雷泽大学）
这项工作提出了第一个策略，使分布式训练的神经网络弹性计算错误，一个问题，一直没有解决，尽管在1956年首次提出的冯诺依曼。他还推测，人类大脑的效率和可靠性是通过允许低功耗但容易出错的组件与冗余的容错能力来实现的。令人惊讶的是，这个问题仍然悬而未决，即使大规模的人工神经网络正在越来越低的成本和不可靠的处理单元上进行训练。我们的编码理论启发的策略“CodeNet”通过解决可靠计算科学中的三个挑战来解决这个问题：（i）通过单独编码每一层，为错误弹性神经网络训练提供第一个策略;（ii）通过避免在每次迭代后从头开始重新编码更新的参数矩阵，保持编码（编码/错误检测/解码）的开销较低。(iii)提供一个完全分散的实现，没有中心节点（这是一个单点故障），允许所有主要的计算步骤是容易出错的。我们从理论上证明了CodeNet比复制具有更高的容错能力，我们利用它来加快计算时间。同时，CodeNet需要比复制更低的冗余，以及在扩展意义上相等的计算和通信成本。我们首先展示了CodeNet的好处，在减少预期的计算时间超过复制时，占检查点。我们的实验表明，CodeNet实现了最佳的准确性，运行时的权衡相比，复制和未编码的策略。CodeNet是迈向生物学上合理的神经网络训练的重要一步，这可能是提高效率的关键。
2019-03-04 cs.DC cs.IT cs.LG
From Channel Bias to Feature Redundancy: Uncovering the "Less is More" Principle in Few-Shot Learning
Southwest Jiaotong University（西南交通大学）；University of Electronic Science and Technology of China（电子科技大学）；The University of Hong Kong（香港大学）；Tongji University（同济大学）
本文发现少样本学习中通道偏置导致特征冗余，仅用1-5%判别特征即可提升准确率，并提出AFIA软掩蔽方法缓解该问题，奠定少样本表示迁移原理。
2025-09-10 cs.CV cs.LG
Centripetal SGD for Pruning Very Deep Convolutional Networks with Complicated Structure
Tsinghua University（清华大学）；Lancaster University（兰卡斯特大学）
冗余在卷积神经网络（CNN）中被广泛认可，其使得能够从卷积层中移除不重要的滤波器，以便在可接受的性能下降的情况下精简网络。受卷积的线性和组合性质的启发，我们试图使一些滤波器越来越接近，最终相同的网络瘦身。为此，我们提出了向心SGD（C-SGD），一种新的优化方法，它可以训练多个过滤器崩溃到一个点的参数超空间。当训练完成时，删除相同的滤波器可以在没有性能损失的情况下修剪网络，因此不需要微调。通过这样做，我们已经部分解决了一个开放的问题，约束过滤器修剪CNN具有复杂的结构，其中一些层必须修剪后，其他。我们在CIFAR-10和ImageNet上的实验结果证明了基于C-SGD的过滤器修剪的有效性。此外，我们还为深度神经网络中的冗余有助于训练收敛的假设提供了经验证据，表明使用C-SGD训练的冗余CNN优于具有相同宽度的正常训练的对应物。
2019-04-08 cs.CV cs.LG stat.ML
Frame Quantization of Neural Networks
University of Maryland（马里兰大学）
本研究提出一种基于框架理论的带误差估计的神经网络训练后量化算法，采用一阶Sigma-Delta量化处理权重与偏置，推导误差界并利用框架冗余提升量化网络精度。
2024-04-11 cs.IT cs.LG math.IT
BiDet: An Efficient Binarized Object Detector
Tsinghua University（清华大学）；State Key Lab of Intelligent Technologies and Systems（智能技术与系统国家重点实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
在本文中，我们提出了一个二值化的神经网络学习方法称为BiDet有效的目标检测。传统的网络二值化方法直接对表示能力受限的一级或两级检测器的权值和激活值进行二值化，使得网络中的信息冗余导致大量的误报，使网络性能显著下降。相反，我们的BiDet充分利用二进制神经网络的表示能力，通过冗余去除目标检测，通过减少误报，提高检测精度。具体来说，我们推广的信息瓶颈（IB）原则的对象检测，在高层次的特征图的信息量受到限制和互信息之间的特征图和目标检测最大化。同时，我们学习稀疏的对象先验，使后验集中在信息检测预测与假阳性消除。在PASCAL VOC和COCO数据集上的大量实验表明，我们的方法比最先进的二进制神经网络有相当大的优势。
2020-03-09 cs.CV cs.LG
NestedNet: Learning Nested Sparse Structures in Deep Neural Networks
Seoul National University（首尔国立大学）
最近，人们越来越需要构建紧凑的深度架构，以消除不必要的冗余并提高推理速度。虽然许多最近的工作集中在通过消除不需要的权重参数来减少冗余，但不可能将单个深度架构应用于具有不同资源的多个设备。当新设备或环境条件需要新的深层架构时，有必要从头开始构建和训练新网络。在这项工作中，我们提出了一种新的深度学习框架，称为嵌套稀疏网络，它利用了神经网络中的n-in-1型嵌套结构。嵌套稀疏网络由多个级别的网络组成，每个级别具有与每个级别相关联的不同稀疏率，并且更高级别的网络与较低级别的网络共享参数，以实现稳定的嵌套学习。所提出的框架实现了一个资源感知的通用架构，因为同一个网络可以满足不同的资源需求。此外，所提出的嵌套网络可以在不同级别的内部网络中学习不同形式的知识，从而使用单个网络实现多个任务，例如从粗到细的分层分类。为了训练建议的嵌套稀疏网络，我们提出了有效的权重连接学习和通道和层调度策略。我们在多个任务中评估了我们的网络，包括自适应深度压缩，知识蒸馏和学习类层次结构，并证明了嵌套稀疏网络与现有方法相比具有竞争力，但更有效。
2018-03-27 cs.AI cs.CV cs.LG
Eliminating Multicollinearity Issues in Neural Network Ensembles: Incremental, Negatively Correlated, Optimal Convex Blending
Purdue University（普渡大学）；University of Ioannina（约阿尼纳大学）
给定一个{features，target}数据集，我们引入了一个增量算法，该算法使用神经网络的集成来构建一个聚合回归量。众所周知，集成方法遭受多重共线性问题，这是主要由于公共训练数据集而产生的冗余的表现。在目前的增量方法中，在每个阶段，我们最佳地混合的总回归与新训练的神经网络下的凸性约束，如果必要的话，诱导负相关。在此框架下，共线性问题根本不会出现，因此该方法既准确又稳健。
2021-04-30 cs.AI cs.LG math.OC
Learning towards Minimum Hyperspherical Energy
Georgia Institute of Technology（佐治亚理工学院）；Emory University（埃默里大学）；South China University of Technology（华南理工大学）；NVIDIA（英伟达）；Google Brain（谷歌大脑）；Ant Financial（蚂蚁金服）
神经网络是一类功能强大的非线性函数，可以在各种应用中进行端到端训练。虽然许多神经网络中的过参数化性质赋予了拟合复杂函数的能力和处理具有挑战性的任务的强大表示能力，但它也导致高度相关的神经元，这可能会损害泛化能力并产生不必要的计算成本。因此，如何正则化网络以避免不希望的表示冗余成为一个重要的问题。为此，我们从物理学中的一个著名问题--汤姆逊问题中得到启发，在这个问题中，人们试图找到一个状态，使N个电子尽可能均匀地分布在一个单位球上，势能最小。基于这种直觉，我们将冗余正则化问题简化为通用能量最小化问题，并提出了一个最小超球能量（MHE）目标作为神经网络的通用正则化。我们还提出了一些新的变种MHE，并提供了一些见解，从理论的角度来看。最后，我们将MHE正则化的神经网络应用于几个具有挑战性的任务。大量的实验证明了我们的直觉的有效性，通过显示与MHE正则化的优越性能。
2020-07-22 cs.CV cs.LG stat.ML
