Should Graph Neural Networks Use Features, Edges, Or Both?
ETH Zurich（苏黎世联邦理工学院）
图神经网络（GNNs）是图数据学习算法的首选。GNN承诺在端到端学习算法中集成（i）节点特征以及（ii）边缘信息。这个承诺实际上是如何实现的？在本文中，我们研究了如何扩展GNNs来解决突出的图分类问题。我们发现，对于图分类，GNN不超过其部分的总和。我们还发现，与特征不同，仅边缘模型的预测并不总是转移到GNN。
2021-03-11 cs.LG
Exploiting Edge Features in Graphs with Fused Network Gromov-Wasserstein Distance
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI实验室）
本文扩展 Gromov-Wasserstein 距离以同时利用节点与边特征，并提出距离和重心计算算法，在分类及图预测任务中验证其有效性。
2023-09-28 cs.LG stat.ML
A Case Study: Exploiting Neural Machine Translation to Translate CUDA to OpenCL
Georgia Institute of Technology（佐治亚理工学院）
用于神经机器翻译的序列到序列（seq 2seq）模型显著提高了语言翻译的准确性。已经有新的尝试将这种seq 2seq模型用于程序语言翻译或程序比较。在这项工作中，我们提出了使用seq 2seq模型将CUDA程序转换为OpenCL程序的详细步骤，两者具有非常相似的编程风格。我们的工作展示了（i）训练输入集生成方法，（ii）预/后处理，以及（iii）使用Polybench-gpu-1.0，NVIDIA SDK和Rodinia基准的案例研究。
2019-05-18 cs.LG cs.PL stat.ML
Cooperative neural networks (CoNN): Exploiting prior independence structure for improved classification
Georgia Institute of Technology（佐治亚理工学院）；PARC（帕洛阿尔托研究中心）
我们提出了一种新的方法，称为合作神经网络（CoNN），它使用一组合作训练的神经网络，以捕捉潜在的表示，利用事先给定的独立结构。该模型比基于指数族分布的传统图形模型更灵活，但比传统的深度网络或变分自编码器包含更多的域特定先验结构。该框架非常通用，可以用来利用任何图形模型的独立结构。我们说明的技术，我们可以转移到一个合作的神经网络，CoNN-sLDA的流行的潜在狄利克雷分配（LDA）模型的独立结构。CoNN-sLDA在监督文本分类任务上的实证评估表明，先验独立结构的理论优势可以在实践中实现-与最先进的技术相比，我们在具有挑战性的MultiSent数据集上的错误减少了23%。
2019-06-01 cs.LG stat.ML
Exploiting Verified Neural Networks via Floating Point Numerical Error
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
研究人员开发了神经网络验证算法，其动机是需要表征深度神经网络的鲁棒性。验证者希望回答神经网络是否保证空间中所有输入的某些属性。然而，许多验证者不准确地模拟浮点运算，但没有彻底讨论的后果。我们发现，浮点错误的疏忽导致不健全的验证，可以在实践中系统地利用。对于一个预先训练好的神经网络，我们提出了一种方法，有效地搜索输入作为证人的鲁棒性索赔的不正确性由一个完整的验证。我们还提出了一种方法来构建神经网络架构和权重，诱导不完整的验证错误的结果。我们的研究结果强调，要实现实际可靠的神经网络验证，任何验证系统必须准确（或保守）的网络推理或验证系统中的任何浮点计算的影响建模。
2021-10-01 cs.CR cs.LG stat.ML
Exploiting the Full Capacity of Deep Neural Networks while Avoiding Overfitting by Targeted Sparsity Regularization
Westfälische Wilhelms-Universität Münster（明斯特大学）
过度拟合是在相对较小的数据集上训练深度神经网络时最常见的问题之一。在这里，我们证明了神经网络激活稀疏性是过拟合的可靠指标，我们利用它来提出新的有针对性的稀疏性可视化和正则化策略。基于这些策略，我们能够以有针对性的逐层方式理解和抵消由激活稀疏性和滤波器相关性引起的过拟合。我们的研究结果表明，有针对性的稀疏正则化可以有效地用于正则化众所周知的数据集和架构，显着提高图像分类性能，同时优于dropout和批量归一化。最终，我们的研究揭示了对激活稀疏性和网络容量这两个矛盾概念的新见解，证明了有针对性的稀疏性正则化能够实现显著和有区别的特征学习，同时利用深度模型的全部容量，即使在过度训练的情况下也不会出现过度拟合。
2020-02-21 cs.CV cs.LG stat.ML
Exploiting Convolutional Neural Network for Risk Prediction with Medical Feature Embedding
University of Southern California（南加州大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
电子健康记录（EHR）的广泛可用性有望迎来个性化医疗时代。然而，从纵向EHR数据中提取有用的临床表示的问题仍然具有挑战性。在本文中，我们探索了深度神经网络模型与学习的医疗特征嵌入，以处理高维和时间性的问题。具体来说，我们使用多层卷积神经网络（CNN）来参数化模型，从而能够捕捉复杂的非线性纵向演变的EHR。我们的模型可以有效地捕捉EHR中的局部/短时依赖性，这有利于风险预测。为了解决高维问题，我们在CNN模型中使用了嵌入的医学特征，这些特征保持了自然的医学概念。我们最初的实验产生了有希望的结果，并证明了医疗特征嵌入和所提出的卷积神经网络在充血性心力衰竭和糖尿病患者队列的风险预测中与几个强基线相比的有效性。
2017-01-25 cs.LG stat.ML
Exploiting answer-invariant redundancies in satellite imagery for efficient VLM inference on edge
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对卫星图像边缘端VLM推理，提出利用答案不变冗余的Rift系统，通过查询条件分块剪枝与弹性预填充，在Jetson AGX Orin上降低能耗78%、延迟69%，准确率提升至73%。
2026-09-25 cs.CV cs.LG
Exploiting SIFT Descriptor for Rotation Invariant Convolutional Neural Network
Samsung R&D Institute（三星研发所）
本文提出了一种新的方法来开发卷积神经网络中的独特不变特征。所提出的CNN模型使用尺度不变特征变换（SIFT）描述符而不是最大池化层。最大池化层丢弃姿势，即，低级别特征之间的平移和旋转关系，因此无法捕获低级别特征和高级别特征之间的空间层次。SIFT描述符层捕获卷积层提取的特征的方向和空间关系。因此，所提出的SIFT描述符CNN结合了CNN模型的特征提取能力和SIFT描述符的旋转不变性。MNIST和fashionMNIST数据集上的实验结果表明，在文献中可用的传统方法的合理改进。
2019-03-30 cs.CV cs.LG stat.ML
Towards Exploiting Implicit Human Feedback for Improving RDF2vec Embeddings
University of Mannheim（曼海姆大学）
RDF2vec是一种用于从RDF知识图谱创建向量空间嵌入的技术，即，将图中的每个实体表示为向量。它首先通过在图上执行随机游走来创建节点序列。在第二步中，这些序列由word2vec算法处理，以创建实际的嵌入。在本文中，我们探讨了使用外部边缘权重引导随机游动。作为边缘权重，维基百科中页面之间的转移概率被用作边缘重要性的人类反馈的代理。我们表明，在某些情况下，RDF2vec利用这些转移概率可以优于RDF2vec的基础上随机游走，以及使用图的内部边缘权重。
2020-04-09 cs.AI cs.CL cs.LG
Dynamic Stripes: Exploiting the Dynamic Precision Requirements of Activation Values in Neural Networks
University of Toronto（多伦多大学）
Stripes是一种深度神经网络（DNN）加速器，它使用位串行计算来提供与激活值的定点精度成比例的性能。固定点精度是使用剖析先验地确定的，并且以每层粒度选择。本文介绍了动态条纹，条纹的扩展，在运行时检测精度变化，并在更细的粒度。这一额外的精度降低水平使性能比Stripes提高了41%。
2017-06-01 cs.LG cs.NE
Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory
University of Pisa（比萨大学）；University of Padova（帕多瓦大学）
递归神经网络的有效性在很大程度上取决于它们将从不同频率和时间尺度的输入序列中提取的信息存储到动态记忆中的能力。这样的特征可以通过动态存储器的适当模块化引入到神经架构中。在本文中，我们提出了一种新的增量训练的递归架构，明确针对多尺度学习。首先，我们展示了如何通过将其隐藏状态分离到不同的模块中来扩展简单RNN的架构，每个模块以不同的频率对网络隐藏的激活进行子采样。然后，我们讨论了一种训练算法，其中新的模块被迭代地添加到模型中，以逐步学习更长的依赖关系。每个新模块的工作频率都低于前一个模块，并且它被初始化为对隐藏激活的二次采样序列进行编码。在语音识别和手写字符的合成数据集和真实数据集上的实验结果表明，模块化架构和增量训练算法提高了递归神经网络捕获长期依赖关系的能力。
2020-06-29 cs.LG stat.ML
Exploiting Elasticity in Tensor Ranks for Compressing Neural Networks
The University of Hong Kong（香港大学）
在压缩深度神经网络（DNN）时，已经探索了深度、宽度、核大小和分辨率方面的弹性。认识到卷积神经网络（CNN）中的内核是4向张量，我们进一步利用沿输入输出通道的新弹性维度。具体而言，提出了一种新的核范数秩最小化因子分解（NRMF）方法，用于在训练过程中动态全局搜索降低的张量秩。揭示了多层张量秩之间的相关性，并在模型大小和精度之间获得了一个优雅的折衷。实验结果表明，NRMF优于以前的非弹性变分贝叶斯矩阵分解（VBMF）计划。
2021-05-10 cs.LG
Exploiting Inferential Structure in Neural Processes
University of Amsterdam（阿姆斯特丹大学）；RIKEN Center for AI Project（理化学研究所人工智能项目中心）
提出一种允许神经过程潜变量由图模型定义丰富先验的框架，通过消息传递实现端到端优化，在函数建模和测试时鲁棒性上取得改进。
2023-06-27 cs.LG stat.ML
Energy-Efficient Inference on the Edge Exploiting TinyML Capabilities for UAVs
University of Trento（特伦托大学）
近年来，无人驾驶飞行器（UAV）的扩散急剧增加。无人机可以以可靠和具有成本效益的方式完成复杂或危险的任务，但仍然受到功耗问题的限制，这对飞行时间和完成高能耗任务构成了严重制约。以节能方式为无人机提供先进决策能力的可能性将是非常有益的。在本文中，我们提出了一个实用的解决方案，利用边缘上的深度学习来解决这个问题。开发的系统将OpenMV微控制器集成到DJI Tello微型飞行器（MAV）中。微控制器托管一组支持机器学习的推理工具，这些工具协作以控制无人机的导航并完成给定的任务目标。这种方法的目标是通过OpenMV利用TinyML的新机会主义功能，包括离线推理，低延迟，能源效率和数据安全性。该方法是成功地验证了一个实际的应用程序，包括在拥挤的环境中佩戴防护口罩的人的车载检测。
2021-11-30 cs.LG cs.RO
Learn one size to infer all: Exploiting translational symmetries in delay-dynamical and spatio-temporal systems using scalable neural networks
Instituto de Física Interdisciplinar y Sistemas Complejos (IFISC, UIB-CSIC)（跨学科物理与复杂系统研究所（IFISC，UIB-CSIC））
本文提出利用平移对称性的可扩展神经网络，仅通过单一尺寸训练即可推断不同尺寸延迟动力与时空系统的动力学及完整分岔图。
2024-07-05 cs.LG nlin.AO
Exploiting Non-Linear Redundancy for Neural Model Compression
Carnegie Mellon University（卡内基梅隆大学）
部署由数百万甚至数十亿参数的非线性组合组成的深度学习模型具有挑战性，因为现实世界存在内存、功耗和计算限制。这种情况导致了对模型压缩技术的研究，其中大部分依赖于次最优算法，并且不考虑由于过参数化网络中神经元激活之间的线性依赖而导致的参数冗余。在本文中，我们提出了一种新的模型压缩方法的基础上开发的线性相关性，压缩网络的消除整个神经元和重新分配其激活的方式，证明是无损的，而训练。我们将这种方法与退火算法相结合，该算法可以在训练过程中应用，甚至可以在训练模型上应用，并使用流行的数据集证明，我们的方法可以在整体网络大小减少高达99%的情况下，性能损失很小。此外，我们提供的理论结果表明，在存在冗余特征的过参数化局部线性（ReLU）神经网络中，通过正确的超参数选择，我们的方法确实能够捕获和抑制这些依赖关系。
2020-05-28 cs.LG stat.ML
Towards Efficient MCMC Sampling in Bayesian Neural Networks by Exploiting Symmetry
Technical University of Munich（慕尼黑工业大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；The University of Manchester（曼彻斯特大学）
针对贝叶斯神经网络中MCMC采样成本高且后验多模态的难题，提出利用神经元可互换性等对称性将后验限制在无对称参数集，并推导出所需链数上限，实现了高效且准确的贝叶斯推断。
2023-04-06 cs.LG stat.ML
Exploiting Subgradient Sparsity in Max-Plus Neural Networks
Image, Data, Signal Department (IDS), Telecom Paris, Institut Polytechnique de Paris, France（图像、数据、信号部门（IDS），Telecom Paris，巴黎政治学院，法国）
本文提出了一种利用Max-Plus神经网络中亚梯度稀疏性的优化方法，通过稀疏亚梯度算法提升训练效率并保持理论保证。
2026-03-04 cs.LG stat.ML
The Self-Simplifying Machine: Exploiting the Structure of Piecewise Linear Neural Networks to Create Interpretable Models
Carnegie Mellon University（卡内基梅隆大学）
如今，用户对他们使用的模型的信任比以往任何时候都更加重要。随着机器学习模型受到越来越多的监管审查，并开始在高风险情况下看到更多的应用，解释我们的模型变得至关重要。具有ReLU激活函数的分段线性神经网络（PLNN）由于许多吸引人的特性而迅速成为非常受欢迎的模型;然而，它们在鲁棒性和解释方面仍然存在许多挑战。为此，我们引入了新的方法来简化和增加分段线性神经网络的分类任务的可解释性。我们的方法包括使用经过训练的深度网络来生成性能良好的单隐藏层网络，而无需进一步的随机训练，此外还使用一种算法将平面网络减少到更小，更可解释的大小，同时性能损失最小。在这些方法中，我们进行了初步的研究模型的性能，以及富国银行的家庭贷款数据集的案例研究，连同可视化模型解释。
2020-12-02 cs.AI cs.LG stat.ML
Exploiting Vulnerabilities in Deep Neural Networks: Adversarial and Fault-Injection Attacks
Technische Universität Wien (TU Wien)（维也纳工业大学）；New York University Abu Dhabi (NYUAD)（纽约大学阿布扎比分校）
从微小的起搏器芯片到飞机防撞系统，最先进的网络物理系统（CPS）越来越多地开始依赖深度神经网络（DNN）。然而，正如各种研究所得出的结论，DNN非常容易受到安全威胁，包括对抗攻击。在本文中，我们首先讨论了不同的漏洞，可以利用生成安全攻击的神经网络为基础的系统。然后，我们概述了DNN上现有的对抗性和基于故障注入的攻击。我们还进行了简短的分析，以强调实际实施对抗攻击时面临的不同挑战。最后，我们还讨论了开发健壮的基于DNN的系统的各种潜在方法，这些系统可以抵御对抗性攻击和故障注入攻击。
2021-05-05 cs.CR cs.LG
Exploiting Cyclic Symmetry in Convolutional Neural Networks
Google DeepMind（谷歌DeepMind）
许多类别的图像表现出旋转对称性。有时使用数据增强来训练卷积神经网络以利用这一点，但它们仍然需要从数据中学习旋转等方差特性。将这些属性编码到网络架构中，就像我们已经习惯于使用卷积层进行平移等方差一样，可以通过减轻模型的学习来更有效地使用参数预算。我们引入了四种操作，它们可以作为层插入到神经网络模型中，并且可以组合起来使这些模型与旋转部分等变。它们还支持在不同方向上共享参数。我们评估了这些架构修改对三个数据集的影响，这些数据集表现出旋转对称性，并在较小的模型中表现出更好的性能。
2016-05-26 cs.CV cs.LG cs.NE
Exploiting Channel Similarity for Accelerating Deep Convolutional Neural Networks
Shanghai Jiao Tong University（上海交通大学）
为了解决现有基于幅度的修剪算法在模型权重或激活量较大且幅度相似的情况下的局限性，我们提出了一种新的视角来发现通道之间的参数冗余，并通过通道修剪来加速深度CNN。确切地说，我们认为，渠道揭示类似的功能信息有功能重叠，每个这样的相似性组内的大多数渠道可以被删除，而不损害模型的代表性的权力。在通过概率建模推导出一个有效的度量来评估信道相似性之后，我们引入了一个通过信道层次聚类的剪枝算法。特别是，该算法不依赖于稀疏训练技术或复杂的数据驱动优化，可以直接应用于预先训练的模型。在基准数据集上进行的大量实验有力地证明了我们的方法优于现有技术的加速性能。在ImageNet上，我们修剪的ResNet-50减少了30%的FLOP，优于基线模型。
2019-08-06 cs.CV cs.LG stat.ML
Delay Neural Networks (DeNN) for exploiting temporal information in event-based datasets
CNRS（法国国家科学研究中心）；I3S（信息科学与系统实验室）
提出延迟神经网络（DeNN），利用突触延迟和脉冲时间信息，在图像和事件驱动数据集上以更少参数和能耗获得良好性能。
2025-01-10 cs.LG cs.NE
Exploiting Neural-Network Statistics for Low-Power DNN Inference
NXP Semiconductors（恩智浦半导体）；University of Bremen（不来梅大学）
针对DNN执行中互连与片上存储的功耗瓶颈，提出结合无开销编码与神经网络数据参数统计分析的边缘AI低功耗推理技术，在无精度损失、硬件开销可忽略的情况下显著降低存储、互连及计算块功耗。
2023-11-09 cs.AR cs.LG
ASAP: Exploiting the Satisficing Generalization Edge in Neural Combinatorial Optimization
针对神经组合优化模型在分布偏移下的脆弱性，提出ASAP框架，通过将决策分解为提案和选择两阶段，并利用MAML增强在线适应能力，在3D-BPP、TSP和CVRP上提升了泛化性能。
2026-06-02 cs.AI cs.LG
Improving Session Recommendation with Recurrent Neural Networks by Exploiting Dwell Time
University of Würzburg（维尔茨堡大学）；L3S Research Center（L3S研究中心）
最近，循环神经网络（RNN）已被应用于基于会话的推荐任务。这些方法使用RNN来预测用户会话中的下一个项目，基于错误访问的项目。虽然一些方法考虑额外的项目属性，我们认为，项目停留时间可以作为一个隐式的用户兴趣的措施，以改善基于会话的项目推荐。我们提出了一个扩展现有的RNN方法，捕获用户停留时间，除了访问的项目，并显示推荐性能可以提高。此外，我们调查的有用性的一个单一的验证分裂模型选择的情况下，轻微的改进，并发现，在我们的情况下，最好的模型没有被选中，一个折叠样的研究与不同的验证集是必要的，以确保选择最好的模型。
2017-06-30 cs.IR cs.LG
Boosting neural video codecs by exploiting hierarchical redundancy
Qualcomm AI Research（高通人工智能研究院）
在视频压缩中，通过经由运动和残差补偿重新使用来自先前解码的帧的像素来提高编码效率。我们在视频帧中定义了两个等级的分层冗余：1）一阶：像素空间中的冗余，即，跨相邻帧的像素值的相似性，这是使用运动和残差补偿有效地捕获的，2）二阶：由于自然视频中的平滑运动而导致的运动和残差图中的冗余。虽然大多数现有的神经视频编码文献解决了一阶冗余，我们解决了通过预测器捕获神经视频编解码器中的二阶冗余的问题。我们介绍了通用的运动和残差预测，学习从以前解码的数据外推。这些预测器是轻量级的，可以与大多数神经视频编解码器一起使用，以提高其率失真性能。此外，虽然RGB是神经视频编码文献中的主要色彩空间，但我们介绍了神经视频编解码器的一般修改，以包含YUV 420色彩空间并报告YUV 420结果。我们的实验表明，使用我们的预测器与一个著名的神经视频编解码器导致38%和34%的比特率节省RGB和YUV420色彩空间上测量的UVG数据集。
2022-09-16 cs.CV cs.LG cs.MM
Exploiting a Stimuli Encoding Scheme of Spiking Neural Networks for Stream Learning
TECNALIA（泰克纳利亚）；Télécom ParisTech（巴黎电信学院）；University of Waikato（怀卡托大学）；Basque Center for Applied Mathematics (BCAM)（巴斯克应用数学中心）；University of the Basque Country UPV/EHU（巴斯克大学（UPV/EHU））
随着新的流应用和大数据场景的到来，流数据处理已经获得了进步的势头。流学习中最有前途的技术之一是脉冲神经网络，其中一些使用有趣的群体编码方案将传入的刺激转换为尖峰。这项研究揭示了这种编码方案的关键问题，高斯感受野，并专注于将它们作为预处理技术应用于任何数据集，以获得代表性，并提高流学习方法的预测性能。合成和真实数据集的实验，并导致确认，我们的方法可以成功地应用于许多实际情况下，作为一个通用的预处理技术。
2019-07-23 cs.AI cs.LG cs.NE
Exploiting Invariance in Training Deep Neural Networks
Amazon Web Services（亚马逊云科技）
受动物视觉系统中两种基本机制的启发，我们引入了一种特征变换技术，该技术在深度神经网络的训练中具有不变性。由此产生的算法需要较少的参数调整，训练良好的初始学习率1.0，并很容易推广到不同的任务。我们使用数据中的局部统计数据来实现尺度不变性，以在不同尺度下对齐相似的样本。为了加速收敛，我们使用从一批数据中提取的全局统计信息来强制GL（n）不变性，使得梯度下降解在基变化下保持不变。分析显示，我们提出的修改占用了底层卷积层5%的计算量。在卷积网络和Transformer网络上进行测试，我们提出的技术需要更少的迭代来进行训练，大大超过所有基线，无缝地工作在小批量和大批量训练上，并适用于不同的计算机视觉和语言任务。
2021-12-09 cs.AI cs.CV cs.LG
Exploiting Neuron and Synapse Filter Dynamics in Spatial Temporal Learning of Deep Spiking Neural Network
Syracuse University（雪城大学）
最近发现的生物启发的脉冲神经网络（SNN）的时空信息处理能力，使一些有趣的模型和应用。然而，由于缺乏鲁棒的训练算法，设计大规模和高性能的模型仍然是一个挑战。具有时空特性的生物似然SNN模型是一个复杂的动态系统。每个突触和神经元都像过滤器一样，能够保存时间信息。由于现有的训练算法忽略了神经元动力学和滤波器效应，SNN退化为无记忆系统，失去了时域信号处理能力。此外，锋电位时序在信息表示中起着重要作用，但传统的基于速率的锋电位编码模型只考虑锋电位序列的统计特性，而忽略了其时序结构所携带的信息。为了解决上述问题，并利用SNN的时间动态，我们制定SNN作为一个网络的无限脉冲响应（IIR）滤波器与神经元非线性。我们提出了一种训练算法，能够学习时空模式，通过搜索最佳的突触过滤器内核和权重。将所提出的模型和训练算法应用于MNIST、NMNIST、DVS 128等合成数据集和公共数据集的联想记忆和分类器的构造;并且它们的准确性优于现有技术的方法。
2020-07-26 cs.LG cs.NE stat.ML
Exploiting Noise as a Resource for Computation and Learning in Spiking Neural Networks
Zhejiang University（浙江大学）；Zhejiang University of Technology（浙江工业大学）
本文提出嘈杂脉冲神经网络（NSNN）与噪声驱动学习规则（NDL），通过引入嘈杂神经元动力学利用噪声的计算优势，使模型具备可扩展、灵活且可靠的计算能力，在性能、鲁棒性和概率计算再现上优于确定性SNNs。
2023-09-15 cs.AI cs.LG cs.NE
Exploiting Spline Models for the Training of Fully Connected Layers in Neural Network
Zhejiang University, UIUC Institute（浙江大学UIUC学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
全连接层是人工神经网络（ANN）中最基本的模块之一，由于其大量的参数而导致的过拟合风险等问题，常常被认为是训练困难和低效的。基于以前的工作研究人工神经网络从线性样条的角度来看，我们提出了一种基于样条的方法，减轻了训练FC层的难度。对于给定的数据集，我们首先通过样条方法（如多元自适应回归样条（MARS））获得连续分段线性（CPWL）拟合。接下来，我们从线性样条模型构建ANN模型，并使用梯度下降优化算法在数据集上继续训练ANN模型。我们的实验结果和理论分析表明，我们的方法降低了计算成本，加快FC层的收敛，并显着增加了所得到的模型（FC层）的可解释性相比，标准的人工神经网络训练与随机参数初始化，然后梯度下降优化。
2021-02-12 cs.AI cs.LG
TensorDash: Exploiting Sparsity to Accelerate Deep Neural Network Training and Inference
University of Toronto（多伦多大学）；Cerebras Systems（赛雷布拉斯系统公司）；Vector Institute（向量研究所）
TensorDash是一种硬件级技术，用于使数据并行MAC单元能够利用其输入操作数流中的稀疏性。当用于构成深度学习的硬件加速器时，TensorDash可以加快训练过程，同时提高能源效率。TensorDash将低成本、稀疏输入操作数互连与面积高效的硬件调度器相结合，该互连包括每个乘法器输入的8输入多路复用器。虽然互连允许每个操作数的非常有限的移动集合，但是当稀疏性存在于神经网络的激活、权重或梯度中时，调度器可以有效地提取稀疏性。在涵盖各种应用的广泛模型集合中，TensorDash通过$1.95{\times}$加速训练过程，同时在考虑片上和片外内存访问时，$1.89\times$更节能，$1.6\times$更节能。虽然TensorDash适用于任何数据类型，但我们使用单精度浮点单元和bfloat16来演示它。
2020-09-01 cs.AR cs.LG
MIMONets: Multiple-Input-Multiple-Output Neural Networks Exploiting Computation in Superposition
IBM Research（IBM研究院）；ETH Zurich（苏黎世联邦理工学院）
本文提出MIMONets，通过变量绑定、整体非线性变换与解绑机制叠加处理多个输入，并在CNN和Transformer上验证其可在小幅精度损失下获得2至4倍推理加速。
2023-12-05 cs.AI cs.LG stat.ML
SparseNN: An Energy-Efficient Neural Network Accelerator Exploiting Input and Output Sparsity
Department of Electronic and Computer Engineering, Hong Kong University of Science and Technology（香港科技大学电子及计算机工程学系）
当代深度神经网络（DNN）包含数百万个突触连接，具有数十到数百层。大的计算量和存储器需求对硬件设计提出了挑战。在这项工作中，我们利用DNN固有的激活稀疏性来大幅减少执行周期和能耗。提出了一种端到端的训练算法来开发一个轻量级的运行时预测器，用于动态输出激活稀疏性。从我们的实验结果来看，预测阶段的计算开销可以减少到原始前馈阶段的5%以下，精度损失可以忽略不计。此外，一个节能的硬件架构，SparseNN，提出了利用输入和输出稀疏。SparseNN是一种可扩展的架构，具有通过专用片上网络连接的分布式存储器和处理元件。与只利用输入稀疏性的最先进的加速器相比，SparseNN可以实现10%-70%的吞吐量提高和约50%的功耗降低。
2017-11-03 cs.AR cs.LG
Adversarial Attacks against Neural Networks in Audio Domain: Exploiting Principal Components
Conestoga College（康尼斯托加学院）；Drexel University（德雷塞尔大学）
对抗攻击是与原始输入类似但故意改变的输入。目前广泛使用的语音到文本神经网络容易对对抗攻击进行错误分类。在这项研究中，首先，我们调查的存在有针对性的对抗攻击通过改变波形从普通的声音数据集。我们通过连接主义时间分类损失函数制作对抗波形，并攻击DeepSpeech，这是Mozilla实现的语音到文本的神经网络。我们在制作的所有25种对抗波形上实现了100%的对抗成功率（DeepSpeech分类成功率为零）。其次，我们研究了使用PCA作为防御机制对抗对抗攻击。我们通过将PCA应用于我们创建的这25种攻击来降低维度，并针对DeepSpeech进行测试。我们观察到DeepSpeech的零成功分类，这表明PCA不是音频域中的良好防御机制。最后，我们没有使用PCA作为防御机制，这次我们使用PCA在黑盒设置下以最少的对抗性知识制作对抗性输入。在不了解模型、参数或权重的情况下，我们通过将PCA应用于Common Voice数据集的样本来制作对抗攻击，并在针对DeepSpeech的测试中再次在黑盒设置下实现100%的对抗成功。我们还实验了不同的百分比的组件，需要在攻击过程中的分类结果。在所有情况下，对手都成功了。
2021-01-13 cs.CR cs.LG stat.ML
A Survey on Low-Resource Neural Machine Translation
Microsoft Research Asia（微软亚洲研究院）
神经方法已经在机器翻译上实现了最先进的准确性，但是遭受收集大规模并行数据的高成本。因此，已经对具有非常有限的并行数据的神经机器翻译（NMT）进行了大量研究，即，低资源配置。本文综述了低资源的NMT，并根据其使用的辅助数据将相关工作分为三类：（1）利用源语言和/或目标语言的单语数据，（2）利用辅助语言的数据，（3）利用多模态数据。我们希望我们的调查能够帮助研究人员更好地了解该领域并激励他们设计更好的算法，并帮助行业从业者为他们的应用选择合适的算法。
2021-07-09 cs.CL cs.LG
Exploiting Chaotic Dynamics as Deep Neural Networks
Graduate School of Information Science and Technology, The University of Tokyo（东京大学情报理工学系研究科）；Graduate School of Informatics, Kyoto University（京都大学情报学研究科）
该研究揭示混沌本质存在于多种深度神经网络中，并提出直接利用混沌动力学构建深度学习架构的新方法，在多个混沌系统上取得优于传统网络的准确率、收敛速度与效率，为混沌与机器学习和神经形态计算的融合开辟了新路径。
2024-05-29 cs.LG cs.NE
Exploiting Transductive Property of Graph Convolutional Neural Networks with Less Labeling Effort
Adana Alparslan Turkes Science and Technology University（阿达纳·阿尔帕斯兰·图尔凯斯科学技术大学）
近年来，基于图数据的机器学习方法已经变得非常流行。据观察，通过在构成模型数据的数据样本之间包括隐式或显式逻辑连接，可以获得显著的结果。在这种情况下，发展中的GCN模型已经做出了显着的实验贡献与卷积滤波器应用于图形数据。该模型采用了“Transductive”和“半监督学习”方法。由于其传导性质，所有部分标记的数据样本都作为模型的输入。标签，这是一个成本，是非常重要的。在本研究的范围内，试图回答以下研究问题：如果至少有多少个样本被标记，最佳模型的成功实现？此外，一些实验的贡献已经取得了模型的准确性，无论是使用固定的标签工作的采样方法。实验表明，局部中心性度量可以提高模型的成功率。
2021-05-01 cs.AI cs.LG
Individualized Deepfake Detection Exploiting Traces Due to Double Neural-Network Operations
NC State University（北卡罗来纳州立大学）
针对特定公众人物的深度伪造检测问题，提出利用神经网络幂等性进行双重操作以优化检测器，使AUC提升至0.94，并发布了包含45位公众人物约3.2万张图像的数据集。
2025-04-04 cs.CR cs.CV cs.LG
Exploiting Edge Features for Transferable Adversarial Attacks in Distributed Machine Learning
Department of Excellence in Robotics and AI, TeCIP, Scuola Superiore Sant'Anna（机器人与人工智能卓越部门，TeCIP，圣安娜高等学院）；Department of Electrical and Electronic Engineering, University of Cagliari（电气与电子工程系，卡利亚里大学）
本研究针对分布式机器学习中模型拆分部署的安全漏洞，提出利用拦截的中间特征构建替代模型以生成高可迁移对抗样本的方法，实验证明该方法显著提升攻击迁移性，凸显了中间特征泄漏的紧迫性。
2025-07-09 cs.AI cs.LG
Survey of Attacks and Defenses on Edge-Deployed Neural Networks
Adaptive and Secure Computing Systems (ASCS) Laboratory（自适应与安全计算系统（ASCS）实验室）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
深度神经网络（DNN）的工作负载正在从数据中心快速转移到边缘设备上，这是出于延迟、隐私或能源方面的原因。虽然数据中心网络可以使用传统的网络安全措施进行保护，但边缘神经网络带来了许多新的安全挑战。与经典的物联网应用不同，边缘神经网络通常是计算和内存密集型的，其执行与数据无关，并且对噪声和故障具有鲁棒性。神经网络模型的开发可能非常昂贵，并且可能会泄露有关它们所训练的私有数据的信息，需要在分发时特别小心。网络的隐藏状态和输出也可以用于重构用户输入，这可能会侵犯用户的隐私。此外，神经网络容易受到对抗攻击的攻击，这可能导致错误分类并破坏输出的完整性。这些属性在保护边缘部署的DNN时增加了挑战，需要新的考虑因素，威胁模型，优先级和方法来安全和私密地将DNN部署到边缘。在这项工作中，我们涵盖了对部署在边缘设备中的神经网络的攻击和防御，并提供了针对边缘DNN的攻击和防御的分类。
2019-11-27 cs.CR cs.LG stat.ML
LioNets: A Neural-Specific Local Interpretation Technique Exploiting Penultimate Layer Information
人工智能（AI）几乎在每个方面都对技术的意外增长产生了巨大的影响。人工智能驱动的系统正在监测和决定敏感的经济和社会问题。未来是走向自动化的，这是不可阻挡的。然而，这对很多人来说是一个矛盾的观点，因为他们害怕不可控的人工智能系统。如果这种关切是出于与社会问题有关的考虑，如性别偏见或模糊的决策制度，那么这种关切可能是合理的。可解释AI（XAI）最近被视为迈向可靠系统的一大步，增强了人们对AI的信任。可解释机器学习（IML）是XAI的一个子领域，也是一个迫切的研究课题。本文提出了一个小的，但重要的贡献IML社区，专注于本地的，神经特定的解释过程中应用到文本和时间序列数据。所提出的方法引入了新的方法来呈现基于特征重要性的解释，以及在文本数据集上产生反事实词。最后，一个改进的评价指标的解释技术的评估，它支持一个广泛的定性和定量的实验。
2021-04-13 cs.AI cs.LG
Efficient Online Learning with Predictive Coding Networks: Exploiting Temporal Correlations
Institute for Informatics, University of Munich (LMU)（信息学院，慕尼黑大学（LMU））
在边缘运行的机器人系统需要高效的在线学习算法，可以在处理流式传感数据的同时不断适应不断变化的环境。传统的反向传播虽然有效，但与生物相容性原则相冲突，并且对于连续适应情景可能是次优的。预测编码（PC）框架提供了一种生物学上合理的替代方案，具有局部的、类似赫布的更新规则，使其适合于神经形态硬件实现。然而，PC的主要限制是由于训练期间的多次推理迭代而导致的计算开销。我们提出了时间摊销预测编码网络（PCN-TA），它保留了跨时间帧的潜在状态。通过利用时间相关性，PCN-TA显著降低了计算需求，同时保持了学习性能。我们在COIL-20机器人感知数据集上的实验表明，与反向传播相比，PCN-TA的权重更新减少了10%，并且比基线PC网络所需的推理步骤减少了50%。这些效率的提高直接转化为减少的计算开销，从而在资源受限的机器人系统中向边缘部署和实时适应支持迈进了一步。我们的方法受生物启发的性质也使其成为未来神经形态硬件实现的有希望的候选者，从而实现边缘的高效在线学习。
2025-10-29 cs.LG cs.NE
CoNLoCNN: Exploiting Correlation and Non-Uniform Quantization for Energy-Efficient Low-precision Deep Convolutional Neural Networks
New York University Abu Dhabi（纽约大学阿布扎比分校）；Technische Universität Wien (TU Wien)（维也纳工业大学）；Politecnico di Torino（都灵理工大学）
在当今智能网络物理系统的时代，深度神经网络（DNN）由于其在复杂的现实世界应用中的最先进性能而变得无处不在。这些网络的高计算复杂性转化为增加的能耗，是在资源受限系统中部署大型DNN的最大障碍。通过训练后量化实现的定点（FP）实现通常用于减少这些网络的能耗。然而，FP中的均匀量化间隔将数据结构的比特宽度限制为大值，这是由于需要以足够的分辨率表示大多数数字并避免高量化误差。在本文中，我们利用了关键的见解，即（在大多数情况下）DNN权重和激活大多集中在零附近，只有少数具有较大的幅度。我们提出了CoNLoCNN，这是一种通过利用以下内容实现节能低精度深度卷积神经网络推理的框架：（1）权重的非均匀量化，从而简化复杂的乘法运算;以及（2）激活值之间的相关性，从而能够以低成本部分补偿量化误差，而无需任何运行时开销。为了从非均匀量化中显著受益，我们还提出了一种新的数据表示格式，编码低精度二进制有符号数字，以压缩权重的位宽，同时确保直接使用编码权重进行处理，使用新的乘法和累加（MAC）单元设计。
2022-07-31 cs.AR cs.LG
Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity
Qatar University（卡塔尔大学）；Izmir University of Economics（伊兹密尔经济大学）；Aarhus University（奥胡斯大学）；Tampere University（坦佩雷大学）
最近提出的网络模型，操作神经网络（ONNs），可以推广传统的卷积神经网络（CNN），只有一个线性神经元模型是同质的。作为异构网络模型，ONN基于广义神经元模型，该广义神经元模型可以封装任何非线性算子集以提高多样性并以最小的网络复杂度和训练数据学习高度复杂和多模态的函数或空间。然而，在ONN中寻找最佳算子的默认搜索方法，即所谓的贪婪迭代搜索（GIS）方法，通常需要几个训练会话才能找到每层的单个算子集。这不仅在计算上要求很高，而且网络的异质性也受到限制，因为同一组运算符将用于每一层中的所有神经元。为了解决这一缺陷，并利用更高水平的异质性，在这项研究中，重点是基于突触可塑性范式，提出了生物神经元的基本学习理论，为网络的隐藏神经元搜索最佳可能的算子集。在训练期间，库中的每个运算符集可以通过它们的突触可塑性水平来评估，从最差到最好进行排名，然后可以使用在每个隐藏层处找到的排名最高的运算符集来配置精英ONN。在高度挑战性问题上的实验结果表明，即使只有很少的神经元和层，精英ONN也可以实现比基于GIS的ONN更好的学习性能，因此与CNN的性能差距进一步扩大。
2020-08-21 cs.LG cs.NE stat.ML
Exploiting Low-Rank Tensor-Train Deep Neural Networks Based on Riemannian Gradient Descent With Illustrations of Speech Processing
Georgia Institute of Technology（佐治亚理工学院）；IBM Research（IBM研究院）；Universidad San Pablo-CEU, CEU Universities（CEU大学圣巴勃罗校区）
本文的工作重点是通过考虑模型复杂度和实际性能之间的权衡来设计低复杂度的混合张量网络。首先，我们利用低阶张量训练深度神经网络（TT-DNN）来构建端到端的深度学习流水线，即LR-TT-DNN。其次，将LR-TT-DNN与卷积神经网络（CNN）相结合，建立了一个混合模型，表示为CNN+（LR-TT-DNN），以提高性能。我们利用黎曼梯度下降来确定与小TT秩相关联的TT-DNN，而不是随机地为TT-DNN分配大TT秩。此外，CNN+（LR-TT-DNN）由底部的用于特征提取的卷积层和顶部的几个TT层组成，以解决回归和分类问题。我们分别评估了LR-TT-DNN和CNN+（LR-TT-DNN）模型对语音增强和口述命令识别任务的影响。我们的经验证据表明，具有较少模型参数的LR-TT-DNN和CNN+（LR-TT-DNN）模型可以优于TT-DNN和CNN+（TT-DNN）模型。
2022-03-11 cs.AI cs.LG cs.SD
Exploiting Sparsity in Pruned Neural Networks to Optimize Large Model Training
University of Maryland（马里兰大学）
提出利用剪枝神经网络的稀疏性优化数据并行和层间并行中的内存与通信，集成于AxoNN框架，在512块V100 GPU上实现27亿参数模型内存减少74%、通信时间减少40%，整体加速34%。
2023-05-14 cs.AI cs.DC cs.LG
Exploiting Spatio-Temporal Structure with Recurrent Winner-Take-All Networks
University of Florida（佛罗里达大学）；Universidad de los Andes（安第斯大学）
我们提出了一种卷积递归神经网络，具有Winner-Take-All dropout，用于多维时间序列中的高维无监督特征学习。我们将所提出的方法应用于视频中具有时间上下文的对象识别，并获得了比文献中的可比方法更好的结果，包括Chalasani和Principe先前提出的深度预测编码网络。我们的贡献可以总结为对通过时间反向传播训练的端到端深度预测编码网络的可扩展重新解释，将先前提出的Winner-Take-All Autoencoders扩展到时间序列，以及用于初始化和正则化卷积递归神经网络的新技术。
2017-03-15 cs.CV cs.LG
Exploring and Exploiting the Asymmetric Valley of Deep Neural Networks
School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
本研究系统探究深度神经网络损失谷非对称性的影响因素，发现噪声与收敛点的符号一致性是关键指标，并用ReLU和softmax理论解释，为模型融合与联邦学习提供新思路。
2024-10-09 cs.AI cs.LG
UCNN: Exploiting Computational Reuse in Deep Neural Networks via Weight Repetition
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）
卷积神经网络（CNN）由于其每次操作的高精度和机器效率，已经开始渗透到电子社会的各个角落（从话音识别到场景生成）。在其核心，CNN计算由权重和输入向量之间的多维点积组成。本文研究了如何在CNN推理过程中利用权重重复--当相同的权重在权重向量中或权重向量之间多次出现时--来节省能量并提高性能。这概括了从CNN权重稀疏性提高效率的流行工作路线，因为由于重复的零权重而减少计算是由于重复的权重而减少计算的特殊情况。为了利用权重重复，本文提出了一种新的CNN加速器，称为唯一权重CNN加速器（UCNN）。UCNN使用权重重复来重用CNN子计算（例如，点积），并在存储在片外DRAM中时减小CNN模型大小-这两者都节省了能量。UCNN通过利用权重的稀疏性进一步提高了性能。我们使用加速器级循环和能量模型以及UCNN处理元素的RTL实现来评估UCNN。在三个当代CNN上，相对于使用Eyeriss风格稀疏优化的类似配置的基线加速器，UCNN将吞吐量归一化能耗提高了1.2 - 4倍。与此同时，UCNN处理元素相对于相同的基线仅增加了17-24%的面积开销。
2018-04-18 cs.LG cs.NE
Skydiver: A Spiking Neural Network Accelerator Exploiting Spatio-Temporal Workload Balance
University of Shanghai for Science and Technology（上海理工大学）；Institute of Photonic Chips（光子芯片研究院）；University of Zürich（苏黎世大学）；ETH Zürich（苏黎世联邦理工学院）；Institute of Neuroinformatics（神经信息学研究所）
针对SNN硬件推理中时空稀疏性造成的工作负载不均衡问题，提出FPGA加速器Skydiver，通过APRC按通道预测负载并以CBWS调度，使均衡率超过90%，在分割与分类任务中提升吞吐并实现低能耗高精度。
2022-03-14 cs.AR cs.CV cs.LG
MobileNeRF: Exploiting the Polygon Rasterization Pipeline for Efficient Neural Field Rendering on Mobile Architectures
Google Research（谷歌研究院）；Simon Fraser University（西蒙菲莎大学）；University of Toronto（多伦多大学）
本文提出 MobileNeRF，将神经辐射场表示为带纹理多边形，利用传统光栅化管线与片段着色器中的小型 MLP 实现高效渲染，在手机等平台上达到交互式帧率。
2023-05-30 cs.CV cs.GR cs.LG
