Exploiting Problem Structure in Deep Declarative Networks: Two Case Studies
Australian National University（澳大利亚国立大学）；University of Oxford（牛津大学）；Technion（以色列理工学院）
深度声明网络和其他最近的相关工作已经展示了如何区分（连续）参数化优化问题的解映射，从而开辟了将数学优化问题嵌入到端到端可学习模型中的可能性。这些可微性结果可以通过提供用于计算导数的表达式而无需在向后传递期间展开向前传递优化过程的步骤来导致显著的存储器节省。然而，结果通常需要求逆一个大的Hessian矩阵，这在简单实现时是计算昂贵的。在这项工作中，我们研究了深度声明性网络的两个应用-鲁棒的向量池和最优传输-并展示了如何利用问题结构来获得非常有效的时间和内存方面的向后传递计算。我们的想法可以作为指导，以提高其他新的深度声明节点的计算性能。
2022-02-24 cs.LG
Survey: Exploiting Data Redundancy for Optimization of Deep Learning
North Carolina State University（北卡罗来纳州立大学）；William & Mary（威廉与玛丽学院）；Northeastern University（东北大学）
数据冗余普遍存在于深度神经网络（DNN）的输入和中间结果中。它为提高DNN的性能和效率提供了许多重要的机会，并且已经在大量的工作中进行了探索。这些研究分散在许多地点，跨越几年。他们关注的目标范围从图像到视频和文本，他们用来检测和利用数据冗余的技术也在许多方面有所不同。目前还没有一个系统的检查和总结的许多努力，使研究人员很难得到一个全面的看法，以前的工作，最先进的状态，差异和共同的原则，以及领域和方向尚未探索。本文试图填补这一空白。它调查了最近数百篇关于这个主题的论文，介绍了一种新的分类法，将各种技术放入一个单一的分类框架中，全面描述了用于利用数据冗余来改进多种DNN的主要方法，并指出了一系列未来探索的研究机会。
2022-08-29 cs.LG
Offset Sampling Improves Deep Learning based Accelerated MRI Reconstructions by Exploiting Symmetry
Facebook AI Research（Facebook人工智能研究）；fastMRI team（fastMRI团队）
加速MRI的深度学习方法将采样的傅立叶空间线矩阵作为输入，并生成空间图像作为输出。在这项工作中，我们表明，通过仔细选择在采样过程中使用的偏移量，在k空间中的对称性可以更好地利用，产生更高质量的重建比标准的等距样本或随机样本的动机压缩感知。
2020-02-04 cs.CV cs.LG eess.IV
Exploiting the Full Capacity of Deep Neural Networks while Avoiding Overfitting by Targeted Sparsity Regularization
Westfälische Wilhelms-Universität Münster（明斯特大学）
过度拟合是在相对较小的数据集上训练深度神经网络时最常见的问题之一。在这里，我们证明了神经网络激活稀疏性是过拟合的可靠指标，我们利用它来提出新的有针对性的稀疏性可视化和正则化策略。基于这些策略，我们能够以有针对性的逐层方式理解和抵消由激活稀疏性和滤波器相关性引起的过拟合。我们的研究结果表明，有针对性的稀疏正则化可以有效地用于正则化众所周知的数据集和架构，显着提高图像分类性能，同时优于dropout和批量归一化。最终，我们的研究揭示了对激活稀疏性和网络容量这两个矛盾概念的新见解，证明了有针对性的稀疏性正则化能够实现显著和有区别的特征学习，同时利用深度模型的全部容量，即使在过度训练的情况下也不会出现过度拟合。
2020-02-21 cs.CV cs.LG stat.ML
Exploiting Vulnerabilities in Deep Neural Networks: Adversarial and Fault-Injection Attacks
Technische Universität Wien (TU Wien)（维也纳工业大学）；New York University Abu Dhabi (NYUAD)（纽约大学阿布扎比分校）
从微小的起搏器芯片到飞机防撞系统，最先进的网络物理系统（CPS）越来越多地开始依赖深度神经网络（DNN）。然而，正如各种研究所得出的结论，DNN非常容易受到安全威胁，包括对抗攻击。在本文中，我们首先讨论了不同的漏洞，可以利用生成安全攻击的神经网络为基础的系统。然后，我们概述了DNN上现有的对抗性和基于故障注入的攻击。我们还进行了简短的分析，以强调实际实施对抗攻击时面临的不同挑战。最后，我们还讨论了开发健壮的基于DNN的系统的各种潜在方法，这些系统可以抵御对抗性攻击和故障注入攻击。
2021-05-05 cs.CR cs.LG
TensorDash: Exploiting Sparsity to Accelerate Deep Neural Network Training and Inference
University of Toronto（多伦多大学）；Cerebras Systems（赛雷布拉斯系统公司）；Vector Institute（向量研究所）
TensorDash是一种硬件级技术，用于使数据并行MAC单元能够利用其输入操作数流中的稀疏性。当用于构成深度学习的硬件加速器时，TensorDash可以加快训练过程，同时提高能源效率。TensorDash将低成本、稀疏输入操作数互连与面积高效的硬件调度器相结合，该互连包括每个乘法器输入的8输入多路复用器。虽然互连允许每个操作数的非常有限的移动集合，但是当稀疏性存在于神经网络的激活、权重或梯度中时，调度器可以有效地提取稀疏性。在涵盖各种应用的广泛模型集合中，TensorDash通过$1.95{\times}$加速训练过程，同时在考虑片上和片外内存访问时，$1.89\times$更节能，$1.6\times$更节能。虽然TensorDash适用于任何数据类型，但我们使用单精度浮点单元和bfloat16来演示它。
2020-09-01 cs.AR cs.LG
Exploiting Chaotic Dynamics as Deep Neural Networks
Graduate School of Information Science and Technology, The University of Tokyo（东京大学情报理工学系研究科）；Graduate School of Informatics, Kyoto University（京都大学情报学研究科）
该研究揭示混沌本质存在于多种深度神经网络中，并提出直接利用混沌动力学构建深度学习架构的新方法，在多个混沌系统上取得优于传统网络的准确率、收敛速度与效率，为混沌与机器学习和神经形态计算的融合开辟了新路径。
2024-05-29 cs.LG cs.NE
Exploiting Parallelism Opportunities with Deep Learning Frameworks
Harvard University（哈佛大学）；Facebook
最先进的机器学习框架支持各种各样的设计特征，以实现灵活的机器学习编程接口，并减轻机器学习开发人员的可编程性负担。然而，在功能丰富的框架中识别和使用性能最佳设置涉及到大量的性能分析工作，并且通常依赖于特定领域的知识。本文深入分析了机器学习框架中关键设计特性的性能影响，并量化了并行性的作用。观察和见解提炼成一组简单的指导方针，可以用来实现更高的训练和推理加速。在一组不同的真实世界深度学习模型中，评估结果显示，建议的性能调优准则分别比英特尔和TensorFlow推荐的设置高出1.29倍和1.34倍。
2020-06-29 cs.DC cs.LG cs.PF
Exploiting Invariance in Training Deep Neural Networks
Amazon Web Services（亚马逊云科技）
受动物视觉系统中两种基本机制的启发，我们引入了一种特征变换技术，该技术在深度神经网络的训练中具有不变性。由此产生的算法需要较少的参数调整，训练良好的初始学习率1.0，并很容易推广到不同的任务。我们使用数据中的局部统计数据来实现尺度不变性，以在不同尺度下对齐相似的样本。为了加速收敛，我们使用从一批数据中提取的全局统计信息来强制GL（n）不变性，使得梯度下降解在基变化下保持不变。分析显示，我们提出的修改占用了底层卷积层5%的计算量。在卷积网络和Transformer网络上进行测试，我们提出的技术需要更少的迭代来进行训练，大大超过所有基线，无缝地工作在小批量和大批量训练上，并适用于不同的计算机视觉和语言任务。
2021-12-09 cs.AI cs.CV cs.LG
Exploiting epistemic uncertainty of the deep learning models to generate adversarial samples
Isik University（伊斯克大学）；Simula Research Laboratory（西穆拉研究实验室）
深度神经网络架构被认为对随机扰动具有鲁棒性。然而，研究表明，它们可能非常容易受到输入的轻微但精心设计的扰动，称为对抗性样本。近年来，在这个称为“对抗机器学习“的新领域进行了大量研究，以设计新的对抗攻击，并使用更强大的DNN架构来防御这些攻击。然而，到目前为止，几乎所有的研究工作都集中在利用模型损失函数来制作对抗性示例或创建鲁棒模型。本研究探讨了使用量化的认知不确定性从蒙特卡洛辍学抽样对抗攻击的目的，我们扰动的输入到模型还没有见过的领域。基于模型的认知不确定性，提出了新的攻击思想。我们的结果表明，我们提出的混合攻击方法将攻击成功率从82.59%提高到85.40%，在MNIST Digit，MNIST Fashion和CIFAR-10数据集上分别从82.86%提高到89.92%和88.06%提高到90.03%。
2021-02-13 cs.AI cs.LG
DeepcomplexMRI: Exploiting deep residual network for fast parallel MR imaging with complex convolution
Paul C. Lauterbur Research Center for Biomedical Imaging, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院保罗·C·劳特伯生物医学成像研究中心）；Research Center for Medical AI, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院医学人工智能研究中心）；Shenzhen College of Advanced Technology, University of Chinese Academy of Sciences（中国科学院大学深圳先进技术学院）；The State University of New York, Buffalo（纽约州立大学布法罗分校）
本文提出了一种多通道图像重建方法，命名为Deepcomplex MRI，以加速并行MR成像与剩余复杂卷积神经网络。与大多数依赖于利用线圈灵敏度或预定义变换的先验信息的现有工作不同，DeepcomplexMRI利用大量现有多通道groundtruth图像的可用性，并将其用作标记数据来离线训练深度残差卷积神经网络。特别地，提出了一种复杂的卷积网络，以考虑MR图像的实部和虚部之间的相关性。此外，k空间数据一致性进一步在网络的层之间重复地实施。在活体数据集上的评价表明，该方法具有恢复所需的多通道图像的能力。与现有方法的比较也表明，该方法能够更准确地重建出所需的MR图像。
2019-07-29 cs.LG eess.IV stat.ML
Exploiting Channel Similarity for Accelerating Deep Convolutional Neural Networks
Shanghai Jiao Tong University（上海交通大学）
为了解决现有基于幅度的修剪算法在模型权重或激活量较大且幅度相似的情况下的局限性，我们提出了一种新的视角来发现通道之间的参数冗余，并通过通道修剪来加速深度CNN。确切地说，我们认为，渠道揭示类似的功能信息有功能重叠，每个这样的相似性组内的大多数渠道可以被删除，而不损害模型的代表性的权力。在通过概率建模推导出一个有效的度量来评估信道相似性之后，我们引入了一个通过信道层次聚类的剪枝算法。特别是，该算法不依赖于稀疏训练技术或复杂的数据驱动优化，可以直接应用于预先训练的模型。在基准数据集上进行的大量实验有力地证明了我们的方法优于现有技术的加速性能。在ImageNet上，我们修剪的ResNet-50减少了30%的FLOP，优于基线模型。
2019-08-06 cs.CV cs.LG stat.ML
Exploiting T-norms for Deep Learning in Autonomous Driving
TU Wien（维也纳工业大学）
本文提出内存高效的T-范数损失函数，使自动驾驶事件检测能在有限GPU内存下利用背景知识，并在标注数据稀缺及半监督场景中提升模型性能。
2024-02-17 cs.CV cs.LG
Using Deep Learning for price prediction by exploiting stationary limit order book features
在过去十年中，深度学习（DL）研究的激增成功地为许多难题提供了解决方案。定量分析领域一直在缓慢地适应新方法来解决其问题，但由于金融数据的非平稳性等问题，在充分利用DL之前必须克服重大挑战。在这项工作中，提出了一种新的构造静态特征的方法，使DL模型能够有效地应用。这些功能在预测限价指令簿的中间价走势的任务中进行了彻底的测试。评估了几种DL模型，例如循环长短期记忆（LSTM）网络和卷积神经网络（CNN）。最后，提出了一种新的模型，该模型结合了CNN提取有用特征的能力和LSTM分析时间序列的能力。组合模型能够在测试的预测范围内优于单独的LSTM和CNN模型。
2018-10-23 cs.LG q-fin.ST stat.ML
Deep Learning for Identifying Potential Conceptual Shifts for Co-creative Drawing
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；The University of Sydney（悉尼大学）
我们提出了一个系统识别视觉类别之间的概念转变，这将形成一个共同创造的绘图系统，以帮助用户绘制更具创造性的草图的基础。该系统识别人类草图，并将其与它们不属于的类别中结构相似的草图进行匹配。这将允许一个共同创造的绘图系统产生一个模糊的草图，混合两个类别的功能。
2018-01-02 cs.AI cs.LG stat.ML
CoNLoCNN: Exploiting Correlation and Non-Uniform Quantization for Energy-Efficient Low-precision Deep Convolutional Neural Networks
New York University Abu Dhabi（纽约大学阿布扎比分校）；Technische Universität Wien (TU Wien)（维也纳工业大学）；Politecnico di Torino（都灵理工大学）
在当今智能网络物理系统的时代，深度神经网络（DNN）由于其在复杂的现实世界应用中的最先进性能而变得无处不在。这些网络的高计算复杂性转化为增加的能耗，是在资源受限系统中部署大型DNN的最大障碍。通过训练后量化实现的定点（FP）实现通常用于减少这些网络的能耗。然而，FP中的均匀量化间隔将数据结构的比特宽度限制为大值，这是由于需要以足够的分辨率表示大多数数字并避免高量化误差。在本文中，我们利用了关键的见解，即（在大多数情况下）DNN权重和激活大多集中在零附近，只有少数具有较大的幅度。我们提出了CoNLoCNN，这是一种通过利用以下内容实现节能低精度深度卷积神经网络推理的框架：（1）权重的非均匀量化，从而简化复杂的乘法运算;以及（2）激活值之间的相关性，从而能够以低成本部分补偿量化误差，而无需任何运行时开销。为了从非均匀量化中显著受益，我们还提出了一种新的数据表示格式，编码低精度二进制有符号数字，以压缩权重的位宽，同时确保直接使用编码权重进行处理，使用新的乘法和累加（MAC）单元设计。
2022-07-31 cs.AR cs.LG
Identifying Metric Structures of Deep Latent Variable Models
Technical University of Denmark（丹麦技术大学）；University of British Columbia（不列颠哥伦比亚大学）
针对深度潜变量模型潜表示不可识别的问题，本文提出改变目标，转而识别潜变量间的度量关系（如距离、角度和体积），并在宽松条件下无需标签数据证明了其可行性，为提取可信结论提供了原则性路径。
2025-05-30 cs.LG stat.ML
Understanding recent deep-learning techniques for identifying collective variables of molecular dynamics
Zuse Institute Berlin（柏林扎斯研究所）
本文综述并比较了两类基于深度学习的分子动力学集体变量识别方法：基于无穷小生成元或转移算子特征函数的方法和基于自编码器重构误差最小化的方法，并通过数值实验验证其效果。
2023-08-09 cs.LG math.OC
Exploiting Spatio-Temporal Structure with Recurrent Winner-Take-All Networks
University of Florida（佛罗里达大学）；Universidad de los Andes（安第斯大学）
我们提出了一种卷积递归神经网络，具有Winner-Take-All dropout，用于多维时间序列中的高维无监督特征学习。我们将所提出的方法应用于视频中具有时间上下文的对象识别，并获得了比文献中的可比方法更好的结果，包括Chalasani和Principe先前提出的深度预测编码网络。我们的贡献可以总结为对通过时间反向传播训练的端到端深度预测编码网络的可扩展重新解释，将先前提出的Winner-Take-All Autoencoders扩展到时间序列，以及用于初始化和正则化卷积递归神经网络的新技术。
2017-03-15 cs.CV cs.LG
Data-Free Universal Attack by Exploiting the Intrinsic Vulnerability of Deep Models
提出无数据通用攻击方法 IntriUAP，利用深度模型线性组件的病态性质，将扰动与最大奇异值对应的右奇异向量对齐，无需样本即可高效攻击，且仅需部分层访问。
2025-03-28 cs.CV cs.LG
Automatic crack classification by exploiting statistical event descriptors for Deep Learning
University of Catania（卡塔尼亚大学）；University of Messina（墨西拿大学）；Istituto Nazionale di Geofisica e Vulcanologia（国家地球物理与火山研究所）；Politecnico di Bari（巴里理工大学）；University of Calabria（卡拉布里亚大学）
在现代建筑基础设施中，由于具有通信功能的低成本传感器和深度学习等高级建模工具提供了大量可用的大数据，因此设计自适应和无监督数据驱动的健康监测系统的机会越来越受欢迎。本文的主要目的是将深度神经网络与双向长短期记忆和先进的统计分析（包括瞬时频率和谱峰度）相结合，以开发一种精确的分类工具，用于声发射事件（裂缝）产生的拉伸，剪切和混合模式。我们研究了有效的事件描述符，以捕捉不同类型的模式的独特特征。实验结果表明，该方法实现了不同的裂纹事件之间的有前途的分类，可以影响未来的结构健康监测（SHM）技术的设计。该方法对早期损伤分类的准确率为92%，有利于维修计划的制定。
2021-11-26 cs.LG eess.SP stat.ML
Phantom Sponges: Exploiting Non-Maximum Suppression to Attack Deep Object Detectors
The Open University（开放大学）；Ben-Gurion University（本-古里安大学）；University of Genoa（热那亚大学）；University of Cagliari（卡利亚里大学）
针对基于深度学习的对象检测器的对抗攻击在过去几年中得到了广泛的研究。提出的大多数攻击都针对模型的完整性（即，导致模型做出不正确的预测），而针对模型可用性的对抗攻击（自动驾驶等安全关键领域的一个关键方面）尚未被机器学习研究界探索。在本文中，我们提出了一种新的攻击，产生负面影响的决定延迟的端到端的目标检测管道。我们制作了一个通用的对抗扰动（UAP），目标是集成在许多对象检测器管道中的广泛使用的技术-非最大抑制（NMS）。我们的实验表明，所提出的UAP的能力，以增加处理时间的个别帧，通过添加“幻影”的对象，超载的NMS算法，同时保留检测的原始对象，使攻击去未被检测到的一段较长的时间。
2022-11-17 cs.CR cs.CV cs.LG
Exploiting the capacity of deep networks only at training stage for nonlinear black-box system identification
K. N. Toosi University of Technology（K. N. 图西理工大学）
提出一种仅在训练阶段使用深度模型的策略，通过教师-学生模型对齐潜在表示，使浅层模型继承深度模型能力，在非线性系统辨识中达到可比性能。
2023-12-27 cs.LG cs.SY eess.SY
Identifying Orientation-specific Lipid-protein Fingerprints using Deep Learning
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
更好地理解RAS和RAF蛋白的行为与细胞膜中局部脂质环境之间的关系对于深入了解癌症形成的机制至关重要。在这项工作中，我们采用深度学习（DL）来学习这种关系，通过预测RAS和RAS-RAF蛋白质复合物相对于脂质膜的蛋白质取向状态，基于粗粒度（CG）分子动力学（MD）模拟的蛋白质结构域周围的脂质密度。我们的DL模型可以预测六种蛋白质状态，总体准确率超过80%。这项工作的发现为蛋白质如何调节脂质环境提供了新的见解，这反过来可能有助于设计新的疗法来调节与癌症发展相关的机制中的这种相互作用。
2022-07-14 cs.LG q-bio.BM
Exploring and Exploiting the Asymmetric Valley of Deep Neural Networks
School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
本研究系统探究深度神经网络损失谷非对称性的影响因素，发现噪声与收敛点的符号一致性是关键指标，并用ReLU和softmax理论解释，为模型融合与联邦学习提供新思路。
2024-10-09 cs.AI cs.LG
Identifying the fragment structure of the organic compounds by deeply learning the original NMR data
Lanzhou University（兰州大学）
我们采用两种不同的方法对原始NMR谱进行预处理，提取关键特征，即等距采样和峰值采样，用于后续的子结构模式识别;同时可以针对统计建模的数据集采集中经常遇到的NMR数据集不平衡问题提供替代策略，建立两种常规的SVM和KNN模型来评估两种特征选择的能力，分别我们在这项研究中的结果表明，使用选定的峰值采样功能的模型优于使用其他。然后，我们建立了递归神经网络（RNN）模型训练数据B收集的峰值采样。此外，我们通过与传统的机器学习SVM和KNN模型的详细比较，说明了RNN深度学习模型的超参数更容易优化和更好的泛化能力。
2021-07-25 cs.LG q-bio.QM
Exploiting Wireless Channel State Information Structures Beyond Linear Correlations: A Deep Learning Approach
Shanghai Institute for Advanced Communication and Data Science（上海先进通信与数据科学研究院）；Shanghai University（上海大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；University of Southern California（南加州大学）；Intel Corporation（英特尔公司）
关于无线系统在其中操作的传播信道的信息的知识使得能够实现用于信号传输的更好、更有效的方法。因此，信道状态信息（CSI）对系统性能起着至关重要的作用。CSI的重要性实际上在即将到来的5G及以后的系统中正在增长，例如，用于实现大规模多输入多输出（MIMO）。然而，及时和准确的CSI的获取长期以来一直被认为是一个主要问题，并且由于需要在大规模MIMO系统中获得许多天线元件的CSI而变得越来越具有挑战性。为了应对这一挑战，现有的工作主要集中在利用线性结构的CSI，如CSI在空间域中的相关性，以实现降维。在这篇文章中，我们首先系统地回顾了CSI结构开发的最新技术，然后扩展到寻求更深的结构，使远程CSI推理，其中数据驱动的深度神经网络（DNN）的方法是必要的，由于模型不足。我们开发适合CSI数据的特定DNN设计。提供的案例研究，以证明在这个方向的未来性能增强的巨大潜力。
2018-12-03 cs.IT cs.LG math.IT
Exploiting Efficiency Vulnerabilities in Dynamic Deep Learning Systems
University of Texas at Dallas USA（德克萨斯大学达拉斯分校）
本研究揭示动态深度学习系统因输入自适应计算而存在的效率漏洞，分析攻击策略与防御缺陷，并提出开发针对性防御以增强对抗条件下的鲁棒性。
2025-06-21 cs.AI cs.CR cs.LG
Identifying DNA Sequence Motifs Using Deep Learning
University of Oxford（牛津大学）；Earlham Institute（厄勒姆研究所）
提出基于注意力的深度学习模型DeepDeCode预测DNA剪接位点，结合可视化技术识别序列基序，提升了准确性与可解释性，可应用于医疗保健及基因组元件发现。
2023-11-20 cs.LG q-bio.GN q-bio.QM
DeepMI: Deep Multi-lead ECG Fusion for Identifying Myocardial Infarction and its Occurrence-time
IBM Research - Africa（IBM非洲研究院）；University of Oxford（牛津大学）；Guangdong Cardiovascular Institute（广东省心血管病研究所）
心肌梗死（MI）是所有心血管疾病（CVD）中死亡率最高的疾病。MI的检测和有关其发生时间的信息，特别是，将使及时干预，可能会改善患者的结果，从而减少全球心血管疾病死亡的上升。心电图（ECG）记录目前用于筛选MI患者。然而，人工检查心电图是耗时的，容易出现主观偏见。机器学习方法已被用于自动ECG诊断，但大多数方法需要提取ECG搏动或独立考虑导联。我们提出了一种端到端的深度学习方法DeepMI，用于将MI与正常病例进行分类，并识别MI的时间发生（定义为急性，最近和旧），在数据，特征和决策层面上使用12个ECG导联的融合策略集合。为了最大限度地减少计算开销，我们使用现有的计算机视觉网络进行迁移学习。此外，我们使用递归神经网络来编码ECG中固有的纵向信息。我们在从17，381名患者收集的数据集上验证了DeepMI，其中每个ECG导联提取了超过323，000个样本。我们能够将正常病例以及急性、近期和陈旧性MI病例进行分类，AUROC分别为96.7%、82.9%、68.6%和73.8%。我们已经证明了一种多导联融合方法来检测MI的存在和发生时间。我们的端到端框架为不同级别的多导联ECG融合提供了灵活性，并通过迁移学习进行特征提取。
2021-03-31 cs.LG eess.SP
Introspective Visuomotor Control: Exploiting Uncertainty in Deep Visuomotor Control for Failure Recovery
Applied AI Lab (A2I)（应用人工智能实验室（A2I））；Dynamic Robot Systems (DRS)（动态机器人系统实验室（DRS））；Oxford Robotics Institute (ORI), University of Oxford（牛津大学牛津机器人研究所（ORI））
端到端可视化控制正在成为机器人操作任务的一种引人注目的解决方案。然而，基于模仿学习的视觉控制方法往往受到一个共同的限制，缺乏从由复合误差引起的分布外状态恢复的能力。在本文中，而不是使用触觉反馈或明确地通过视觉检测故障，我们调查使用的政策神经网络的不确定性。我们提出了一种新的基于不确定性的方法来检测和恢复故障情况。我们的假设是，政策的不确定性可以隐含地表明在视觉控制任务的潜在故障和机器人状态与最小的不确定性更有可能导致任务的成功。为了从高度不确定的情况下恢复，机器人沿着轨迹监视其不确定性，并在状态-动作空间中探索可能的动作，以使自己处于更确定的状态。我们的实验验证了这一假设，并显示出显着的改善任务成功率：12%的推动，15%的拾取和达到22%的拾取和放置。
2021-03-22 cs.LG cs.RO
A Deep Transfer Learning Approach on Identifying Glitch Wave-form in Gravitational Wave Data
Polytechnic University of the Philippines（菲律宾理工大学）
LIGO干涉仪被认为是有史以来最灵敏、最复杂的引力实验设备。它的主要目标是通过观察其4公里长的臂的长度是否变化比质子直径小1万倍的距离来探测宇宙中最强事件中的引力波。由于干涉仪的灵敏度，它很容易受到外界噪声的干扰，从而影响到探测引力波的数据采集。这些噪音通常被引力波界称为毛刺。这项研究的重点是使用不同的深度迁移学习算法来识别这些故障。大量的实验表明，具有架构VGG 19的算法在其他实验算法中记录了最高的AUC-ROC，为0.9898。虽然所有实验算法都实现了相当高的AUC-ROC，但一些算法遭受了数据集的类别不平衡，这在识别其他类别时具有不利影响。
2022-05-09 astro-ph.IM cs.LG gr-qc
Deep learning method for identifying mass composition of ultra-high-energy cosmic rays
Institute for Nuclear Research of the Russian Academy of Sciences（俄罗斯科学院核研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Université Libre de Bruxelles（布鲁塞尔自由大学）；University of Tokyo（东京大学）；Osaka City University（大阪市立大学）；Nambu Yoichiro Institute of Theoretical and Experimental Physics（南部阳一郎理论与实验物理研究所）
我们介绍了一种使用深度学习识别超高能宇宙射线质量组成的新方法。该方法的核心思想是使用两个神经网络的链。第一个网络预测单个事件的初级粒子类型，而第二个网络推断事件集合的质量组成。我们将这种方法应用于望远镜阵列表面探测器读数的蒙特卡罗数据，它产生了前所未有的低误差为7%的4分量近似。我们还讨论了将所开发的方法应用于实验数据的问题，以及它们可以解决的方式。
2022-04-07 astro-ph.HE astro-ph.IM cs.LG
Identifying Semantically Duplicate Questions Using Data Science Approach: A Quora Case Study
Institute of Computer Science, University of Tartu（塔尔图大学计算机科学研究所）
在Quora等社交媒体平台上识别语义相同的问题并进行提问对于确保根据问题的意图向用户呈现内容的质量和数量并从而丰富整体用户体验非常重要。检测重复问题是一个具有挑战性的问题，因为自然语言是非常有表现力的，并且可以使用不同的单词、短语和句子结构来传达独特的意图。众所周知，机器学习和深度学习方法在识别相似文本方面取得了优于传统自然语言处理技术的结果。在本文中，以Quora为案例研究，我们探索并应用了不同的机器学习和深度学习技术来识别Quora数据集上的重复问题。通过使用特征工程，特征重要性技术，并与七个选定的机器学习分类器进行实验，我们证明了我们的模型优于以前的研究在这项任务上。具有字符级词频和逆词频的Xgboost模型是我们最好的机器学习模型，它的性能也超过了一些深度学习基线模型。我们应用深度学习技术对四种不同的多层深度神经网络进行建模，包括Glove嵌入、长短期记忆、卷积、最大池化、Dense、批量归一化、激活函数和模型合并。我们的深度学习模型实现了比机器学习模型更好的准确性。四分之三的架构优于之前的机器学习和深度学习研究工作的准确性，四分之二的模型优于之前对Quora问题对数据集的深度学习研究的准确性，我们最好的模型达到了85.82%的准确性，接近Quora最先进的准确性。
2020-04-18 cs.IR cs.LG stat.ML
Exploiting Low-Rank Tensor-Train Deep Neural Networks Based on Riemannian Gradient Descent With Illustrations of Speech Processing
Georgia Institute of Technology（佐治亚理工学院）；IBM Research（IBM研究院）；Universidad San Pablo-CEU, CEU Universities（CEU大学圣巴勃罗校区）
本文的工作重点是通过考虑模型复杂度和实际性能之间的权衡来设计低复杂度的混合张量网络。首先，我们利用低阶张量训练深度神经网络（TT-DNN）来构建端到端的深度学习流水线，即LR-TT-DNN。其次，将LR-TT-DNN与卷积神经网络（CNN）相结合，建立了一个混合模型，表示为CNN+（LR-TT-DNN），以提高性能。我们利用黎曼梯度下降来确定与小TT秩相关联的TT-DNN，而不是随机地为TT-DNN分配大TT秩。此外，CNN+（LR-TT-DNN）由底部的用于特征提取的卷积层和顶部的几个TT层组成，以解决回归和分类问题。我们分别评估了LR-TT-DNN和CNN+（LR-TT-DNN）模型对语音增强和口述命令识别任务的影响。我们的经验证据表明，具有较少模型参数的LR-TT-DNN和CNN+（LR-TT-DNN）模型可以优于TT-DNN和CNN+（TT-DNN）模型。
2022-03-11 cs.AI cs.LG cs.SD
UCNN: Exploiting Computational Reuse in Deep Neural Networks via Weight Repetition
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）
卷积神经网络（CNN）由于其每次操作的高精度和机器效率，已经开始渗透到电子社会的各个角落（从话音识别到场景生成）。在其核心，CNN计算由权重和输入向量之间的多维点积组成。本文研究了如何在CNN推理过程中利用权重重复--当相同的权重在权重向量中或权重向量之间多次出现时--来节省能量并提高性能。这概括了从CNN权重稀疏性提高效率的流行工作路线，因为由于重复的零权重而减少计算是由于重复的权重而减少计算的特殊情况。为了利用权重重复，本文提出了一种新的CNN加速器，称为唯一权重CNN加速器（UCNN）。UCNN使用权重重复来重用CNN子计算（例如，点积），并在存储在片外DRAM中时减小CNN模型大小-这两者都节省了能量。UCNN通过利用权重的稀疏性进一步提高了性能。我们使用加速器级循环和能量模型以及UCNN处理元素的RTL实现来评估UCNN。在三个当代CNN上，相对于使用Eyeriss风格稀疏优化的类似配置的基线加速器，UCNN将吞吐量归一化能耗提高了1.2 - 4倍。与此同时，UCNN处理元素相对于相同的基线仅增加了17-24%的面积开销。
2018-04-18 cs.LG cs.NE
SGCN: Exploiting Compressed-Sparse Features in Deep Graph Convolutional Network Accelerators
Yonsei University（延世大学）；Samsung Electronics（三星电子）；Seoul National University（首尔国立大学）
图卷积网络（GCN）由于克服了现有神经网络的有限适用性而变得越来越流行。GCN将任意结构的图作为输入，并执行一系列层，这些层利用图的结构来计算它们的输出特征。GCN的一个最新趋势是使用深度网络架构。与传统的GCN仅跨越约2至5层深度相反，现代GCN现在在剩余连接的帮助下包含数十至数百层。从这样的深GCN，我们发现一个重要的特点，他们表现出非常高的中间特征稀疏。我们观察到，随着深层和残余连接，中间特征中的零的数量急剧增加。这揭示了加速器在GCN执行中利用的新机会，这是以前不存在的。在本文中，我们提出了SGCN，一个快速，节能的GCN加速器，充分利用现代GCN的稀疏中间功能。SGCN提出了几种技术，以实现比现有加速器更高的性能和能源效率。首先，SGCN采用GCN友好的特征压缩格式。我们专注于减少片外内存流量，这往往是GCN执行的瓶颈。其次，我们提出了微架构无缝处理的压缩特征格式。第三，为了更好地处理在不同的稀疏性存在的局部性，SGCN采用稀疏感知的合作。稀疏感知的合作创建了一个模式，展示了多个重用窗口，这样缓存可以捕获不同大小的工作集，从而适应不同的稀疏程度。我们表明，SGCN实现了1.71倍的加速比和43.9%的高能效相比，现有的加速器。
2023-01-25 cs.AR cs.LG
A Target-Agnostic Attack on Deep Models: Exploiting Security Vulnerabilities of Transfer Learning
University of California（加利福尼亚大学）；Department of Computer Science（计算机科学系）
由于训练数据不足以及从头开始训练深度神经网络的高计算成本，迁移学习已被广泛用于许多基于深度神经网络的应用中。一种常用的迁移学习方法包括提取预训练模型的一部分，在最后添加几层，并使用小数据集重新训练新层。这种方法虽然高效且广泛使用，但存在安全漏洞，因为迁移学习中使用的预训练模型通常是公开可用的，包括潜在的攻击者。在本文中，我们证明了除了预先训练的模型之外，没有任何额外的知识，攻击者可以发起有效和高效的蛮干攻击，可以制作输入的实例，以高置信度触发每个目标类。我们假设攻击者无法访问任何特定于目标的信息，包括来自目标类的样本，重新训练的模型以及Softmax分配给每个类的概率，从而使攻击目标不可知。据我们所知，这些假设使得所有以前的攻击模型都不适用。为了评估所提出的攻击，我们进行了一系列的人脸识别和语音识别任务的实验，并显示了攻击的有效性。我们的工作揭示了Softmax层在迁移学习设置中使用时的一个基本安全弱点。
2020-01-29 cs.CR cs.LG stat.ML
Exploiting Machine Unlearning for Backdoor Attacks in Deep Learning System
Singapore Management University（新加坡管理大学）；University of Virginia（弗吉尼亚大学）；Zhejiang University（浙江大学）
该研究提出一种基于机器遗忘的新型黑盒后门攻击方法，通过投毒与缓解数据训练模型后提交遗忘请求激活后门，并提出对应检测缓解方法，实验验证了攻击可行性及分片对攻防的影响。
2023-12-13 cs.CR cs.LG
DeepTextMark: A Deep Learning-Driven Text Watermarking Approach for Identifying Large Language Model Generated Text
University of Nebraska Omaha（内布拉斯加大学奥马哈分校）
针对现有LLM生成文本检测分类器可靠性不足的问题，本文提出深度学习驱动的文本水印方法DeepTextMark，通过Word2Vec和句子编码插水印、transformer分类器检测，兼具多重优良属性且可作为现有生成框架的附加方案。
2024-03-11 cs.LG cs.MM
DeepPeep: Exploiting Design Ramifications to Decipher the Architecture of Compact DNNs
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
深度神经网络（DNN）卓越的预测性能使其在服务领域的应用达到了前所未有的规模和范围。然而，DNN的广泛采用和日益商业化强调了知识产权（IP）保护的重要性。设计技术来确保IP保护已经成为必要的，因为越来越多的趋势是在基于云的服务中的不受信任的加速器上外包DNN计算。DNN的设计方法和超参数是关键信息，泄露它们可能会给组织造成巨大的经济损失。此外，DNN架构的知识可以增加对抗攻击的成功概率，其中对手干扰输入并改变预测。在这项工作中，我们设计了一个两阶段的攻击方法“DeepPeep”，它利用设计方法的独特特性，对紧凑DNN中的构建块的架构进行逆向工程。我们展示了“DeepPeep”在P100和P4000 GPU上的功效。此外，我们提出了智能设计机动策略，通过DeepPeep攻击来挫败IP盗窃，并提出了“安全MobileNet-V1”。有趣的是，与普通MobileNet-V1相比，安全MobileNet-V1显著减少了推理延迟（$\approx$ 60%），提高了预测性能（$\approx$ 2%），内存和计算开销非常低。
2020-07-30 cs.CR cs.CV cs.LG
Identifying Pauli spin blockade using deep learning
University of Oxford（牛津大学）；University of Basel（巴塞尔大学）；University of Adelaide（阿德莱德大学）
本文提出一种基于模拟数据训练和跨器件验证的机器学习算法，可自动识别电荷输运测量中的泡利自旋阻塞，在硅场效应晶体管上实现96%准确率，并适用于各类量子点器件。
2023-08-01 cond-mat.mes-hall cs.LG quant-ph
Outlier Gradient Analysis: Efficiently Identifying Detrimental Training Samples for Deep Learning Models
University of South Florida, Tampa, FL, USA（佛罗里达州立大学）；Brandeis University, Waltham, MA, USA（布兰迪大学）；Tsinghua University（清华大学）
本文提出离群梯度分析方法，通过建立影响函数与离群梯度检测的联系，提供无 Hessian 矩阵的高效方案，用于识别深度学习模型有害训练样本并提升 NLP 及大模型性能。
2025-11-01 cs.AI cs.LG
Identifying the Absorption Bump with Deep Learning
University of Florida（佛罗里达大学）
无处不在的星际尘埃颗粒为理解恒星、行星系统和星系的形成和演化提供了重要的见解，并可能孕育生命的基石。分析尘埃的最有效方法之一是通过它们与背景光源的相互作用。观测到的消光曲线和光谱特征携带着尘埃的大小和成分信息。在2175埃处的宽吸收隆起是消光曲线中最突出的特征。传统上，应用统计方法来检测吸收凸点的存在。这些方法需要大量的预处理和其他参考特征的共存，以减轻噪声的影响。在本文中，我们应用深度学习技术来检测宽吸收凸起。我们展示了训练所选模型的关键步骤及其结果。基于深度学习的方法的成功启发我们为更广泛的科学发现问题推广一种通用方法。我们提出了我们正在进行的工作，为这种应用程序构建DeepDis系统。
2015-11-20 cs.CV cs.LG cs.NE
Identifying and Tracking Solar Magnetic Flux Elements with Deep Learning
Institute for Space Weather Sciences, New Jersey Institute of Technology（新泽西理工学院空间天气科学研究所）；Department of Computer Science, New Jersey Institute of Technology（新泽西理工学院计算机科学系）；Center for Solar-Terrestrial Research, New Jersey Institute of Technology（新泽西理工学院日地研究中心）；Big Bear Solar Observatory, New Jersey Institute of Technology（新泽西理工学院大熊湖太阳观测站）
近年来，深度学习引起了人们的极大兴趣，因为它可以有效地处理从各种仪器收集的大型复杂观测数据。在这里，我们提出了一种新的深度学习方法，称为SolarUnet，以识别和跟踪太阳磁通量元素或特征，在观测矢量磁图的基础上，西南自动磁识别套件（SWAMIS）。我们的方法包括一个数据预处理组件，用于从SWAMIS工具中准备训练数据，一个深度学习模型，作为U形卷积神经网络实现，用于快速准确的图像分割，以及一个后处理组件，用于准备跟踪结果。SolarUnet应用于大熊太阳天文台1.6米古德太阳望远镜的数据。与广泛使用的SWAMIS工具相比，SolarUnet速度更快，同时在特征大小和通量分布方面与SWAMIS基本一致，并在跟踪长寿命特征方面与SWAMIS互补。因此，所提出的基于物理指导的深度学习工具可以被认为是太阳磁跟踪的替代方法。
2020-08-27 astro-ph.SR cs.LG
Optimal Transport-inspired Deep Learning Framework for Slow-Decaying Kolmogorov n-width Problems: Exploiting Sinkhorn Loss and Wasserstein Kernel
SISSA（国际高等研究学院）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
提出融合最优传输与神经网络的 ROM 框架，以 Wasserstein 核 kPOD 和 Sinkhorn 损失提升慢衰减 Kolmogorov n-width 问题的精度、效率与鲁棒性。
2025-01-10 cs.LG cs.NA math.NA
Exploiting Neuron and Synapse Filter Dynamics in Spatial Temporal Learning of Deep Spiking Neural Network
Syracuse University（雪城大学）
最近发现的生物启发的脉冲神经网络（SNN）的时空信息处理能力，使一些有趣的模型和应用。然而，由于缺乏鲁棒的训练算法，设计大规模和高性能的模型仍然是一个挑战。具有时空特性的生物似然SNN模型是一个复杂的动态系统。每个突触和神经元都像过滤器一样，能够保存时间信息。由于现有的训练算法忽略了神经元动力学和滤波器效应，SNN退化为无记忆系统，失去了时域信号处理能力。此外，锋电位时序在信息表示中起着重要作用，但传统的基于速率的锋电位编码模型只考虑锋电位序列的统计特性，而忽略了其时序结构所携带的信息。为了解决上述问题，并利用SNN的时间动态，我们制定SNN作为一个网络的无限脉冲响应（IIR）滤波器与神经元非线性。我们提出了一种训练算法，能够学习时空模式，通过搜索最佳的突触过滤器内核和权重。将所提出的模型和训练算法应用于MNIST、NMNIST、DVS 128等合成数据集和公共数据集的联想记忆和分类器的构造;并且它们的准确性优于现有技术的方法。
2020-07-26 cs.LG cs.NE stat.ML
DeepFry: Identifying Vocal Fry Using Deep Neural Networks
Technion--Israel Institute of Technology（以色列理工学院）；Bar-Ilan University（巴伊兰大学）；Northwestern University（西北大学）；University of York（约克大学）
嗓音脆或吱吱声是指以不规则的声门开口和低音调为特征的声音质量。它出现在不同的语言中，在美国英语中很普遍，它不仅用于标记短语的结尾，而且还用于社会语言学因素和影响。由于其不规则的周期性，吱吱声挑战了自动语音处理和识别系统，特别是对于经常使用吱吱声的语言。本文提出了一种深度学习模型来检测流利语音中的吱吱声。该模型由一个编码器和一个分类器一起训练。编码器获取原始波形并使用卷积神经网络学习表示。该分类器被实现为一个多头全连接网络，经过训练可以检测吱吱声、浊音和音高，其中后两个用于改进吱吱声预测。该模型是训练和测试的美国英语说话者的语音，由受过训练的语音学家为吱吱声注释。我们使用两个编码器评估了系统的性能：一个是为任务量身定制的，另一个是基于最先进的无监督表示。结果表明，与以前的方法相比，我们性能最好的系统在看不见的数据上提高了召回率和F1分数。
2022-06-26 cs.LG cs.SD eess.AS
Exploiting Contextual Information via Dynamic Memory Network for Event Detection
Institute of Computing Technology, Chinese Academy of Science (CAS)（中国科学院计算技术研究所）；School of Computer and Control Engineering, The University of CAS（中国科学院大学计算机与控制工程学院）
事件检测的任务包括识别和分类事件触发器。上下文信息在任务中被证明是有效的。然而，利用上下文信息的现有方法仅处理上下文一次。我们认为，可以更好地利用上下文多次处理上下文，允许模型执行复杂的推理，并生成更好的上下文表示，从而提高整体性能。同时，动态记忆网络（DMN）在捕获上下文信息方面表现出了很好的能力，并已成功地应用于各种任务。针对DMN多跳机制对上下文进行建模的特点，提出了触发检测动态记忆网络（TD-DMN）来解决事件检测问题。在ACE-2005数据集上进行了五重交叉验证，实验结果表明多跳机制确实提高了性能，与现有方法相比，该模型获得了最好的$F_1$分数。
2018-10-03 cs.AI cs.CL cs.LG
Identifying the atmospheric drivers of drought and heat using a smoothed deep learning approach
LMU Munich（慕尼黑大学）
欧洲在最近的夏天遭受了几次灾难性的高温和干旱事件的袭击。除了热力学影响，这种炎热和干燥的极端天气还受到某些大气状况的影响，包括反气旋条件。气候变化对大气环流的影响是复杂的，在这方面仍然存在许多开放的研究问题，例如，反气旋条件的未来趋势。基于标记的环流模式和空间大气变量的目录相结合，我们提出了一个平滑的卷积神经网络分类器的六种类型的反气旋环流与干旱和炎热。我们的工作可以帮助确定气候模拟中炎热和干燥极端天气的重要驱动因素，从而揭示气候变化对这些驱动因素的影响。我们解决了环流模式分类所固有的各种挑战，这些挑战也存在于其他气候模式中，例如，主观标签和明确的过渡期。
2021-11-09 cs.LG physics.ao-ph stat.ML
Exploiting Sparsity in Pruned Neural Networks to Optimize Large Model Training
University of Maryland（马里兰大学）
提出利用剪枝神经网络的稀疏性优化数据并行和层间并行中的内存与通信，集成于AxoNN框架，在512块V100 GPU上实现27亿参数模型内存减少74%、通信时间减少40%，整体加速34%。
2023-05-14 cs.AI cs.DC cs.LG
Your Compiler is Backdooring Your Model: Understanding and Exploiting Compilation Inconsistency Vulnerabilities in Deep Learning Compilers
University of Southern California（南加州大学）
本研究揭示官方深度学习编译器可在编译时改变模型语义并植入后门，对抗攻击成功率100%，且在31个自然模型中存在触发器，首次指出编译器设计的内在安全风险。
2025-10-27 cs.AI cs.CR cs.LG
