KENN: Enhancing Deep Neural Networks by Leveraging Knowledge for Time Series Forecasting
National University of Science and Technology(国立科技大学);Technical Universität Kaiserslautern(凯泽斯劳滕工业大学);Deutsches Forschungszentrum für Künstliche Intelligenz(德国人工智能研究中心)
端到端数据驱动的机器学习方法通常在训练数据的质量和数量方面具有旺盛的要求,这在现实世界的应用中通常是不切实际的。这在时间序列领域尤其如此,在这些领域中,灾难预测、异常检测和需求预测等问题通常没有大量的历史数据。此外,纯粹依靠过去的例子进行训练可能是次优的,因为这样做我们忽略了一个非常重要的领域,即知识,它有自己独特的优势。在本文中,我们提出了一种新的知识融合体系结构,知识增强神经网络(KENN),时间序列预测,专门针对知识和数据域相结合的优势,同时减轻各自的弱点。我们表明,KENN不仅降低了整个框架的数据依赖性,而且通过产生比纯知识和数据驱动域更好的预测来提高性能。我们还将KENN与最先进的预测方法进行了比较,结果表明,即使只对50%的数据进行训练,KENN产生的预测也明显更好。
2022-02-16 cs.AI cs.LG
Leveraging Semi-Supervised Learning for Fairness using Neural Networks
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Northwestern University(西北大学);Zillow Group(Zillow集团)
人们越来越关注基于机器学习的决策系统的公平性。标记数据的缺乏一直是基于机器学习的系统面临的一个挑战性问题。在这种情况下,半监督学习已被证明是一种有效的方法,利用未标记的数据,以提高模型的性能。值得注意的是,未标记的数据不包含标签信息,标签信息本身可能是训练机器学习系统中偏差的重要来源。这启发我们通过在半监督框架中制定问题来应对公平性的挑战。在本文中,我们提出了一个半监督算法,利用神经网络受益于未标记的数据,不仅提高了性能,而且还提高了决策过程的公平性。该模型称为SSFair,利用未标记数据中的信息来减轻训练数据中的偏差。
2019-12-31 cs.AI cs.LG stat.ML
Persian Pronoun Resolution: Leveraging Neural Networks and Language Models
Islamic Azad University Tehran North Branch(伊斯兰阿扎德大学德黑兰北分校);Shahid Beheshti University(沙希德·贝赫什提大学)
针对波斯语代词消解现有方法割裂指称项检测与先行词链接的问题,本研究提出首个基于ParsBERT等预训练Transformer的端到端神经网络系统,联合优化两项任务,在Mehr语料库上较此前最优系统F1值提升3.37,推动该领域研究发展。
2024-05-17 cs.AI cs.CL
Leveraging Sequence Embedding and Convolutional Neural Network for Protein Function Prediction
National Tsing Hua University(台湾清华大学)
准确预测蛋白质功能和性质的能力在生物技术产业中是必不可少的,例如药物开发和人工蛋白质合成等。蛋白质功能预测的主要挑战是大的标签空间和缺乏标记的训练数据。我们的方法利用无监督序列嵌入和深度卷积神经网络的成功来克服这些挑战。相比之下,大多数现有的方法删除罕见的蛋白质功能,以减少标签空间。此外,一些现有的方法需要额外的生物信息(例如,蛋白质的三维结构),这在生物化学实验中难以确定。我们提出的方法显着优于其他方法的公开可用的基准只使用蛋白质序列作为输入。这使得识别蛋白质功能的过程得以加速。
2021-12-01 cs.AI cs.LG q-bio.BM
Unsupervised Driver Behavior Profiling leveraging Recurrent Neural Networks
School of Cybersecurity, Korea University(高丽大学网络安全学院);SOCAR
在智能交通时代,驾驶员行为分析已经成为一种有益的技术,因为它提供了关于驾驶员攻击性的知识。以前的方法通过建立统计学规则或基于监督学习的模型来实现有前途的驾驶员行为分析性能。尽管如此,仍然存在从业者应该准备标记数据集的限制,并且先前的方法不能对先验未知的攻击性行为进行分类。在追求改善上述缺点,我们提出了一种新的方法,利用无监督学习范式的驾驶员行为分析。首先,我们将驱动程序行为分析问题转换为异常检测。其次,我们建立了循环神经网络,该网络可以在给定特征向量序列的情况下预测下一个特征向量。我们只使用正常的驾驶员数据训练模型。因此,我们的模型产生高的回归误差给定的一系列侵略性的驱动程序的行为和低的错误给定的一系列正常的驱动程序的行为。我们认为,这种差异的错误之间的正常和积极的驾驶员行为可以是一个足够的标志,驾驶员的行为分析,并完成了精确的性能在实验中。最后,我们进一步分析了识别每种攻击性驾驶员行为的最佳序列长度水平。我们希望所提出的方法能够成为无监督驾驶员行为分析的有用基线,并为高效,智能的交通生态系统做出贡献。
2021-08-11 cs.AI cs.HC cs.LG
Advanced Computing and Related Applications Leveraging Brain-inspired Spiking Neural Networks
本文综述了脉冲神经网络在脑启发人工智能中的核心计算与应用,系统分析了五种神经元模型、五种网络拓扑结构及多类学习算法,并重点回顾了国内外类脑神经形态芯片的研究进展,为该领域新手提供学习概念与研究方向。
2023-09-08 cs.AI cs.NE
Leveraging Large Language Models for Scalable Vector Graphics-Driven Image Understanding
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究探索大语言模型的图像理解能力,通过将图像转换为SVG文本表示,在视觉推理、分布偏移分类等三类视觉任务上验证了LLM具备不错的视觉处理潜力,为相关研究开辟新方向。
2024-07-11 cs.AI cs.CL cs.CV
Leveraging Pre-Trained Neural Networks to Enhance Machine Learning with Variational Quantum Circuits
Georgia Institute of Technology(佐治亚理工学院);NVIDIA Research(英伟达研究院);Wells Fargo(富国银行);IBM Research(IBM研究院);King’s College London(伦敦国王学院);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
提出利用预训练神经网络增强变分量子电路(VQC)的方法,将近似误差与量子比特数量分离,显著提升了参数优化及表示泛化能力,并在量子点分类和人类基因组分析等任务中验证了其广泛适用性。
2024-11-13 cs.AI cs.LG quant-ph
RouteNet: Leveraging Graph Neural Networks for network modeling and optimization in SDN
AGH University of Science and Technology(AGH科技大学);Barcelona Neural Networking Center(巴塞罗那神经网络中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
网络建模是在未来自动驾驶软件定义网络中实现高效网络运营的关键因素。然而,我们仍然缺乏能够以有限的成本准确预测关键性能指标(KPI)(如延迟,抖动或丢失)的功能网络模型。在本文中,我们提出了RouteNet,一种新的网络模型的基础上图神经网络(GNN),能够理解拓扑结构,路由和输入流量之间的复杂关系,以产生准确的估计每个源/目的地每个包的延迟分布和损失。RouteNet利用GNN学习和建模图结构信息的能力,因此,我们的模型能够在任意拓扑结构、路由方案和流量强度上进行推广。在我们的评估中,我们表明,RouteNet能够准确地预测延迟分布(平均延迟和抖动)和损失,即使在训练中看不到的拓扑,路由和流量(最坏情况下MRE=15.4%)。此外,我们提出了几个用例,其中我们利用我们的GNN模型的KPI预测来实现高效的路由优化和网络规划。
2020-07-09 cs.AI cs.LG cs.NI
Leveraging The Topological Consistencies of Learning in Deep Neural Networks
Georgia Institute of Technology(佐治亚理工学院);Twentieth Century Fox(二十世纪福克斯公司);Starfleet Academy(星际舰队学院)
最近,已经开发了一些方法来准确预测深度神经网络(DNN)在特定任务上的测试性能,给出了其底层拓扑结构的统计数据。然而,由于在时间和内存方面的高计算成本,进一步利用这一新发现的见解进行实际应用是棘手的。在这项工作中,我们定义了一类新的拓扑特征,可以准确地描述学习的进展,同时在运行时快速计算。此外,我们提出的拓扑特征很容易进行反向传播,这意味着它们可以被纳入端到端训练。我们新开发的DNN的实用拓扑表征允许一组额外的应用。我们首先展示了我们可以在没有测试集和不需要高性能计算的情况下预测DNN的性能。我们还证明了DNN的拓扑特征在估计任务相似性方面是有效的。最后,我们证明了我们可以通过主动约束DNN的拓扑结构来诱导DNN的学习。这为在元学习框架中限制DNN的底层结构开辟了新的途径。
2021-11-30 cs.CV cs.LG
Dynamic Dropout: Leveraging Conway's Game of Life for Neural Networks Regularization
ULPGC
本文提出用康威生命游戏替代静态丢弃,通过动态单元停用进行神经网络正则化,在CIFAR-10上达到与传统丢弃相当的性能,并提升深层架构的泛化能力。
2025-10-25 cs.AI cs.CV cs.LG
From Text to Graph: Leveraging Graph Neural Networks for Enhanced Explainability in NLP
Lancaster University(兰卡斯特大学)
本研究提出一种新方法,通过自动将句子转换为图并利用图神经网络保持语义,以增强NLP任务的可解释性,实验证明其能有效识别文本结构中的关键组件。
2025-04-02 cs.AI cs.CL cs.LG
Leveraging Graph-based Cross-modal Information Fusion for Neural Sign Language Translation
Zhejiang University(浙江大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);City University of Hong Kong(香港城市大学);Xiamen University(厦门大学)
手语作为聋人的母语,是一种特殊的视觉语言,大多数听力正常的人无法理解。近年来,神经手语翻译作为一种弥合聋人与听力正常人之间沟通鸿沟的可能途径,引起了学术界的广泛关注。我们发现,目前主流的端到端神经网络模型试图以弱监督的方式学习语言知识,在数据资源不足的情况下,无法挖掘足够的语义信息。因此,我们建议引入手语语言学的额外单词级语义知识,以帮助改进当前的端到端神经元模型。具体地说,我们提出了一种基于动态图的多模态特征融合神经翻译模型,该模型首先将文本和视频等跨模态信息根据它们之间的相关性组装成动态图,然后通过多模态图编码器对动态图进行处理,生成多模态嵌入,以进一步用于后续的神经翻译模型。据我们所知,我们是第一个引入图神经网络,融合多模态信息,神经手语翻译模型。此外,我们在公开可用的流行天气数据集RWTH-PHOENIX-Weather-2014 T上进行了实验。定量实验表明,该方法可以改善模型。
2022-11-01 cs.AI cs.CL
A framework for the extraction of Deep Neural Networks by leveraging public data
Google Brain(谷歌大脑)
在机密数据集上训练的机器学习模型越来越多地被用于盈利。机器学习即服务(MLaaS)使最终用户可以轻松访问这些模型。先前的工作已经开发了模型窃取攻击,其中攻击者通过对其进行黑盒查询来提取MLaaS模型的近似值。然而,这些工作都无法满足实际模型提取的所有三个基本标准:(1)能够处理深度学习模型,(2)不需要领域知识,(3)能够在有限的查询预算下工作。我们设计了一个模型提取框架,利用主动学习和大型公共数据集,以满足他们。我们证明了使用这个框架可以窃取在图像和文本领域的各种数据集上训练的深度分类器。通过黑盒访问查询模型的顶部预测,我们的框架在统一噪声基线上的平均性能分别提高了4.70倍(图像任务)和2.11倍(文本任务),同时只使用了30%(30,000个样本)的公共数据集。
2019-05-22 cs.AI cs.CR cs.LG
Multilevel Interpretability Of Artificial Neural Networks: Leveraging Framework And Methods From Neuroscience
University of Cambridge(剑桥大学);University of Oxford(牛津大学);Imperial College London(帝国理工学院);Massachusetts Institute of Technology(麻省理工学院);Georgia Institute of Technology(佐治亚理工学院);New York University(纽约大学);Princeton University(普林斯顿大学)
本文提出多级可解释性框架,借鉴神经科学方法,依据 Marr 的三个分析层级剖析生物与人工神经网络,将内部结构与外部行为相联系,为理解智能系统提供统一路径。
2024-08-26 cs.AI q-bio.NC
Kill it with FIRE: On Leveraging Latent Space Directions for Runtime Backdoor Mitigation in Deep Neural Networks
Humboldt University of Berlin, Germany(柏林洪堡大学);Ruhr University Bochum, Germany(波鸿鲁尔大学)
FIRE通过利用潜在空间方向在深度神经网络中缓解运行时后门漏洞,具有低计算开销并优于现有方法。
2026-02-11 cs.AI cs.CR cs.CV
Leveraging neural network interatomic potentials for a foundation model of chemistry
本文提出HackNIP,一种利用预训练神经网络原子间势提取嵌入特征训练浅层模型的两阶段方法,旨在克服材料科学中机器学习权衡,并超越端到端深度神经网络。
2025-06-23 cond-mat.mtrl-sci cs.LG
Toward Deeper Understanding of Neural Networks: The Power of Initialization and a Dual View on Expressivity
Google(谷歌)
我们开发了神经网络和组合内核之间的一般二元性,努力更好地理解深度学习。我们表明,初始表示所产生的共同随机初始化是足够丰富的,以表达所有功能的对偶核空间。因此,尽管训练目标在最坏的情况下很难优化,但初始权重是优化的良好起点。我们的双重观点也揭示了神经网络的实用和美学观点,并强调了它们的表达能力。
2017-05-19 cs.AI cs.CC cs.DS
Biological Processing Units: Leveraging an Insect Connectome to Pioneer Biofidelic Neural Architectures
Johns Hopkins University(约翰斯·霍普金斯大学);Pomegranate Intelligence;Catalio Capital Management
本研究将果蝇幼虫大脑连接组转化为生物处理单元(BPU),该固定循环网络在MNIST等任务上优于同等规模网络,结合搜索算法在ChessBench上超越Transformer基线,证明了仿生架构支持复杂认知任务的潜力。
2025-07-15 cs.AI cs.NE q-bio.NC
QuadEnhancer: Leveraging Quadratic Transformations to Enhance Deep Neural Networks
School of Science and Engineering(科学与工程学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen International Center for Industrial and Applied Mathematics(深圳国际工业与应用数学中心);Shenzhen Research Institute of Big Data(深圳大数据研究院);School of Data Science(数据科学学院)
针对现有深度神经网络非线性提升需求,本文提出采用低秩、权重共享与稀疏化的轻量QuadEnhancer二次增强器,以极少开销引入层间特征二次交互,在图像、文本分类及大模型微调任务上均实现显著性能提升。
2025-09-28 cs.AI cs.LG
MolSC: Leveraging Substituent Contributions to Enhance Fine-grained Molecular Understanding in LLMs
Korea University(高丽大学)
本文提出取代基贡献数据集MolSC及基准MolSC-Bench,通过训练提升分子大语言模型对细粒度结构-性质关系的预测能力,实验证明该方法显著优于现有模型。
2026-09-22 cs.AI cs.LG
Understanding Your Agent: Leveraging Large Language Models for Behavior Explanation
University of Michigan(密歇根大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种基于状态和动作观测学习行为表示并借助大型语言模型生成自然语言解释的方法,在多智能体搜救环境中验证其解释效果可媲美人类专家,并支持澄清与反事实交互。
2023-11-29 cs.AI cs.LG
Explaining Deep Neural Networks by Leveraging Intrinsic Methods
Sapienza University of Rome(罗马大学)
本论文通过引入自解释网络设计、神经元激活值分析和视觉分析中解释性技术的应用,增强深度神经网络的可解释性,以解决其黑盒问题。
2024-07-17 cs.LG
Leveraging Intermediate Neural Collapse with Simplex ETFs for Efficient Deep Neural Networks
Massachusetts Institute of Technology(麻省理工学院)
针对深度网络参数冗余问题,本文基于有效深度后各层的中间神经坍缩,提出 Adaptive-ETF 与 ETF-Transformer 两种约束训练方法,在保持性能的同时显著减少可学习参数。
2024-12-01 cs.LG
Leveraging Recurrent Neural Networks for Predicting Motor Movements from Primate Motor Cortex Neural Recordings
本研究针对非人灵长类神经记录的运动解码问题,提出采用AEGRU模型(训练阶段用自编码器提升泛化),结合预处理在Neurobench基准及IEEE BioCAS 2024神经解码挑战赛中取得最优$R^2$成绩,且剪枝后可大幅降低运算量且性能损失极小。
2024-11-01 cs.LG eess.SP q-bio.NC
Leveraging Monolingual Data with Self-Supervision for Multilingual Neural Machine Translation
Google Research(谷歌研究院)
在过去的几年里,在低资源神经机器翻译(NMT)中出现了两个有前途的研究方向。第一个重点是利用高资源语言,通过多语言NMT来提高低资源语言的质量。第二个方向采用具有自我监督的单语数据来预训练翻译模型,然后对少量监督数据进行微调。在这项工作中,我们加入了这两条研究路线,并证明了多语言NMT中自我监督的单语数据的有效性。我们提供三大成果:(i)使用单语数据可以显著提高多语言模型中低资源语言的翻译质量。(ii)自我监督提高了多语言模型中的zero-shot翻译质量。(iii)利用具有自我监督的单语数据为向多语言模型添加新语言提供了一条可行的途径,在没有任何并行数据或反向翻译的情况下,在ro-en翻译上获得多达33个BLEU。
2020-05-11 cs.CL cs.LG
Leveraging Compact Satellite Embeddings and Graph Neural Networks for Large-Scale Poverty Mapping
Chalmers University of Technology(查尔姆斯理工大学);Linköping University(林奈大学)
针对全球南方贫困地图稀缺及DHS调查坐标偏移问题,提出基于AlphaEarth卫星嵌入的图神经网络方法,通过建模空间关系和模糊标签损失,有效提升了撒哈拉以南非洲地区财富指数预测的泛化能力与准确率。
2025-11-03 cs.LG
Leveraging Classical Algorithms for Graph Neural Networks
University of Cambridge(剑桥大学);Google DeepMind(谷歌DeepMind)
本研究通过在经典算法上预训练图神经网络,为分子性质预测任务注入算法先验,实验表明该方法在ogbg-molhiv和ogbg-molclintox上分别提升6%和3%的绝对性能,验证了其有效性。
2025-10-24 cs.LG
Leveraging Distillation Techniques for Document Understanding: A Case Study with FLAN-T5
RheinMain University of Applied Sciences(莱茵美因应用科学大学);National University of Sciences and Technology (NUST)(国家科技大学(NUST))
针对大语言模型部署成本高、开源模型性能不足的文档理解难题,提出将ChatGPT的文档理解知识蒸馏到FLAN-T5的方法,结合标注与课程学习实现高效知识迁移,提供了可落地的可扩展解决方案。
2024-09-17 cs.CL cs.LG
Leveraging Large (Visual) Language Models for Robot 3D Scene Understanding
Massachusetts Institute of Technology(麻省理工学院)
针对机器人缺乏家居场景常识的问题,本文评估多种基于语言及视觉语言模型的3D场景分类范式,最佳方法房间分类准确率约70%,并具有良好泛化与迁移能力。
2023-11-08 cs.CL cs.CV cs.LG
Leveraging Knowledge Bases in LSTMs for Improving Machine Reading
Carnegie Mellon University(卡内基梅隆大学)
本文主要研究如何利用外部知识库(KB)来改进递归神经网络以实现机器阅读。利用知识库中的知识的传统方法将知识编码为离散的指示符特征。这些特征不仅泛化能力差,而且需要特定于任务的特征工程来实现良好的性能。我们提出了KBLSTM,这是一种新型的神经模型,它利用知识库的连续表示来增强机器阅读递归神经网络的学习。为了有效地将背景知识与当前处理的文本中的信息相结合,我们的模型采用了一种带有哨兵的注意力机制来自适应地决定是否关注背景知识以及知识库中的哪些信息是有用的。实验结果表明,我们的模型实现的准确性,超过了以前的国家的最先进的结果,实体提取和事件提取广泛使用的ACE2005数据集。
2019-02-25 cs.AI cs.CL cs.LG
Pre-training via Leveraging Assisting Languages and Data Selection for Neural Machine Translation
Kyoto University(京都大学);National Institute of Information and Communications Technology(信息通信研究机构)
已知使用大型单语数据的序列到序列(S2S)预训练可以提高低资源环境中各种S2S NLP任务的性能。然而,大型单语语料库可能并不总是可用于感兴趣的语言(LOI)。为此,我们建议利用其他语言的单语语料库,以补充单语语料库的稀缺性的LOI。低资源日英神经机器翻译(NMT)的案例研究表明,利用大型中文和法文单语语料库可以分别帮助克服日语和英语单语语料库的不足,用于S2S预训练。我们进一步展示了如何利用脚本映射(中文到日文),以增加两个单语语料库之间的相似性,从而进一步提高翻译质量。此外,我们还提出了在预训练之前使用的简单数据选择技术,这些技术会显著影响S2S预训练的质量。我们提出的方法的实证比较表明,利用辅助语言单语语料库,数据选择和脚本映射是非常重要的NMT预训练在低资源的情况下。
2020-01-23 cs.CL cs.LG
Leveraging Stochastic Predictions of Bayesian Neural Networks for Fluid Simulations
University of Tübingen(图宾根大学);TU Munich(慕尼黑工业大学)
我们调查的不确定性估计和多模态通过贝叶斯神经网络(BNN)在流体模拟的非确定性预测。为此,我们部署BNN在三个具有挑战性的实验测试情况下,越来越复杂:我们表明,BNN,当用作稳态流体流动预测的代理模型,提供准确的物理预测与合理的估计不确定性。此外,我们的实验与扰动的时间序列的Navier-Stokes模拟和评估的能力BNN捕捉多模态演化。虽然我们的研究结果表明,这对于大扰动来说是有问题的,但我们的研究结果表明,在这种情况下,网络能够正确地预测高不确定性。最后,我们研究BNN的求解器与湍流等离子体流的相互作用的背景下。我们发现,基于BNN的校正网络可以稳定粗粒度的模拟,并成功地创建多模态轨迹。
2022-05-02 cs.LG physics.flu-dyn
Leveraging Financial News for Stock Trend Prediction with Attention-Based Recurrent Neural Network
Queen's University(女王大学)
股票市场预测是一个非常有吸引力的研究课题,因为对市场未来走势的成功预测会带来巨大的利润。传统的短期股票市场预测通常基于对历史市场数据的分析,例如股票价格、移动平均线或每日回报。然而,财经新闻也包含有关上市公司和市场的有用信息。金融文献中的现有方法利用情感信号特征,其受到不考虑事件和新闻上下文等因素的限制。我们通过利用深度神经模型从新闻文本中提取丰富的语义特征来解决这个问题。特别地,使用Bidirectional-LSTM对新闻文本进行编码并捕获上下文信息,应用自注意机制将注意力分配到大多数相关词、新闻和日期上。在预测标准普尔500指数和个别公司的股票价格的方向性变化方面,我们表明,这种技术与其他国家的最先进的方法是有竞争力的,证明了最近的NLP技术进步的有效性计算金融。
2018-11-15 cs.LG q-fin.CP
Curvature-Aware Captioning:Leveraging Geodesic Attention for 3D Scene Understanding
East China Normal University(东华大学)
本文提出曲率感知描述生成框架,通过非欧几里得测地注意力机制解决定位与上下文化冲突,提升3D场景描述的精度与连贯性。
2026-05-09 cs.AI cs.CV cs.LG
BayesNAM: Leveraging Inconsistency for Reliable Explanations
Chung-Ang University(中央大学);Seoul National University(首尔大学)
本文指出神经加性模型(NAM)产生的不一致解释具有内在价值,提出BayesNAM框架,结合贝叶斯神经网络与特征dropout来捕捉不一致性,从而提供更可靠的解释并揭示数据与模型结构的潜在问题。
2024-11-10 cs.AI cs.LG cs.NE
Data Efficient Human Intention Prediction: Leveraging Neural Network Verification and Expert Guidance
Carnegie Mellon University(卡内基梅隆大学)
预测人类意图对于促进安全和高效的人机协作(HRC)至关重要。然而,建立数据驱动的人类意图预测模型具有挑战性。一个主要的挑战是由于人体运动数据的多样性和噪声。收集全面覆盖所有可能场景的海量运动数据集是昂贵的,这导致在某些场景下人体运动数据的稀缺,因此,在构建鲁棒且可靠的意图预测器方面造成困难。为了应对这一挑战,本文提出了一种迭代对抗数据增强(IADA)框架,用于从不足的训练数据中学习神经网络模型。该方法使用神经网络验证来识别最“混乱”的输入样本,并利用专家指导来安全地和迭代地用这些样本来增强训练数据。所提出的框架适用于收集的人类数据集。实验结果表明,与现有的训练方法相比,我们的方法可以实现更强大和准确的预测性能。
2022-09-24 cs.HC cs.LG
Leveraging the two timescale regime to demonstrate convergence of neural networks
Sorbonne Université, CNRS(索邦大学,法国国家科学研究中心);Laboratoire de Probabilités, Statistique et Modélisation, LPSM(概率、统计与建模实验室);EPFL(瑞士洛桑联邦理工学院)
本文研究浅层神经网络在双时间尺度机制下的训练动态,证明了梯度流在单变量非凸优化问题中收敛至全局最优解,且无需神经元数量渐近变大,并通过实验验证了随机梯度下降在该机制内外的收敛与失败表现。
2023-10-25 cs.LG math.OC stat.ML
Leveraging Spatiotemporal Graph Neural Networks for Multi-Store Sales Forecasting
Department of Chemical Engineering, IIT Bombay(印度博亚理工大学化学工程系);Rajiv Gandhi University(拉吉夫·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕勒尔研究实验室)
本文提出STGNN模型,通过学习自适应图结构提升多门店销售预测精度,优于传统基线方法。
2025-11-24 cs.LG
Improving Generalization of Deep Neural Networks by Leveraging Margin Distribution
Nanjing University(南京大学)
针对现有DNN泛化分析多基于最小间隔、忽略整体间隔分布信息的问题,本文证明了由全间隔分布统计量主导的泛化上界,提出间隔标准差与期望间隔的比值这一关键复杂度度量,通过凸间隔分布损失优化该比值,实验验证了方法有效性及泛化间隙与该比值的相关性。
2022-03-29 cs.LG stat.ML
Leveraging Influence Functions for Resampling Data in Physics-Informed Neural Networks
Department of Artificial Intelligence, Fraunhofer Heinrich Hertz Institute(人工智能系,弗劳恩霍夫海因里希·赫兹研究所);Department of Electrical Engineering and Computer Science, Technische Universität Berlin(电气工程与计算机科学系,柏林技术大学);BIFOLD -- Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);Centre of eXplainable Artificial Intelligence, Technological University Dublin(可解释人工智能中心,都柏林技术大学)
本研究针对物理信息神经网络(PINNs)的训练数据,探索应用可解释人工智能(XAI)领域的影响函数进行目标重采样,结果表明该方法可提升PINN的预测精度,实现了XAI方法在PINN训练中的实际应用。
2025-06-19 cs.AI cs.LG physics.comp-ph
Perseus: Leveraging Common Data Patterns with Curriculum Learning for More Robust Graph Neural Networks
National University of Defense Technology(国防科技大学)
针对图神经网络易受对抗攻击且现有防御方法存在信息丢失或陷入局部最优的问题,提出基于课程学习的防御方法Perseus,通过全局同质性评估边难度并调整学习顺序,引导模型聚焦常见数据模式,显著提升了模型的性能与鲁棒性。
2024-10-16 cs.LG
Compressing DMA Engine: Leveraging Activation Sparsity for Training Deep Neural Networks
NVIDIA(英伟达)
流行的深度学习框架要求用户微调其内存使用,以便深度神经网络(DNN)的训练数据适合GPU物理内存。之前的工作试图通过虚拟化DNN的内存使用来解决这个限制,使CPU和GPU内存都能用于内存分配。尽管有其优点,但当从CPU存储器来回复制数据所需的时间高于执行DNN前向和后向传播所需的计算的延迟时,虚拟化存储器可能会导致显著的性能开销。我们引入了一种基于“压缩DMA引擎”(cDMA)的高性能虚拟化策略,该策略可大幅减少CPU端分配的数据结构的大小。cDMA引擎通过利用卸载数据中固有的稀疏性提供平均2.6倍(最大13.8倍)的压缩比,将虚拟化DNN的性能平均提高32%(最大61%)。
2017-05-03 cs.AR cs.LG
PreNeT: Leveraging Computational Features to Predict Deep Neural Network Training Time
York University(约克大学)
PreNeT通过整合逐层参数、算术运算和内存利用等计算特征,预测深度神经网络在不同硬件上的训练时间,实验显示其预测准确率比现有最先进框架提升高达72%。
2024-12-27 cs.LG
MTCue: Learning Zero-Shot Control of Extra-Textual Attributes by Leveraging Unstructured Context in Neural Machine Translation
University of Sheffield(谢菲尔德大学)
本文提出MTCue框架,将所有上下文统一视为文本并学习其抽象表示,在对话翻译中实现文本外属性的零样本控制,显著优于非上下文和标记基线。
2023-05-25 cs.AI cs.CL cs.LG
Leveraging Neural Machine Translation for Word Alignment
Charles University(查理大学)
最常见的单词对齐工具依赖于大量的平行句子,然后通常根据IBM模型算法之一进行处理。然而,训练数据与机器翻译(MT)系统相同,特别是对于神经MT(NMT),其本身能够使用训练的注意力头部产生单词对齐。这很方便,因为词对齐理论上是任何基于注意力的NMT的可行副产品,它也能够为翻译的句子对提供解码器评分。我们总结了如何从对齐分数中提取单词对齐的不同方法,然后探索了从NMT中提取分数的方法,重点是基于输出句子和令牌概率推断单词对齐分数。我们将此与从注意力中提取对齐分数进行比较。最后,我们将所有对齐分数的来源聚合到一个简单的前馈网络中,当使用组合对齐提取器时,该网络可以获得最佳结果。
2021-03-31 cs.CL cs.LG
Leveraging Neural Graph Compilers in Machine Learning Research for Edge-Cloud Systems
Coovally Barcelona, Spain(巴塞罗那Coovally公司);Distributed Systems Group, TU Wien(维也纳技术大学分布式系统组);ICREA Barcelona, Spain(巴塞罗那ICREA)
该研究对跨异构硬件平台的神经网络图编译器全面评估,揭示其性能依赖神经架构和批量大小,通过实验确定特定供应商编译器优势,引入新指标,纳入编译器效应弥合学术与实际部署差距。
2026-07-08 cs.DC cs.LG
On the quantization of recurrent neural networks
Google, Inc.(谷歌公司)
神经网络的非线性量化可以定义为使用降低的整数精度对规范神经网络公式的高精度计算的近似。它在机器学习(ML)系统的高效部署和执行中发挥着重要作用,可以减少内存消耗并利用通常更快的计算。在这项工作中,我们为长短期记忆(LSTM)神经网络拓扑结构提出了一种仅整数量化策略,这些拓扑结构本身就是许多生产ML系统的基础。我们的量化策略是准确的(例如,与量化后训练配合良好),高效且快速执行(利用8位整数权重和大多数8位激活),并且能够针对各种硬件(通过利用常见CPU架构中可用的指令集以及可用的神经加速器)。
2021-01-14 cs.LG
Graph Neural Networks for Leveraging Industrial Equipment Structure: An application to Remaining Useful Life Estimation
TCS Research(TCS研究院)
通过流式多传感器时间序列数据进行的自动化设备健康监测可用于实现基于状态的维护,避免突然的灾难性故障,并确保高运营可用性。我们注意到,大多数复杂的机器都有一个记录良好且易于访问的底层结构,用于捕获子系统或模块之间的相互依赖关系。基于递归神经网络(RNN)或卷积神经网络(CNN)的深度学习模型未能明确地将这种潜在的丰富领域知识源利用到学习过程中。在这项工作中,我们建议捕捉复杂设备的结构图的形式,并使用图神经网络(GNNs)建模多传感器的时间序列数据。使用剩余使用寿命估计作为一个应用任务,我们评估的优势,通过GNNs的公开可用的涡轮风扇发动机基准数据集上的图形结构。我们观察到,所提出的基于GNN的RUL估计模型与文献中的几个强基线(例如基于RNN和CNN的基线)相比毫不逊色。此外,我们观察到,学习网络能够通过简单的注意力机制关注即将发生故障的模块(节点),这可能为可操作的诊断铺平道路。
2020-06-30 cs.LG stat.ML
Leveraging AutoML for Sustainable Deep Learning: A Multi-Objective HPO Approach on Deep Shift Neural Networks
L3S Research Center(L3S研究中心)
提出结合多保真超参数优化与多目标优化自动设计深度移位神经网络,在图像分类中同时提升性能约20%并减少排放超60%,揭示量化策略中的模型特定权衡。
2026-06-23 cs.LG
Leveraging Neural Koopman Operators to Learn Continuous Representations of Dynamical Systems from Scarce Data
IMT Atlantique(大西洋国立高等工业技术与矿业学校);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Grenoble INP(格勒诺布尔国立理工学院);Institut Universitaire de France(法兰西大学研究院);EPITA(法国计算机科学与技术高等学院)
在过去的几年里,有几项工作提出了深度学习架构,以从观察数据中学习动力系统,而不了解或了解很少的基础物理知识。一系列的工作依赖于学习表征,其中潜在现象的动态可以通过基于Koopman算子理论的线性算子来描述。然而,尽管能够提供可靠的长期预测的一些动态系统在理想的情况下,到目前为止提出的方法有局限性,如需要离散本质连续的动态系统,导致数据丢失,特别是当处理不完整或稀疏采样的数据。在这里,我们提出了一个新的深度Koopman框架,它以本质上连续的方式表示动态,从而在有限的训练数据上获得更好的性能,例如从动态系统中产生的几个数据集。
2023-03-13 cs.LG math.DS
Towards Interpretable Deep Neural Networks by Leveraging Adversarial Examples
Tsinghua National Lab for Information Science and Technology(清华大学信息科学与技术国家实验室);State Key Lab of Intelligent Technology and Systems(智能技术与系统国家重点实验室);Center for Bio-Inspired Computing Research(生物启发计算研究中心);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
有时,DNN产生结果是不够的。例如,在医疗保健等应用程序中,用户需要了解决策的基本原理。因此,必须开发算法来学习具有良好可解释性的模型(Doshi-Velez 2017)。导致DNN缺乏可解释性的一个重要因素是神经元的模糊性,其中神经元可能会激发各种不相关的概念。这项工作旨在通过减少神经元的模糊性来提高DNN在整个图像空间上的可解释性。本文主要做了以下几个方面的工作:1)提出了一种定量评价网络中神经元一致性水平的度量方法。2)我们发现,通过利用对抗性示例,神经元的学习特征是模糊的。3)我们提出了一种具有一致性损失的对抗训练算法,以提高对抗样本子集上神经元的一致性。
2019-01-25 cs.LG stat.ML
On Leveraging the Visual Modality for Neural Machine Translation
Carnegie Mellon University(卡内基梅隆大学)
如何有效地利用视觉模态进行神经机器翻译(NMT)是计算语言学中的一个难题。最近,Caglayan等人认为,观察到的收益是有限的,主要是由于Multi30k数据集(当时唯一可用的多模态MT数据集)非常简单,简短,重复的句子,这使得源文本足以用于上下文。在这项工作中,我们进一步研究了一个新的大规模多模态机器翻译(MMT)数据集,How2,它的平均句子长度比Multi30k长1.57倍,没有重复。我们提出并评估了三种新的融合技术,每一种技术的目的是确保利用视觉上下文在不同阶段的序列到序列的转导管道,即使在完整的语言环境。然而,我们在完整的语言背景下仍然只获得了边际收益,并且认为从深度视觉模型(Multi30k的ResNet,How2的ResNext)中提取的视觉嵌入并不能增加NMT中标记级预测的词汇元素之间的区分度。我们通过分析注意力分布定性地证明了这一点,并通过主成分分析定量地证明了这一点,得出的结论是,在现有的MMT数据集中,需要改进的是视觉嵌入的质量,而不是句子的长度。
2019-10-07 cs.CL cs.LG
Leveraging End-to-End Speech Recognition with Neural Architecture Search
本文提出利用神经架构优化在极低计算成本下大幅提升深度语音模型准确率,几小时内即可发现并训练新模型,在LibriSpeech和TIMIT基准上取得与SOTA相当的7% WER和13% PER。
2023-05-20 cs.IR cs.LG cs.SD