When Graph Neural Network Meets Causality: Opportunities, Methodologies and An Outlook
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
本文综述因果启发的图神经网络(CIGNNs),用因果工具分析 GNN 可信性风险,并按因果推理与因果表示学习梳理方法、资源和未来方向。
2024-06-18 cs.AI cs.LG stat.ME
Interpretable Fault Diagnosis of Rolling Element Bearings with Temporal Logic Neural Network
Nanyang Technological University(南洋理工大学);University of California, Davis(加州大学戴维斯分校)
基于机器学习的方法在机械故障诊断中已经取得了成功的应用。然而,这些方法存在的主要限制是它们作为黑盒操作,并且通常不可解释。本文提出了一种新的神经网络结构--时序逻辑神经网络(TLNN),网络的神经元是逻辑命题。更重要的是,网络可以被描述和解释为加权信号时序逻辑。TLNN不仅保持了传统神经元网络的优良特性,而且用形式语言对自身进行了形式化解释。实验结果表明,该神经网络能够获得高精度的故障诊断结果,具有良好的计算效率。此外,神经元网络内嵌的形式语言可以对决策过程提供解释,从而实现可解释的故障诊断。
2022-04-19 cs.AI cs.LG
Weighted Graph-Based Signal Temporal Logic Inference Using Neural Networks
Arizona State University(亚利桑那州立大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Rensselaer Polytechnic Institute(伦斯勒理工学院)
从数据中提取时空知识在许多应用中是有用的。重要的是,所获得的知识是人类可解释的,并适合于形式分析。在本文中,我们提出了一种方法,训练神经网络学习的加权图为基础的信号时序逻辑(wGSTL)公式的形式的时空属性。为了学习wGSTL公式,我们引入了一个灵活的wGSTL公式结构,其中用户的偏好可以应用于推断的wGSTL公式中。在所提出的框架中,神经网络的每个神经元对应于灵活的wGSTL公式结构中的子公式。我们最初训练一个神经网络来学习wGSTL运算符,然后训练第二个神经网络来学习灵活的wGSTL公式结构中的参数。我们使用COVID-19数据集和降雨预测数据集来评估所提出的框架和算法的性能。我们比较了所提出的框架的性能与三个基线分类方法,包括K-近邻,决策树,支持向量机,人工神经网络。所提出的框架获得的分类精度与基线分类方法相媲美。
2022-01-06 cs.AI cs.LG
Temporal Decisions: Leveraging Temporal Correlation for Efficient Decisions in Early Exit Neural Networks
Infineon Technologies Dresden GmbH & Co. KG(英飞凌德累斯顿有限两合公司);Technical University of Munich(慕尼黑工业大学);Infineon Technologies AG(英飞凌股份公司);Technical University of Dresden(德累斯顿工业大学)
本文提出差异检测与时间耐心两种决策机制,利用传感器数据的时间相关性高效终止早退神经网络推理,在保持高准确率的同时将计算量减少高达80%。
2024-03-12 cs.AI cs.LG
Deep Learning for Community Detection: Progress, Challenges and Opportunities
Macquarie University(麦考瑞大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61研究所);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);School of Computer Science, Wuhan University(武汉大学计算机学院);Department of Computer Science, University of Illinois at Chicago(伊利诺伊大学芝加哥分校计算机科学系)
由于社区代表着相似的观点、相似的功能、相似的目的等,社区发现在科学探究和数据分析中都是一种重要且极其有用的工具。然而,经典的社区发现方法,如谱聚类和统计推断,正在被淘汰,因为深度学习技术表现出越来越大的处理高维图形数据的能力,性能令人印象深刻。因此,通过深度学习对社区发现的当前进展进行调查是及时的。本文分为该领域的三大研究流--深度神经网络、深度图嵌入和图神经网络,总结了每个流中各种框架、模型和算法的贡献,以及当前尚未解决的挑战和有待探索的未来研究机会。
2020-09-23 cs.AI cs.LG cs.SI
Graph Neural Networks for Communication Networks: Context, Use Cases and Opportunities
Barcelona Neural Networking Center(巴塞罗那神经网络中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);AGH University of Science and Technology(AGH科技大学);Technical University of Munich(慕尼黑工业大学);Huawei Technologies(华为技术有限公司);University of Siena(锡耶纳大学)
图神经网络(GNN)已经在数据基本上被表示为图的许多领域(例如,化学、生物学、推荐系统)。在这种情况下,通信网络包括以图形结构的方式自然表示的许多基本组件(例如,拓扑、配置、业务流)。这篇文章介绍了GNNs作为通信网络建模,控制和管理的基本工具。GNN代表了新一代的数据驱动模型,可以准确地学习和再现真实网络背后的复杂行为。因此,这些模型可以应用于各种各样的网络用例,例如规划,在线优化或故障排除。GNN相对于传统神经网络的主要优势在于,当应用于其他网络和训练过程中看不到的配置时,它具有前所未有的泛化能力,这是实现实用的数据驱动网络解决方案的关键特征。本文包括一个关于GNN及其在通信网络中的可能应用的简短教程。为了展示这项技术的潜力,我们提出了两个用例,分别应用于有线和无线网络的最先进的GNN模型。最后,我们深入研究了这个新研究领域有待探索的关键开放挑战和机遇。
2022-07-27 cs.LG cs.NI eess.SP
Noise-Robust Deep Spiking Neural Networks with Temporal Information
Seoul National University(首尔大学);Institute of New Media and Communications, Seoul National University(首尔大学新媒体与通信研究所);ASRI and Interdisciplinary Program in Artificial Intelligence, Seoul National University(首尔大学自动系统研究所及人工智能跨学科项目)
脉冲神经网络(SNN)是一种具有时间信息的能量高效神经网络。SNN在神经形态设备上显示出优越的效率,但这些设备对噪声敏感,这阻碍了它们在现实世界中的应用。有几项研究提高了噪声鲁棒性,但大多数研究既没有考虑深度SNN,也没有考虑时间信息。在本文中,我们研究了噪声对各种神经编码方法的深度SNN的影响,并提出了一种具有时间信息的噪声鲁棒性深度SNN。通过所提出的方法,我们已经实现了一个深度SNN,它对尖峰删除和抖动是有效和鲁棒的。
2021-04-22 cs.AI cs.LG cs.NE
Graph Pooling for Graph Neural Networks: Progress, Challenges, and Opportunities
Wuhan University(武汉大学);JD Explore Academy, JD.com(京东集团京东探索研究院);Macquarie University(麦考瑞大学);University of Sydney(悉尼大学)
本文系统综述图神经网络中的图池化方法,提出分类法、总结相关库与应用,并探讨挑战与未来研究方向。
2023-06-22 cs.LG
WaveSense: Efficient Temporal Convolutions with Spiking Neural Networks for Keyword Spotting
SynSense AG
超低功耗本地信号处理是始终在线设备上边缘应用的一个关键方面。仿真脉冲神经网络的神经形态处理器显示出巨大的计算能力,同时满足该领域所需的有限功率预算。在这项工作中,我们提出尖峰神经动力学作为一种自然的替代膨胀的时间卷积。我们将这个想法扩展到WaveSense,这是一个受WaveNet架构启发的脉冲神经网络。WaveSense使用简单的神经动力学、固定的时间常数和简单的前馈架构,因此特别适合于神经形态实现。我们在几个数据集上测试了该模型的关键词识别能力。结果表明,该网络击败了其他脉冲神经网络的最新技术水平,并达到了人工神经网络(如CNN和LSTM)的最新性能。
2021-11-02 cs.AI cs.LG cs.NE
Leveraging Static Models for Link Prediction in Temporal Knowledge Graphs
Utrecht University(乌得勒支大学)
在知识图谱嵌入(KGE)中包含事实的时间范围为改进所得到的嵌入提供了重要的机会,并且因此为下游应用中的提高的性能提供了重要的机会。然而,很少有研究工作集中在这一领域,许多研究报告显示,与没有时间范围训练的模型(静态模型)相比,结果只略有改善。此外,而不是利用现有的静态模型的工作,他们介绍了特定的时间知识图谱的新模型。我们提出了一个新的视角,利用现有的静态嵌入模型的力量,集中精力操纵数据,而不是。我们的方法SpiMe从信号处理领域和图嵌入的早期工作中汲取灵感。我们表明,SpliMe竞争或优于目前的最先进的时间KGE。此外,我们发现目前用于评估静态模型在时间图上的性能的过程中存在的问题,并介绍了两种方法来抵消它们。
2021-06-29 cs.AI cs.CL cs.LG
On The Temporal Domain of Differential Equation Inspired Graph Neural Networks
University of Cambridge(剑桥大学);University of British Columbia(不列颠哥伦比亚大学);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
针对现有 DE-GNNs 仅依赖一阶或二阶时间依赖的限制,本文提出 TDE-GNN,通过神经扩展学习更广泛的时间动态,并在多个图基准上验证其优于预定义动态模型。
2024-01-20 cs.LG
Who Should I Engage with At What Time? A Missing Event Aware Temporal Graph Neural Network
Harbin Institute of Technology(哈尔滨工业大学)
时态图神经网络由于其广泛的应用场景,如生物信息学、知识图谱、社交网络等,近年来受到了广泛的关注。有一些时间图神经网络取得了显着的效果。然而,这些工作侧重于未来事件的预测,并假设所有历史事件都是可观察的。在实际应用中,事件并不总是可观察的,估计事件时间与预测未来事件一样重要。本文提出了一种缺失事件感知的时间图神经网络MTGN,它统一地对图结构和事件时序的演化进行建模,以支持预测未来会发生什么以及何时会发生.MTGN将观测事件和缺失事件的动态过程建模为两个耦合的时间点过程,从而将缺失事件的影响纳入网络.在几个真实时间图上的实验结果表明,MTGN的时间和链接预测的准确度分别提高了89%和112%,明显优于现有方法。代码可以在https://github.com/HIT-ICES/TNNLS-MTGN上找到。
2023-01-20 cs.LG
An Explainer for Temporal Graph Neural Networks
University of Florida(佛罗里达大学)
时态图神经网络(TGNNs)由于能够同时捕捉图的拓扑依赖性和非线性时态动态特性,已被广泛用于建模时变图相关任务。TGNN的解释对于透明和可信的模型至关重要。然而,复杂的拓扑结构和时间依赖性使得解释TGNN模型非常具有挑战性。在本文中,我们提出了一个新的解释框架TGNN模型。给定要解释的图上的时间序列,该框架可以以概率图模型的形式在一个时间段内识别主导解释。交通领域的案例研究表明,所提出的方法可以发现动态依赖结构的道路网络的一段时间。
2022-09-02 cs.LG
Temporal Collaborative Filtering with Graph Convolutional Neural Networks
Vrije Universiteit Brussel(布鲁塞尔自由大学);imec(比利时微电子研究中心)
时态协同过滤(TCF)方法旨在对推荐系统背后的非静态方面进行建模,例如用户偏好的动态变化和项目周围的社会趋势。最先进的TCF方法采用递归神经网络(RNN)来对这些方面进行建模。这些方法部署基于矩阵分解(MF)的方法来学习用户和项目表示。最近,基于图形神经网络(GNN)的方法已经显示出在非时间CF设置中提供准确建议的性能优于传统的基于MF的方法。受此启发,我们提出了一种新的TCF方法,该方法利用GNN来学习用户和项目表示,并利用RNN来建模它们的时间动态。这种方法的一个挑战在于增加的数据稀疏性,这对使用GNN获得有意义的质量表示产生了负面影响。为了克服这一挑战,我们在每个时间步使用一组按时间累积的观察到的相互作用来训练GNN模型。对真实数据的综合实验表明,我们的方法在几个最先进的时态和非时态CF模型上获得了更好的性能。
2020-10-13 cs.AI
Multi-branch Spatio-Temporal Graph Neural Network For Efficient Ice Layer Thickness Prediction
Lehigh University(里海大学)
提出多分支时空图神经网络,结合GraphSAGE和时间卷积,从顶层冰层厚度预测深层厚度,在准确性和效率上优于现有融合模型。
2024-11-06 cs.CV cs.LG
The Promise of Analog Deep Learning: Recent Advances, Challenges and Opportunities
University of Oxford(牛津大学)
针对现有AI硬件综述对模拟深度学习进展讨论不足的问题,本文从精度、能效等多维度系统评估八种模拟深度学习方法的优劣与进展,指出其消费级应用潜力大但可扩展性仍待突破。
2024-06-13 cs.AI cs.CV cs.LG
Spatio-Temporal Graph Neural Networks: A Survey
Queen Mary University of London(伦敦玛丽女王大学);American University of Beirut(贝鲁特美国大学)
图神经网络在过去的几年里获得了巨大的兴趣。这些强大的算法将深度学习模型扩展到非欧几里德空间,并能够在包括推荐系统和社交网络在内的各种应用中实现最先进的性能。然而,这种性能是基于静态图结构的假设,当数据随时间变化时,这限制了图神经网络的性能。时空图神经网络是考虑时间因素的图神经网络的扩展。最近,提出了各种时空图神经网络算法,并在几个时间依赖的应用中实现了优于其他深度学习算法的性能。本调查讨论了与时空图神经网络相关的有趣主题,包括算法,应用和开放挑战。
2023-02-11 cs.LG
TemporalGraphLLM: Temporal Graph Neural Networks with Large Language Models for Dynamic Text-Attributed Graphs
提出TemporalGraphLLM框架,集成时间图神经网络与大语言模型,通过图时间感知指令微调和图嵌入注入,在动态文本属性图的边分类、链接预测和文本生成任务上达到最先进性能。
2026-09-29 cs.LG
PRES: Toward Scalable Memory-Based Dynamic Graph Neural Networks
University of Hong Kong(香港大学)
本文针对基于记忆的动态图神经网络在大时间批量训练中的时间不连续性问题,提出迭代预测-校正方案PRES并结合记忆一致性目标,实现4倍时间批量增大和3.4倍加速而不损失泛化性能。
2024-02-26 cs.LG
Sample Complexity and Overparameterization Bounds for Temporal Difference Learning with Neural Network Approximation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);ETH Zurich(苏黎世联邦理工学院);c3.ai Digital Transformation Institute(c3.ai数字化转型研究院)
在本文中,我们研究了动态的时间差学习与神经网络为基础的价值函数逼近一般状态空间,即\emph{Neural TD learning}。我们考虑两个实际使用的算法,投影自由和最大范数正则化神经TD学习,并建立这些算法的第一收敛界。从我们的结果中一个有趣的观察是,最大范数正则化可以显着提高TD学习算法的性能,无论是在样本复杂度和overparameterization。特别是,我们证明了最大范数正则化提高了最先进的样本复杂性和overparameterization界限。在这项工作中的结果依赖于一个新的李雅普诺夫漂移分析的网络参数作为一个停止和控制的随机过程。
2021-08-06 cs.AI cs.LG math.OC
Exploring Temporal Information Dynamics in Spiking Neural Networks
Yale University(耶鲁大学);Technology Innovation Institute(技术创新研究所)
现有的脉冲神经网络(SNN)工作原理表明,SNN可以利用脉冲的时间信息动态性。然而,一个明确的时间信息动态分析仍然缺失。在本文中,我们提出了几个重要的问题,提供了一个基本的理解SNN:什么是时间信息动态SNN内?我们如何测量时间信息动态?时间信息动态如何影响整体学习绩效?为了回答这些问题,我们以经验的方式估计权重的Fisher信息来衡量训练过程中时间信息的分布。令人惊讶的是,随着训练的进行,Fisher信息开始集中在早期的时间步。经过训练后,我们观察到信息在早期的几个时间步中变得高度集中,这种现象我们称为时间信息集中。我们观察到,时间信息集中现象是SNN的一个共同的学习特征,通过对各种配置(如架构,数据集,优化策略,时间常数和时间步长)进行广泛的实验。此外,为了揭示时间信息集中对SNN性能的影响,我们设计了一个损失函数来改变时间信息的趋势。我们发现,时间信息集中是至关重要的,建立一个强大的SNN,但分类精度的影响不大。最后,我们提出了一个有效的迭代修剪方法的基础上,我们的观察时间信息浓度。代码可在https://github.com/Intelligent-Computing-Lab-Yale/Exploring-Temporal-Information-Dynamics-in-Spiking-Neural-Networks上获得。
2022-11-30 cs.AI cs.NE
4D Spatio-Temporal ConvNets: Minkowski Convolutional Neural Networks
在许多机器人和VR/AR应用中,3D视频是现成的输入源(连续的深度图像序列或LIDAR扫描)。然而,这些3D视频通过2D convnets或3D感知算法逐帧处理。在这项工作中,我们提出了4维卷积神经网络的时空感知,可以直接处理这样的三维视频使用高维卷积。为此,我们采用稀疏张量,并提出了广义稀疏卷积,包括所有离散卷积。为了实现广义稀疏卷积,我们为稀疏张量创建了一个开源的自动微分库,为高维卷积神经网络提供了广泛的功能。我们使用该库创建了4D时空卷积神经网络,并在各种3D语义分割基准上对其进行了验证,并提出了用于3D视频感知的4D数据集。为了克服4D空间中的挑战,我们提出了混合内核,广义稀疏卷积的特殊情况,以及在7 D时空色度空间中执行时空一致性的三边固定条件随机场。在实验上,我们表明,只有广义三维稀疏卷积的卷积神经网络可以大大优于2D或2D-3D混合方法。此外,我们还表明,在3D视频上,4D时空卷积神经网络对噪声具有鲁棒性,优于3D卷积神经网络,并且在某些情况下比3D对应物更快。
2019-06-13 cs.AI cs.CV
Memory via Temporal Delays in weightless Spiking Neural Network
Tufts University(塔夫茨大学);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
神经科学界的一个共同观点是,记忆是由神经元之间的连接强度编码的。这种认知导致人工神经网络模型将连接权重作为调节学习的关键变量。在本文中,我们提出了一个原型的无重量脉冲神经网络,可以执行一个简单的分类任务。该网络中的记忆存储在神经元之间的时间中,而不是连接的强度,并且使用Hebbian Spike Timing Dependent Plasticity(STDP)进行训练,该训练调节连接的延迟。
2022-02-15 cs.AI cs.LG cs.NE
TempGNN: Temporal Graph Neural Networks for Dynamic Session-Based Recommendations
Samsung Research, Samsung Electronics(三星电子三星研究院)
提出TempGNN框架,利用动态会话图上的时序嵌入算子捕捉物品转移的结构与时间动态,在两个真实电商数据集上取得最先进性能。
2023-10-20 cs.AI cs.IR
Using Time-Aware Graph Neural Networks to Predict Temporal Centralities in Dynamic Graphs
Center for Artificial Intelligence and Data Science (CAIDAS)(人工智能与数据科学中心(CAIDAS));Chair of Machine Learning for Complex Networks(复杂网络机器学习主席席位)
本研究提出使用De Bruijn图神经网络预测动态图中的时间路径中心性,在13个时间图上显著优于静态GCN、采样近似及两种最新时间感知方法,解决了时间中心性计算昂贵的问题。
2024-11-08 cs.LG cs.SI
Computing by Means of Physics-Based Optical Neural Networks
Center for Applied Science and Engineering(应用科学与工程中心);Missouri State University(密苏里州立大学)
我们报告了最近的研究与生物为基础的神经网络模型计算的物理为基础的光电硬件。新技术为超高速计算提供了机会,并揭示了阻碍这种新能力广泛使用的问题。计算建模社区可能能够为这些跨界研究问题提供解决方案。
2010-06-08 cs.AI cs.NE
Semi-supervised 3D Object Detection via Temporal Graph Neural Networks
Carnegie Mellon University(卡内基梅隆大学);Honda Research Institute(本田研究所);National Yang Ming Chiao Tung University(国立阳明交通大学)
3D目标检测在自动驾驶和其他机器人应用中起着重要作用。然而,这些检测器通常需要在大量的注释数据上进行训练,这是昂贵且耗时的。相反,我们建议通过时间图神经网络对3D对象检测器进行半监督学习来利用大量未标记的点云视频。我们的见解是,时间平滑可以在未标记的数据上创建更准确的检测结果,然后可以使用这些平滑的检测来重新训练检测器。我们学习使用图神经网络来执行这种时间推理,其中边缘表示不同时间帧中候选检测之间的关系。经过半监督学习后,与在相同数量的标记数据上训练的基线相比,我们的方法在具有挑战性的nuScenes和H3D基准上实现了最先进的检测性能。项目和代码在https://www.jianrenw.com/SOD-TGNN/上发布。
2023-03-06 cs.AI cs.CV
Multi-Scale Temporal Homeostasis Enables Efficient and Robust Neural Networks
多尺度时间稳态通过整合不同时间尺度的调节机制,提升人工神经网络的稳定性和效率,适用于多种领域。
2026-01-30 cs.AI cs.NE
Uncertainty Quantification of Sparse Travel Demand Prediction with Spatial-Temporal Graph Neural Networks
Massachusetts Institute of Technology(麻省理工学院);University of Florida(佛罗里达大学);Northeastern University(东北大学)
出行需求预测是交通领域的一项基本挑战。最近,时空深度学习模型展示了提高预测精度的巨大潜力。然而,很少有研究解决细粒度O-D矩阵的不确定性和稀疏性问题。这带来了一个严重的问题,因为大量的零偏离了确定性深度学习模型的高斯假设。为了解决这个问题,我们设计了一个时空零膨胀负二项图神经网络(STZINB-GNN)来量化稀疏出行需求的不确定性。它使用扩散和时间卷积网络分析空间和时间相关性,然后将其融合以参数化出行需求的概率分布。STZINB-GNN使用具有各种空间和时间分辨率的两个真实世界数据集进行检查。结果表明STZINB-GNN优于基准模型,特别是在高时空分辨率下,因为它的高精度,紧置信区间和可解释的参数。STZINB-GNN的稀疏性参数对于各种运输应用具有物理解释。
2022-08-11 cs.LG stat.ML
Challenges and opportunities in applying Neural Temporal Point Processes to large scale industry data
Vilnius University(维尔纽斯大学);Vinted
在这项工作中,我们确定了开放的研究机会,在应用神经时间点过程(NTPP)模型,以行业规模的客户行为数据,通过仔细复制NTPP模型发表到目前为止,在已知的文献基准,以及应用NTPP模型的一个新的,真实世界的消费者行为数据集,是两倍大的最大的公开可用的NTPP基准。我们确定了以下挑战。首先,NTPP模型尽管具有生成性,但仍然容易受到数据集不平衡的影响,并且无法预测罕见事件。其次,NTPP模型的基础上随机微分方程,尽管其理论上的吸引力和领先的性能在文献基准,不容易扩展到大的行业规模的数据。前者是根据以前对深度生成模型的观察。此外,为了解决冷启动问题,我们探索了NTPP模型的一个新的补充-基于静态用户特征的参数化。
2022-08-18 cs.LG
Spatial-Temporal Data Mining for Ocean Science: Data, Methodologies, and Opportunities
Tongji University(同济大学);The Hong Kong Polytechnic University(香港理工大学);Fudan University(复旦大学)
本文综述了海洋科学中时空数据挖掘的研究现状,分析了时空海洋数据的特点,探讨了数据增强技术及四种主要任务类型,并讨论了未来研究方向。
2023-08-03 cs.AI cs.LG physics.ao-ph
Building population models for large-scale neural recordings: opportunities and pitfalls
University of Edinburgh(爱丁堡大学)
现代记录技术现在可以同时记录大量神经元。这推动了用于分析和解释神经元群体活动的新统计模型的发展。在此,我们对这一领域的最新发展进行了广泛的概述。我们比较和对比不同的方法,突出优势和局限性,并讨论这些方法提供的生物和机械的见解。
2021-07-10 cs.LG q-bio.NC
Machine Learning for Temporal Data in Finance: Challenges and Opportunities
Capital One - Center for Machine Learning(第一资本 - 机器学习中心)
时态数据在金融服务(FS)行业中无处不在-传统数据(如经济指标),运营数据(如银行账户交易)和现代数据源(如网站点击流)-所有这些都以时间索引序列的形式出现。但是,FS中的机器学习工作通常无法解释这些数据的时间丰富性,即使在领域知识表明事件之间的精确时间模式应该包含有价值的信息的情况下。最好的情况下,这些数据通常被视为统一的时间序列,其中有一个序列,但没有确切的时间感。在最坏的情况下,粗略的汇总特征是在预先选定的窗口内计算的,以便可以应用基于静态样本的方法(例如,前一年的未结信贷额度数量或前一个月的最大信贷利用率)。这种方法与深度学习范式不一致,深度学习范式主张构建直接作用于原始或轻度处理数据的模型,并利用现代优化技术来发现最佳特征转换,以解决手头的建模任务。此外,建模实体的全貌(客户、公司等)可能只有通过检查在潜在的巨大不同的时间尺度上展开的多个数据流才能实现。在本文中,我们研究了常见FS用例中发现的不同类型的时态数据,回顾了该领域当前的机器学习方法,并最终评估了在时态数据和FS应用的机器学习交叉点工作的研究人员面临的挑战和机遇。
2020-09-11 cs.LG q-fin.ST
Causality-Driven Neural Network Repair: Challenges and Opportunities
George Mason University(乔治·马歇尔大学)
本文探讨将因果推断用于深度神经网络修复,利用因果调试、反事实分析和结构因果模型识别并纠正故障,以提升公平性、对抗鲁棒性及后门缓解能力,并指出了未来的关键挑战与方向。
2025-04-24 cs.LG
Informational Neurobayesian Approach to Neural Networks Training. Opportunities and Prospects
Cognitive Systems Company(认知系统公司);Kuban State University(库班国立大学);Higher School of Economics(高等经济学院)
本文从信息论的角度对分类问题进行了研究。目前在该领域的研究集中在优化和bapliterature方法。虽然这给出了令人满意的结果,他们需要大量的数据和计算的训练on.Authors提出了一个新的概念,名为信息神经网络方法(INA),它允许解决同样的问题,但需要显着更少的训练数据以及计算能力。实验结果表明,该算法具有较好的性能。
2017-12-03 cs.LG
Neural Bug Finding: A Study of Opportunities and Challenges
TU Darmstadt(达姆施塔特工业大学)
静态分析是在代码投入生产之前发现软件缺陷的最广泛采用的技术之一。设计和实现有效和高效的静态分析是困难的,需要很高的专业知识,这导致只有少数专家能够编写这样的分析。本文探讨了创建静态bug检测器的另一种方法的机遇和挑战:神经bug发现。其基本思想是将错误检测公式化为一个分类问题,并使用在错误和非错误代码示例上训练的神经网络来解决这个问题。我们系统地研究了这种方法的有效性的基础上标记的一个国家的最先进的,静态的错误检测器的代码示例。我们的研究结果表明,神经缺陷发现对某些缺陷模式非常有效,有时达到80%以上的精确度和召回率,但它也很难理解传统分析中明显的一些程序属性。对结果的定性分析提供了关于为什么神经bug查找器有时工作,有时不工作的见解。我们还确定了在选择用于训练和验证神经缺陷发现器的代码示例时的陷阱,并提出了一种用于选择有效训练数据的算法。
2019-06-01 cs.LG cs.NE cs.SE
On-board Telemetry Monitoring in Autonomous Satellites: Challenges and Opportunities
University of Bologna(博洛尼亚大学);Thales Alenia Space Italia(泰雷兹阿莱尼亚宇航公司意大利);European Space Agency (ESA-ESTEC)(欧洲航天局(ESA-ESTEC))
本文提出一种基于神经网络的可解释故障检测方法,通过提取低维语义标注编码来提高在轨姿态轨道控制系统中异常检测的可解释性,同时保持计算资源的高效利用。
2026-04-09 cs.AI cs.LG
Challenges and Opportunities in Deep Reinforcement Learning with Graph Neural Networks: A Comprehensive review of Algorithms and Applications
PNNL(太平洋西北国家实验室);Kansas State University(堪萨斯州立大学);ETH Zurich(苏黎世联邦理工学院)
深度强化学习(Deep Reinforcement Learning,DRL)已经为各种人工智能领域提供了支持,包括模式识别、机器人、推理系统和游戏。类似地,图神经网络(GNN)也在图结构数据的监督学习中展示了其优越的性能。近年来,GNN与DRL在图结构环境中的融合吸引了很多关注。本文提供了一个全面的审查,这些混合工程。这些工作可以分为两类:(1)算法增强,其中DRL和GNN相互补充以获得更好的效用;(2)特定于应用的增强,其中DRL和GNN相互支持。这种融合有效地解决了工程和生命科学中的各种复杂问题。在综述的基础上,我们进一步分析了融合这两个领域的适用性和好处,特别是在提高泛化能力和降低计算复杂性方面。最后,在整合DRL和GNN的关键挑战,以及潜在的未来研究方向,这将是更广泛的机器学习社区的兴趣。
2022-11-08 cs.LG
Reimagining Application User Interface (UI) Design using Deep Learning Methods: Challenges and Opportunities
National University of Sciences and Technology (NUST)(国立科技大学);Air University(航空大学)
在本文中,我们提出了一个审查的深度学习方法的用户界面设计的最新工作。该调查涵盖了广泛用于设计用户界面应用程序的众所周知的深度学习技术(深度神经网络,卷积神经网络,递归神经网络,自动编码器和生成对抗网络)和数据集。我们强调在这一领域的重要问题和新兴的研究前沿。我们认为,深度学习在用户界面设计自动化任务中的应用可能是软件开发行业发展的高潜力领域之一。
2023-03-23 cs.HC cs.LG
Temporal Knowledge Graph Forecasting with Neural ODE
Institute of Informatics, LMU Munich(慕尼黑大学信息学研究所);Corporate Technology, Siemens AG(西门子股份公司企业技术部);Technical University of Munich(慕尼黑工业大学)
在时间知识图谱(KG)上推断未来链接的兴趣越来越大。虽然时间KG上的链接随时间连续变化,但现有方法在离散状态空间中对时间KG进行建模。为此,我们通过将神经常微分方程(ODE)的思想扩展到多关系图卷积网络,提出了一种新型的连续统模型。该模型保持了动态多关系图数据的连续性,并将时间和结构信息编码为连续时间动态嵌入。此外,应用新颖的图过渡层来捕获动态图上的过渡,即,边缘形成和溶解。我们在五个基准数据集上进行了大量的时间KG推理实验,显示了我们的模型在未来链路预测任务上的优越性能。
2022-06-02 cs.AI cs.LG
AutoSTF: Decoupled Neural Architecture Search for Cost-Effective Automated Spatio-Temporal Forecasting
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
针对自动化时空预测中神经架构搜索开销高的问题,本文提出解耦框架 AutoSTF,通过时空搜索空间分离、表示压缩、参数共享及多块迁移提升效率与精度。
2025-01-08 cs.AI cs.LG
Variational Neural Temporal Point Process
Korea Advanced Institute of Science and Technology (KAIST)(韩国高等科学技术院(KAIST));INEEJI
时间点过程是一个随机过程,它预测哪种类型的事件可能发生,以及事件何时发生。在日常生活中有各种各样的发生动力学的例子,这是重要的训练时间动力学和解决两个不同的预测问题,时间和类型的预测。特别是,基于深度神经网络的模型已经超过了统计模型,如霍克斯过程和泊松过程。然而,许多现有的方法过度适应特定的事件,而不是学习和预测各种事件类型。因此,这些方法不能处理事件之间的修改关系,不能很好地预测时间点过程的强度函数。针对这些问题,本文提出了一种变分神经时间点过程(VNTPP)。我们引入了推理和生成网络,并在深层神经网络上训练了一种潜变量分布来处理随机性。利用隐变量的分布计算强度函数,从而可以更准确地预测事件类型和事件到达时间。我们根据经验证明,我们的模型可以概括各种事件类型的表示。此外,我们定量和定性地表明,我们的模型在合成和真实世界数据集上的性能优于其他基于深度神经网络的模型和统计过程。
2022-02-17 cs.AI cs.LG
Quantum Adversarial Machine Learning and Defense Strategies: Challenges and Opportunities
本文提出三种量子安全设计原则,探讨量子安全、隐私和信任的开放问题,并推荐未来研究方向,为开发量子安全神经网络提供指导。
2024-12-16 cs.CR cs.LG quant-ph
Challenges and Opportunities of Edge AI for Next-Generation Implantable BMIs
EPFL(洛桑联邦理工学院);Sharif University of Technology(谢里夫理工大学)
神经科学和神经技术目前正在被人工智能(AI)和机器学习彻底改变。人工智能被广泛用于研究和解释神经信号(分析应用),帮助残疾人(假肢应用)和治疗潜在的神经系统症状(治疗应用)。在这篇简报中,我们将回顾片上人工智能在下一代植入式脑机接口(BMI)中的新兴机会,重点关注最先进的假体BMI。将讨论人工智能模型有效性的主要技术挑战。最后,我们将介绍算法和IC设计解决方案,以实现新一代AI增强型和高通道数的BMI。
2022-04-13 cs.AI cs.AR cs.LG
Zero-Shot Neural Architecture Search: Challenges, Solutions, and Opportunities
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Qualcomm AI Research(高通人工智能研究部);Qualcomm Technologies, Inc.(高通技术公司);Amazon(亚马逊)
本文全面综述对比了最先进的零样本(免训练)神经架构搜索方法,梳理主流代理指标及理论基础,通过实验验证其在硬件感知与无关场景的有效性,并提出未来优化方向。
2024-06-18 cs.CV cs.LG
Spatially Encoding Temporal Correlations to Classify Temporal Data Using Convolutional Neural Networks
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
我们提出了一个离线的方法来明确编码的时间模式空间作为不同类型的图像,即,Gramian角场和马尔可夫转移场。这使得能够使用来自计算机视觉的技术进行特征学习和分类。我们使用平铺卷积神经网络从12个基准时间序列数据集和两个真实时空轨迹数据集上的单个GAF、MTF和GAF-MTF图像中学习高级特征。我们的方法的分类结果是有竞争力的国家的最先进的方法对这两种类型的数据。对CNN学习的特征和权重的分析解释了这种方法的原理。
2015-09-24 cs.LG
Temporal Weights
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
在人工神经网络中,权重是突触的静态表示。然而,突触不是静态的,它们随着时间的推移有自己的相互作用动态。为了将权重与相互作用的动力学相结合,我们使用了一个描述同步的模型,该模型能够随着时间的推移捕获一系列神经和一般生物现象的核心机制。这些时间权重(TW)的理想拟合是神经ODE,具有连续动态和对时间的依赖性。由此产生的递归神经网络通过计算序列的排序以及时间的长度和规模来有效地对时间动态进行建模。通过向模型添加时间权重,我们在稀疏、不规则采样的时间序列数据集上展示了更好的性能、更小的模型和数据效率。
2022-12-13 cs.AI cs.LG cs.NE
Neural Spatio-Temporal Point Processes
University of Toronto(多伦多大学);Vector Institute(矢量研究所);Facebook AI Research(脸书人工智能研究室)
我们提出了一类新的时空点过程的参数化,它利用神经常微分方程作为计算方法,并使灵活,高保真模型的离散事件,本地化在连续的时间和空间。我们的方法的核心是连续时间神经网络与两种新型神经架构的组合,即,跳跃和连续时间的注意正规化流。这种方法使我们能够学习空间和时间域的复杂分布,并对观察到的事件历史进行非平凡的条件。我们验证了我们的模型的数据集,从各种各样的背景下,如地震学,流行病学,城市流动性和神经科学。
2021-03-18 cs.LG
PyTorch Geometric Temporal: Spatiotemporal Signal Processing with Neural Machine Learning Models
AstraZeneca(阿斯利康);University of Cambridge(剑桥大学);University of Oxford(牛津大学);École Polytechnique(巴黎综合理工学院);Ernst-Abbe University for Applied Sciences(恩斯特·阿贝应用科学大学);IT University of Copenhagen(哥本哈根信息技术大学);Central European University(中欧大学);ELKH SZTAKI(匈牙利科学院计算机科学与控制研究所);Tryolabs;Pedal Me;The University of Edinburgh(爱丁堡大学)
我们提出了PyTorch Geometric Temporal,这是一个深度学习框架,结合了最先进的机器学习算法,用于神经时空信号处理。该库的主要目标是在一个统一的易于使用的框架中为研究人员和机器学习从业者提供时态几何深度学习。PyTorch Geometric Temporal是在PyTorch生态系统中现有库的基础上创建的,简化了神经网络层定义,用于数据挖掘的时态快照生成器,以及集成的基准数据集。这些功能说明了一个教程般的案例研究。实验证明了在库中实现的模型对现实世界问题的预测性能,如流行病学预测,乘车需求预测和网络流量管理。我们的运行时的敏感性分析表明,该框架可以潜在地操作具有丰富的时间特征和空间结构的网络规模的数据集。
2021-06-10 cs.AI cs.LG cs.SI
Temporal Neural Operator for Modeling Time-Dependent Physical Phenomena
Khalifa University(卡利法大学);Delft University of Technology(代尔夫特理工大学)
本文提出时序神经算子(TNO),通过在DeepONet中引入时间分支并结合马尔可夫假设、教师强制等训练策略,解决了时间相关偏微分方程的时间动态映射问题,实现了长时间外推、误差鲁棒性和分辨率不变性。
2025-04-28 cs.LG
On the Performance of Temporal Difference Learning With Neural Networks
Boston University(波士顿大学)
本文分析带固定半径球投影的神经时间差分学习的收敛性,给出依赖最佳网络逼近误差和隐藏层宽度的逼近界。
2023-12-08 cs.LG
Temporal Convolutional Neural Networks for Diagnosis from Lab Tests
New York University(纽约大学)
可治疗疾病的早期诊断对于改善医疗保健至关重要,许多疾病的发作可以从年度实验室测试及其时间趋势中预测。我们介绍了一种多分辨率卷积神经网络,用于从不规则测量的稀疏实验室值中早期检测多种疾病。我们的新架构需要输入的数据和二进制观测矩阵的估算版本。针对时间稀疏观测值的输入问题,提出了一种灵活、快速的可微多元核回归训练方法。我们对8年来298,000人,18种常见实验室测量和171种疾病的数据进行的实验表明,通过卷积学习的时间特征比通常用于早期疾病诊断的基线具有更高的预测性。
2016-03-11 cs.LG
The Influence of Neural Networks on Hydropower Plant Management in Agriculture: Addressing Challenges and Exploring Untapped Opportunities
Centre of Mathematics (CMAT), University of Minho(米尼奥大学数学中心);Department of Mechanical Engineering (Section of Mathematics) - FEUP, University of Porto(波尔图大学工程学院机械工程系(数学分部))
本文关注水电站管理中发电与农业灌溉用水的冲突,提出Agriculture Conscious Hydropower Plant Management框架及相关监管措施,以在保障农业用水的同时提升神经网络决策的透明度与水资源分配的平衡性。
2023-11-22 cs.LG math.OC
Neural Temporal-Difference and Q-Learning Provably Converge to Global Optima
Northwestern University(西北大学);Princeton University(普林斯顿大学)
时间差学习(TD)与神经网络相结合,是深度强化学习最基本的构建模块之一。然而,由于价值函数逼近的非线性,这种耦合会导致优化问题的非凸性,甚至发散。因此,神经TD的全局收敛性仍然不清楚。在本文中,我们证明了第一次,神经TD收敛在一个次线性的速度到全局最优的均方投影贝尔曼误差的政策评估。特别是,我们展示了这种全局收敛是如何通过神经网络的过参数化来实现的,这也在神经TD的经验成功中起着至关重要的作用。除了政策评估,我们建立了神经(软)Q-学习,这是进一步连接到策略梯度算法的全局收敛。
2020-04-15 cs.AI cs.LG math.OC