Towards Interpreting Recurrent Neural Networks through Probabilistic Abstraction
Zhejiang University（浙江大学）；Singapore Management University（新加坡管理大学）；Huawei International Pte Ltd（华为国际私人有限公司）；National University of Singapore（新加坡国立大学）
神经网络正成为解决许多现实问题的流行工具，如对象识别和机器翻译，这要归功于其作为端到端解决方案的卓越性能。然而，神经网络是复杂的黑箱模型，这阻碍了人类解释并因此信任它们做出关键决策。为了解释神经网络，已经提出了几种方法来从神经网络中提取简单的确定性模型。结果并不令人鼓舞（例如，低准确性和有限的可扩展性），这主要是由于这种简单模型的有限表现力。在这项工作中，我们提出了一种方法来提取概率自动机解释一类重要的神经网络，即，循环神经网络我们的工作在两个重要方面区别于现有的方法。一是概率被用来弥补表现力的损失。这是由于观察到人类的推理往往是“概率论的”。另一个是我们自适应地识别正确的抽象级别，以便以特定于请求的方式提取简单的模型。我们使用最先进的架构（包括GRU和LSTM）在几个真实世界的数据集上进行实验。结果表明，我们的方法显着提高了现有的方法在准确性或可扩展性。最后，我们通过检测对抗性文本来证明提取模型的有用性。
2020-09-28 cs.LG stat.ML
Modeling Electrical Motor Dynamics using Encoder-Decoder with Recurrent Skip Connection
Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（巴黎中央理工-高等电力学院）；Inria（法国国家信息与自动化研究所）；Schneider Toshiba Inverter Europe（施耐德东芝逆变器欧洲公司）；Samovar（萨莫瓦尔实验室）；CNRS（法国国家科学研究中心）；Télécom SudParis（南巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
电动机是工业世界中最重要的机械能来源。它们的建模传统上依赖于基于物理的方法，旨在考虑其复杂的内部动态。在本文中，我们探索了通过数据驱动的方法对电动机的动态进行建模的可行性，该方法仅使用其输入和输出，并且不对其内部行为进行任何假设。我们提出了一种新的编码器-解码器架构，受益于经常性的跳过连接。我们还提出了一种新的损失函数，考虑到电机数量的复杂性，并有助于避免模型偏差。我们表明，该架构可以实现我们的高频高方差数据集上的良好的学习性能。考虑两个数据集：第一个是使用基于感应电动机的物理特性的模拟器生成的，第二个是从工业电动机记录的。我们使用传统神经网络的变体（如前馈、卷积和递归网络）对我们的解决方案进行基准测试。我们评估架构的各种设计选择，并将其与基线进行比较。我们展示了我们的模型的领域自适应能力，通过在原始传感器数据上测试它来从模拟数据中学习动态。最后，我们展示了信号复杂性对所提出的方法模拟时间动态的能力的影响。
2020-10-08 cs.LG
Robustness Verification of Recurrent Neural Networks with Abstraction Refinement
National Science and Technology Council (NSTC), Taiwan（台湾国家科学与技术委员会）
提出抽象精化框架，通过分割预激活区间消除非线性松弛误差，并利用SHAP引导的时间步选择策略降低组合成本，显著提升RNN鲁棒性验证成功率。
2026-06-12 cs.LG
Should We Skip Diffusion?
Australian Institute for Machine Learning, Adelaide University（阿德莱德大学澳大利亚机器学习研究所）
针对扩散Transformer编码器残差连接限制抽象表征的问题，提出移除残差并融合多深度特征的DDT-RFE，在视觉理解和生成任务上均优于DDT。
2026-10-07 cs.CV cs.LG
Consciousness-Inspired Spatio-Temporal Abstractions for Better Generalization in Reinforcement Learning
McGill University（麦吉尔大学）；Microsoft Research Montreal（微软研究院蒙特利尔分部）；Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）；Sony AI（索尼人工智能公司）；Google DeepMind（谷歌DeepMind）
提出受人类意识启发的Skipper框架，通过时空抽象自动分解任务为子任务，以有向图代理问题端到端学习，在零样本泛化上优于现有分层规划方法。
2024-03-16 cs.AI cs.LG
Architectural Complexity Measures of Recurrent Neural Networks
MILA, Université de Montréal（蒙特利尔大学 MILA）；University of Toronto（多伦多大学）；Institut des Hautes Études Scientifiques, France（法国高等科学研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文系统地分析了循环神经网络（RNN）的连接结构。我们的主要贡献是两方面的：首先，我们提出了一个严格的图论框架，描述了一般RNN的连接架构。其次，我们提出了RNN的三种架构复杂度度量：（a）递归深度，它捕获RNN随时间的非线性复杂度，（b）前馈深度，它捕获局部输入输出非线性（类似于前馈神经网络（FNN）中的“深度”），以及（c）递归跳跃系数，它捕获信息随时间传播的速度。我们严格证明了每一个措施的存在性和可计算性。我们的实验结果表明，RNN可能受益于更大的递归深度和前馈深度。我们进一步证明，增加经常性跳跃系数提供了长期依赖问题的性能提升。
2016-11-12 cs.LG cs.NE
Simpler is better: Multilevel Abstraction with Graph Convolutional Recurrent Neural Network Cells for Traffic Prediction
Gina Cody School of Engineering and Computer Science（吉娜·科迪工程与计算机科学学院）；Concordia University（康考迪亚大学）
近年来，图神经网络（GNNs）与递归神经网络（RNN）的变体相结合，在时空预测任务中达到了最先进的性能。对于交通预测来说尤其如此，其中GNN模型使用道路网络的图形结构来解释链路和节点之间的空间相关性。最近的解决方案要么基于复杂的图形操作，要么避免预定义的图形。本文提出了一种新的序列到序列架构，使用具有稀疏架构的GNN-RNN单元在多个抽象级别上提取时空相关性，以减少与更复杂设计相比的训练时间。通过多个编码器对相同的输入序列进行编码，并逐步增加编码器层，使网络能够通过多级抽象来学习一般和详细的信息。我们进一步提出了一个新的基准数据集的街道级段交通数据来自加拿大蒙特利尔。与高速公路不同，城市道路路段是循环的，具有复杂的空间依赖性。在METR-LA基准高速公路和我们的MSLTD街道级数据集上的实验结果表明，与基线方法相比，我们的模型在一小时预测中的性能提高了7%以上，同时与其他竞争方法相比，计算资源需求减少了一半以上。
2022-09-08 cs.CV cs.LG
R2U++: A Multiscale Recurrent Residual U-Net with Dense Skip Connections for Medical Image Segmentation
COMSATS University Islamabad（伊斯兰堡COMSATS大学）；Umeå University（于默奥大学）
U-Net是一种在医学图像分割领域被广泛采用的神经网络。尽管它很快被医学成像界所接受，但它的性能在复杂的数据集上受到影响。问题可以归因于其简单的特征提取模块：编码器/解码器，以及编码器和解码器之间的语义鸿沟。已经提出了U-Net的变体（如R2 U-Net），通过使网络更深来解决简单特征提取块的问题，但它不处理语义间隙问题。另一方面，另一个变体UNET++通过引入密集的跳过连接来处理语义间隙问题，但具有简单的特征提取块。为了克服这些问题，我们提出了一种新的基于U-Net的医学图像分割架构R2 U ++。在所提出的架构中，vanilla U-Net的适应性变化是：（1）普通卷积骨干被更深的递归残差卷积块取代。这些块增加的视野有助于提取分割的关键特征，这通过网络整体性能的改善得到了证明。(2)密集的跳过路径减少了编码器和解码器之间的语义差距。这些途径积累来自多个尺度的特征，并相应地应用串联。修改后的架构嵌入了多深度模型，并且从不同深度获取的输出的集合提高了图像中以各种尺度出现的前景对象的性能。R2 U ++的性能通过四种不同的医学成像方式进行评估：电子显微镜（EM）、X射线、眼底和计算机断层扫描（CT）。在不同的医学成像分割数据集上，与UNET++相比，IoU评分的平均增益为1.5 ± 0.37%，骰子评分的平均增益为0.9 ± 0.33%，而与R2 U-Net相比，IoU评分的平均增益…
2022-06-03 cs.CV cs.LG eess.IV
Recurrent Ladder Networks
The Curious AI Company（好奇人工智能公司）
我们提出了一个经常性的梯子网络的扩展，其结构是由层次潜变量模型中所需的推理动机。我们证明，经常性的梯子是能够处理各种各样的复杂的学习任务，受益于迭代推理和时间建模。该架构在视频数据的时间建模上显示出接近最佳的结果，在音乐建模上显示出有竞争力的结果，并且基于更高阶的抽象（例如随机纹理和运动线索）改进了感知分组。我们提出了完全监督，半监督和无监督任务的结果。结果表明，所提出的架构和原则是强大的工具，学习层次的抽象，学习迭代推理和处理时间信息。
2017-12-18 cs.AI cs.LG cs.NE
Temporal Autoencoder with U-Net Style Skip-Connections for Frame Prediction
Alchera Data Technologies Ltd（Alchera数据技术有限公司）
随着城市复杂性的增加和人口的不断增长，寻找可持续和新颖的解决方案来预测城市范围内的流动行为是一个日益严重的问题。本文试图通过描述一种交通帧预测方法来解决这个问题，该方法使用卷积LSTM来创建具有U-Net风格的跳跃连接的时间自动编码器，该跳跃连接将经常性和传统计算机视觉技术结合在一起，以捕获不同尺度的时空依赖性，而不会丢失给定城市的拓扑细节。利用周期性学习率，提高训练效率，实现更低的损失分数在更少的时期比标准的方法。
2020-11-25 cs.CV cs.LG
Variational Temporal Abstraction
Mila, Université de Montréal（米拉，蒙特利尔大学）；Kakao Brain；Rutgers University（罗格斯大学）
我们介绍了一个变分的方法来学习和推理的时序数据的层次结构和表示。我们提出了变分时态抽象（VTA），一个分层的递归状态空间模型，可以推断潜在的时间结构，从而执行随机状态转移分层。我们还建议将该模型应用于增强代理学习中的跳跃想象能力，以提高想象的效率。在实验中，我们证明了我们提出的方法可以建模2D和3D视觉序列数据集与可解释的时间结构发现，它的应用跳跃的想象力，使更有效的代理学习在3D导航任务。
2019-10-02 cs.AI cs.LG stat.ML
Modelling Sequential Music Track Skips using a Multi-RNN Approach
University of Copenhagen（哥本哈根大学）
对顺序音乐跳过进行建模为流媒体公司提供了更好地了解用户群需求的能力，从而通过减少手动跳过某些音乐曲目的需求来产生更好的用户体验。本文介绍了哥本哈根大学DIKU-IR团队在“Spotify顺序跳过预测”中的解决方案，其中任务是预测以上半场为条件的音乐收听会话中下半场的跳过行为。我们使用Multi-RNN方法对该任务进行建模，该方法由两个不同的堆叠递归神经网络组成，其中一个网络专注于对会话的前半部分进行编码，另一个网络专注于利用编码进行顺序跳过预测。编码器网络通过学习的会话范围的音乐编码来初始化，并且它们两者都利用学习的音轨嵌入。我们的最终模型由经过单独训练的模型的多数投票集合组成，在45支参赛队伍中排名第二，平均准确率为0.641，第一次跳过预测的准确率为0.807。我们的代码发布在https://github.com/Varyn/WSDM-challenge-2019-spotify。
2019-03-20 cs.IR cs.LG
Extracting Automata from Recurrent Neural Networks Using Queries and Counterexamples
Technion（以色列理工学院）；Bar Ilan University（巴伊兰大学）
我们提出了一种新的算法，使用精确的学习和抽象提取一个确定性的有限自动机描述一个给定的训练RNN的状态动态。我们使用Angluin的L* 算法作为学习器，训练的RNN作为预言机。我们的技术有效地从训练的RNN中提取精确的自动机，即使当状态向量很大并且需要精细微分时。
2020-02-27 cs.FL cs.LG
A Dynamically Controlled Recurrent Neural Network for Modeling Dynamical Systems
The Pennsylvania State University（宾夕法尼亚州立大学）；Children’s Hospital of Philadelphia（费城儿童医院）
这项工作提出了一种新的神经网络架构，称为动态控制的循环神经网络（DCRNN），专门设计用于模拟由常微分方程（ODE）控制的动态系统。这些类型的动态系统的当前状态向量仅取决于它们的状态空间模型以及各自的输入和初始条件。长短期记忆（LSTM）网络已被证明对基于记忆的任务非常有效，但可能无法对物理过程进行建模，因为它们倾向于记忆，而不是学习如何捕捉底层动态的信息。建议的DCRNN包括可学习的跳过连接以前隐藏的状态，并引入了正则化项的损失函数依赖于李雅普诺夫稳定性理论。正则化器使得由DCRNN引起的传递函数的特征值能够放置到期望值，从而充当隐藏状态轨迹的内部控制器。结果表明，对于预测混沌动力系统，DCRNN优于$100$随机实验中的$100$中的LSTM，通过减少$80.0\% \pm 3.0\%$的LSTM预测的均方误差。
2019-10-31 cs.LG cs.NE stat.ML
Hierarchical Recurrent Filtering for Fully Convolutional DenseNets
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Bonn（波恩大学）
生成环境的鲁棒表示是学习代理的关键能力。基于深度学习的方法极大地改善了感知系统，但在具有挑战性的情况下仍然失败。这些故障通常不能基于单个图像来解决。在这项工作中，我们提出了一个参数有效的时间滤波的概念，扩展了现有的单帧分割模型，多帧工作。由此产生的经常性架构在时间上过滤表示的所有抽象层次的分层方式，同时解耦时间依赖场景表示。使用合成数据集，我们展示了我们的模型应对数据扰动的能力，并强调了递归和分层过滤的重要性。
2018-10-15 cs.CV cs.LG
Learning to Skim Text
Carnegie Mellon University（卡内基梅隆大学）；Google（谷歌）
递归神经网络在自然语言处理的许多子领域都显示出很大的前景，从文档分类到机器翻译再到自动问答。尽管有这样的承诺，但许多循环模型必须逐字阅读整个文本，这使得处理长文档的速度很慢。例如，很难使用递归网络来阅读一本书并回答有关它的问题。在本文中，我们提出了一种阅读文本的方法，同时在必要时跳过不相关的信息。底层模型是一个循环网络，它在阅读输入文本的几个单词后学习跳多远。我们采用标准的政策梯度方法训练模型，使离散的跳跃决策。在我们对四个不同任务的基准测试中，包括数字预测，情感分析，新闻文章分类和自动问答，我们提出的模型，一个带有跳跃的修改后的LSTM，比标准的顺序LSTM快6倍，同时保持相同甚至更好的准确性。
2017-04-29 cs.CL cs.LG
Think Again Networks and the Delta Loss
Universidade Federal do Rio Grande do Sul（南里奥格兰德联邦大学）
本文介绍了一种称为Think Again Networks（ThinkNet）的抽象，它可以应用于任何状态依赖函数（例如递归神经网络）。
2019-04-30 cs.CL cs.LG
A Multi-Layer CNN-GRUSKIP model based on transformer for spatial TEMPORAL traffic flow prediction
Universiti Putra Malaysia（博特拉大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）；Al-Kitab University（基塔布大学）；University of Anbar（安巴尔大学）
针对传统模型处理稀疏长程时空交通模式的局限，提出融合GRU-SKIP机制、6层CNN与Transformer的CNN-GRUSKIP模型，在PeMS数据集上优于多种主流模型，可提升智能交通系统预测能力。
2025-01-09 cs.LG
Rethinking Recurrent Neural Networks for Time Series Forecasting: A Reinforced Recurrent Encoder with Prediction-Oriented Proximal Policy Optimization
School of Management, Huazhong University of Science and Technology（华中科技大学管理学院）；Center for Applied Mathematics, École des Ponts ParisTech（巴黎高等理工学院应用数学中心）；School of Mechanical Engineering, Dalian Jiaotong University（大连交通大学机械工程学院）；School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）
本文提出RRE-PPO4Pred方法，通过强化编码器和改进的PPO算法提升时间序列预测的准确性和模型能力。
2026-01-13 cs.LG cs.NE
Phase Transition Adaptation
University of Pisa（比萨大学）
人工递归神经网络是一种强大的信息处理抽象，而储备池计算提供了一种有效的策略，通过将外部输入投影到高维动态系统轨迹中来构建鲁棒的实现。在本文中，我们提出了一个扩展的原始方法，一个本地的无监督学习机制，我们称之为相变适应，旨在推动系统动态的“边缘稳定”。在这里，系统表现出的复杂行为增强了其整体计算能力。我们通过实验表明，我们的方法在几个数据集上始终达到了目的。
2021-04-20 cs.AI cs.LG stat.ML
DeepSeer: Interactive RNN Explanation and Debugging via State Abstraction
University of Alberta（阿尔伯塔大学）；The University of Tokyo（东京大学）；Purdue University（普渡大学）
递归神经网络（RNN）在处理序列数据时具有优越的性能，已被广泛应用于自然语言处理（NLP）任务中。然而，由于RNN固有的复杂性和缺乏透明度，解释和调试RNN具有挑战性。虽然已经为RNN提出了许多可解释的AI（XAI）技术，但其中大多数只支持局部解释而不是全局解释。在本文中，我们介绍了DeepSeer，这是一个交互式系统，它在多个紧密协调的视图中提供了RNN行为的全局和局部解释，用于模型理解和调试。DeepSeer的核心是一种状态抽象方法，它将语义相似的隐藏状态捆绑在RNN模型中，并将模型抽象为有限状态机。用户可以通过检查与每个状态相关联的文本模式以及状态之间的转换来探索全局模型行为。用户还可以通过检查给定输入的状态跟踪和中间预测结果来深入到各个预测中。一项有28名参与者的受试者间用户研究表明，与流行的XAI技术LIME相比，使用DeepSeer的参与者对RNN模型行为进行了更深入、更全面的评估，更准确地识别了错误预测的根本原因，并提出了更可行的计划来提高模型性能。
2023-03-02 cs.HC cs.LG cs.SE
Spike-inspired Rank Coding for Fast and Accurate Recurrent Neural Networks
University College London（伦敦大学学院）；Huawei Technologies（华为技术有限公司）
提出受脉冲神经网络启发的秩编码（RC）方法，将其应用于LSTM等传统人工神经网络，通过阈值穿越事件触发早期时间步输出以跳过剩余序列，在大幅节省计算和推理时间的同时保持高准确率。
2022-03-16 cs.CV cs.LG cs.NE
