Cellular Traffic Prediction and Classification: a comparative evaluation of LSTM and ARIMA
Stockholm University（斯德哥尔摩大学）；Huawei（华为）
为了提高资源利用率，蜂窝网络中的用户流量预测引起了广泛的关注。在本文中，我们研究了网络流量的预测和分类问题，分别采用标准的机器学习和统计学习时间序列预测方法，包括长短期记忆（LSTM）和自回归积分移动平均（ARIMA）。我们提出了一个广泛的实验评估的设计工具在一个真正的网络流量数据集。在此分析中，我们探讨了不同参数对预测有效性的影响。我们进一步扩展我们的分析问题的网络流量分类和预测的流量突发。一方面，结果表明LSTM的性能一般优于ARIMA，特别是当训练时间序列的长度足够长时，并且通过明智选择的特征集进行增强。另一方面，结果揭示的情况下，ARIMA执行接近最优的复杂性较低。
2019-06-03 cs.LG cs.NI eess.SP
LARNN: Linear Attention Recurrent Neural Network
Laval University（拉瓦尔大学）
线性注意力循环神经网络（LARNN）是一个循环注意力模块，它来源于长短期记忆（LSTM）细胞和意识循环神经网络（RNN）的思想。是的，是拉恩。LARNN将注意力集中在其过去的小区状态值上，用于有限的窗口大小$k$。这些公式也是从批量归一化LSTM（BN-LSTM）单元和Transformer网络中推导出来的，用于其多头注意力机制。在单元内使用多头注意力机制，使得其可以利用注意窗口查询其自己的$k$过去值。这具有用注意力机制增强张量的秩的效果，使得细胞可以执行复杂的查询来质疑其先前的内部记忆，这应该增强记忆的长期短期效应。通过一个聪明的技巧，带有注意力的LARNN细胞可以很容易地在细胞状态的循环中使用，就像任何其他循环神经网络（RNN）细胞可以通过时间序列线性循环一样。这是由于以下事实：在时间序列内的整个时间步长上循环的其状态将内部状态存储在“先进先出”队列中，该队列包含$k$最近的状态，并且当队列被表示为张量时，可以容易地在该队列上添加静态位置编码。这种神经架构比普通LSTM细胞产生更好的结果。它可以获得91.92%的测试准确度，而之前使用vanilla LSTM单元获得的准确度为91.65%。请注意，这不是与其他研究相比，其他研究获得了高达93.35%的结果，但使用18个LSTM单元而不是这里分析的2到3个单元的成本很高。最后，一个有趣的发现是，在多头注意力机制的线性层内添加激活…
2018-08-16 cs.CC cs.LG stat.ML
Time Matters: Time-Aware LSTMs for Predictive Business Process Monitoring
Friedrich-Alexander-University Erlangen-Nürnberg (FAU)（弗里德里希-亚历山大大学埃尔兰根-纽伦堡（FAU））
预测性业务流程监控（PBPM）旨在基于事件日志数据预测正在执行的流程期间的未来流程行为。特别是，下一个活动和时间戳预测技术可以帮助提高运营业务流程的性能。近年来，研究人员提出了许多基于深度学习的PBPM解决方案。由于事件日志数据的连续性，通常的选择是应用具有长短期记忆（LSTM）单元的递归神经网络。我们认为，事件之间经过的时间是信息。然而，目前的PBPM技术主要使用“香草”LSTM单元和手工制作的时间相关控制流功能。为了更好地建模事件之间的时间依赖关系，我们提出了一种新的PBPM技术基于时间感知LSTM（T-LSTM）细胞。T-LSTM单元固有地包含连续事件之间的经过时间以调整单元记忆。此外，我们引入了成本敏感的学习来解决事件日志中常见的类不平衡问题。我们的实验公开的基准事件日志表明，所介绍的技术的有效性。
2020-11-05 cs.AI cs.LG
Bivariate Beta-LSTM
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
长短期记忆（LSTM）通过由输入和遗忘门结构维持的单元状态来推断长期依赖性，其通过S形函数将门输出建模为[0，1]中的值。然而，由于sigmoid函数的渐进性，sigmoid门在表示多模态或偏斜方面不灵活。此外，以前的模型缺乏对门之间的相关性的建模，这将是一种新的方法，采用电感偏置的前一个和当前输入之间的关系。本文提出了一种新的具有双变量Beta分布的门结构。所提出的门结构能够对LSTM单元内的门进行概率建模，以便建模人员可以使用先验和分布来定制单元状态流。此外，我们在理论上显示了与sigmoid函数相比更高的梯度上限，并且我们根据经验观察到二元Beta分布门结构在训练中提供了更高的梯度值。我们证明了二元Beta门结构在句子分类、图像分类、复调音乐建模和图像字幕生成上的有效性。
2019-11-16 cs.LG stat.ML
Boosting LSTM Performance Through Dynamic Precision Selection
Universitat Politecnica de Catalunya（加泰罗尼亚理工大学）
使用低数值精度是现代深度神经网络（DNN）加速器中的基本优化。数值表示的位数被设置为能够基于离线分析保持准确性的最小精度，并且对于DNN推断保持恒定。在这项工作中，我们探索了在DNN推理过程中使用动态精度选择。我们专注于长短期记忆（LSTM）网络，它代表了机器翻译和语音识别等应用的最先进网络。与传统的DNN不同，LSTM网络通过将数据存储在LSTM单元状态中来记住先前评估的信息。我们的关键观察结果是细胞状态决定了所需的精度：细胞状态显著变化的时间步长需要更高的精度，而细胞状态稳定的时间步长可以用较低的精度计算，而不会损失任何精度。基于这一观察，我们实现了一种新的硬件方案，该方案跟踪LSTM单元状态中元素的演变，并在每个时间步中动态选择适当的精度。对于一组流行的LSTM网络，我们的方案在超过66%的时间内选择最低精度，优于静态固定精度的系统。我们在针对LSTM计算高度优化的现代加速器上评估了我们的建议，并表明它平均提供了1.56倍的加速和23%的节能，而没有任何准确性损失。用于确定适当精度的额外硬件代表8.8%的小面积开销。
2019-11-07 cs.LG eess.SP
RigLSTM: Recurrent Independent Grid LSTM for Generalizable Sequence Learning
National University of Singapore（新加坡国立大学）；Guangming Laboratory（光明实验室）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of British Columbia（不列颠哥伦比亚大学）；Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）
针对现实序列任务的模块化结构与环境变化下的泛化问题，提出融合多选择机制与软状态更新的RigLSTM模型，实验验证其在测试环境变化时的序列建模泛化能力更优。
2023-11-03 cs.AI cs.LG
Grid Long Short-Term Memory
Google DeepMind（谷歌DeepMind）
本文介绍了网格长短期记忆，这是一种排列在多维网格中的LSTM单元网络，可应用于向量、序列或更高维的数据，如图像。该网络与现有的深度LSTM架构的不同之处在于，细胞在网络层之间以及沿着数据的时空维度连接。该网络提供了使用LSTM进行深度和顺序计算的统一方式。我们将该模型应用于算法任务，例如15位整数加法和序列记忆，在这些任务中，它能够显着优于标准LSTM。然后，我们给出了两个实证任务的结果。我们发现，2D Grid LSTM在维基百科字符预测基准上实现了每个字符1.47位，这是神经方法中最先进的。此外，我们使用Grid LSTM定义了一个新的二维翻译模型Reencoder，并证明它在汉英翻译任务中优于基于短语的参考系统。
2016-01-07 cs.CL cs.LG cs.NE
PDA-LSTM: Knowledge-driven page data arrangement based on LSTM for LCM supression in QLC 3D NAND flash memories
Institute of Microelectronics of the Chinese Academy of Sciences（中国科学院微电子研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对QLC 3D NAND闪存中横向电荷迁移（LCM）导致的误码问题，提出物理知识驱动的PDA-LSTM模型，利用LSTM生成页内数据排列以最小化全局影响，无需额外标志位，将平均BER降低80.4%，显著优于现有算法。
2025-10-29 cs.AR cs.LG
Improving Long-Horizon Forecasts with Expectation-Biased LSTM Networks
University of Maryland（马里兰大学）
使用基于长短期记忆（LSTM）单元的递归神经网络（RNN）的最新预测方法已经显示出针对短期预测的卓越性能，例如，给定一组预测器特征，预测未来接下来几个时间步长的目标值。然而，在许多应用中，这些方法的性能随着预测范围延伸到这几个时间步长之外而衰减。本文旨在探索使用LSTM网络进行长期预测的挑战。在这里，我们说明了神经科学和能源供应管理数据集的长期预测问题。然后，我们提出了期望偏置，动态信念网络的文献激励的方法，作为一种解决方案，以提高长期预测使用LSTM。我们提出了两种LSTM架构以及两种显著优于标准实践的期望偏差方法。
2018-04-18 cs.LG stat.ML
Grow and Prune Compact, Fast, and Accurate LSTMs
Princeton University（普林斯顿大学）
长短期记忆（LSTM）已被广泛用于序列数据建模。研究人员通过堆叠LSTM单元来增加LSTM深度，以提高性能。这会导致模型冗余，增加运行时延迟，并使LSTM更容易过拟合。为了解决这些问题，我们提出了一种隐藏层LSTM（H-LSTM），它将隐藏层添加到LSTM原始的一级非线性控制门中。H-LSTM提高了准确性，同时使用更少的外部堆栈层，从而显著减少了参数数量和运行时延迟。我们采用生长和修剪（GP）训练，通过基于梯度的增长和基于幅度的修剪连接迭代地调整隐藏层。这学习了H-LSTM控制门的权重和紧凑架构。我们有GP训练的H-LSTM用于图像描述和语音识别应用。对于MSCOCO数据集上的NeuralTalk架构，我们的三个模型将参数数量减少了38.7倍[浮点运算（FLOPs）减少了45.5倍]，运行时延迟减少了4.5倍，并将CIDER得分提高了2.6。对于AN 4数据集上的DeepSpeech 2架构，我们的两个模型将参数数量减少了19.4倍（FLOPs减少了23.5倍），运行时延迟减少了15.7%，单词出错率从12.9%减少到8.7%。因此，GP训练的H-LSTM可以被视为紧凑、快速和准确。
2018-05-31 cs.CV cs.LG cs.NE
Deep Residual Bidir-LSTM for Human Activity Recognition Using Wearable Sensors
Air Force Engineering University（空军工程大学）；Laval University（拉瓦尔大学）；Xidian University（西安电子科技大学）
人体活动识别因其广泛的应用而成为研究的热点。随着深度学习的发展，出现了解决HAR问题的新想法。在这里，提出了一种使用残余双向长短期记忆（LSTM）单元的深度网络架构。新网络的优点包括双向连接可以连接正时间方向（前向状态）和负时间方向（后向状态）。其次，堆叠单元之间的剩余连接充当梯度的高速公路，可以将底层信息直接传递到上层，有效避免梯度消失问题。一般来说，所提出的网络在时间（使用双向单元）和空间（深度堆叠的剩余连接）维度上都有所改进，旨在提高识别率。当使用机会数据集和公共领域UCI数据集进行测试时，与先前报道的结果相比，准确率分别提高了4.78%和3.68%。最后，对公共领域UCI数据集的混淆矩阵进行了分析。
2017-09-07 cs.CV cs.LG
Memory Time Span in LSTMs for Multi-Speaker Source Separation
KU Leuven（鲁汶大学）
随着深度学习方法在许多语音（以及非语音）相关的机器学习任务中成为最先进的，人们正在努力钻研通常被认为是黑盒的神经网络。本文通过确定长短期记忆（LSTM）细胞中的相关记忆时间跨度，分析了递归神经网络（RNN）如何处理时间依赖性。这是通过泄漏具有受控生存期的状态变量并评估任务性能来完成的。这种技术可以用于任何任务，以估计LSTM在特定场景中利用的时间跨度。本文的重点是从重叠语音中分离说话人的任务。我们看到两种效果：一个长期的影响，可能是由于扬声器的特性和短期的影响，可能利用电话大小的共振峰轨道。
2018-08-24 cs.LG stat.ML
Long Short-Term Memory Over Tree Structures
National Research Council Canada（加拿大国家研究委员会）；University of Ottawa（渥太华大学）
链式结构的长短期记忆（LSTM）已被证明在语音识别和机器翻译等广泛问题中有效。在本文中，我们建议将其扩展到树结构，其中一个存储单元可以反映历史的记忆多个子细胞或多个后代细胞在递归过程中。我们称之为S-LSTM模型，它提供了一种考虑层次结构上的长距离交互的原则性方法，例如，语言或图像解析结构。我们利用语义组合模型来理解文本的含义，这是自然语言理解中的一个基本问题，并通过将其组合层替换为S-LSTM内存块来证明它优于最先进的递归模型。我们还表明，利用给定的结构是有助于实现更好的性能比不考虑的结构。
2015-03-16 cs.CL cs.LG cs.NE
LSTM Fully Convolutional Networks for Time Series Classification
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
全卷积神经网络（FCN）已被证明可以在时间序列分类任务上实现最先进的性能。我们提出用长短期记忆递归神经网络（LSTM RNN）子模块增强全卷积网络，用于时间序列分类。我们提出的模型显著提高了全卷积网络的性能，模型大小略有增加，并且只需要对数据集进行最少的预处理。所提出的长短期记忆全卷积网络（LSTM-FCN）实现了最先进的性能相比，其他。我们还探讨了使用注意力机制，以改善时间序列分类与注意力长短期记忆全卷积网络（ALSTM-FCN）。利用注意力机制可以可视化LSTM单元的决策过程。此外，我们提出微调作为一种方法来提高训练模型的性能。我们的模型的性能进行了全面的分析，并与其他技术相比。
2017-09-08 cs.LG stat.ML
Recurrent Neural Networks for Forecasting Time Series with Multiple Seasonality: A Comparative Study
Czestochowa University of Technology（琴斯托霍瓦工业大学）
本文比较了具有不同类型门控单元的循环神经网络（RNN）对具有多个季节性的时间序列的预测。我们比较的细胞包括经典的长短期记忆（LSTM），门控递归单元（GRU），具有膨胀的修改的LSTM，以及我们最近提出的两个新细胞，它们配备了膨胀和注意力机制。为了对不同尺度的时间依赖性进行建模，我们的RNN架构具有多个膨胀的递归层，这些层堆叠有分层膨胀。建议的RNN产生点预测和预测区间（PI）。一项关于35个欧洲国家短期电力负荷预测的实证研究证实，具有扩张和注意力的新门控细胞表现最好。
2022-03-17 cs.LG
Forest Fire Clustering for Single-cell Sequencing with Iterative Label Propagation and Parallelized Monte Carlo Simulation
Yale University（耶鲁大学）；Massachusetts Institute of Technology（麻省理工学院）；University of California, Irvine（加州大学欧文分校）
在单细胞测序时代，越来越需要使用聚类方法从数据中提取见解。在这里，我们介绍森林火灾聚类，一种有效的和可解释的方法，从单细胞数据的细胞类型发现。森林火灾聚类使得最小的先验假设，并且与当前方法不同，计算每个细胞被分配细胞类型标签的非参数后验概率。这些后验分布允许评估每个细胞的标签置信度，并能够计算“标签熵”，突出显示沿发育轨迹的过渡。此外，我们表明，森林火灾聚类可以在在线学习环境中进行鲁棒的归纳推理，并且可以轻松扩展到数百万个单元格。最后，我们证明了我们的方法优于国家的最先进的聚类方法在不同的基准模拟和实验数据。总体而言，森林火灾聚类是一个有用的工具，在大规模的单细胞分析中发现罕见的细胞类型。
2022-05-26 cs.LG stat.ML
Predicting Li-ion Battery Cycle Life with LSTM RNN
University of California, Los Angeles（加州大学洛杉矶分校）
高效准确的剩余使用寿命预测是锂离子电池可靠安全使用的关键因素。这项工作训练一个长短期记忆递归神经网络模型，学习在不同的周期和电压下的放电容量的顺序数据，并作为一个循环寿命预测在不同的条件下循环的电池。使用前60 - 80个循环的实验数据，我们的模型在大约80个样本的测试集上实现了有希望的预测精度。
2022-07-08 cs.LG eess.SP
Prognosis Of Lithium-Ion Battery Health with Hybrid EKF-CNN+LSTM Model Using Differential Capacity
Universiti Putra Malaysia（马来西亚博特拉大学）；Gulf University of Science & Technology（海湾科技大学）；Universiti Teknikal Malaysia Melaka（马来西亚马六甲技术大学）
本研究提出一种混合EKF-CNN+LSTM模型，结合差分容量分析，预测锂离子电池健康状态，发现LiFePO4电池在多种充放电倍率下性能更稳健。
2025-04-16 cs.LG cs.SY eess.SY
Extreme-Long-short Term Memory for Time-series Prediction
Deakin University（迪肯大学）
长短期记忆（LSTM）的出现解决了传统递归神经网络（RNN）中梯度消失和梯度爆炸的问题。LSTM作为一种新型的RNN，已经广泛应用于各个领域，如文本预测、风速预测、脑电信号抑郁预测等，研究结果表明，提高LSTM的效率有助于提高其他应用领域的效率。在本文中，我们提出了一种先进的LSTM算法，极端长短期记忆（E-LSTM），它将极端学习机（ELM）的逆矩阵部分作为一个新的“门”添加到LSTM的结构中。这个“门”预处理一部分数据，并将处理后的数据纳入LSTM的单元更新中，以更少的训练轮获得更准确的数据，从而减少整体训练时间。在这项研究中，E-LSTM模型用于文本预测任务。实验结果表明，E-LSTM有时需要更长的时间来执行单个训练轮，但当在小数据集上进行测试时，新的E-LSTM只需要2个epoch就可以获得传统LSTM的第7个epoch的结果。因此，E-LSTM保留了传统LSTM的高精度，同时也提高了LSTM的训练速度和整体效率。
2022-10-15 cs.LG
Approximate FPGA-based LSTMs under Computation Time Constraints
Imperial College London（帝国理工学院）
递归神经网络，特别是长短期记忆（LSTM）网络，在几个新兴的人工智能任务中表现出了最先进的准确性。然而，这些模型在计算和内存负载方面的要求越来越高。包括移动机器人和自动驾驶汽车在内的新兴延迟敏感应用通常在严格的计算时间约束下运行。在本文中，我们通过引入一种结合迭代低秩压缩和修剪的近似计算方案，以及一种新型的基于FPGA的LSTM架构，解决了在有限的时间预算下部署计算要求高的LSTM的挑战。结合端到端框架，近似方法的参数得到优化，架构被配置为解决时间受限应用中的高性能LSTM执行问题。对现实生活中的图像描述应用程序的定量评估表明，所提出的方法需要高达6.5倍的时间少，以实现相同的应用程序级的准确性相比，基线方法，同时实现平均25倍的准确性在相同的计算时间的限制。
2018-01-07 cs.AR cs.CV cs.LG
Long Short-term Memory RNN
本文基于挪威科技大学2020年秋季的一个机器学习项目。该项目的启动是对过去五年来科学界时间序列预测方法的最新发展进行文献审查。本文总结了这项研究的基本方面。此外，在本文中，我们介绍了LSTM单元的架构，并解释了不同的组件如何一起改变单元的内存并预测输出。此外，本文还提供了通过LSTM计算前向迭代的必要公式和基础。然后，本文提到了一些实际的应用和研究，强调LSTM的优点和缺点，在时间序列域和自然语言处理（NLP）域。最后，突出了时间序列预测的替代统计方法，其中概述了ARIMA和指数平滑。然而，由于LSTM可以被视为一个复杂的体系结构，本文假设读者对基本的机器学习方面有一定的了解，例如多层感知器，激活函数，过拟合，反向传播，偏差，过拟合和欠拟合等等。
2021-05-14 cs.AI cs.LG
Context-LSTM: a robust classifier for video detection on UCF101
Institute of Intelligent Machines, Hefei Institutes of Physical Science, Chinese Academy of Sciences（中国科学院合肥物质科学研究院智能机械研究所）；University of Science and Technology of China（中国科学技术大学）；Intelligent Agriculture Engineering Laboratory of Anhui Province（安徽省智能农业工程实验室）
视频检测和人体动作识别可能在计算上是昂贵的，并且需要很长时间来训练模型。本文旨在减少视频检测的训练时间和GPU内存使用，并达到有竞争力的检测精度。其他研究工作如Two-stream、C3 D、TSN等在UCF 101上也表现出了优异的性能。在这里，我们使用LSTM结构简单地进行视频检测。我们使用了一个简单的结构来对UCF 101的整个验证数据集进行具有竞争力的前1精度。LSTM结构被命名为Context-LSTM，因为它可以处理深层时间特征。Context-LSTM可以模拟人类识别系统。我们在PyTorch中级联了LSTM块，并连接了单元状态流和隐藏输出流。在块的连接处，我们使用了ReLU、批量归一化和MaxPooling函数。Context-LSTM可以减少训练时间和GPU内存使用，同时在UCF 101整个验证数据集上保持最先进的top-1精度，在视频动作检测上表现出强大的性能。
2022-03-13 cs.AI cs.CV cs.LG
A LSTM and Cost-Sensitive Learning-Based Real-Time Warning for Civil Aviation Over-limit
China Jiliang University（中国计量大学）
针对民航飞行超限风险，提出基于QAR数据、结合Spearman特征选择、代价敏感LSTM及网格搜索优化的实时预警模型，F1达0.991，准确率0.978。
2023-05-08 cs.LG
Communication Reduction via Semantic-Based Encoding in DMPC Using LSTMs
LUT University（拉普兰塔理工大学）
本研究针对DMPC通信过载问题，采用基于LSTM的编码器-解码器网络减少通信量，在移动机器人编队测试中实现可靠性能，支持不同预测时域长度且无需重训。
2026-08-19 cs.DC cs.LG cs.MA
Recurrent Neural Networks for Handover Management in Next-Generation Self-Organized Networks
Centre Tecnològic de Telecomunicacions de Catalunya (CTTC/CERCA)（加泰罗尼亚电信技术中心（CTTC/CERCA））；Huawei Technologies, Sweden AB（华为技术瑞典有限公司）
在本文中，我们讨论了下一代自组织网络的切换管理方案。我们建议从完整的协议栈数据中提取经验，在多小区场景中做出智能切换决策，其中用户移动并受到停电深度区域的挑战。传统的切换方案具有在切换之前仅考虑来自服务小区和目标小区的信号强度的缺点。然而，我们认为，由切换到的目标小区的决定产生的预期体验质量（QoE）应该是切换决定的驱动原则。特别是，我们提出了两个基于多层多对一LSTM架构的模型，以及一个多层LSTM自动编码器（AE）与多层感知器（MLP）神经网络的结合。我们表明，使用从数据中提取的经验，我们可以提高18%的用户完成下载的数量，我们可以减少下载的时间，相对于一个标准的基于事件的切换基准计划。此外，为了推广，我们在不同的场景中测试了LSTM自动编码器，与原始场景相比，它保持了性能的改善，但性能略有下降。
2020-06-11 cs.LG cs.NI
Memory Visualization for Gated Recurrent Neural Networks in Speech Recognition
Tsinghua University（清华大学）；Chengdu Institute of Computer Applications, Chinese Academy of Sciences（中国科学院成都计算机应用研究所）
循环神经网络（RNN）在序列建模方面表现出明显的优势，特别是具有门控单元的网络，如长短期记忆（LSTM）和门控循环单元（GRU）。然而，在许多应用中，卓越性能背后的动态特性仍然不清楚，例如，自动语音识别。本文采用可视化技术来研究LSTM和GRU在执行语音识别任务时的行为。我们的实验显示了门控记忆中的一些有趣的模式，其中一些启发了对网络结构的简单而有效的修改。我们报告了其中的两个修改：（1）LSTM中的懒惰单元更新，以及（2）残余学习的快捷连接。这两种修改都会导致更容易理解和更强大的网络。
2017-02-27 cs.CL cs.LG cs.NE
LSTM-Autoencoder based Anomaly Detection for Indoor Air Quality Time Series Data
Massey University（梅西大学）；Central Queensland University（中央昆士兰大学）；CSIRO Data61（澳大利亚联邦科学与工业研究组织数据61研究所）
室内空气质量与人体健康密切相关，因此室内空气质量异常检测成为一个重要的研究领域。然而，IAQ区域中的异常检测中的传统的基于统计学和浅机器学习的方法不能检测涉及跨若干数据点的相关性的观察的异常（即，通常称为长期依赖性）。我们提出了一种混合深度学习模型，该模型将LSTM与Autoencoder相结合，用于IAQ中的异常检测任务，以解决这个问题。在我们的方法中，LSTM网络由多个LSTM单元组成，这些单元相互协作，以学习时间序列中数据的长期依赖性。Autoencoder根据对所有时间序列中的每个数据评估的重建丢失率来识别最佳阈值。我们的实验结果，基于达尼丁CO2时间序列数据集，通过在新西兰的学校的真实世界的部署，证明了一个非常高的和强大的准确率（99.50%），优于其他类似的模型。
2022-04-14 cs.CR cs.LG
Gating Revisited: Deep Multi-layer RNNs That Can Be Trained
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）
我们为递归神经网络（RNN）提出了一种新的STackable Recurrent cell（STAR），它比广泛使用的LSTM和GRU具有更少的参数，同时对消失或爆炸梯度更具鲁棒性。将递归单元堆叠到深度架构中受到两个主要限制：（i）许多递归单元（例如，LSTM）在参数和计算资源方面是昂贵的;（ii）深度RNN在训练过程中容易消失或爆炸梯度。我们研究了多层RNN的训练，并检查了梯度在“垂直”方向上通过网络传播时的大小。我们表明，根据基本的经常性单位的结构，梯度系统衰减或放大。基于我们的分析，我们设计了一种新型的门控单元，更好地保持梯度幅度。我们验证了我们的设计大量的序列建模任务，并表明，拟议的STAR细胞允许建立和训练更深的经常性架构，最终导致性能提高，同时计算更高效。
2021-03-06 cs.CV cs.LG
Network Level Spatial Temporal Traffic State Forecasting with Hierarchical-Attention-LSTM (HierAttnLSTM)
University of Tennessee at Chattanooga（田纳西大学查塔努加分校）
针对网络级交通状态预测需求，本文提出分层注意力LSTM（HierAttnLSTM）模型，整合不同层级LSTM状态并引入注意力机制，在PeMS数据集上优于基线模型，提升预测精度且能识别异常拥堵，数据代码开源。
2025-02-14 cs.AI cs.LG
Multi-marginal Schrödinger Bridges with Iterative Reference Refinement
MIT（麻省理工学院）
提出一种迭代参考精炼的多边际薛定谔桥方法，从多时间点样本快照中推断未观测群体轨迹，仅需指定参考动态族而非固定动态，克服了现有方法仅限两点插值或依赖固定参考的局限。
2025-04-03 cs.LG stat.ME stat.ML
Conformalized Transfer Learning for Li-ion Battery State of Health Forecasting under Manufacturing and Usage Variability
本文提出一种不确定性感知的迁移学习框架，结合LSTM模型与MMD域适应和CP不确定性量化，提升电池健康状态预测的泛化性和可信度。
2026-03-25 cs.LG cs.SY eess.SY
Differential Machine Learning for Time Series Prediction
Universitat Pompeu Fabra（庞培法布拉大学）；Barcelona School of Economics（巴塞罗那经济学院）
本文提出Diff-LSTM网络，通过共享LSTM单元同时学习原始序列及其微分序列，在混沌和金融时间序列的短期与长期预测中优于多种主流神经网络模型。
2025-03-09 cs.LG
5G Traffic Prediction with Time Series Analysis
R.V. College of Engineering（R.V. 工程学院）；Nokia（诺基亚）
本文利用LSTM模型对5G蜂窝流量进行时间序列分析，实现应用分类、上行数据包到达强度预测和突发发生概率估计，以优化网络资源分配与利用。
2025-07-20 cs.LG cs.NI
What is the best RNN-cell structure to forecast each time series behavior?
University of Granada（格拉纳达大学）；ENSIAS, Mohammed V University of Rabat（拉巴特穆罕默德五世大学ENSIAS学院）；Andalusian Research Institute in Data Science and Computational Intelligence, DaSCI（安达卢西亚数据科学与计算智能研究院）
本研究提出时间序列行为分类法，通过实验评估多种RNN单元结构，发现新变体SLIM在预测不同时间序列行为上表现优异且结构简单，计算成本低。
2024-09-13 cs.AI cs.LG
Prediction of Cellular Identities from Trajectory and Cell Fate Information
本文提出利用机器学习从时间延展图像中预测细胞身份，通过分析细胞轨迹和命运信息，达到91%以上的分类准确率，展示了时空特征在细胞身份预测中的有效性。
2024-03-02 cs.CV cs.LG eess.IV
