Discourse Embellishment Using a Deep Encoder-Decoder Network
Institute of Cognitive Science（认知科学研究所）；University of Osnabrück（奥斯纳布吕克大学）；Radboud University（拉德堡德大学）
我们提出了一个新的NLG任务的背景下，话语生成管道的计算讲故事系统。这一任务，文本修饰，是通过将文本作为输入，并生成语义上等同的输出，增加词汇和句法复杂性来定义的。理想情况下，这将允许计算说书人的作者实现轻量级的NLG系统，并使用独立于域的修饰模块将其输出转换为更具文学性的文本。我们使用在WikiLarge数据集上训练的LSTM编码器-解码器网络，在这项任务上展示了有希望的第一个结果。此外，我们介绍了“编译的计算机故事”，计算生成的故事语料库，可用于测试的能力，修饰算法。
2018-10-18 cs.CL cs.LG
A Hybrid CNN-LSTM Approach for Laser Remaining Useful Life Prediction
ADVA Optical Networking SE（ADVA光网络公司）；Christian-Albrechts-Universität zu Kiel（基尔大学）
提出了一种基于卷积神经网络（CNN）和长短期记忆（LSTM）的激光剩余寿命预测模型。实验结果表明，该方法优于传统方法。
2022-03-19 cs.LG eess.SP
Advances in Land Surface Model-based Forecasting: A comparative study of LSTM, Gradient Boosting, and Feedforward Neural Network Models as prognostic state emulators
University of Freiburg（弗莱堡大学）；European Centre for Medium-Range Weather Forecasts（欧洲中期天气预报中心）
为加速计算成本高昂的陆面过程数值模拟，本研究在物理信息多目标框架下对比了LSTM、XGB和MLP三种代理模型对ECMWF IFS陆面方案ECLand的模拟效果，发现LSTM擅长大陆长期预测、XGB表现稳定、MLP具最佳时间准确度权衡，显著降低运行时间。
2024-07-23 cs.LG physics.ao-ph
Sequence-to-Sequence Prediction of Vehicle Trajectory via LSTM Encoder-Decoder Architecture
Hanyang University（汉阳大学）
本文提出了一种基于深度学习的车辆轨迹预测技术，可以实时的生成周围车辆的未来轨迹序列。我们采用编码器-解码器架构，该架构使用基于长短期记忆（LSTM）的编码器来分析过去轨迹中潜在的模式，并使用基于LSTM的解码器来生成未来轨迹序列。该结构通过采用波束搜索技术在占用栅格地图上产生$K$最可能的轨迹候选，该波束搜索技术保持来自解码器输出的$K$局部最佳候选。高速公路交通场景的实验表明，该方法的预测精度显着高于传统的轨迹预测技术。
2018-10-22 cs.LG
Machine Learning Applications in Medical Prognostics: A Comprehensive Review
Edinburg Napier University（爱丁堡龙比亚大学）
本文综述RF、logistic回归、CNN和LSTM在医学预后中的应用，比较其优势、局限与临床挑战，并指出多模态、迁移学习和持续学习方向。
2024-08-05 cs.LG
Conditioning LSTM Decoder and Bi-directional Attention Based Question Answering System
Uber Technologies, Inc（优步科技公司）；Stanford University（斯坦福大学）
近年来，神经网络在问答中的应用越来越广泛。在本文中，我实现了一个带有双向注意流层的模型，连接了一个多层LSTM编码器，连接了一个起始索引解码器和一个调节结束索引解码器。我引入了一个新的结束索引解码器层，条件是开始索引输出。实验结果表明，该方法使模型性能提高了15.16%。在预测方面，提出了一种新的智能跨度方程，在开始索引和结束索引中同时奖励短的答案长度和高的概率，进一步提高了预测精度。最好的单一模型在测试集上的F1得分为73.97%，EM得分为64.95%。
2019-05-02 cs.AI cs.CL cs.LG
Clustering of Bank Customers using LSTM-based encoder-decoder and Dynamic Time Warping
Amirkabir University of Technology（阿米尔卡比尔理工大学）
聚类是一种无监督的数据采掘技术，可用于细分客户。客户的有效聚类使银行能够根据目标客户的特征设计和提供服务。本研究使用一个真实世界的金融数据集（Berka，2000）聚类银行客户的编码器-解码器网络和动态时间规整（DTW）的方法。聚类所需的客户特征可以通过四种方式获得：动态时间规整（DTW），最近频率和货币（RFM），LSTM编码器-解码器网络以及我们提出的混合方法。一旦LSTM模型被客户交易数据训练，编码器就会自动提取每个客户的特征向量。此外，使用DTW获得交易金额序列对之间的距离。通过RFM评分为客户计算另一个向量特征。在混合方法中，特征向量从编码器-解码器输出、DTW距离和人口统计数据（例如，年龄和性别）。最后，将特征向量作为输入引入k-means聚类算法，并将聚类结果与Silhouette和Davies-Bouldin指标进行比较。因此，从混合方法得到的集群是更准确和有意义的比那些来自个人聚类技术。此外，神经网络层的类型对聚类有很大的影响，高的网络错误并不一定会恶化聚类性能。
2021-10-22 cs.AI cs.LG stat.ML
Exploring Neural Models for Parsing Natural Language into First-Order Logic
Adobe Research（Adobe研究院）；Adobe Systems（Adobe公司）
语义解析是从自然语言文本中获得机器可解释的表示的任务。我们考虑这样一个正式的表示-一阶逻辑（FOL），并探讨在解析英语句子FOL的神经模型的能力。我们将FOL解析建模为序列到序列映射任务，其中给定一个自然语言句子，使用LSTM将其编码为中间表示，然后使用解码器顺序生成相应FOL公式中的谓词。我们改进了标准的编码器-解码器模型，通过引入一个变量对齐机制，使其能够在预测的FOL中跨谓词对齐变量。我们进一步显示的有效性预测的FOL实体的类别-一元，二元，变量和范围的实体，在每个解码器的步骤作为一个辅助任务，提高所产生的FOL的一致性。我们进行严格的评估和广泛的消融。我们还打算发布我们的代码以及大规模FOL数据集和模型，以帮助进一步研究NLP中基于逻辑的解析和推理。
2020-02-16 cs.CL cs.LG
Improving Stack Overflow question title generation with copying enhanced CodeBERT model and bi-modal information
Wuhan University of Technology（武汉理工大学）；Wuhan University（武汉大学）；Wuhan University of Technology Chongqing Research Institute（武汉理工大学重庆研究院）；Sanya Science and Education Innovation Park of Wuhan University of Technology（武汉理工大学三亚科教创新园）；City University of Hong Kong（香港城市大学）
上下文：Stack Overflow对于寻求编程问题答案的软件开发人员非常有帮助。以往的研究表明，越来越多的问题是低质量的，从而获得较少的关注，从潜在的回答。Gao等人提出了一种基于LSTM的模型（即，BiLSTM-CC）从代码片段自动生成问题标题，以提高问题质量。但是，仅使用问题主体中的代码片段无法为标题生成提供足够的信息，并且LSTM无法捕获令牌之间的长范围依赖关系。目的：本文提出了一种基于深度学习的新模型CCBERT，通过充分利用整个问题体的双模态信息来提高问题标题生成的性能。方法：CCBERT遵循编码器-解码器范式，并使用CodeBERT将问题主体编码为隐藏表示，使用堆栈Transformer解码器生成预测令牌，并使用额外的复制注意力层优化输出分布。编码器和解码器都执行多头自注意操作以更好地捕获长程依赖性。本文从Stack Overflow官方发布的数据中筛选出约20万个高质量问题，构建了一个数据集，以验证CCBERT模型的有效性。结果：CCBERT在数据集上优于所有基线模型。在纯代码和低资源数据集上的实验表明了CCBERT的优越性，性能下降较小。人工评估也显示了CCBERT在可读性和相关性标准方面的出色表现。
2022-08-25 cs.AI cs.CL cs.PL
An Experimental Study of LSTM Encoder-Decoder Model for Text Simplification
University of Massachusetts Boston（马萨诸塞大学波士顿分校）；Hefei University of Technology（合肥工业大学）
文本简化（TS）旨在降低文本的词汇和结构复杂性，同时仍然保留语义。当前的自动TS技术局限于词汇级应用或手动定义大量规则。由于深度神经网络是强大的模型，在许多困难的任务上都取得了优异的性能，因此在本文中，我们建议将长短期记忆（LSTM）编码器-解码器模型用于句子级TS，它对单词序列的假设最少。我们进行了初步实验，发现该模型能够从序列对中学习到翻转、排序和替换等操作规则，这表明该模型可能会发现并应用TS的修改句子结构、替换单词和删除单词等规则。
2016-09-13 cs.CL cs.LG
On the Soundness of XAI in Prognostics and Health Management (PHM)
Departamento de Ciencias de la Computación e Inteligencia Artificial（计算机科学与人工智能系）；Datrik Intelligence, S.A.（Datrik智能股份公司）；Universidad de Sevilla（塞维利亚大学）
在预测与健康管理（PHM）领域中，预测性维护的目的是在设备中的潜在问题变得至关重要之前识别和预测这些问题。要解决的主要挑战是评估一件设备在失效之前有效运行的时间，即剩余使用寿命（RUL）。深度学习（DL）模型，如深度卷积神经网络（DCNN）和长短期记忆（LSTM）网络，已被广泛采用来解决这一任务，并取得了巨大成功。然而，众所周知，这种黑箱模型是不透明的决策系统，并且可能很难向利益相关者（工业设备专家）解释其输出。由于决定这些复杂模型行为的参数数量庞大，因此理解预测背后的推理具有挑战性。这项工作提出了一个关键的和比较的修订，一些XAI方法应用于时间序列回归模型PM。其目的是探索时间序列回归中的XAI方法，这些方法的研究比时间序列分类方法少。实验期间使用的模型是经过训练的DCNN，用于预测飞机发动机的RUL。使用一组量化任何XAI方法应该实现的一些理想属性的度量来审查和比较这些方法。结果表明，GRAD-CAM是最稳健的方法，并且最佳层不是底部层，这在图像处理的上下文中是常见的。
2023-03-09 cs.AI cs.LG
Low-Complexity LSTM-Assisted Bit-Flipping Algorithm for Successive Cancellation List Polar Decoder
Graduate Institute of Electronics Engineering, National Taiwan University（国立台湾大学电子工程研究所）；MediaTek Inc.（联发科技股份有限公司）
极化码由于其容量实现性能在过去十年中引起了广泛关注。5G和5G之后（B5 G）需要更高的解码容量。尽管循环冗余校验（CRC）辅助的连续消除列表比特翻转（CA-SCLF）译码器已经被开发以获得更好的性能，但是错误比特纠正（比特翻转）问题的解决方案仍然是不完善的并且难以设计。在这项工作中，我们利用通信系统的专家知识，并采用深度学习（DL）技术，以获得更好的解决方案。提出了一种低复杂度的长短期记忆网络（LSTM）辅助的CA-SCLF解码器，以进一步提高传统CA-SCLF的性能，避免复杂度和内存开销。我们的测试结果表明，我们可以有效地提高误比特率性能的0.11dB相比，以前的工作，并减少了超过30%的网络的复杂性和内存开销。
2019-12-11 cs.LG eess.SP
LSTM-based Encoder-Decoder for Multi-sensor Anomaly Detection
TCS Research（塔塔咨询服务研究院）
机械装置，如发动机、车辆、飞机等，通常装备有许多传感器以捕获机器的行为和健康状况。然而，通常存在传感器未捕获的外部因素或变量，从而导致本质上不可预测的时间序列。例如，手动控制和/或未监测的环境条件或负载可能导致固有的不可预测的时间序列。使用基于依赖于平稳性的数学模型或利用预测误差来检测异常的预测模型的标准方法来检测此类场景中的异常变得具有挑战性。我们提出了一种基于长短期记忆网络的异常检测编码解码器方案（EncDec-AD），该方案学习重建“正常”的时间序列行为，然后使用重建误差来检测异常。我们用三个公开的准可预测的时间序列数据集进行了实验：电力需求，航天飞机和ECG，以及两个具有预测和不可预测行为的真实发动机数据集。我们表明，EncDec-AD是强大的，可以从可预测的，不可预测的，周期性的，非周期性的和准周期性的时间序列检测异常。此外，我们还表明EncDec-AD能够检测短时间序列（长度小至30）和长时间序列（长度大至500）的异常。
2016-07-11 cs.AI cs.LG stat.ML
CNN-LSTM Hybrid Deep Learning Model for Remaining Useful Life Estimation
Indira Gandhi Centre for Atomic Research (IGCAR)（英迪拉·甘地原子能研究中心）；Christ (deemed to be) University（基督（被视为）大学）
针对传统方法在剩余使用寿命（RUL）估计中精度不足且忽略数据序列特性的问题，提出一种结合CNN特征提取与LSTM序列预测的混合深度学习模型，在预测性维护中实现了更高精度和更优评分。
2024-12-20 cs.AI cs.LG
Denoising Architecture for Unsupervised Anomaly Detection in Time-Series
Telekom Innovation Laboratories（电信创新实验室）；Eötvös Loránd University（厄特沃什·罗兰大学）
时间序列中的异常提供了从银行和航空航天到信息技术、安全和医学等一系列行业的关键场景的见解。然而，识别时间序列数据中的异常是特别具有挑战性的，因为异常的定义不精确，标签的频繁缺失，以及这些数据中存在的极其复杂的时间相关性。LSTM自动编码器是一种基于长短期记忆网络的异常检测编码器-解码器方案，它学习重构时间序列行为，然后使用重构错误来识别异常。我们引入去噪架构作为对LSTM编码器-解码器模型的补充，并研究其对现实世界以及人工生成的数据集的影响。我们证明了所提出的架构提高了准确性和训练速度，从而使LSTM Autoencoder在无监督异常检测任务中更有效。
2022-08-30 cs.AI cs.LG
Mental Task Classification Using Electroencephalogram Signal
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Massachusetts Institute of Technology（麻省理工学院）
研究了基于三层CNN、层叠LSTM、层叠GRU的脑电数据分类问题。我们进一步提出了一种新的分类器-具有CNN解码器的混合LSTM模型。在CNN上进行的超参数优化显示，验证准确率为72%，测试准确率为62%。经过FFT预处理和数据下采样的堆叠LSTM和GRU模型分别实现了55%和51%的测试精度。对于带有CNN解码器的混合LSTM模型，验证准确率为75%，测试准确率为70%。我们相信，通过使用CNN层作为后续LSTM层的解码器，混合模型比单独的CNN和LSTM更鲁棒和准确。代码是在Pytorch和Keras的框架中完成的。结果和代码可以在https://github.com/theyou21/BigProject上找到。
2019-10-02 cs.LG eess.SP
BCI decoder performance comparison of an LSTM recurrent neural network and a Kalman filter in retrospective simulation
Brown University（布朗大学）；Harvard Medical School（哈佛医学院）
使用线性卡尔曼解码器的皮质内脑机接口（iBCI）使瘫痪患者能够控制计算机光标，在虚拟键盘上连续点击打字，浏览互联网和使用熟悉的平板电脑应用程序。然而，需要进一步的进步来提供接近健全性能的支持iBCI的光标控制。最近的证据表明，非线性递归神经网络（RNN）可以在非人类灵长类动物（NHP）中提供更高性能的iBCI光标控制，我们使用经过多天多电极记录训练的长短期记忆（LSTM）RNN评估了人类运动皮层信号的预期光标速度解码。通过对来自三名BrainGate iBCI试验参与者的先前记录的皮质内信号进行模拟，我们展示了一种RNN，与卡尔曼解码器相比，它可以在基于高速光标的目标选择任务以及具有挑战性的小目标高精度任务中大幅增加每秒比特数。这些结果表明，应用于人类皮质内信号的RNN解码可以在连续的2-D光标控制中实现实质性的性能进步，并激励实时RNN实现用于四肢瘫痪个体的在线评估。
2018-12-24 cs.HC cs.LG
Evaluation of deep learning models for multi-step ahead time series prediction
University of New South Wales（新南威尔士大学）；Indian Institute of Technology, Delhi（印度理工学院德里分校）
利用神经网络进行时间序列预测是近几十年来研究的热点。鉴于最近的深度学习革命，人们对使用深度学习模型进行时间序列预测给予了很大的关注，因此评估它们的优缺点非常重要。在本文中，我们提出了一项评估研究，比较了深度学习模型在多步提前时间序列预测中的性能。深度学习方法包括简单递归神经网络、长短期记忆（LSTM）网络、双向LSTM网络、编码器-解码器LSTM网络和卷积神经网络。我们提供了与使用随机梯度下降和自适应矩估计（Adam）进行训练的简单神经网络的进一步比较。我们专注于单变量时间序列的基准时间序列数据集的多步预测，并提供了与文献中的相关方法的结果的进一步比较。结果表明，双向和编码器-解码器LSTM网络为给定的时间序列问题提供了最佳的精度性能。
2021-06-07 cs.AI cs.LG
Crafting Adversarial Examples for Deep Learning Based Prognostics (Extended Version)
University of Missouri（密苏里大学）
在制造业中，意外故障被认为是主要的运营风险，因为它们会阻碍生产力并造成巨大损失。最先进的预测和健康管理（PHM）系统结合了深度学习（DL）算法和物联网（IoT）设备，以确定设备的健康状态，从而减少停机时间，降低维护成本并提高生产率。不幸的是，物联网传感器和DL算法都容易受到网络攻击，因此对PHM系统构成了重大威胁。在本文中，我们采用了对抗性的例子制作技术从计算机视觉领域，并将其应用到PHM领域。具体来说，我们使用快速梯度符号方法（FGSM）和基本迭代法（BIM）制作对抗性示例，并将其应用于基于长短期记忆（LSTM），门控递归单元（GRU）和卷积神经网络（CNN）的PHM模型。我们使用NASA的涡轮风扇发动机数据集评估了对抗攻击的影响。结果表明，所有评估的PHM模型都容易受到对抗攻击，并可能导致剩余使用寿命估计的严重缺陷。所获得的结果还表明，精心制作的对抗性示例具有高度的可转移性，并且可能对PHM系统造成重大损害。
2020-09-28 cs.AI cs.CR cs.LG
Improved Variational Autoencoders for Text Modeling using Dilated Convolutions
Carnegie Mellon University（卡内基梅隆大学）
最近关于文本的生成建模的工作已经发现，结合LSTM解码器的变分自动编码器（VAE）比更简单的LSTM语言模型表现更差（Bowman等人，2015年）。到目前为止，这个负面结果还不太清楚，但这归因于LSTM解码器忽略来自编码器的条件信息的倾向。在本文中，我们实验了一种新型的解码器VAE：一个扩大的CNN。通过改变解码器的膨胀架构，我们控制有效的上下文从以前生成的单词。在实验中，我们发现，有一个权衡的上下文容量的解码器和编码信息的使用量。我们证明，使用正确的解码器，VAE可以超越LSTM语言模型。我们在两个数据集上展示了困惑增益，代表了使用VAE进行文本生成建模的第一个积极的实验结果。此外，我们对VAE（使用我们的新解码架构）用于半监督和无监督标记任务进行了深入研究，证明了在几个强基线上的收益。
2017-06-18 cs.CL cs.LG cs.NE
Bi-cLSTM: Residual-Corrected Bidirectional LSTM for Aero-Engine RUL Estimation
Department of Computer Science and Engineering（计算机科学与工程系）；Rajshahi University of Engineering and Technology（拉贾沙希工程与技术大学）；Department of Aeronautical Engineering（航空工程系）；Military Institute of Science and Technology（军事科学与技术学院）
Bi-cLSTM通过结合双向时间建模与自适应残差校正机制，提升航空发动机剩余使用寿命预测的鲁棒性和准确性。
2026-02-28 cs.LG
Improving Generalization of Sequence Encoder-Decoder Networks for Inverse Imaging of Cardiac Transmembrane Potential
Golisano College of Computing and Information Sciences（戈利萨诺计算与信息科学学院）；Rochester Institute of Technology（罗切斯特理工学院）
深度学习模型在许多逆重建问题中表现出最先进的性能。然而，人们还没有很好地理解潜在表示的哪些属性可以提高网络的泛化能力。此外，对于时间序列的逆重建，已经提出了有限的模型。在本文中，我们研究了一个序列编码器解码器模型的泛化能力，用于解决时间序列的逆重建。我们的中心假设是网络的泛化能力可以通过1）约束随机性和2）潜在空间中时间信息的全局聚合来提高。首先，借鉴分析学习理论，我们从理论上表明，随机潜在空间将导致提高泛化能力。其次，我们考虑LSTM编码器-解码器架构，该架构从LSTM编码器中的所有最后一层单元压缩全局特征向量。该模型与其他LSTM编码器-解码器架构进行了比较，每个架构都有确定性和随机性版本。结果表明，约束随机性结合隐空间中时间信息的全局聚集，可以提高逆重构网络的泛化能力。
2018-10-12 cs.LG stat.ML
Boosted Enhanced Quantile Regression Neural Networks with Spatiotemporal Permutation Entropy for Complex System Prognostics
University of Hertfordshire（赫特福德大学）
本文提出一种基于时空排列熵分析与增强型分位数回归神经网络的新型框架，用于模式预测和系统预测。通过结合基于熵的复杂性度量与先进神经架构，实现多维系统复杂动态模式的理解，提升预测精度和不确定性量化能力。
2026-07-20 cs.LG cs.SY eess.SP
What to talk about and how? Selective Generation using LSTMs with Coarse-to-Fine Alignment
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们提出了一个端到端的，域独立的神经编码器-对准器-解码器模型，用于选择性生成，即，内容选择和表面实现的联合任务。我们的模型首先通过基于LSTM的递归神经网络对一整套超定数据库事件记录进行编码，然后利用一种新颖的粗到细对齐器来识别要谈论的突出记录的小子集，最后采用解码器来生成对齐的自由形式的描述，选择记录。我们的模型在基准WeatherGov数据集上实现了迄今为止报告的最佳选择和生成结果（生成相对提高了59%），尽管没有使用任何专门的功能或语言资源。使用改进的k-最近邻波束滤波器有助于进一步。我们还进行了一系列的消融和可视化，以阐明我们的关键模型组件的贡献。最后，我们评估了我们的模型在RoboCup数据集上的可推广性，并得到了与最先进的模型竞争或更好的结果，尽管数据严重匮乏。
2016-01-08 cs.AI cs.CL cs.LG
Remaining Useful Life Estimation for Turbofan Engines: A Comparative Study of Classical, CNN, and LSTM Approaches
Khoury College of Computer Science, Northeastern University（东北大学计算机科学学院）
本文比较了经典方法、CNN和LSTM在NASA C-MAPSS数据集上对涡轮风扇发动机剩余寿命估计的性能，发现LSTM在FD001和FD003上分别取得14.93和14.20的RMSE，优于其他方法。
2026-04-29 cs.LG
Image Captioning using Deep Stacked LSTMs, Contextual Word Embeddings and Data Augmentation
National Institute of Technology（印度国家技术学院）
图像描述或图像描述的自动生成是计算机视觉中的核心问题之一，并且使用深度学习技术已经取得了相当大的进展。我们建议使用Inception-ResNet卷积神经网络作为编码器来从图像中提取特征，基于层次上下文的词嵌入用于单词表示，深度堆叠长短期记忆网络作为解码器，此外还使用图像数据增强来避免过拟合。对于数据增强，除了图像上的透视变换外，我们还使用水平和垂直翻转。我们评估我们提出的方法与两个图像描述框架-编码器-解码器和软注意。广泛使用的指标的评估表明，我们的方法导致模型性能的显着改善。
2021-02-22 cs.AI cs.CV cs.LG
Unsupervised Learning of Video Representations using LSTMs
University of Toronto（多伦多大学）
我们使用多层长短期记忆（LSTM）网络来学习视频序列的表示。我们的模型使用编码器LSTM将输入序列映射到固定长度的表示。使用单个或多个解码器LSTM来解码该表示以执行不同的任务，诸如重构输入序列或预测未来序列。我们使用两种输入序列进行实验-图像像素的补丁和使用预训练的卷积网络提取的视频帧的高级表示（“感知”）。我们探索不同的设计选择，如解码器LSTM是否应该产生的输出条件。我们定性地分析模型的输出，以了解模型如何将学习到的视频表示外推到未来和过去。我们试图可视化和解释学习的功能。我们通过在更长的时间尺度和域外数据上运行模型来对模型进行压力测试。我们进一步评估表示微调他们的监督学习问题-人类行为识别的UCF-101和HMDB-51数据集。我们表明，表示有助于提高分类精度，特别是当只有几个训练样本。即使是在不相关的数据集（300小时的YouTube视频）上预训练的模型也可以帮助动作识别性能。
2016-01-04 cs.CV cs.LG cs.NE
Incorporating Transformer and LSTM to Kalman Filter with EM algorithm for state estimation
College of Artificial Intelligence, Nankai University（南开大学人工智能学院）
卡尔曼滤波器要求模型的真实参数，递归求解最优状态估计。期望最大化（EM）算法适用于估计卡尔曼滤波前无法估计的模型参数，即EM-KF算法。为了提高EM-KF算法的精度，提出了一种在seq 2seq（Encoder-Decoder in Sequence）框架下，将长短期记忆网络（LSTM）、Transformer和EM-KF算法相结合的状态估计方法。对线性移动机器人模型的仿真结果表明，该方法具有更高的精度。本文的源代码可在https://github.com/zshicode/Deep-Learning-Based-State-Estimation上获得。
2021-05-25 cs.LG
An interpretable LSTM neural network for autoregressive exogenous model
ETH Zurich（苏黎世联邦理工学院）；EPFL Lausanne（洛桑联邦理工学院）；TalkingData Co., Ltd.（北京腾云天下科技有限公司）
在本文中，我们提出了一个可解释的LSTM递归神经网络，即，多变量LSTM，用于具有外生变量的时间序列。目前，递归神经网络中广泛使用的注意力机制主要关注数据的时间方面，缺乏对变量重要性的表征。为此，我们开发了配备张量化隐藏状态的多变量LSTM，以学习变量特定的表示，这会引起时间和变量级别的注意。初步实验表明，多变量LSTM的预测性能相当w.r.t.基于编码器-解码器的基线。更有趣的是，以变量注意力为特征的真实数据集中的变量重要性与统计Granger因果检验所确定的变量重要性高度一致，这展示了多变量LSTM作为预测和知识发现的简单统一的端到端框架的前景。
2018-04-14 cs.LG stat.ML
End to End Recognition System for Recognizing Offline Unconstrained Vietnamese Handwriting
Center for Open Data in the Humanities（人文开放数据中心）；Tokyo University of Agriculture and Technology（东京农工大学）
受最近神经机器翻译和图像字幕生成成功的启发，我们提出了一个基于注意的编码器解码器模型（AED）识别越南手写文本。该模型由两个部分组成：用于提取不变特征的DenseNet和具有用于生成输出文本的注意力模型的长短期记忆网络（LSTM）（LSTM解码器），它们从CNN部分连接到注意力模型。CNN部分的输入是手写文本图像，LSTM解码器的目标是输入图像的对应文本。我们的模型是端到端训练的，可以从给定的输入图像中预测文本，因为所有的部分都是差分分量。在实验部分，我们评估我们提出的AED模型上VNOnDB-Word和VNOnDB-Line数据集，以验证其效率。实验结果表明，在不使用任何语言模型的情况下，我们的模型达到了12.30%的单词错误率。这一结果与谷歌在越南在线手写文本识别比赛中提供的手写识别系统具有竞争力。
2019-05-14 cs.CV cs.LG
Improved Prognostic Prediction of Pancreatic Cancer Using Multi-Phase CT by Integrating Neural Distance and Texture-Aware Transformer
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Peking University（北京大学）；Hupan Lab（湖畔实验室）；Sun Yat-sen University Cancer Center（中山大学肿瘤防治中心）；South China Hospital, Shenzhen University（深圳大学华南医院）；Tianjin Medical University Cancer Institute and Hospital（天津医科大学肿瘤医院）；Changsha Institute for Computing and Digital Economy（长沙计算与数字经济研究院）；Guangdong Provincial People’s Hospital（广东省人民医院）；Shengjing Hospital（盛京医院）
提出可学习神经距离描述肿瘤与血管关系，并结合CNN与Transformer提取多期CT动态纹理特征，在多中心数据集上显著提升PDAC预后预测性能。
2023-09-13 cs.CV cs.LG eess.IV
Enhancing the prediction of disease outcomes using electronic health records and pretrained deep learning models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；Bedford VA Medical Center（贝德福德退伍军人事务医疗中心）
问：在纵向电子健康记录的大型数据集上预训练的编码器-解码器架构能否改善患者结局预测？调查结果：在这项对680万患者的预后研究中，我们的多个结局的去噪序列到序列预测模型在广泛的患者结局（包括故意自残和胰腺癌）上的表现优于最先进的预训练BERT模型。意义：深度双向和自回归表示改善了患者结局预测。
2022-12-22 cs.AI cs.CY cs.LG
Neural Machine Translation with Recurrent Highway Networks
Indian Institute of Science（印度科学学院）
递归神经网络最近在语言建模任务中获得了很大的普及，特别是在神经机器翻译（NMT）中。最近的NMT模型基于编码器-解码器，其中基于深度LSTM的编码器用于将源句子投影到固定维度的向量，然后另一个深度LSTM从向量中解码目标句子。然而，在探索具有多个空间层（即在每个时间步中）的架构方面的工作很少。本文研究了简单递归公路网络（RHN）在NMT任务中的有效性。该模型在编码器和解码器中采用了递归高速公路神经网络，并对重构器模型进行了改进。我们证明了所有三种方法的有效性IWITONS英语-越南语数据集。我们看到RHN的表现与基于LSTM的模型相当，在某些情况下甚至更好。我们看到，由于高速公路连接，与基于LSTM的深度模型相比，深度RHN模型更容易训练。本文还研究了在每个时间步增加递归深度的影响。
2019-04-28 cs.CL cs.LG
CNN-LSTM models for Multi-Speaker Source Separation using Bayesian Hyper Parameter Optimization
KU Leuven（鲁汶大学）
近年来，针对多说话者声源分离问题，出现了许多深度学习方法。大多数使用长短期记忆-递归神经网络（LSTM-RNN）或卷积神经网络（CNN）来建模语音的顺序行为。在本文中，我们提出了一种新的网络，用于并行使用编码器-解码器CNN和LSTM的声源分离。必须为网络的两个部分选择超参数，并且它们可能相互依赖。由于超参数网格搜索具有高计算负担，随机搜索通常是优选的。然而，当对超参数空间中的新点进行采样时，它可能非常接近先前评估的点，因此几乎没有提供额外的信息。此外，随机抽样很可能在有希望的区域进行抽样，就像在以性能差的模型为主的超空间区域进行抽样一样。因此，我们使用贝叶斯超参数优化技术，发现并行CNN-LSTM优于LSTM和CNN模型。
2019-12-19 cs.LG eess.AS stat.ML
Deep learning via LSTM models for COVID-19 infection forecasting in India
University of New South Wales（新南威尔士大学）；Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
COVID-19疫情继续对健康及医疗基础设施、经济及农业造成重大影响。由于感染传播的复杂性，著名的计算和数学模型一直不可靠。此外，由于缺乏数据汇集和报告，建模工作变得困难和不可靠。因此，我们需要借助可靠的数据来源和创新的预测模型来重新审视这一情况。深度学习模型，如递归神经网络，非常适合对时空序列进行建模。在本文中，我们应用递归神经网络，如长短期记忆（LSTM），双向LSTM和编码器-解码器LSTM模型，用于多步（短期）COVID-19感染预测。我们选取印度COVID-19疫情高发的州，捕捉第一波（2020年）及第二波（2021年）的感染情况，并提供两个月的预测。我们的模型预测，2021年10月和11月发生另一波感染的可能性很低;然而，鉴于新出现的病毒变种，当局需要保持警惕。预测的准确性促使该方法在其他国家和地区的应用。然而，由于数据的可靠性以及难以捕捉人口密度、物流以及文化和生活方式等社会方面的因素，建模仍然面临挑战。
2022-01-17 cs.AI cs.LG stat.AP
Forecasting Local Behavior of Self-organizing Many-agent System without Reconstruction
Georgia Institute of Technology（佐治亚理工学院）
本文提出一种无需重建全部智能体状态的 CNN-LSTM 模型，通过 CNN 编码、LSTM 动力学学习和 MLP 解码，高效预测自组织多智能体系统中特定智能体的未来状态，并在森林火灾模型中验证了其在保持较高 AUC 的同时显著降低计算成本。
2023-05-31 cs.AI cs.LG
Remaining Useful Lifetime Prediction via Deep Domain Adaptation
Eindhoven University of Technology（埃因霍温理工大学）
在预测与健康管理（PHM）中，充分的先前观察到的退化数据通常是剩余使用寿命（RUL）预测的关键。大多数以前的数据驱动预测方法假设训练（源）和测试（目标）状态监测数据具有相似的分布。然而，由于不同的操作条件，故障模式，噪声和设备更新分布偏移存在于不同的数据域。这种转变降低了先前针对特定条件构建的预测模型的性能，因为没有观察到的运行至故障数据可用于重新训练。为了解决这个问题，本文提出了一种新的数据驱动的方法，用于使用长短期神经网络（LSTM）的统计学中的领域自适应。我们使用一个时间窗口的方法来提取时间信息的时间序列数据中的源域与观察到的RUL值和目标域只包含传感器信息。我们提出了一种域对抗性神经网络（DANN）方法来学习域不变特征，这些特征可用于预测目标域中的RUL。实验结果表明，该方法可以提供更可靠的RUL预测数据集的不同操作条件和故障模式。这些结果表明，所提出的方法提供了一个有前途的方法来执行领域自适应在实际的PHM应用。
2019-07-17 cs.LG stat.ML
Leveraging Text Data Using Hybrid Transformer-LSTM Based End-to-End ASR in Transfer Learning
Nanyang Technological University（南洋理工大学）；Huya AI（虎牙人工智能）；Nazarbayev University（纳扎尔巴耶夫大学）；Alibaba Group（阿里巴巴集团）
在这项工作中，我们研究利用额外的文本数据来改善跨语言迁移学习设置下的低资源端到端ASR。为此，我们扩展了我们之前的工作[1]，并提出了一个基于混合Transformer-LSTM的架构。这种架构不仅利用了Transformer网络的高效编码能力，而且由于基于LSTM的独立语言模型网络而受益于额外的文本数据。我们进行实验，我们内部的马来语语料库，其中包含有限的标记数据和大量的额外的文本。结果表明，当两者都使用有限的标记数据进行训练时，所提出的架构比以前基于LSTM的架构[1]的相对字错误率（WER）高出24.2%。从这一点出发，我们通过从另一种资源丰富的语言迁移学习，进一步获得了25.4%的相对WER降低。此外，我们通过使用额外的文本数据提升传输模型的LSTM解码器，获得了额外的13.6%的相对WER降低。总的来说，我们的最佳模型比普通Transformer ASR的相对WER高出11.9%。最后但并非最不重要的是，与LSTM和Transformer架构相比，所提出的混合架构提供了更快的推理。
2020-05-28 cs.LG cs.SD eess.AS
AttentionHTR: Handwritten Text Recognition Based on Attention Encoder-Decoder Networks
Uppsala University（乌普萨拉大学）
本文提出了一种基于注意力的序列到序列的手写体识别模型，并探讨了迁移学习用于HTR系统的数据有效训练。为了克服训练数据不足的问题，这项工作利用在场景文本图像上预训练的模型作为定制手写识别模型的起点。ResNet特征提取和基于双向LSTM的序列建模阶段一起形成编码器。预测阶段由解码器和基于内容的注意力机制组成。所提出的端到端HTR系统的有效性已经在一个新的多作者数据集Imgur 5 K和IAM数据集上进行了经验评估。实验结果评估HTR框架的性能，进一步支持的错误情况下进行深入分析。源代码和预训练模型可在https://github.com/dmitrijsk/AttentionHTR上获得。
2022-09-12 cs.CV cs.LG
Through-Wall Pose Imaging in Real-Time with a Many-to-Many Encoder/Decoder Paradigm
克服视觉障碍，发展“透视视觉”一直是人类长久以来的梦想之一。与可见光不同，射频（RF）信号可以穿透不透明的障碍物并高度反射人体。本文建立了一个深度学习模型，可以训练该模型来重建15点人体骨骼的连续视频，即使在视觉遮挡的情况下也是如此。培训过程采用受费曼学习技术启发的学生/教师学习程序，其中首先使用包含光学相机和RF天线阵列收发器的协同设置同时收集视频帧和RF数据。接下来，使用基于计算机视觉的步态分析“教师”模块处理视频帧，以生成每帧的地面真实人体骨架。然后，使用由残差卷积神经网络（CNN）、区域建议网络（RPN）和具有长短期记忆（LSTM）的递归神经网络组成的“学生”深度学习模型从相应的RF数据预测相同类型的骨架，该模型1）从RF图像提取空间特征，2）检测场景中存在的所有人，以及3）在许多时间步长上聚合信息，分别该模型被证明是准确和完全预测的姿势背后的视觉障碍，仅使用RF信号的人。主要学术贡献包括新颖的多对多成像方法，RPN和LSTM网络的独特集成以及原始训练管道。
2019-10-20 cs.CV cs.LG stat.ML
Differential Machine Learning for Time Series Prediction
Universitat Pompeu Fabra（庞培法布拉大学）；Barcelona School of Economics（巴塞罗那经济学院）
本文提出Diff-LSTM网络，通过共享LSTM单元同时学习原始序列及其微分序列，在混沌和金融时间序列的短期与长期预测中优于多种主流神经网络模型。
2025-03-09 cs.LG
Transfer Learning Based Efficient Traffic Prediction with Limited Training Data
University of Western Ontario（西安大略大学）；Juniper Networks（瞻博网络）
互联网流量的有效预测是自组织网络（SON）的重要组成部分，以确保主动管理。存在许多使用深度学习进行更高精度的互联网流量预测的现有解决方案。但是，由于数据的异质性、稀缺性和异常性，为网络中的每个服务提供商设计单独的预测模型是具有挑战性的。此外，在有限的训练数据的网络流量预测的深度序列模型的性能还没有广泛的研究，在目前的工作。在本文中，我们研究和评估了深度迁移学习技术在流量预测中的性能，其中历史数据不足，利用了我们预训练模型的知识。首先，我们使用了一个相对较大的真实世界流量数据集，基于五种不同的深度序列模型进行源域预测：递归神经网络（RNN），长短期记忆（LSTM），LSTM编码器-解码器（LSTM_En_De），带注意力层的LSTM_En_De（LSTM_En_De_Atn）和门控递归单元（GRU）。然后，考虑来自源域的两个性能最好的模型LSTM_En_De和LSTM_En_De_Atn，其准确度为96.06%和96.05%，用于目标域预测。最后，在目标域中使用针对四个特定源和目的地对收集的四个较小的流量数据集，以在准确性和执行时间方面比较标准学习和迁移学习的性能。根据我们的实验结果，迁移学习有助于减少大多数情况下的执行时间，而迁移学习的模型的准确性提高了较大的训练会话。
2022-05-09 cs.LG
Amharic-Arabic Neural Machine Translation
Mangalore University（门格洛尔大学）
许多自动翻译作品已经解决了欧洲主要语言对之间，利用大规模的平行语料库，但很少有研究工作进行阿姆哈拉语-阿拉伯语对由于其并行数据的稀缺性。基于开放源代码的神经机器翻译（NMT）系统，采用基于注意力的编码器-解码器架构，开发了两种基于长短期记忆（LSTM）和门控递归单元（GRU）的NMT模型。为了进行实验，一个小的平行古兰经文本语料库的构建修改现有的单语阿拉伯语文本和其等效翻译的阿姆哈拉语文本语料库上坦齐勒。比较基于LSTM和GRU的NMT模型和Google翻译系统，发现基于LSTM的OpenNMT优于基于GRU的OpenNMT和Google翻译系统，BLEU得分分别为12%，11%和6%。
2019-12-26 cs.CL cs.LG
LSTM-based Network for Human Gait Stability Prediction in an Intelligent Robotic Rollator
National Technical University of Athens（雅典国家技术大学）
在这项工作中，我们提出了一种新的框架，用于使用长短期记忆（LSTM）网络对智能机器人助行车的老年用户进行在线人体步态稳定性预测，融合来自非可穿戴传感器的多模态RGB-D和激光测距仪（LRF）数据。基于深度学习（DL）的方法用于上身姿势估计。使用无迹卡尔曼滤波器（UKF）将检测到的姿势用于估计身体质心（CoM）。增强步态状态估计框架利用LRF数据来估计腿的位置和相应的步态相位。这些估计是编码器-解码器序列到序列模型的输入，该模型预测步态稳定性状态为安全或跌倒风险行走。通过探索不同的网络架构、超参数设置以及将所提出的方法与其他基线进行比较，使用来自真实患者的数据对其进行了验证。所提出的基于LSTM的人体步态稳定性预测器，以提供强大的预测的人体稳定状态，因此有可能被集成到一个通用的用户自适应控制架构作为跌倒风险警报。
2019-03-05 cs.CV cs.LG cs.RO
Improved Multi-Stage Training of Online Attention-based Encoder-Decoder Models
Samsung Research（三星研究院）
在本文中，我们提出了一种改进的多阶段多任务训练策略，以提高在线基于注意力的编码器-解码器（AED）模型的性能。提出了一种基于字符编码器、基于字节对编码（BPE）的编码器和注意力解码器的三级训练方法。此外，多任务学习的基础上两个层次的语言粒度，即字符和BPE，使用。我们探索了编码器的不同预训练策略，包括双向编码器的迁移学习。我们的编码器-解码器模型与在线注意力相比，对于较小和较大的模型，分别显示出35%和10%的相对改善。在与基于长短期记忆（LSTM）的外部语言模型（LM）融合后，我们的模型在Librispeech测试干净数据上的单词错误率（WER）分别为5.04%和4.48%。
2019-12-28 cs.LG cs.SD eess.AS
Short-term Inland Vessel Trajectory Prediction with Encoder-Decoder Models
Institute of Ship Technology, Ocean Engineering and Transport Systems (ISMT), University of Duisburg-Essen（杜伊斯堡-埃森大学船舶技术、海洋工程与交通系统研究所（ISMT））；German Federal Waterway Engineering and Research Institute（德国联邦航道工程与研究院）；Chair of Dynamics and Control (SRS), University of Duisburg-Essen（杜伊斯堡-埃森大学动力学与控制讲席（SRS））
本文针对内河船舶轨迹预测问题，比较了多种编码器-解码器架构，发现将回归转化为分类问题并加入河流特征时LSTM优于transformer，首次应用transformer模型并构建了河流特定上下文特征向量。
2024-06-04 cs.LG
Neural Abstractive Text Summarization and Fake News Detection
Stanford University（斯坦福大学）
在这项工作中，我们研究抽象的文本摘要，探索不同的模型，如LSTM编码器解码器与注意，指针生成器网络，覆盖机制，和Transformers。经过广泛和仔细的超参数调整，我们比较了所提出的架构对彼此的抽象文本摘要任务。最后，作为我们工作的延伸，我们将我们的文本摘要模型作为假新闻检测任务的特征提取器，在该任务中，将对分类之前的新闻文章进行总结，并将结果与仅使用原始新闻文本的分类进行比较。关键词：LSTM，编码器-解码器，抽象文本摘要，指针生成器，覆盖机制，Transformers，假新闻检测
2019-12-12 cs.CL cs.LG stat.ML
An unsupervised latent/output physics-informed convolutional-LSTM network for solving partial differential equations using peridynamic differential operator
The University of Arizona（亚利桑那大学）；Massachusetts Institute of Technology（麻省理工学院）
提出了一种新的非局部交互的无监督卷积神经网络（NN）结构，用于求解偏微分方程（PDE）。采用非局部周向微分算子（PDDO）作为卷积滤波器来计算场变量的导数。NN通过编码器-解码器层在较小的潜在空间中捕获时间动态，编码器-解码器层之间具有卷积长短期记忆（ConvLSTM）层。通过采用新的激活函数来改进ConvLSTM结构，以提高具有周期性行为的物理学习结构的预测能力。在NN的输出端和潜在（简化）空间中，以控制方程的形式调用物理学。通过考虑几个基准偏微分方程，我们证明了这种新的神经网络结构的训练性能和外推能力，通过比较物理信息神经网络（PINN）型求解器。与其他现有架构相比，它更有能力推断未来时间步长的解决方案。
2022-10-21 cs.LG cs.NA math.NA
A TextGCN-Based Decoding Approach for Improving Remote Sensing Image Captioning
Indian Institute of Technology, Roorkee（印度鲁尔基理工学院）
本文提出一种结合TextGCN与多层LSTM的编码器-解码器方法，并引入基于比较的束搜索策略，在三个数据集和七项指标上显著提升了遥感图像描述生成性能。
2024-10-12 cs.LG
Attention and Encoder-Decoder based models for transforming articulatory movements at different speaking rates
Indian Institute of Science (IISc)（印度科学学院）
当以不同的速度说话时，发音器官（如舌头，嘴唇）倾向于以不同的方式移动，并且发音的持续时间也不同。在过去，仿射变换和DNN已被用于将发音运动从中性转换为快速（N2 F）和中性转换为慢速（N2 S）说话速率[1]。在这项工作中，我们改进了现有的转换技术，通过建模率特定的持续时间和他们的转换使用AstNet，一个编码器-解码器框架的关注。在目前的工作中，我们提出了一个编码器-解码器架构，使用LSTM生成更平滑的预测发音轨迹。为了对不同语速的持续时间变化进行建模，我们部署了注意力网络，这消除了使用DTW对齐不同语速的轨迹的需要。我们performa音素特定的持续时间分析，研究如何以及持续时间转换使用建议AstNet。由于发音运动的范围与说话速率相关，我们还分析了与原始对应物相比以不同速率转换的发音运动的幅度，以研究所提出的AstNet预测N2 F和N2 S中发音运动的程度。我们观察到，AstNet可以模拟发音运动的持续时间和程度比现有的转换技术，从而更准确地转换发音轨迹。
2020-08-20 cs.LG cs.SD eess.AS
Predicting the performance of hybrid ventilation in buildings using a multivariate attention-based biLSTM Encoder-Decoder neural network
NTNU（挪威科技大学）；Aalborg University（奥尔堡大学）
混合通风是一种节能的解决方案，可以为大多数气候提供新鲜空气，因为它具有可靠的控制系统。为了最佳地操作这样的系统，需要高保真度的面向控制的模型。它应该能够基于诸如窗户打开和HVAC操作时间表的操作条件来实现室内空气温度的近实时的预测。然而，基于物理的面向控制的模型（即，白盒模型）是劳动密集型的并且计算昂贵。或者，基于人工神经网络的黑盒模型可以被训练成用于建筑动态的良好估计器。本文研究了深度神经网络（DNN）的能力，该深度神经网络是一种多变量多头注意力的长短期记忆（LSTM）编码器-解码器神经网络，用于预测窗户打开或关闭时的室内空气温度。训练和测试数据由详细的多区域办公楼模型（EnergyPlus）生成。伪随机信号用于室内空气温度设定点和窗户打开实例。结果表明，DNN能够准确地预测五个区域的室内空气温度，无论是打开或关闭窗户。预测误差在第24步提前预测（6小时提前预测）之后稳定。
2023-03-23 cs.LG eess.SP
