Fast Weight Long Short-Term Memory
Intel AI Lab, Artificial Intelligence Products Group, Intel Corporation(英特尔人工智能实验室,人工智能产品组,英特尔公司)
使用快速权重的联想记忆是一种短期记忆机制,它大大提高了递归神经网络(RNN)的记忆容量和时间尺度。由于最近的研究仅将快速权重引入常规RNN,因此不知道快速权重记忆是否对门控RNN有益。在这项工作中,我们报告了长短期记忆(LSTM)网络和快速权重联想记忆之间的显着协同作用。我们发现,这种组合,在学习联想检索任务,结果更快的训练和更低的测试错误,性能提升最突出的高记忆任务的困难。
2018-04-18 cs.LG cs.NE
Short-Term-to-Long-Term Memory Transfer for Knowledge Graphs under Partial Observability
本文研究了在部分可观测性下知识图谱中的短期到长期记忆转移问题,提出了一种基于神经符号价值决策的方法,通过在长期插入前决定保留或丢弃观察到的三元组,从而提升记忆效率,并在RoomKG基准测试中优于符号和神经基线方法。
2026-07-29 cs.AI cs.LG
Investigation Into The Effectiveness Of Long Short Term Memory Networks For Stock Price Prediction
Colyton Grammar School(科尔顿文法学校)
本文研究了通过时间反向传播训练的长短期记忆网络在股票价格预测中的有效性。一系列不同架构的LSTM网络被构建、训练和测试。
2016-08-28 cs.LG cs.NE
Performance Prediction in Major League Baseball by Long Short-Term Memory Networks
National Taiwan University(台湾大学);National Chengchi University(国立政治大学);Claremont Graduate University(克莱蒙特研究大学)
运动员成绩预测是每项运动中的一个重要问题,因为它为管理者做出重要决策提供了有价值的未来信息。在棒球产业中,已经存在变量预测系统和许多类型的研究,试图提供准确的预测和帮助领域用户。然而,目前缺乏基于深度学习的预测方法或系统的研究。深度学习模型已被证明是当今不同领域的最佳解决方案,因此我们相信它们可以尝试并应用于棒球的预测问题。因此,深度学习模型的预测能力成为本文的研究课题。本研究以全垒打数为研究对象,因为全垒打数是了解棒球打者实力与天赋的重要指标之一。此外,我们使用序列模型长短期记忆作为我们解决美国职棒大联盟全垒打预测问题的主要方法。我们比较了几个机器学习模型和一个广泛使用的棒球投影系统,sZymborski投影系统的模型的能力。我们的研究结果表明,长短期记忆具有更好的性能,并有能力作出更准确的预测。我们的结论是,长短期记忆是一个可行的方法,在棒球的性能预测问题,可以带来有价值的信息,以满足用户的需求。
2022-06-20 cs.AI cs.LG stat.ML
Forecasting The JSE Top 40 Using Long Short-Term Memory Networks
University of the Witwatersrand(威特沃特斯兰德大学)
由于大数据的更大可用性,以及现代计算的成本降低和能力增加,使用人工神经网络进行金融时间序列预测再次成为金融界讨论和研究的主要话题。尽管有这样的学术焦点,但对于人工神经网络的表现最好以及它们是否优于传统时间序列模型的预测能力,仍然存在截然不同的观点和文献。本文利用长短期记忆网路,对日本证券交易所40大指数的收益率资料进行金融时间序列预测。此外,预测性能的长短期记忆网络的预测性能的季节性自回归集成移动平均模型进行了比较。本文评估了现有文献中提出的不同方法,并最终将结果与现有文献进行了比较。本文的结论是,长短记忆网络优于季节性自回归积分移动平均模型预测日内方向性运动,以及在预测指数收盘价。
2021-04-20 cs.LG stat.ML
Transportation Mode Classification from Smartphone Sensors via a Long-Short-Term-Memory Network
Carl von Ossietzky University(卡尔·冯·奥西茨基大学);OFFIS e.V. Institute for Information Technology(OFFIS信息技术研究所)
本文介绍了一种基于智能手机数据的长短期记忆交通方式分类网络的结构,并对其准确性进行了评估。通过使用长短期记忆网络与常见的预处理步骤,如标准化的分类任务的F1分数的准确度为63.68%的内部测试数据集。我们作为“GanbareAM”团队参加了“SHL认可挑战赛”。
2019-10-10 cs.LG eess.SP
Improve Long-term Memory Learning Through Rescaling the Error Temporally
National University of Singapore(新加坡国立大学)
该研究针对序列建模中常用误差度量存在短时记忆偏向的问题,提出时间缩放误差方法以降低偏向、缓解梯度消失,经实验验证其对长时记忆学习的有效性,且是首个定量分析该类偏向的工作。
2023-07-21 cs.AI cs.LG math.DS
An Approximate Bayesian Long Short-Term Memory Algorithm for Outlier Detection
University of South Carolina(南卡罗来纳大学)
采用梯度下降和反向传播训练的长短期记忆网络在各种应用中获得了巨大的成功。然而,网络权重的点估计容易出现过拟合问题,并且缺乏与估计相关的重要不确定性信息。然而,精确贝叶斯神经网络方法是棘手的,不适用于现实世界的应用。在这项研究中,我们提出了一个近似估计的权重的不确定性,使用Entrance卡尔曼滤波器,这是很容易扩展到大量的权重。此外,我们优化的协方差的噪声分布在合奏更新步骤中使用最大似然估计。为了评估所提出的算法,我们将其应用于从Twitter平台检索的五个真实事件中的离群值检测。
2019-06-04 cs.LG stat.ML
Auxiliary-predicted Compress Memory Model(ApCM Model): A Neural Memory Storage Model Based on Invertible Compression and Learnable Prediction
本文提出ApCM模型,通过可逆压缩和可学习预测解决大语言模型运行时内存机制不足的问题,提升动态个性化交互能力。
2026-04-05 cs.LG
Response Characterization for Auditing Cell Dynamics in Long Short-term Memory Networks
Massachusetts Institute of Technology (MIT)(麻省理工学院);Technische Universität Wien (TU Wien)(维也纳工业大学);Institute of Science and Technology (IST)(科学技术研究所)
在本文中,我们介绍了一种新的方法来解释循环神经网络(RNN),特别是长短期记忆网络(LSTM)在细胞水平。我们提出了一个系统的管道解释个人隐藏的状态动态网络内使用响应表征方法。通过分析一组解耦阶跃和正弦响应的可解释度量,计算单个单元对网络输出的排名贡献。因此,我们的方法能够唯一地识别具有深刻动态的神经元,通过消融分析量化动态特性和测试精度之间的关系,并解释网络容量对网络动态分布的影响。最后,我们通过评估一系列不同的基准序列数据集,证明了我们的方法的通用性和可扩展性。
2018-09-11 cs.AI cs.LG cs.NE
A Multi-variable Stacked Long-Short Term Memory Network for Wind Speed Forecasting
Texas Tech University(德克萨斯理工大学)
准确预测风速对于风力发电厂和电网运营商至关重要。然而,由于风速的随机性,这项任务是具有挑战性的。为了在不确定性条件下准确预测短期风速,提出了一种多变量叠加LSTM模型(MSLSTM)。所提出的方法利用多个历史气象变量,如风速,温度,湿度,压力,露点和太阳辐射,以准确地预测风速。使用在美国西德克萨斯州收集的实际数据,预测性能进行了广泛的评估。实验结果表明,该方法能较好地捕捉和学习不确定性,并能输出具有竞争力的性能.
2018-11-24 cs.LG stat.ML
Eigenvalue Normalized Recurrent Neural Networks for Short Term Memory
University of Kentucky(肯塔基大学)
最近开发了具有正交或酉递归矩阵的循环神经网络(RNN)的几种变体,以减轻消失/爆炸梯度问题并对序列的长期依赖性进行建模。然而,由于递归矩阵的特征值在单位圆上,递归状态保留了所有的输入信息,这可能不必要地消耗模型容量。在本文中,我们通过提出一种架构来解决这个问题,该架构扩展了正交/酉RNN,其状态由具有单位圆盘中特征值的递归矩阵生成。任何输入都会随着时间的推移而消散,并被新的输入所取代,模拟短期记忆。一个梯度下降算法推导出学习这样的递归矩阵。由此产生的方法,称为特征值归一化RNN(ENRNN),在几个实验中显示出高度的竞争力。
2019-11-18 cs.LG stat.ML
A Bayesian Long Short-Term Memory Model for Value at Risk and Expected Shortfall Joint Forecasting
The University of Sydney(悉尼大学)
在险价值(Value-at-Risk,简称VaR)和预期缺口(ExpectedShortfall,简称ES)被广泛应用于金融领域来度量市场风险和管理极端的市场波动。最近分位数得分函数和非对称拉普拉斯密度之间的联系,导致了一个灵活的似然为基础的框架,联合建模的风险值和ES。在金融应用中,能够捕获这两个量的潜在联合动态是非常重要的。我们通过开发一个基于非对称拉普拉斯准似然的混合模型来解决这个问题,该模型采用了机器学习的长短期记忆(LSTM)时间序列建模技术,以有效地捕捉VaR和ES的潜在动态。在LSTM-AL模型中,采用自适应马尔可夫链蒙特卡罗(MCMC)算法进行贝叶斯推断。实证结果表明,所提出的LSTM-AL模型可以提高风险价值和ES预测精度的一系列成熟的竞争模型。
2021-05-13 cs.LG q-fin.RM stat.ML
Provable Reinforcement Learning with a Short-Term Memory
Microsoft Research(微软研究院);Princeton University(普林斯顿大学)
现实世界中的序列决策问题通常涉及部分可观测性,这要求智能体保持历史记忆,以便推断潜在状态,计划和做出好的决策。一般来说,处理部分可观测性是非常具有挑战性的,因为在学习部分可观测马尔可夫决策过程(POMDPs)时存在许多最坏情况的统计和计算障碍。出于在几个物理应用中的问题结构,以及一个常用的技术称为“帧堆叠”,本文提出了研究一个新的子类POMDPs,其潜在的状态可以解码的最新历史的一个短的长度$m$。我们建立了一组样本复杂性的上限和下限,用于在表格和丰富的观察设置(观察的数量是巨大的)中学习这类问题的接近最优的政策。特别是,在丰富的观测设置,我们开发了新的算法,使用一种新的“矩匹配”的方法与样本的复杂性,指数尺度与短长度$m$,而不是问题的地平线,是独立的观测数量。我们的研究结果表明,短期记忆足以在这些环境中进行强化学习。
2022-02-08 cs.AI cs.LG
DA-LSTM: A Long Short-Term Memory with Depth Adaptive to Non-uniform Information Flow in Sequential Data
Hong Kong University of Science and Technology(香港科技大学)
许多序列数据表现出高度非均匀的信息分布。传统的长短期记忆(LSTM)无法正确建模。为了解决这个问题,最近的工作通过在相邻输入之间添加更多的激活来扩展LSTM。然而,这些方法通常使用固定的深度,这是在最大信息量的步骤。这种一刀切的最坏情况的方法是不令人满意的,因为当很少的信息被分配到一些步骤,浅层结构可以实现更快的收敛和消耗更少的计算资源。在本文中,我们开发了一种深度自适应长短期记忆(DA-LSTM)架构,它可以在没有先验知识的情况下根据信息分布动态调整结构。真实世界数据集上的实验结果表明,与Stacked LSTM和Deep Transition LSTM相比,DA-LSTM分别消耗更少的计算资源,并大幅缩短$41.78\%$和$46.01 \%$的收敛时间。
2019-01-18 cs.LG cs.NE stat.ML
Knowledge extraction from the learning of sequences in a long short term memory (LSTM) architecture
Inria Bordeaux Sud-Ouest(法国国家信息与自动化研究所波尔多西南分所);LaBRI(波尔多计算机科学实验室);CNRS(法国国家科学研究中心);Université de Bordeaux(波尔多大学);Institut des Maladies Neurodégénératives(神经退行性疾病研究所)
我们介绍了一个通用的方法来提取知识的循环神经网络(长短期记忆),学会了检测,如果一个给定的输入序列是有效的或没有,根据一个未知的生成自动机。基于隐藏状态的聚类,我们解释了如何构建和验证对应于底层(未知)自动机的自动机,并允许预测给定序列是否有效。该方法说明人工语法(Reber的语法变化),以及在一个真正的用例,其基础语法是未知的。
2019-12-06 cs.LG cs.NE stat.ML
Understanding Dynamic Spatio-Temporal Contexts in Long Short-Term Memory for Road Traffic Speed Prediction
Yonsei University(延世大学)
本研究提出一种动态局部化长短期记忆模型,结合空间与时间依赖及动态权重矩阵,提升道路交通速度预测性能,优于两种基线方法。
2023-06-17 cs.AI cs.LG
Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks
Stanford University(斯坦福大学);MetaMind Inc.(MetaMind公司)
由于其随时间推移保留序列信息的卓越能力,长短期记忆(LSTM)网络(一种具有更复杂计算单元的递归神经网络)在各种序列建模任务上获得了很好的结果。到目前为止,我们唯一探索过的LSTM底层结构是线性链。然而,自然语言表现出自然地将单词组合成短语的句法属性。我们介绍了Tree-LSTM,这是LSTM对树结构网络拓扑的推广。Tree-LSTM在两个任务上优于所有现有系统和强大的LSTM基线:预测两个句子的语义相关性(SemEval 2014,任务1)和情感分类(斯坦福情感树库)。
2015-05-30 cs.AI cs.CL cs.LG
Demand Forecasting using Long Short-Term Memory Neural Networks
Karlsruhe University of Applied Sciences(卡尔斯鲁厄应用技术大学);inovex GmbH(inovex 有限公司)
在本文中,我们调查在何种程度上长短期记忆神经网络(LSTM)是适合在电子杂货零售业的需求预测。为此,单变量以及多变量LSTM为基础的模型开发和测试的背景下,100个快速消费品的硕士论文。平均而言,开发的模型显示出比统计和机器学习家族的比较模型更好的食品结果。单独在饮料领域随机森林和线性回归取得了稍好的效果。这一结果表明,LSTM可以用于产品层面的需求预测。这里介绍的模型的性能超出了目前的研究状态,这可以从基于数据集的评估中看出,不幸的是,迄今为止还没有公开。
2020-08-19 cs.LG stat.ML
Bidirectional Quaternion Long-Short Term Memory Recurrent Neural Networks for Speech Recognition
Université d'Avignon(阿维尼翁大学);McGill University(麦吉尔大学);Orkis(奥基斯)
递归神经网络(RNN)是现代自动语音识别(ASR)系统的核心。特别是,长短期记忆(LSTM)递归神经网络在许多语音识别任务中取得了最先进的结果,这是由于它们在相互依赖的特征序列中有效地表示了长期和短期依赖性。然而,传统的实值表示方法对构成多维特征的元素的内部依赖性考虑得很弱。我们提出了一种新的四元数长短期记忆(QLSTM)递归神经网络,它既考虑了组成序列的特征之间的外部关系,又考虑了这些内部潜在的结构依赖性与四元数代数。QLSTM相比,在内存复制任务和语音识别的华尔街日报(WSJ)数据集的实际应用中的LSTM。在两个实验中,QLSTM达到了更好的性能,其学习参数减少了$2.8$倍,从而使信息的表达更具表现力。
2018-11-06 cs.LG cs.SD eess.AS
Predicting County Level Corn Yields Using Deep Long Short Term Memory Models
Iowa State University(爱荷华州立大学);Tsinghua University(清华大学);Kansas State University(堪萨斯州立大学)
玉米产量预测是有益的,因为它提供了有价值的信息,生产和价格之前收获。公开的高质量玉米产量预测有助于解决突发的信息不对称问题,从而提高期货市场的价格效率。本文首次采用长短期记忆(LSTM),一种特殊形式的递归神经网络(RNN)方法来预测玉米产量。县级玉米产量和每小时天气数据的横截面时间序列使样本空间足够大,可以使用深度学习技术。LSTM在具有复杂内部关系的时间序列预测中是有效的,这使得它适合于这一任务。从县一级的数据在爱荷华州的实证结果表明,有前途的预测能力相对于现有的调查为基础的方法。
2018-05-30 cs.LG stat.ML
Confidence Interval Construction for Multivariate time series using Long Short Term Memory Network
IIT Guwahati(印度理工学院古瓦哈蒂分校)
在本文中,我们提出了一个新的程序来构建一个置信区间的多元时间序列预测使用长短期记忆网络。该构造使用了一些新颖的块自举技术。我们还提出了一个创新的块长度选择程序,这些计划。两个新的基准帮助我们比较不同的自举技术的置信区间的建设。我们通过S\&P $500$和道琼斯指数数据集说明了整个结构。
2022-11-25 cs.LG q-fin.CP stat.CO
Ensemble long short-term memory (EnLSTM) network
Peng Cheng Laboratory(鹏城实验室);School of Environmental Science and Engineering, Southern University of Science and Technology(南方科技大学环境科学与工程学院)
在这项研究中,我们提出了一个集成长短期记忆(EnLSTM)网络,它可以在一个小的数据集上训练并处理序列数据。EnLSTM是通过组合集成神经网络(ENN)和级联长短期记忆(C-LSTM)网络来构建的,以利用它们的互补优势。为了解决小数据问题所带来的过收敛和干扰补偿问题,引入了模型参数摄动和高保真观测摄动方法。EnLSTM与已发布数据集上的常用模型进行了比较,并被证明是生成测井曲线的最先进模型,均方误差(MSE)降低了34%。在实例研究中,根据随钻测井(LWD)数据生成了12个不能随钻测量的测井曲线。EnLSTM在实践中能够降低成本和节省时间。
2020-11-01 cs.LG eess.SP stat.ML
MELODI: Exploring Memory Compression for Long Contexts
Google DeepMind(谷歌DeepMind)
本研究提出新型内存架构MELODI,通过跨层与跨窗口的分层压缩方案实现长文档高效处理,相比Memorizing Transformer基线性能更优且内存占用降至1/8。
2024-10-04 cs.AI cs.LG
Respiratory Sound Classification Using Long-Short Term Memory
Santa Clara University(圣克拉拉大学)
开发一个可靠的声音检测和识别系统提供了许多好处,并在不同的行业有许多有用的应用。本文探讨了存在的困难时,试图进行声音分类,因为它涉及到呼吸系统疾病的分类。对独立分量分析和盲源分离等方法进行了研究。最后,对深度学习和长短期记忆网络的使用进行了检查,以确定如何实现这样的任务。
2020-08-06 cs.LG cs.SD eess.AS
Sentiment Analysis Using Simplified Long Short-term Memory Recurrent Neural Networks
Michigan State University(密歇根州立大学)
LSTM或长短期记忆网络是一种特定类型的递归神经网络(RNN),在处理长序列数据和学习长期依赖关系方面非常有效。在这项工作中,我们执行情感分析的GOP辩论Twitter数据集。为了加快训练速度并降低计算成本和时间,提出了六种不同的参数缩减的LSTM模型(Slim LSTM)。我们在数据集上评估了其中两个模型。比较了这两个LSTM模型与标准LSTM模型的性能。还研究了双向LSTM层的效果。除了为不同的LSTM模型建立最佳的超参数集之外,这项工作还包括选择最佳架构的研究。
2020-05-08 cs.CL cs.LG stat.ML
Construction of confidence interval for a univariate stock price signal predicted through Long Short Term Memory Network
IIT Guwahati(印度理工学院古瓦哈提分校)
在本文中,我们展示了一种创新的方法来构建基于单变量LSTM模型估计的信号的自举置信区间。我们采取三种不同类型的自助方法的依赖设置。我们规定了一些有用的建议,以选择最佳的块长度,而执行的样本的自举。我们还提出了一个基准比较通过不同的引导策略测量的置信区间。我们通过一些股票价格数据集来说明实验结果。
2020-07-01 cs.LG q-fin.ST stat.ML
Short-Term Forecasting COVID-19 Cases In Turkey Using Long Short-Term Memory Network
Yeditepe University(耶迪特佩大学)
自二零一九年十二月以来,COVID-19已成为最严重的疾病之一,导致全球严重流行。本研究的目的是评估长短期记忆(LSTM)网络在预测土耳其COVID-19病例总数方面的价值。2020年3月24日至4月23日之间30天的COVID-19数据用于估计未来15天。LSTM网络15天估计的平均绝对误差为1.69 $\pm$ 1.35%。而对于相同的数据,Box-Jenkins法的误差为3.24 $\pm$ 1.56%,Prophet法的误差为6.88 $\pm$ 4.96%,Holt-Winters加性阻尼趋势法的误差为0.47 $\pm$ 0.28%。此外,当死亡人数数据也与总病例数一起提供给LSTM网络的输入时,平均误差降低到0.99 $\pm$ 0.51%。因此,与仅使用总病例数作为输入相比,将死亡人数数据添加到输入中会导致预测误差较小。然而,具有阻尼趋势的Holt-Winters加法方法在预测COVID-19病例总数方面优于LSTM网络。
2020-09-16 cs.LG stat.ML
Classifying Relations via Long Short Term Memory Networks along Shortest Dependency Path
Software Institute, Peking University(北京大学软件研究所);University of Chinese Academy of Sciences(中国科学院大学)
关系分类是自然语言处理领域的一个重要研究方向。在本文中,我们提出了SDP-LSTM,这是一种新型的神经网络,用于对句子中两个实体的关系进行分类。我们的神经架构利用了两个实体之间的最短依赖路径(SDP);多通道递归神经网络,具有长短期记忆(LSTM)单元,沿着SDP拾取异构信息。我们提出的模型有几个明显的特点:(1)最短的依赖路径保留最相关的信息(关系分类),同时消除句子中的无关词。(2)多通道LSTM网络允许在依赖路径上从异构源进行有效的信息集成。(3)定制的丢弃策略使神经网络规则化以减轻过拟合。我们在SemEval 2010关系分类任务上测试了我们的模型,并获得了83.7%的$F_1$分数,高于文献中的竞争方法。
2015-08-15 cs.CL cs.LG
Detecting Multiple Speech Disfluencies using a Deep Residual Network with Bidirectional Long Short-Term Memory
Queen's University(女王大学)
口吃是一种语言障碍,每天影响着数千万人。即使有其共同性,也很少有关于口吃语音识别和分类的数据和研究。本文解决了不同形式的口吃的检测和分类的问题。相对于大多数现有的作品,识别口吃的语言模型,我们的工作提出了一个模型,仅依赖于声学特征,允许识别口吃不流利的几个变化,而不需要语音识别。我们的模型使用深度残差网络和双向长短期记忆层来分类不同类型的口吃,并实现了10.03%的平均失误率,比最先进的水平高出近27%
2019-10-17 cs.LG cs.SD eess.AS
Lattice Rescoring Strategies for Long Short Term Memory Language Models in Speech Recognition
Google Inc.(谷歌公司)
递归神经网络(RNN)语言模型(LM)和长短期记忆(LSTM)LM(RNN LM的变体)已被证明在语音识别任务上优于传统的N-gram LM。然而,这些模型在计算上比用于解码的N-gram LM更昂贵,因此,集成到语音识别器中具有挑战性。最近的研究提出了使用格rescoring算法,使用RNNLM和LSTMLMs作为一种有效的策略,将这些模型集成到语音识别系统。在本文中,我们评估了现有的格重评分算法以及YouTube语音识别任务的新变体。使用LSTMLM的格重新评分相对于使用N-gram LM获得的WER将该任务的字错误率(WER)降低了8%。
2017-11-15 cs.CL cs.LG stat.ML
Protein Secondary Structure Prediction with Long Short Term Memory Networks
University of Copenhagen(哥本哈根大学);Technical University of Denmark(丹麦技术大学)
从氨基酸序列预测蛋白质二级结构是一个经典的生物信息学问题。常见的方法使用前馈神经网络或SVM与滑动窗口相结合,因为这些模型不能自然地处理顺序数据。递归神经网络是自然处理序列数据的前馈神经网络的推广。我们使用具有长短期记忆细胞的双向递归神经网络来预测二级结构,并使用CB 513数据集进行评估。在二级结构8类问题上,我们报告了比现有技术(0.664)更好的性能(0.674)。我们的模型包括长短期记忆细胞之间的前馈网络,这是一条可以进一步探索的道路。
2015-01-04 cs.LG cs.NE q-bio.QM
Optimal short-term memory before the edge of chaos in driven random recurrent networks
Tokyo Woman’s Christian University(东京女子基督教大学);University of Tokyo(东京大学)
利用平均场论研究了离散时间非线性递归神经网络存储时变小输入信号的能力。小输入强度和平均场假设的组合使得有可能导出给定过去输入信号的神经元状态的条件概率密度的近似表达式。从这个条件概率密度,我们可以分析计算短期记忆的措施,如记忆容量,互信息,和费舍尔信息,并确定这些措施之间的关系,这还没有澄清到目前为止,我们的知识。我们发现,这些短期记忆措施的网络贡献的混沌边缘之前,输入驱动的网络的动态是稳定的,但相应的系统没有输入信号是不稳定的。
2019-12-24 cond-mat.dis-nn cs.LG cs.NE
Performance of Three Slim Variants of The Long Short-Term Memory (LSTM) Layer
Michigan State University(密歇根州立大学)
长短期记忆(LSTM)层是神经网络和机器学习领域的重要进步,可以实现有效的训练和令人印象深刻的推理性能。基于LSTM的神经网络已经成功地应用于各种应用,例如语音处理和语言翻译。LSTM层可以通过删除某些组件来简化,从而可能加快训练和运行时间,而性能变化有限。特别是,最近推出的变体,称为SLIM LSTM,在初步实验中显示出成功,以支持这一观点。在这里,我们使用标准LSTM和三个SLIM LSTM层对卷积加递归神经网络架构的验证准确性进行了计算分析。我们发现SLIM LSTM层的一些实现可能与我们考虑的架构的标准LSTM层一样好。
2019-01-02 cs.AI cs.LG cs.NE
Recursive Quantum Long Short-Term Memory for Stable Short-Horizon Temperature Forecasting
University of Toronto(多伦多大学);National Yang Ming Chiao Tung University(国立阳明交通大学);Brookhaven National Laboratory(布鲁克海文国家实验室);PecuLab LLC(PecuLab有限责任公司)
本文提出递归量子长短期记忆模型,用于短期温度预测,通过递归量子特征变换提高稳定性和泛化能力,降低预测误差。
2026-09-18 cs.LG
Max-Pooling Loss Training of Long Short-Term Memory Networks for Small-Footprint Keyword Spotting
Google Brain(谷歌大脑)
我们提出了一个基于最大池的损失函数,用于训练长短期记忆(LSTM)网络,用于小足迹关键字定位(KWS),具有较低的CPU,内存和延迟要求。最大池化损失训练可以通过用交叉熵损失训练的网络初始化来进一步引导。采用基于后验平滑的评价方法来衡量关键字定位性能。我们的实验结果表明,使用交叉熵损失或最大池化损失训练的LSTM模型优于交叉熵损失训练的基线前馈深度神经网络(DNN)。此外,与交叉熵损失训练的LSTM相比,具有随机初始化网络的最大池化损失训练的LSTM表现更好。最后,使用交叉熵预训练网络初始化的最大池化损失训练的LSTM显示出最佳性能,与基线前馈DNN相比,在曲线下面积(AUC)测量中产生了$67.6\%$相对减少。
2017-05-05 cs.CL cs.LG stat.ML
Malware Classification Using Long Short-Term Memory Models
基于签名和异常的技术是恶意软件检测的典型方法。然而,这些技术已经变得越来越无效,因为恶意软件已经变得越来越复杂和复杂。因此,研究人员转向深度学习来构建性能更好的模型。在本文中,我们创建了四种不同的基于长短期记忆(LSTM)的模型,并对每个模型进行训练,以对来自20个家族的恶意软件样本进行分类。我们的功能包括从恶意软件可执行文件中提取的操作码。我们采用自然语言处理(NLP)中使用的技术,包括词嵌入和双向LSTM(biLSTM),我们还使用卷积神经网络(CNN)。我们发现,由词嵌入,biLSTM和CNN层组成的模型在我们的恶意软件分类实验中表现最好。
2021-03-03 cs.CR cs.LG
Short-term probabilistic photovoltaic power forecast based on deep convolutional long short-term memory network and kernel density estimation
Harbin Institute of Technology(哈尔滨工业大学)
太阳能是一种清洁的可再生能源。光伏发电是太阳能利用的重要途径。准确的光伏发电功率预测对光伏发电的大规模应用和电网的稳定运行至关重要。提出了一种基于深度卷积长短期记忆(ConvLSTM)网络和核密度估计(KDE)的短期光伏功率预测新方法。该方法利用ConvLSTM对未来光伏发电量进行预测,利用KDE估计联合概率密度函数并给出概率置信区间。在实际光伏电站中的实验验证了该方法的有效性。与卷积神经网络(CNN)和长短期记忆网络(LSTM)的对比实验表明,ConvLSTM可以结合CNN和LSTM的优点,在预测精度方面明显优于CNN和LSTM。通过与多层感知器(MLP)、支持向量回归(SVR)、极限学习机(ELM)、分类回归树(CART)和梯度提升决策树(GBDT)等5种传统方法的比较,结果表明,ConvLSTM的预测精度在20%以上,进一步验证了ConvLSTM的优越性。
2021-07-03 cs.LG eess.SP
RGB Video Based Tennis Action Recognition Using a Deep Historical Long Short-Term Memory
Xiamen University of Technology(厦门理工学院);Nanyang Technological University(南洋理工大学)
在计算机视觉中,基于RGB输入的动作识别技术在虚拟网球比赛、网球技战术视频分析等运动的人体模拟和统计方面具有潜在的应用价值,因此受到越来越多的关注。最近,基于深度学习的方法在动作识别方面取得了令人鼓舞的性能。本文提出了一种采用加权长短期记忆和卷积神经网络表示的三维网球击球识别方法。首先,使用预先训练的Inception网络从每个视频帧单独提取局部二维卷积神经网络空间表示。然后,引入加权的长短期记忆解码器以采用时间t的输出状态和时间t-1的历史嵌入特征来使用得分加权方案生成特征向量。最后,我们使用所采用的CNN和加权LSTM将原始视觉特征映射到向量空间,以生成视觉序列的时空语义描述并对动作视频内容进行分类。在基准测试上的实验表明,我们的方法只使用简单的原始RGB视频可以实现更好的性能比国家的最先进的基线网球拍识别。
2018-09-25 cs.CV cs.LG stat.ML
On Extended Long Short-term Memory and Dependent Bidirectional Recurrent Neural Network
University of Southern California(南加州大学)
在这项工作中,我们首先分析了三个递归神经网络(RNN)细胞中的记忆行为;即简单RNN(SRN),长短期记忆(LSTM)和门控递归单元(GRU),其中记忆被定义为将序列中的先前元素映射到当前输出的函数。我们的研究表明他们三个人的记忆都在快速衰退。然后,为了减轻这种影响,我们引入了可训练的缩放因子,它就像一种注意力机制,可以自适应地调整记忆衰退。新的设计被称为扩展的LSTM(ELSTM)。最后,为了设计一个对以前的错误预测具有鲁棒性的系统,我们提出了一个依赖双向循环神经网络(DBRNN)。在不同的语言任务上进行了大量的实验,以证明所提出的ELSTM和DBRNN解决方案的优越性。在依存句法分析(DP)任务中,与LSTM和GRU相比,ELTSM的标记附件得分(LAS)提高了30%。我们的模型在LAS中的表现也优于其他最先进的模型,例如双注意力和卷积序列到序列(convseq 2seq),接近10%。代码以开源形式发布(https://github.com/yuanhangsu/ELSTM-DBRNN)
2019-11-17 cs.CL cs.LG cs.NE
Short-Term Power Prediction for Renewable Energy Using Hybrid Graph Convolutional Network and Long Short-Term Memory Approach
AAU Energy, Aalborg University(奥尔堡大学能源系)
准确的短期太阳能和风能预测在电力系统的规划和运行中发挥着重要作用。然而,由于可再生能源输出功率的波动性和不确定性,以及当地天气条件随时间动态变化的规律,即时空相关性,可再生能源的短期功率预测一直被认为是一个复杂的回归问题。为了同时捕获时空特征,提出了一种新的基于图神经网络的短期功率预测方法,该方法结合了图卷积网络(GCN)和长短期记忆(LSTM)。具体来说,GCN用于学习相邻可再生能源之间的复杂空间相关性,LSTM用于学习发电曲线的动态变化。仿真结果表明,所提出的混合方法可以模拟可再生能源的时空相关性,其性能优于流行的基线在现实世界的数据集。
2022-02-07 cs.LG cs.SY eess.SY
Top-down Tree Long Short-Term Memory Networks
University of Edinburgh(爱丁堡大学)
长短期记忆(LSTM)网络是一种具有更复杂计算单元的递归神经网络,已成功应用于各种序列建模任务。在本文中,我们开发了树长短期记忆(TreeLSTM),这是一种基于LSTM的神经网络模型,旨在预测树而不是线性序列。TreeLSTM通过估计其依赖树的生成概率来定义句子的概率。在每个时间步,基于所生成的子树的表示来生成节点。我们通过显式表示左右依赖项之间的相关性,进一步增强了TreeLSTM的建模能力。我们的模型的应用程序的MSR句子完成的挑战取得的结果超出了目前的最先进的状态。我们还报告结果依存句法分析重新排名实现竞争力的表现。
2016-04-03 cs.CL cs.LG
Compensation of Fiber Nonlinearities in Digital Coherent Systems Leveraging Long Short-Term Memory Neural Networks
University of the Aegean(爱琴海大学);University of West Attica(西阿提卡大学);LIBRA MLI Ltd(LIBRA MLI有限公司);LIBRA AI Technologies(LIBRA人工智能技术公司)
我们首次介绍了利用长短期记忆(LSTM)神经网络架构来补偿数字相干系统中的光纤非线性。我们进行数值模拟,考虑无论是C波段或O波段传输系统的单信道和多信道16-QAM调制格式与偏振复用。详细分析了隐藏单元的数量和训练LSTM算法并对应于所考虑的信道记忆的符号字的长度的影响,以揭示基于LSTM的接收器在性能和复杂度方面的限制。数值结果表明,LSTM神经网络可以非常有效地作为光接收器的后处理器,对光纤中经历非线性损伤的数据进行分类,并提供比数字反向传播更优越的性能,特别是在多通道传输场景中。复杂度分析表明,LSTM随着隐藏单元的数量而变得更加复杂,并且在长距离(> 1000 km)中,通道记忆的增加可能比DBP更简单。
2020-09-23 cs.LG eess.SP stat.ML
Understanding LSTM -- a tutorial into Long Short-Term Memory Recurrent Neural Networks
Schmalkalden University of Applied Sciences(施马尔卡尔登应用科学大学);Singapore University of Technology and Design(新加坡科技设计大学)
长短期记忆循环神经网络(LSTM-RNN)是目前已知的最强大的动态分类器之一。网络本身和相关的学习算法都有相当好的文档记录,以了解它是如何工作的。本文将更深入地了解LSTM-RNN是如何发展的,以及为什么它们工作得如此出色,重点关注早期的突破性出版物。我们显著改进了文档,并修复了以前出版物中积累的一些错误和不一致。为了支持理解,我们也修改和统一了所使用的符号。
2019-09-12 cs.CL cs.LG cs.NE
A new approach for trading based on Long Short Term Memory technique
National School for Computer Science and Systems analysis(国家计算机科学与系统分析学院);Mohamed V University(穆罕默德五世大学)
股票市场预测一直是利益相关者、交易者和投资者的关键。我们开发了一个集合长短期记忆(LSTM)模型,包括两个时间频率(年度和每日参数),以预测第二天的收盘价(提前一步)。基于四步方法,该方法是两种LSTM算法的串行组合。本文对417家纽约证券交易所上市公司进行了实证研究。基于开盘高、收盘低指标和其他财务指标,该方法证明了股票市场预测的改进。
2020-01-10 cs.LG q-fin.ST
Quantum Long Short-Term Memory
Brookhaven National Laboratory(布鲁克海文国家实验室)
长短期记忆(LSTM)是一种用于序列和时间依赖数据建模的递归神经网络(RNN),其有效性已被广泛建立。在这项工作中,我们提出了LSTM的混合量子经典模型,我们称之为QLSTM。我们证明,该模型成功地学习几种时态数据。特别是,我们表明,对于某些测试用例,这种量子版本的LSTM比经典版本收敛得更快,或者等价地达到更好的精度。由于我们的方法的可变性,对量子位数和电路深度的要求得到了缓解,因此我们的工作为在有噪声的中间尺度量子(NISQ)设备上实现序列建模的机器学习算法铺平了道路。
2020-09-03 cs.LG quant-ph
Detecting the Insider Threat with Long Short Term Memory (LSTM) Neural Networks
McMaster University(麦克马斯特大学);East Carolina University(东卡罗来纳大学)
信息系统使许多组织过程在每个行业。信息技术使用的效率和有效性产生了一个意想不到的副产品:现有用户或冒充他们的人滥用-内部威胁。如果对电子日志进行彻底分析,捕获用户行为,则可以检测内部威胁。然而,日志通常非常大且非结构化,给组织带来了重大挑战。在这项研究中,我们使用深度学习,特别是长短期记忆(LSTM)循环网络来实现检测。我们通过一个非常大的匿名数据集演示了LSTM如何使用数据的序列性质来减少搜索空间,并使安全分析师的工作更有效。
2020-07-20 cs.CR cs.LG
Sensor-Based Continuous Hand Gesture Recognition by Long Short-Term Memory
National Taiwan Normal University(台湾师范大学)
提出了一种基于长短期记忆(LSTM)的基于传感器的连续手势识别算法。算法只需要基本的加速器和/或陀螺仪。给定一个输入传感器数据序列,采用多对多LSTM方案产生一条输出路径,然后基于观察到的路径进行最大后验估计,得到最终的分类结果。基于智能手机的原型系统已经实现的性能评估。实验结果表明,该算法是一种有效的替代鲁棒性和准确的手势识别。
2020-07-22 cs.LG eess.SP
Voice Disorder Detection Using Long Short Term Memory (LSTM) Model
Texas Tech University(德克萨斯理工大学)
语音障碍的自动检测与计算方法是一个最近的研究领域在医疗领域,因为它需要一个严格的内窥镜的准确诊断。需要有效的筛查方法来诊断嗓音障碍,以便以最少的资源提供及时的医疗设施。由于音频数据是连续的,提取相关特征和应用机器学习是困难和不可靠的,因此使用计算方法检测语音障碍是一个具有挑战性的问题。本文提出了一种长短期记忆模型(LSTM)来检测病理性语音障碍,并在实际的400个测试样本中评估了其性能。在应用LSTM模型进行分类之前,使用不同的特征提取方法来提供最佳特征集。本文描述了方法和实验,显示有希望的结果与22%的灵敏度,97%的特异性和56%的未加权平均召回。
2018-12-04 cs.LG cs.SD eess.AS
Short-Term Memory Convolutions
Samsung R&D Institute Poland(三星波兰研发中心)
时间序列信号的实时处理是许多实际应用中的关键问题。实时处理的思想在音频领域中尤其重要,因为人类对声音的感知对感知信号中的任何类型的干扰都很敏感,特别是听觉和视觉模态之间的滞后。深度学习(DL)模型的兴起使信号处理的前景变得复杂。虽然与标准DSP方法相比,它们通常具有更高的质量,但这一优势因更高的延迟而减弱。在这项工作中,我们提出了一种新的方法,最大限度地减少推理时间延迟和内存消耗,称为短期记忆卷积(STMC)和它的转置对应。STMC的主要优势是与长短期记忆(LSTM)网络相比的低延迟。此外,由于该方法仅基于卷积神经网络(CNN),因此基于STMC的模型的训练更快且更稳定。在这项研究中,我们演示了这种解决方案的应用程序的语音分离任务和GhostNet模型的U-Net模型在声学场景分类(ASC)任务。在语音分离的情况下,我们实现了推理时间减少5倍,延迟减少2倍,而不影响输出质量。ASC任务的推理时间快了4倍,同时保持了原始的准确性。
2023-02-08 cs.AI cs.LG cs.SD
How Long short-term memory artificial neural network, synthetic data, and fine-tuning improve the classification of raw EEG data
Laboratory of Data Analysis;Bioinformatics, Center for Artificial Intelligence, Innopolis University Innopolis, Russia;Cognitive Technology Laboratory, Center for Technologies in Robotics;Mechatronics Components, Innopolis University Innopolis, Russia
本文提出结合合成数据生成、LSTM和微调的方法,提升隐含视觉刺激(如不同模糊层次的Necker立方体)下EEG数据分类性能。
2026-04-05 cs.LG
Wind Speed Prediction and Visualization Using Long Short-Term Memory Networks (LSTM)
Univ. of the District of Columbia(哥伦比亚特区大学)
气候变化是本世纪最令人关注的问题之一。发电产生的排放是将关注提升到下一个水平的关键因素。可再生能源在全球范围内广泛分布,但主要挑战之一是以更翔实的方式了解其特征。本文提出了风速预测,简化风电场规划和可行性研究。12种人工智能算法被用于从收集的气象参数进行风速预测。比较了模型的性能,以确定风速预测精度。结果显示,深度学习方法,长短期记忆(LSTM)优于其他模型,最高准确率为97.8%。
2020-05-22 cs.LG
Long Short-Term Memory Based Recurrent Neural Network Architectures for Large Vocabulary Speech Recognition
Google(谷歌)
长短期记忆(LSTM)是一种循环神经网络(RNN)架构,旨在解决传统RNN的消失和爆炸梯度问题。与前馈神经网络不同,RNN具有循环连接,这使得它们在序列建模方面非常强大。它们已成功地用于序列标记和序列预测任务,如手写识别,语言建模,声学帧的语音标记。然而,与深度神经网络相比,RNN在语音识别中的使用仅限于小规模任务中的电话识别。在本文中,我们提出了新的基于LSTM的RNN架构,它可以更有效地利用模型参数来训练用于大词汇量语音识别的声学模型。我们训练和比较LSTM,RNN和DNN模型在不同数量的参数和配置。我们表明,LSTM模型收敛速度很快,并为相对较小的模型提供了最先进的语音识别性能。
2014-02-05 cs.CL cs.LG cs.NE
Short-Term Memory Optimization in Recurrent Neural Networks by Autoencoder-based Initialization
University of Pisa(比萨大学);University of Padova(帕多瓦大学)
由于梯度消失,训练RNN学习长期依赖性是困难的。我们探索了一种基于显式记忆的替代解决方案,使用线性自编码器的序列,它允许最大限度地提高短期记忆,并且可以用封闭形式的解决方案来解决,而无需反向传播。我们引入了一个初始化模式,该模式预训练递归神经网络的权重以近似输入序列的线性自编码器,并展示了这种预训练如何更好地支持解决长序列的硬分类任务。我们测试我们的方法顺序和排列MNIST。我们表明,所提出的方法实现了更低的重建误差长序列和更好的梯度传播在微调阶段。
2020-11-05 cs.LG