Automatic Source Code Summarization with Extended Tree-LSTM
Kyoto University(京都大学);Hitachi, Ltd.(日立有限公司)
神经机器翻译模型用于从给定源代码自动生成文档,因为这可以被视为机器翻译任务。源代码摘要是自动文档生成的一个组成部分,它从给定的源代码中生成自然语言的摘要。这表明神经机器翻译中使用的技术,如长短期记忆(LSTM),可以用于源代码摘要。然而,在源代码和自然语言之间存在相当大的差异:源代码本质上是{ \em结构}的,具有循环和条件分支等。因此,将已知的机器翻译模型应用于源代码存在一些障碍。抽象语法树(AST)捕捉这些结构特性,并在最近的机器学习研究的源代码中发挥了重要作用。Tree-LSTM是LSTM对树结构数据的推广。然而,在将其应用于AST时存在一个关键问题:它不能同时处理包含具有任意数量的子节点及其顺序的节点的树,而AST通常具有这样的节点。为了解决这个问题,我们提出了Tree-LSTM的扩展,我们称之为\emph{Multi-way Tree-LSTM},并将其应用于源代码摘要。作为计算实验的结果,我们的建议取得了更好的结果时,与几个国家的最先进的技术相比。
2019-06-20 cs.LG cs.SE stat.ML
DALC: Distributed Automatic LSTM Customization for Fine-Grained Traffic Speed Prediction
Norwegian University of Science and Technology(挪威科技大学)
在过去的十年中,已经引入了几种方法用于短期交通预测。然而,为大规模交通网络提供细粒度的交通预测仍然是一个悬而未决的问题,在大规模交通网络中,在地理上部署了许多检测器来收集交通数据。为了解决这个问题,本文将为单个检测器定制LSTM模型的问题公式化为有限马尔可夫决策过程,然后引入自动LSTM定制(ALC)算法来自动定制单个检测器的LSTM模型,以便相应的预测精度尽可能令人满意,并且时间消耗尽可能低。基于ALC算法,我们引入了一种称为分布式自动LSTM定制(DALC)的分布式方法,为大规模交通网络中的每个检测器定制LSTM模型。我们的实验表明,DALC提供了更高的预测精度比Apache Spark MLlib提供的几种方法。
2020-02-04 cs.LG eess.SP stat.ML
Automatic Business Process Structure Discovery using Ordered Neurons LSTM: A Preliminary Study
IBM Research China(IBM中国研究院);IBM Research India(IBM印度研究院)
从文本流程文档中自动发现流程对于减少组织中业务流程管理(BPM)实施的时间和成本是非常必要的。然而,现有的自动过程发现方法主要集中在识别活动的文档。推导活动之间的结构关系,这在整个过程发现范围内是重要的,仍然是一个挑战。事实上,业务流程具有潜在的语义层次结构,它定义了不同层次的细节以反映复杂的业务逻辑。神经机器学习领域的最新研究成果表明,通过语言建模和结构学习相结合的方法,可以得到有意义的语言结构。受这些发现的启发,我们建议通过构建一个神经网络来检索文本业务流程文档中存在的潜在层次结构,该网络利用一种新的递归架构,有序神经元LSTM(ON-LSTM),具有流程级语言模型目标。我们测试了我们的实际机器人过程自动化(RPA)项目的过程描述文档(PDD)的数据集所提出的方法。初步实验显示了有希望的结果。
2020-01-05 cs.CL cs.LG
Distributed Fine-Grained Traffic Speed Prediction for Large-Scale Transportation Networks based on Automatic LSTM Customization and Sharing
Norwegian University of Science and Technology(挪威科技大学);Simula Research Laboratory(西穆拉研究院)
短时交通速度预测是近十年来的一个重要研究课题,目前已提出了许多方法。然而,提供细粒度,准确,高效的交通速度预测的大规模交通网络中部署了大量的交通检测器还没有得到很好的研究。在本文中,我们提出了DistPre,这是一个分布式的细粒度交通速度预测方案的大规模交通网络。为了实现细粒度和准确的交通速度预测,DistPre为检测器定制了一个具有适当超参数配置的长短期记忆(LSTM)模型。为了使这种定制过程高效并适用于大规模交通网络,DistPre在计算节点集群上进行LSTM定制,并允许任何经过训练的LSTM模型在不同的检测器之间共享。如果一个检测器观察到与另一个检测器相似的流量模式,DistPre直接在两个检测器之间共享现有的LSTM模型,而不是为每个检测器定制LSTM模型。基于加利福尼亚州I5-N高速公路的交通数据进行了实验,以评估DistPre的性能。结果表明,DistPre为大规模交通网络提供了高效的LSTM定制和精确的细粒度交通速度预测。
2020-06-03 cs.LG stat.ML
Automatic Seizure Prediction using CNN and LSTM
Bharati Vidyapeeth’s College of Engineering(巴拉蒂维迪亚佩特工程学院)
脑电图(EEG)是了解我们大脑内部活动和进一步了解我们身体活动的最宝贵的技术之一。使用EEG信号自动预测即将发生的癫痫发作有助于医生和临床专家,并减少他们的工作量。本文提出了一种端到端的深度学习算法,可以完全自动化癫痫发作预测的繁重任务,而无需对EEG数据或特征工程进行任何繁重的预处理。所提出的深度学习网络是信号处理和深度学习管道的混合,其使用EEG信号自动化癫痫发作预测框架。该模型在开放的EEG数据集CHB-MIT上进行了评估。该网络的平均灵敏度为97.746 \text{\%},假阳性率(FPR)为0.2373/小时。
2022-10-28 cs.LG eess.SP
Automatic Remaining Useful Life Estimation Framework with Embedded Convolutional LSTM as the Backbone
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
预测性维修的一个重要任务是通过对多变量时间序列的分析来预测剩余使用寿命。使用滑动窗口方法,卷积神经网络(CNN)和传统的递归神经网络(RNN)方法已经在这个问题上产生了令人印象深刻的结果,因为它们能够学习优化的特征。然而,序列信息仅部分地由CNN方法建模。由于传统RNN中的扁平化机制,如长短期记忆(LSTM),窗口内的时间信息没有完全保留。为了利用多层次的时间信息,提出了许多结合CNN和RNN模型的方法。在这项工作中,我们提出了一种新的LSTM变体,称为嵌入式卷积LSTM(ECLSTM)。在ECLSTM中,一组不同的1D卷积被嵌入到LSTM结构中。通过这样,时间信息在窗口之间和窗口内被保留。由于模型的超参数需要仔细调整,我们还提出了一个自动预测框架的基础上贝叶斯优化与hyperband优化器,这使得网络架构的有效优化。最后,我们展示了我们提出的ECLSTM方法在几个广泛使用的基准数据集上的优越性。
2020-08-10 cs.LG stat.ML
Multi model LSTM architecture for Track Association based on Automatic Identification System Data
West Virginia University(西弗吉尼亚大学)
针对海洋监视中的航迹关联难题,提出基于LSTM的多模型框架,利用历史观测预测船舶位置并结合测地距离相似性度量进行航迹关联,通过精确率、召回率和F1分数验证了方法的有效性。
2023-04-04 cs.LG
Automatic driving lane change safety prediction model based on LSTM
Trine University(特莱恩大学);Yantai University(烟台大学);University of Electronic Science and Technology of China(电子科技大学);Northern Arizona University(北亚利桑那大学);University of Aberdeen(阿伯丁大学)
针对自动驾驶换道的轨迹预测与安全需求,提出基于LSTM的安全敏感型深度学习模型,结合交互信息意图识别与单元状态仿真,在长时域轨迹预测精度、换道安全性与效率上优于传统模型方法。
2024-02-28 cs.AI cs.LG cs.RO
End-to-end LSTM based estimation of volcano event epicenter localization
University of Chile(智利大学);Universidad de La Frontera(拉弗龙特拉大学)
本文提出了一种基于端到端的LSTM方案,以解决火山事件定位问题,而无需任何将相位拾取与定位估计相关联的先验模型。值得强调的是,火山信号的自动相位拾取非常不准确,因为事件震中和地震仪站之间的距离很短。选择LSTM是因为它能够捕获时变信号的动态特性,并在存储单元状态中删除或添加信息,并对长期依赖性进行建模。这里还讨论了对LSTM的简要见解。本文给出的结果表明,基于LSTM的架构提供了成功率,即,误差小于1.0Km,等于48.5%,这反过来又显著优于由自动相位拾取提供的误差。此外,提出的基于端到端LSTM的方法的成功率比CNN高18%。
2021-10-27 cs.LG eess.SP physics.geo-ph
CNN-LSTM Hybrid Architecture for Over-the-Air Automatic Modulation Classification Using SDR
Department of Electronics and Computer Engineering, Thapathali Campus, Institute of Engineering, Tribhuvan University(电子与计算机工程系,塔帕塔利校区,工程学院,塔布胡万大学)
本文提出基于SDR的CNN-LSTM混合架构,用于空中自动调制分类,实现了高精度的调制识别与噪声鲁棒性。
2025-11-27 cs.CV cs.LG
An Attention Long Short-Term Memory based system for automatic classification of speech intelligibility
Universidad Carlos III de Madrid(卡洛斯三世大学)
本研究提出一种基于注意力LSTM和非侵入式方法的语音可懂度自动分类系统,利用对数梅尔频谱图特征,在UA-Speech数据库上优于SVM和均值池化LSTM基线。
2024-02-05 cs.LG cs.SD eess.AS
Automatic Diagnosis of Schizophrenia in EEG Signals Using CNN-LSTM Models
K. N. Toosi University of Technology(K. N. 图西理工大学);Islamic Azad University(伊斯兰阿扎德大学);University of La Rioja(拉里奥哈大学);Deakin University(迪肯大学);Macquarie University(麦考瑞大学);Harvard University(哈佛大学);University of Leicester(莱斯特大学);Universidad de Granada(格拉纳达大学);University of Cambridge(剑桥大学)
精神分裂症(SZ)是一种精神障碍,由于大脑中特定化学物质的分泌,某些大脑区域的功能失衡,导致思想,行动和情绪之间缺乏协调。这项研究提供了各种基于智能深度学习(DL)的方法,用于通过脑电图(EEG)信号进行自动SZ诊断。所得结果与传统的智能方法进行了比较。为了实现所提出的方法,在波兰华沙的精神病学和神经病学研究所的数据集,已被使用。首先,将EEG信号划分为25 s的时间帧,然后通过z分数或范数L2进行归一化。在分类步骤中,考虑了两种不同的方法用于通过EEG信号进行SZ诊断。在该步骤中,首先通过传统的机器学习方法进行EEG信号的分类,例如,支持向量机,k-最近邻,决策树,朴素贝叶斯,随机森林,极端随机树和装袋。在下文中使用了各种提出的DL模型,即长短期记忆(LSTM)、一维卷积网络(1D-CNN)和1D-CNN-LSTM。在这一步中,实现了DL模型,并与不同的激活函数进行了比较。在提出的DL模型中,CNN-LSTM架构具有最佳性能。在此架构中,使用了具有z分数和L2组合归一化的ReLU激活函数。提出的CNN-LSTM模型的准确率达到了99.25%,优于该领域以往大多数研究的结果。值得一提的是,为了执行所有模拟,使用了k = 5的k折交叉验证方法。
2021-12-01 cs.LG eess.SP
Automatic Field-of-View Adjustment for a View-Expansive Microscope via LSTM-Based Gaze and Pipette Motion Interpretation
Nagoya University(名古屋大学);Gifu University(岐阜大学)
本研究针对ICSI操作中FOV调整耗时问题,提出基于LSTM的自动FOV调整系统,可缩短新手ICSI操作时间至与专家相当水平。
2026-08-12 cs.HC cs.LG cs.RO
Automatic Pass Annotation from Soccer VideoStreams Based on Object Detection and LSTM
University of Pisa(比萨大学);ISTI-CNR(意大利国家研究委员会信息科学与技术研究所)
足球分析正在吸引学术界和工业界越来越多的兴趣,这要归功于描述每场比赛中发生的所有时空事件的数据的可用性。这些事件(例如,传球、射门、犯规)由操作人员手动收集,这对数据提供商来说在时间和经济资源方面构成了相当大的成本。在本文中,我们描述了PassNet,一种识别足球中最常见事件的方法,即,通过视频流。我们的模型结合了一组人工神经网络,从视频流中进行特征提取,目标检测,以确定球和球员的位置,并通过或不通过帧序列的分类。我们在不同的场景中测试PassNet,具体取决于条件与用于训练的匹配的相似性。我们的研究结果显示了良好的分类结果和显着提高通过检测的准确性相对于基线分类器,即使匹配的测试和训练集的视频条件是相当不同的。PassNet是迈向自动化事件注释系统的第一步,该系统可能会打破事件注释的时间和成本,使小型和非专业部门,青年联赛以及一般比赛的数据汇集成为可能,这些比赛目前没有被数据提供商注释。
2020-07-13 cs.CV cs.LG
DDKtor: Automatic Diadochokinetic Speech Analysis
Technion--Israel Institute of Technology(以色列理工学院);PSL University(巴黎文理研究大学);ENS(巴黎高等师范学院);EHESS(法国高等社会科学研究院);CNRS(法国国家科学研究中心);Northwestern University(西北大学);New York University(纽约大学);University of Western Ontario(西安大略大学)
Diadochokinetic言语任务(DDK),其中参与者重复产生音节,通常用作言语运动障碍评估的一部分。这些研究依赖于人工分析,这些分析是时间密集型的,主观的,并且只提供了一个粗粒度的语音图片。本文提出了两种深度神经网络模型,可以从未注释、未转录的语音中自动分割辅音和元音。两种模型都处理原始波形,并使用卷积层进行特征提取。第一个模型基于LSTM分类器,然后是全连接层,而第二个模型添加了更多的卷积层,然后是全连接层。这些模型预测的分割用于获得语音速率和声音持续时间的测量。对年轻健康个体数据集的结果表明,我们的LSTM模型优于当前最先进的系统,并对经过训练的人类注释者进行了测试。此外,LSTM模型在对患有帕金森病数据集的未见过的老年人进行评估时,也呈现出与经过训练的人类注释者相当的结果。
2022-06-29 cs.LG cs.SD eess.AS