Activity Recognition using Hierarchical Hidden Markov Models on Streaming Sensor Data
Amirkabir University of Technology(阿米尔卡比尔理工大学)
从传感器数据中识别活动涉及各种挑战,例如重叠活动,活动标记和活动检测。虽然识别领域的每个挑战都非常重要,但最重要的挑战是在线活动识别。本研究尝试使用在线层次隐马尔可夫模型来检测传感器数据流上的活动,该模型可以预测具有任何传感器事件的环境中的活动。活动识别样本通过活动持续时间等统计特征进行标记。我们提出的方法在现实世界中的两个不同的灵巧家庭数据集上进行测试的结果表明,一个数据集的结果提高了4%,达到了59%,而另一个数据的结果达到了64.6%,通过使用最好的方法。
2018-10-04 cs.LG stat.ML
Long Short-Term Memory Based Recurrent Neural Network Architectures for Large Vocabulary Speech Recognition
Google(谷歌)
长短期记忆(LSTM)是一种循环神经网络(RNN)架构,旨在解决传统RNN的消失和爆炸梯度问题。与前馈神经网络不同,RNN具有循环连接,这使得它们在序列建模方面非常强大。它们已成功地用于序列标记和序列预测任务,如手写识别,语言建模,声学帧的语音标记。然而,与深度神经网络相比,RNN在语音识别中的使用仅限于小规模任务中的电话识别。在本文中,我们提出了新的基于LSTM的RNN架构,它可以更有效地利用模型参数来训练用于大词汇量语音识别的声学模型。我们训练和比较LSTM,RNN和DNN模型在不同数量的参数和配置。我们表明,LSTM模型收敛速度很快,并为相对较小的模型提供了最先进的语音识别性能。
2014-02-05 cs.CL cs.LG cs.NE
On the Compression of Recurrent Neural Networks with an Application to LVCSR acoustic modeling for Embedded Speech Recognition
Google Inc.(谷歌公司)
我们研究压缩循环神经网络(RNN)的问题。特别是,我们专注于RNN声学模型的压缩,这是出于建立紧凑和准确的语音识别系统,可以有效地运行在移动设备上的目标。在这项工作中,我们提出了一种技术,一般经常性的模型压缩,共同压缩经常性和非经常性层间权重矩阵。我们发现,所提出的技术允许我们将长短期记忆(LSTM)声学模型的大小减少到其原始大小的三分之一,而准确性的损失可以忽略不计。
2016-05-02 cs.CL cs.LG cs.NE
Semi-Supervised Phoneme Recognition with Recurrent Ladder Networks
Universität Hamburg(汉堡大学)
梯形网络是半监督学习领域的一个值得注意的新概念,它在图像识别任务中显示出最先进的结果,同时与许多现有的神经架构兼容。我们提出了经常性的梯形网络,一种新的修改的梯形网络,半监督学习的递归神经网络,我们评估与音素识别任务的TIMIT语料库。我们的研究结果表明,该模型能够始终优于基线,并实现完全监督的基线性能,只有75%的标签,这表明该模型能够使用无监督数据作为有效的正则化器。
2017-09-18 cs.CL cs.LG cs.NE
Recurrent Connections Aid Occluded Object Recognition by Discounting Occluders
Frankfurt Institute for Advanced Studies(法兰克福高等研究院);Goethe-Universität Frankfurt(法兰克福大学)
当部分刺激被遮挡时,视觉皮层中的循环连接被认为有助于物体识别。在这里,我们研究人工神经网络中的循环连接是否以及如何类似地帮助物体识别。我们系统地测试和比较由自下而上(B),横向(L)和自上而下(T)连接组成的架构。性能评估一个新的立体遮挡物体识别数据集。该任务包括识别一个目标数字被多个遮挡数字在伪三维环境中。我们发现,经常性模型的性能显着优于前馈对应,这是匹配的参数复杂性。此外,我们分析了网络的代表性的刺激如何随着时间的推移,由于经常性的连接。我们发现,经常性的连接往往会移动网络的表示一个闭塞的数字向其未闭塞的版本。我们的研究结果表明,大脑和人工神经网络可以利用经常性的连接,以帮助被遮挡的物体识别。
2019-09-11 cs.CV cs.LG eess.IV
End-to-End Radio Traffic Sequence Recognition with Deep Recurrent Neural Networks
Virginia Tech(弗吉尼亚理工大学);Corgan Labs(科尔根实验室)
我们调查序列机器学习技术的原始无线电信号的时间序列数据。通过应用深度循环神经网络,我们学会了在不使用专家解调算法的情况下,在恒定包络调制的基础上区分几种应用层流量类型。我们表明,复杂的协议序列可以学习和使用这种方法的分类和生成任务。
2016-10-03 cs.LG cs.NI
Multi-task Recurrent Model for Speech and Speaker Recognition
Center for Speech and Language Technologies, Research Institute of Information Technology, Tsinghua University(清华大学信息技术研究院语音与语言技术中心);Tsinghua National Laboratory for Information Science and Technology(清华信息科学与技术国家实验室);Chengdu Institute of Computer Applications, Chinese Academy of Sciences(中国科学院成都计算机应用研究所)
虽然语音和说话人识别高度相关,但它们一直被视为两个独立的任务,并由两个社区进行研究。这当然不是人们的行为方式:我们同时解读语音内容和说话者的特征。本文提出了一个统一的模型,同时进行语音和说话人识别。该模型基于一个统一的神经网络,其中一个任务的输出被馈送到另一个任务的输入,从而导致多任务递归网络。实验表明,联合模型在两个任务上都优于特定任务模型。
2016-09-27 cs.CL cs.LG cs.NE
Fast and Accurate Recurrent Neural Network Acoustic Models for Speech Recognition
Google(谷歌)
我们最近已经证明,作为语音识别的声学模型,深度长短期记忆(LSTM)递归神经网络(RNN)的性能优于前馈深度神经网络(DNN)。最近,我们已经证明,使用这种LSTM RNN的序列训练上下文相关(CD)隐马尔可夫模型(HMM)声学模型的性能可以与使用连接主义时间分类(CTC)初始化的序列训练电话模型相等。在本文中,我们提出了进一步提高大词汇量语音识别的LSTM RNN声学模型性能的技术。我们表明,帧堆叠和降低帧速率导致更准确的模型和更快的解码。CD电话模型导致进一步的改进。我们还展示了LSTM RNN模型直接输出单词的初步结果。
2015-07-24 cs.CL cs.LG cs.NE
Recurrent Connectivity Aids Recognition of Partly Occluded Objects
Frankfurt Institute for Advanced Studies(法兰克福高等研究院);Goethe-Universität Frankfurt(法兰克福歌德大学)
前馈卷积神经网络是核目标识别的主流模型。对于具有挑战性的条件,如闭塞,神经科学家认为,视觉皮层中的周期性连接有助于物体识别。在这项工作中,我们研究人工神经网络是否以及如何也可以受益于经常性连接。为此,我们系统地比较了由自下而上(B),横向(L)和自上而下(T)连接组成的架构。为了评估性能,我们引入了两个新的立体遮挡对象数据集,它弥补了从数字分类到识别3D对象的差距。该任务包括识别一个目标物体被多个遮挡物体遮挡。我们发现,经常性模型的性能显着优于前馈对应,这是匹配的参数复杂性。我们表明,对于具有挑战性的刺激,经常性反馈能够正确地修改网络的初始前馈猜测。总的来说,我们的研究结果表明,人工和生物神经网络都可以利用递归来提高物体识别。
2019-09-12 cs.CV cs.LG
Bidirectional Quaternion Long-Short Term Memory Recurrent Neural Networks for Speech Recognition
Université d'Avignon(阿维尼翁大学);McGill University(麦吉尔大学);Orkis(奥基斯)
递归神经网络(RNN)是现代自动语音识别(ASR)系统的核心。特别是,长短期记忆(LSTM)递归神经网络在许多语音识别任务中取得了最先进的结果,这是由于它们在相互依赖的特征序列中有效地表示了长期和短期依赖性。然而,传统的实值表示方法对构成多维特征的元素的内部依赖性考虑得很弱。我们提出了一种新的四元数长短期记忆(QLSTM)递归神经网络,它既考虑了组成序列的特征之间的外部关系,又考虑了这些内部潜在的结构依赖性与四元数代数。QLSTM相比,在内存复制任务和语音识别的华尔街日报(WSJ)数据集的实际应用中的LSTM。在两个实验中,QLSTM达到了更好的性能,其学习参数减少了$2.8$倍,从而使信息的表达更具表现力。
2018-11-06 cs.LG cs.SD eess.AS
Learning recurrent dynamics in spiking networks
Laboratory of Biological Modeling, NIDDK/NIH(美国国立糖尿病、消化系统疾病和肾病研究所(NIDDK)/美国国立卫生研究院(NIH)生物建模实验室)
参与学习和执行任务的神经元的尖峰活动表现出复杂的时空动态。虽然递归网络模型的输出可以学习执行各种任务,但学习后出现的递归动态的可能范围仍然未知。在这里,我们表明,修改经常性的连接与递归最小二乘算法提供了足够的灵活性,突触和尖峰速率动态尖峰网络产生广泛的时空活动。我们应用该训练方法来学习任意的放电模式,稳定平衡网络的不规则尖峰活动,并再现参与运动规划和运动的皮层神经元的异质尖峰速率模式。我们确定了成功学习的充分条件,描述了两种类型的学习错误,并评估了网络容量。我们的研究结果表明,突触耦合的周期性尖峰网络具有巨大的计算能力,可以支持大脑中的各种活动模式。
2018-08-18 cs.AI cs.LG cs.NE
Multi-task Recurrent Model for True Multilingual Speech Recognition
Tsinghua University(清华大学);Chinese Academy of Sciences(中国科学院)
多语种语音识别的研究仍然是一个具有吸引力和挑战性的课题。最近的研究集中在多任务范式下的共享结构,特别是特征共享结构的学习。这种方法被发现有效地提高了每种语言的性能。但是,这种方法仅在部署的系统仅支持一种语言时才有用。在允许多种语言的真正多语言场景中,由于解码空间中语言之间的竞争,性能将显著降低。本文提出了一种多任务递归模型,该模型包括一个多语言语音识别(ASR)组件和一个语言识别(LR)组件,ASR组件通过LR组件获得语言信息,从而实现语言感知的识别。我们测试了一个英汉双语识别任务的方法。实验结果表明,所提出的多任务递归模型可以提高多语种识别系统的性能。
2016-09-27 cs.CL cs.LG cs.NE
Dropout improves Recurrent Neural Networks for Handwriting Recognition
A2iA;SUTD(新加坡科技设计大学);LIMSI CNRS(法国国家科学研究中心机械与工程计算机科学实验室)
具有长短期记忆细胞的循环神经网络(RNN)目前在无约束手写识别中具有最好的结果。我们表明,使用dropout -最近提出的深度架构正则化方法,可以大大提高它们的性能。虽然以前的工作表明,dropout在卷积网络的背景下具有更好的性能,但它从未应用于RNN。在我们的方法中,在网络中仔细使用dropout,以便它不会影响循环连接,因此保留了RNN在建模序列中的能力。在广泛的手写数据库上进行的大量实验证实了dropout在深度架构上的有效性,即使网络主要由循环和共享连接组成。
2014-03-10 cs.CV cs.LG cs.NE
Dynamic Hand Gesture Recognition for Wearable Devices with Low Complexity Recurrent Neural Networks
Seoul National University(首尔大学)
手势识别对于许多可穿戴设备来说是一项非常重要的技术。虽然以前的算法大多是基于统计方法,包括隐马尔可夫模型,我们开发了两个动态手势识别技术,使用低复杂度的递归神经网络(RNN)算法。一种是基于视频信号,采用卷积神经网络(CNN)和RNN的组合结构。另一种使用加速度计数据,只需要RNN。进行将大部分权重量化为两位的定点优化,以优化用于权重存储的存储器大小的量,并降低基于硬件和软件的实现中的功耗。
2016-08-14 cs.CV cs.LG
HetEmotionNet: Two-Stream Heterogeneous Graph Recurrent Neural Network for Multi-modal Emotion Recognition
Beijing Jiaotong University(北京交通大学)
基于生理信号的多媒体刺激下的人类情感研究是一个新兴的领域,基于多模态信号的情感识别已经取得了重要进展。然而,如何充分利用空间-谱-时域特征之间的互补性进行情感识别,以及如何对多模态信号之间的异质性和相关性进行建模,是一个具有挑战性的问题。在本文中,我们提出了一种新的双流异构图循环神经网络,命名为HetchtionNet,融合多模态生理信号的情感识别。具体来说,HetchtionNet由空时流和空谱流组成,它可以在一个统一的框架中融合空-谱-时域特征。每个流由用于对异质性进行建模的图形Transformer网络、用于对相关性进行建模的图卷积网络以及用于捕获时域或谱域依赖性的门控递归单元组成。在两个真实数据集上的大量实验表明,我们提出的模型比最先进的基线具有更好的性能。
2021-08-07 cs.AI cs.HC cs.LG
Human Activity Recognition using Recurrent Neural Networks
AIT Austrian Institute of Technology(奥地利技术研究所(AIT));School of Computer Science and Informatics, De Montfort University(德蒙福特大学计算机科学与信息学院);CentraleSupelec(中央理工高等电力学院(CentraleSupelec));Holzinger Group, HCI-KDD, Institute for Medical Informatics/Statistics, Medical University Graz(格拉茨医科大学医学信息学/统计学研究所(HCI-KDD)Holzinger小组);Medical University Graz(格拉茨医科大学)
使用灵巧家庭传感器的人类活动识别是智能环境中普适计算的基础之一,并且是环境辅助生活领域中正在进行激烈研究的课题。越来越多的数据集需要机器学习方法。在本文中,我们介绍了一个深度学习模型,该模型在不使用任何先验知识的情况下学习对人类活动进行分类。为此,将长短期记忆(LSTM)递归神经网络应用于三个真实世界的灵巧家庭数据集。实验结果表明,该方法在准确性和性能方面优于现有的方法。
2018-04-19 cs.LG cs.NE stat.ML
Improving speech recognition by revising gated recurrent units
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
语音识别在很大程度上利用了深度学习,这表明现代递归神经网络(RNN)可以获得巨大的好处。最受欢迎的RNN是长短期记忆(LSTM),由于它们能够学习长期依赖性和对消失梯度的鲁棒性,它们通常在许多任务中达到最先进的性能。然而,LSTM有一个相当复杂的设计,有三个乘法门,这可能会影响它们的有效实现。简化LSTM的尝试最近导致了门控递归单元(GRU),它只基于两个乘法门。本文建立在这些努力的基础上,进一步修订GRU,并提出一个简化的架构可能更适合语音识别。这项工作的贡献是双重的。首先,我们建议在GRU设计中去除复位门,从而实现更高效的单门架构。其次,我们建议在状态更新方程中用ReLU激活来替换tanh。结果表明,在我们的实现中,与标准GRU相比,修改后的架构将每历元训练时间减少了30%以上,并在不同任务、输入特征和噪声条件下持续提高了识别性能。
2017-09-29 cs.AI cs.CL cs.LG
Prediction-Adaptation-Correction Recurrent Neural Networks for Low-Resource Language Speech Recognition
Microsoft Research(微软研究院)
在本文中,我们研究了使用预测-自适应-校正循环神经网络(PAC-RNN)的低资源语音识别。PAC-RNN由一对神经网络组成,其中{ \it校正}网络使用由{ \it预测}网络给出的辅助信息来帮助估计状态概率。来自校正网络的信息也由预测网络在循环回路中使用。我们的模型在IARPA-Babel任务上优于其他最先进的神经网络(DNN,LSTM)。此外,从与目标语言相似的语言进行迁移学习可以帮助进一步提高成绩。
2015-10-30 cs.CL cs.LG cs.NE
Interpretable Parallel Recurrent Neural Networks with Convolutional Attentions for Multi-Modality Activity Modeling
School of Computer Science and Engineering, UNSW Sydney, Australia(澳大利亚新南威尔士大学计算机科学与工程学院);School of Information Technology, RMIT University, Australia(澳大利亚皇家墨尔本理工大学信息技术学院);School of Computer Science, Northwestern Polytechnical University, China(中国西北工业大学计算机学院);School of Software, Tsinghua University China(中国清华大学软件学院)
多模态特征在基于传感器的可穿戴人体活动识别(HAR)中起着关键作用。自适应地选择最显著的特征是最大化多模态传感器数据的有效性的一种有前途的方法。在这方面,我们提出了一个“收集充分和明智地选择”的原则,以及一个可解释的并行递归模型与卷积注意力,以提高识别性能。我们首先收集模态特征和每对特征之间的关系来生成活动框架,然后引入注意力机制来精确地从活动框架中选择最显著的区域。所选择的帧不仅最大限度地利用有效的功能,但也减少了要有效地计算的功能的数量。我们进一步分析了所提出的模型的准确性和可解释性的基础上广泛的实验。结果表明,我们的模型在两个基准数据集上实现了具有竞争力的性能,并且在现实生活中效果良好。
2018-05-17 cs.AI cs.HC cs.LG
Memory Visualization for Gated Recurrent Neural Networks in Speech Recognition
Tsinghua University(清华大学);Chengdu Institute of Computer Applications, Chinese Academy of Sciences(中国科学院成都计算机应用研究所)
循环神经网络(RNN)在序列建模方面表现出明显的优势,特别是具有门控单元的网络,如长短期记忆(LSTM)和门控循环单元(GRU)。然而,在许多应用中,卓越性能背后的动态特性仍然不清楚,例如,自动语音识别。本文采用可视化技术来研究LSTM和GRU在执行语音识别任务时的行为。我们的实验显示了门控记忆中的一些有趣的模式,其中一些启发了对网络结构的简单而有效的修改。我们报告了其中的两个修改:(1)LSTM中的懒惰单元更新,以及(2)残余学习的快捷连接。这两种修改都会导致更容易理解和更强大的网络。
2017-02-27 cs.CL cs.LG cs.NE
EmbraceNet for Activity: A Deep Multimodal Fusion Architecture for Activity Recognition
Yonsei University(延世大学)
使用多个传感器的人体活动识别是近几十年来一个具有挑战性但有前途的任务。在本文中,我们提出了一个深度多模态融合模型的活动识别的基础上最近提出的特征融合架构命名为EmbraceNet。我们的模型独立处理每个传感器数据,将特征与EmbraceNet架构相结合,并对融合的特征进行后处理以预测活动。此外,我们还提出了额外的流程来提高模型的性能。我们将从我们提出的模型中获得的结果提交给SHL识别挑战,团队名称为“Yonsei-MCML”。"
2020-04-29 cs.LG eess.SP stat.ML
Recurrent Feedback Improves Recognition of Partially Occluded Objects
Frankfurt Institute for Advanced Studies(法兰克福高等研究院);Goethe-Universität Frankfurt(法兰克福大学)
视觉皮层中的递归连接被认为有助于在具有挑战性的条件下(如遮挡)进行物体识别。在这里,我们研究人工神经网络是否以及如何也受益于递归。我们比较架构组成的自下而上,横向和自上而下的连接,并评估其性能使用两种新的立体遮挡对象数据集。我们发现,分类精度是显着更高的经常性模型相比,匹配的参数复杂性的前馈模型。此外,我们表明,具有挑战性的刺激,经常性的反馈是能够正确地修改初始前馈猜测。
2021-04-21 cs.CV cs.LG
Recurrent Attention Models with Object-centric Capsule Representation for Multi-object Recognition
Department of Psychology(心理学系);Department of Computer Science(计算机科学系);Stony Brook University(石溪大学)
视觉系统使用一系列选择性的一瞥来处理场景,每个一瞥都由空间和基于对象的注意力驱动。这些瞥见反映了与正在进行的任务相关的内容,并通过对场景中物体的反复处理和识别来选择。相比之下,大多数模型将注意力选择和识别视为前馈过程中的独立阶段。在这里,我们展示了使用胶囊网络在具有迭代瞥见注意力的编码器-解码器模型中创建以对象为中心的隐藏表示,从而有效地整合了注意力和识别。我们在三个多对象识别任务上评估了我们的模型;高度重叠的数字,分散注意力的混乱和门牌号之间的数字,并表明它学会了有效地移动它的一瞥窗口,识别和重建对象,所有这些都只有分类作为监督。我们的工作采取了一个通用的架构,如何整合经常性的对象为中心的表示到规划的注意一瞥。
2021-10-11 cs.CV cs.LG q-bio.NC
Multi-Task Recurrent Neural Network for Surgical Gesture Recognition and Progress Prediction
Wellcome/EPSRC Centre for Interventional and Surgical Sciences (WEISS)(惠康/工程与物理科学研究委员会介入与外科科学中心(WEISS));University College London(伦敦大学学院)
手术手势识别对于手术数据科学和计算机辅助干预非常重要。即使使用机器人运动学信息,自动分割手术步骤也存在许多挑战,因为手术演示的特征在于动作的风格、持续时间和顺序的高度可变性。为了从运动信号中提取有区别的特征并提高识别精度,我们提出了一种多任务循环神经网络,用于同时识别手术手势和估计手术任务进度的新配方。为了显示所提出的方法的有效性,我们评估其应用程序的JIGSAWS数据集,这是目前唯一公开可用的数据集手术姿态识别机器人运动学数据。我们证明了识别性能在多任务框架中提高了进度估计,而无需任何额外的手动标签和培训。
2020-03-10 cs.CV cs.LG cs.RO
Personalized Activity Recognition with Deep Triplet Embeddings
Sunnybrook Research Institute(桑尼布鲁克研究所);University of Toronto(多伦多大学)
惯性人类活动识别的监督学习方法的一个重大挑战是个体用户之间的数据的异质性,导致一些科目的客观算法的性能非常差。我们提出了一种基于全卷积神经网络的深度嵌入的个性化活动识别方法。我们用分类交叉熵损失和三重损失来训练嵌入,并描述了一种基于主题三重的新的三重损失函数。我们评估这些方法在三个公开的惯性人类活动识别数据集(MHEALTH,WISDM和SPAR)比较分类精度,分布外活动检测和嵌入泛化到新的活动。新的主题三元组损失提供了最佳的整体性能,并且所有个性化的深度嵌入都优于我们的基线个性化工程特征嵌入和非个性化的全卷积神经网络分类器。
2020-01-15 cs.LG stat.ML
Recurrent Neural Networks based Obesity Status Prediction Using Activity Data
Samsung Research America(三星美国研究院);Lehigh University(里海大学)
肥胖是一个严重的全球性公共卫生问题,它增加了许多疾病的风险,包括高血压、中风和2型糖尿病。为了解决这个问题,整个健康生态系统的研究人员正在收集各种类型的数据,包括生物医学,行为和活动,并利用机器学习技术来挖掘隐藏的模式,以预测肥胖状况的改善。虽然现有的机器学习方法,如循环神经网络(RNN)可以提供特殊的结果,它是具有挑战性的发现隐藏模式的顺序数据,由于不规则的观察时间实例。同时,对这些学习模型有效性的理解不足也限制了其体系结构的进一步改进。因此,在这项工作中,我们开发了一种基于RNN的时间感知架构,以解决处理不规则观察时间和从纵向患者记录中提取相关特征提取以预测肥胖状态改善的挑战性问题。为了提高预测性能,我们使用两个数据源训练我们的模型:(i)包含有关实验室测试,诊断和人口统计信息的电子医疗记录;(ii)从流行的可穿戴设备收集的连续活动数据。真实世界数据的评估表明,我们提出的方法可以捕捉用户的时间序列的不规则性的底层结构,并实现了77-86%的准确率预测肥胖状态的改善。
2018-09-20 cs.LG stat.ML
Enriched Deep Recurrent Visual Attention Model for Multiple Object Recognition
Institute for Infocomm Research(资讯通信研究院);Nanyang Technological University(南洋理工大学)
我们设计了一个丰富的深度递归视觉注意力模型(EDRAM)-一种改进的基于注意力的多对象识别架构。该模型是一个完全可微的单元,可以使用随机梯度下降(SGD)进行端到端的优化。空间Transformer(ST)被用作视觉注意力机制,其允许学习图像内的对象的几何变换。结合空间Transformer和强大的递归结构,提出的EDRAM可以同时定位和识别对象。EDRAM已经在两个公开的数据集上进行了评估,包括MNIST Cluttered(具有70 K杂乱数字)和SVHN(具有高达250 K的真实世界房屋号码图像)。实验结果表明,该模型与现有的模型相比具有更好的性能。
2017-06-12 cs.CV cs.LG
Stabilising and accelerating light gated recurrent units for automatic speech recognition
Avignon Université(阿维尼翁大学);University of Cambridge(剑桥大学)
光选通递归单元(Li-GRU)以在自动语音识别(ASR)任务中实现令人印象深刻的结果而闻名,同时比标准选通递归单元(GRU)更轻且训练更快。然而,其在候选递归门上的整流线性单元的无界性质导致了一个重要的梯度爆炸现象,破坏了训练过程,并阻止其应用于著名的数据集。在本文中,我们从理论上和经验上推导出其稳定性的必要条件以及工程机制,以加快其训练时间的五倍,因此引入了一个新版本的这种架构命名为SLi-GRU。然后,我们评估了它在一个玩具任务上的性能,该任务说明了它新获得的能力,以及一组三个不同的ASR数据集,与更复杂的递归神经网络相比,它们的单词错误率更低。
2023-02-16 cs.CL cs.LG cs.SD
Continuous Gesture Recognition from sEMG Sensor Data with Recurrent Neural Networks and Adversarial Domain Adaptation
JetBrains Research(JetBrains研究院);University of York(约克大学);National Research University Higher School of Economics(国家研究型高等经济学院)
近年来,假肢的运动控制取得了很大的进展。新的传感器和控制技术增强了假肢的功能和实用性,使其能够在有限的范围内进行复杂的运动,如抓握。迄今为止,最成功的结果是通过应用循环神经网络(RNN)实现的。然而,在假手领域,迄今为止的实验仅限于非移动手腕,这大大降低了这种假肢的功能。在本文中,第一次,我们提出了移动和非移动手腕的手势识别的实证结果。此外,我们证明了具有简单递归单元(SRU)的循环神经网络在手势识别准确性方面优于常规RNN,这些数据是通过臂带从手臂肌肉(通过表面肌电图或sEMG)感知电磁信号获得的。最后,我们表明,将领域自适应技术添加到RNN的连续手势识别中,可以提高受试者之间的传输能力,其中在一个人的数据上训练的肢体控制器用于另一个人。
2020-12-16 cs.LG eess.SP
A comprehensive study of batch construction strategies for recurrent neural networks in MXNet
AppTek(AppTek 公司)
在这项工作中,我们比较了不同的小批量训练的循环神经网络批量建设方法。虽然像TensorFlow和MXNet这样的流行实现建议采用分桶方法来提高循环训练过程的并行化能力,但我们提出了一种简单的排序策略,以随机交替排序的方式排列训练序列。我们比较我们的方法序列桶以及其他各种批量建设策略的CHiME-4嘈杂的语音识别语料库。实验表明,我们的交替排序方法能够在训练时间和识别性能方面进行竞争,同时在概念上更容易实现。
2017-05-05 cs.LG stat.ML
Deep Recurrent Convolutional Neural Network: Improving Performance For Speech Recognition
China University of Political Science and Law(中国政法大学);Institute of High Performance Computing(高性能计算研究所)
深度学习方法已广泛应用于序列建模问题。在自动语音识别(ASR)方面,通过增加大规模语音语料库和更深层次的神经网络,其性能得到了显著提升。特别是递归神经网络和深度卷积神经网络已经成功地应用于ASR。针对训练速度问题,本文提出了一种新的深度递归卷积网络用于声学建模,并将深度残差学习应用于其中,实验结果表明,与传统的深度递归卷积网络相比,它不仅具有更快的收敛速度,而且具有更高的识别精度。在实验中,我们比较了我们的新型深度递归卷积网络和传统深度卷积递归网络的收敛速度。凭借更快的收敛速度,我们的新型深度递归卷积网络可以达到相当的性能。我们进一步证明,应用深度残差学习可以提高我们新型深度递归卷积网络的收敛速度。最后,我们用我们提出的双向统计n-gram语言模型通过音素出错率(PER)来评估我们所有的实验网络。我们的评估结果表明,我们新提出的应用深度残余学习的深度递归卷积网络在TIMIT数据库上可以达到17.33%的最佳PER,并且收敛速度最快。具有深度残差学习的新型深度递归卷积神经网络的出色性能表明,它可以潜在地应用于其他序列问题。
2016-12-27 cs.CL cs.LG
A recurrent multi-scale approach to RBG-D Object Recognition
Department of Computer, Control, and Management Engineering(计算机、控制与管理工程系);Sapienza University of Rome(罗马第一大学)
技术发展的目标是生产出能够执行复杂任务的效率越来越高的机器人。这需要科学界付出相当大的努力来找到解决计算机视觉问题的新算法,例如对象识别。RGB-D相机的扩散将研究引向能够利用RGB和深度信息的新架构的研究。在本论文中开发的项目涉及到一个新的端到端的架构的RGB-D对象识别RCFusion的实现。我们的方法通过结合互补RGB和代表不同抽象级别的深度信息来生成紧凑且具有高度区分力的多模态特征。我们在标准对象识别数据集、RGB-D对象数据集和JHUIT-50上评估了我们的方法。实验表明,我们的方法优于现有的方法,并建立了新的国家的最先进的结果,这两个数据集。
2018-09-05 cs.CV cs.LG stat.ML
Stacked Convolutional and Recurrent Neural Networks for Music Emotion Recognition
Tampere University of Technology(坦佩雷理工大学);University of Zilina(日利纳大学)
本文研究了二维情绪空间中的情感识别问题。我们提出了一种基于卷积(CNN)和循环神经网络(RNN)的方法,与相同任务的最先进方法相比,具有更少的参数。我们利用一个CNN层,然后是分别针对唤醒和效价训练的RNN的两个分支。使用“MediaEval 2015音乐中的情感”数据集对该方法进行了评估。我们实现了唤醒的RMSE为0.202,效价为0.268,这是该数据集上报告的最佳结果。
2017-06-07 cs.LG cs.SD
A Recurrent Neural Model with Attention for the Recognition of Chinese Implicit Discourse Relations
Turku Centre for Computer Science – TUCS(图尔库计算机科学中心);Åbo Akademi University(奥博学术大学);Goethe University(歌德大学)
我们介绍了一个基于注意力的中文隐式话语关系的Bi-LSTM,并证明了将参数对建模为联合序列可以优于词序不可知的方法。我们的模型得益于部分抽样方案,概念简单,但在中文语篇树库上实现了最先进的性能。我们还可视化了它的注意力活动,以说明模型有选择地关注输入序列的相关部分的能力。
2017-04-26 cs.AI cs.CL cs.LG
Constrained Convolutional-Recurrent Networks to Improve Speech Quality with Low Impact on Recognition Accuracy
Microsoft Research Redmond(微软研究院雷德蒙德分院);Univ. of Texas at Arlington(德克萨斯大学阿灵顿分校)
对于语音增强算法,同时提高感知质量和识别率是非常期望的。由于计算成本和模型复杂性,训练一个同时有效优化两个指标的模型是具有挑战性的。在本文中,我们提出了一种语音增强的方法,结合本地和全球的上下文结构信息,通过卷积递归神经网络,提高感知质量。同时,我们引入了一个新的约束的目标函数使用的语言模型/解码器,限制了识别率的影响。基于真实用户数据进行的实验,我们证明,我们的新的上下文增强的机器学习方法的语音增强提高PESQ和WER分别由额外的24.5%和51.3%,相比,在文献中表现最好的方法。
2018-02-16 cs.LG
On Training Recurrent Networks with Truncated Backpropagation Through Time in Speech Recognition
Massachusetts Institute of Technology(麻省理工学院)
递归神经网络已经成为许多语音和语言处理任务的主要模型。然而,我们对递归网络的行为和递归网络所能实现的函数类知之甚少。此外,在培训期间使用的化学方法使分析复杂化。在本文中,我们研究了递归网络在语音识别中学习长期依赖性的能力。我们考虑两种解码方法,在线和批量解码,并显示类的功能,解码方法对应。然后,我们将批量解码与一种流行的递归网络训练方法(通过时间截断的反向传播)联系起来。改变解码方法限制了递归网络可以用于预测的过去历史的数量,使我们能够分析它们的记忆能力。从经验上讲,我们利用长期依赖的亚语音状态,音素和单词,并显示如何设计决策,如解码方法,前瞻,上下文框架和连续预测,表征行为的经常性网络。最后,我们在马尔可夫过程和消失梯度之间建立了联系。这些结果对研究语音数据的长期依赖性以及循环网络如何学习这些特性具有重要意义。
2018-10-31 cs.CL cs.LG cs.SD
Accelerating recurrent neural network language model based online speech recognition system
DMC R&D Center, Samsung Electronics(三星电子DMC研发中心)
提出了一种基于循环神经网络的在线语音识别语言模型的加速方法。首先,为了减少LM查询的数量,引入了对过去的隐藏层输出(历史向量)进行有损压缩并进行缓存。接下来,RNNLM计算以CPU-GPU混合方式部署,在更有利的平台上计算模型的每一层。CPU和GPU之间的数据交换所增加的开销通过逐帧优化策略来补偿。LibriSpeech测试集上的性能评估表明,历史向量精度的降低提高了平均识别速度的1.23倍,精度下降最小。另一方面,CPU-GPU混合并行化使基于RNNLM的实时识别速度提高了四倍。
2018-01-30 cs.CL cs.LG
First-Pass Large Vocabulary Continuous Speech Recognition using Bi-Directional Recurrent DNNs
Stanford University(斯坦福大学)
提出了一种仅用神经网络和语言模型进行首遍大词汇量连续语音识别的方法。深度神经网络声学模型现在在基于HMM的语音识别系统中很常见,但构建这样的系统是一项复杂的特定于领域的任务。最近的工作证明了通过直接从音频预测转录文本来丢弃HMM序列建模框架的可行性。本文从两个方面扩展了这种方法。首先,我们证明了一个简单的递归神经网络架构可以达到很高的精度。其次,我们提出并评估了一种改进的前缀搜索解码算法。这种解码方法能够利用语言模型进行第一遍语音识别,完全不受基于HMM的系统的繁琐基础设施的帮助。在华尔街日报语料库上的实验证明了相当有竞争力的单词出错率,以及双向网络重现的重要性。
2014-12-08 cs.CL cs.LG cs.NE
CERN: Confidence-Energy Recurrent Network for Group Activity Recognition
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Oregon State University(俄勒冈州立大学)
这项工作是关于识别视频中不同语义级别的人类活动,包括个人动作,交互和群体活动。识别是使用两级层次的长短期记忆(LSTM)网络来实现的,形成了一个前馈深度架构,可以进行端到端的训练。与现有的LSTM架构相比,我们做出了两个关键贡献,将我们的方法命名为信心能量循环网络- CERN。首先,我们指定了一个新的能量层(EL)来估计我们预测的能量,而不是使用常见的softmax层进行预测。第二,而不是找到共同的最小能量类分配,这可能是数值不稳定的不确定性下,我们指定的EL额外计算的p值的解决方案,并以这种方式估计最有信心的能量最小值。对集体活动和排球数据集的评估表明:(i)我们的两个贡献相对于常见的softmax和能量最小化公式的优势,以及(ii)相对于最先进的方法的优越性能。
2017-04-10 cs.CV cs.LG stat.ML
Human Activity Recognition on Time Series Accelerometer Sensor Data using LSTM Recurrent Neural Networks
University of South Carolina(南卡罗来纳大学)
通过智能设备可用的传感器的使用已经渗透到日常生活中的几个应用中,包括人类活动监测、医疗保健和社交网络。在这项研究中,我们专注于使用智能手表加速度传感器来识别进食活动。更具体地说,我们收集了10名参与者在吃披萨时的传感器数据。使用这些信息,以及其他可用于类似事件的可比数据,如吸烟和服药,以及慢跑的不同活动,我们开发了一种LSTM-ANN架构,与吸烟,服药或慢跑活动相比,该架构在识别个体叮咬方面已成功90%。
2022-06-03 cs.HC cs.LG eess.SP
Temporal Feedback Convolutional Recurrent Neural Networks for Speech Command Recognition
Graduate School of Culture Technology, KAIST(韩国科学技术院文化技术研究生院)
使用原始波形作为输入的端到端学习模型在许多音频识别任务中表现出优异的性能。然而,大多数模型架构都是基于卷积神经网络(CNN),主要是为视觉识别任务而开发的。在本文中,我们提出了一个扩展的挤压和激励网络(SENets),增加了时间反馈控制从顶层功能通道的功能激活在较低层使用一个经常性的模块。这类似于人类听觉系统中的外毛细胞的自适应增益控制机制。我们将所提出的模型应用于语音命令识别,并表明它的性能略优于SENets和其他基于CNN的模型。我们还调查了性能改善的细节进行故障分析和可视化的通道的功能缩放引起的时间反馈。
2022-09-18 cs.CL cs.LG cs.SD
Simultaneously forecasting global geomagnetic activity using Recurrent Networks
Georgia Institute of Technology(佐治亚理工学院);Pennsylvania State University(宾夕法尼亚州立大学)
社会使用的许多系统极易受到太阳耀斑和地磁暴等空间气象事件的影响,这些事件有可能造成灾难性损害。近年来,出现了许多作品,通过预测这些事件,通过一些代理,这些系统提供预警,但这些方法主要集中在一个特定的现象。我们提出了一个序列到序列的学习方法来预测全球空间天气条件的问题,在每小时的分辨率。这种方法改进了在这一领域的其他工作,同时预测地磁活动的几个关键代理提前6小时。我们证明了一个改进,目前已知的最好的预测地磁风暴,并改善了持久性基线提前几个小时。
2020-11-20 cs.LG
Sign language recognition from skeletal data using graph and recurrent neural networks
Department of Mathematics, Universidad Autónoma de Ciudad Juárez (UACJ)(数学系,自治城朱埃雷斯大学);Department of Electrical ingeniering, Universidad Autónoma de Ciudad Juárez (UACJ)(电气工程系,自治城朱埃雷斯大学);Instituto Iberoamericano San Patricio(伊比利亚美洲圣帕特里克研究所)
本文提出Graph-GRU时序网络,利用骨骼姿态数据建模空间与时序依赖,在AUTSL数据集上实现高精度孤立手语手势识别,验证了姿态驱动方法的有效性。
2025-11-08 cs.AI cs.CV cs.LG
Energy-Efficient Spiking Recurrent Neural Network for Gesture Recognition on Embedded GPUs
Donders Institute for Brain, Cognition and Behaviour(唐德斯脑、认知与行为研究所);Radboud University(拉德堡德大学)
本文提出在NVIDIA Jetson Nano嵌入式GPU上部署含液体时间常数神经元的SRNN以进行手势识别,实现较传统GPU 14倍的能效提升,并通过批处理在保持高准确率的同时提高帧率。
2024-08-23 cs.LG
Sequential Weakly Labeled Multi-Activity Localization and Recognition on Wearable Sensors using Recurrent Attention Networks
School of Electrical and Automation Engineering, Nanjing Normal University(南京师范大学电气与自动化工程学院);School of Electronic and Information Engineering, Nanjing University of Information Science and Technology(南京信息工程大学电子与信息工程学院)
针对现有注意力模型仅能处理单活动弱标注数据的局限,提出循环注意力网络RAN,可基于粗粒度序列弱标签同时实现多活动类型推断与定位,有效降低人工标注成本,在自建及公开数据集上验证了有效性。
2021-08-03 cs.LG eess.SP stat.ML
Rotation-free Online Handwritten Character Recognition Using Linear Recurrent Units
College of Mathematics and Statistics, Chongqing University, China(数学与统计学院,重庆大学)
本文提出一种无旋转在线手写字符识别方法,结合滑动窗口路径签名与轻量级线性递归单元,实现高准确率的字符识别。
2026-09-09 cs.CV cs.LG
Deep Recurrent Semi-Supervised EEG Representation Learning for Emotion Recognition
Queen’s University(女王大学)
基于EEG的情感识别通常需要足够的标记训练样本来构建有效的计算模型。另一方面,标记EEG数据通常昂贵且耗时。为了解决这个问题,并减少在基于EEG的情感识别的背景下对输出标签的需求,我们提出了一个半监督管道,以联合利用未标记和标记的数据来学习EEG表示。我们的半监督框架由无监督和监督组件组成。无监督部分使用自动编码器最大化原始和重构输入数据之间的一致性,而同时监督部分最小化输入和输出标签之间的交叉熵。我们评估我们的框架使用堆叠的自动编码器和基于注意力的经常性自动编码器。我们在大规模SEED EEG数据集上测试了我们的框架,并将我们的结果与其他几种流行的半监督方法进行了比较。我们的半监督框架具有基于深度注意力的递归自动编码器,即使在训练期间输出标签的小子集(3%,5%和10%)可用时,也始终优于基准方法,从而实现了新的最先进的半监督性能。
2021-07-28 cs.LG eess.SP
Deep Activity Recognition Models with Triaxial Accelerometers
尽管几乎所有的手机和可穿戴设备都广泛安装了加速度计,但由于现有识别方法的识别准确率不高,加上标记的训练数据稀缺,使用加速度计的活动识别仍然不成熟。我们考虑使用三轴加速度计和深度学习范例的人类活动识别问题。这篇论文表明,深度活动识别模型(a)提供了更好的人类活动识别准确性,(b)避免了现有系统中手工特征的昂贵设计,(c)利用大量未标记的加速度样本进行无监督特征提取。此外,提出了一种深度学习和隐马尔可夫模型(DL-HMM)的混合方法用于序列活动识别。这种混合方法将深度活动识别模型的分层表示与隐马尔可夫模型中时间序列的随机建模相结合。我们在现实世界的数据集上显示了使用三轴加速度计进行人类活动识别的最先进方法的实质性识别改进。
2016-10-25 cs.HC cs.LG cs.NE
FPGA-Based Low-Power Speech Recognition with Recurrent Neural Networks
Seoul National University(首尔大学)
在本文中,基于神经网络的实时语音识别(SR)系统的开发使用FPGA的非常低的功耗操作。实现的系统采用两个循环神经网络(RNN),一个是语音到字符的RNN的声学建模(AM),另一个是字符级语言建模(LM)。该系统还采用了一个统计的词级LM,以提高识别精度。AM、字符级LM和单词级LM的结果使用相当简单的N最佳搜索算法而不是基于隐马尔可夫模型(HMM)的网络来组合。RNN使用大规模并行处理元件(PE)来实现,以实现低延迟和高吞吐量。权重被量化为6位,以将它们全部存储在FPGA的片上存储器中。该算法在Xilinx XC7Z045上实现,系统运行速度比实时快得多。
2016-09-30 cs.CL cs.LG cs.SD
Automated Human Activity Recognition by Colliding Bodies Optimization-based Optimal Feature Selection with Recurrent Neural Network
University of Agder(阿格德大学)
在智能医疗保健中,人体活动识别(HAR)被认为是根据传感器读数进行普适计算的有效模型。家庭或社区的环境辅助生活(AAL)帮助人们提供独立的护理和提高生活质量。然而,许多AAL模型受到许多因素的限制,包括计算成本和系统复杂性。此外,HAR概念由于其应用而具有更大的相关性。因此,本文试图使用深度学习来实现HAR系统,这些数据是从UC Irvine机器学习存储库(UCI)中公开提供的智能传感器收集的。该模型包括三个过程:(1)数据汇集,(b)最优特征选择,(c)识别。从基准测试存储库收集的数据最初经过最佳特征选择,这有助于选择最重要的特征。提出的最佳特征选择是基于一种新的元启发式算法称为碰撞体优化(CBO)。由识别精度导出的目标函数用于完成最佳特征选择。在这里,称为循环神经网络(RNN)的深度学习模型用于活动识别。所提出的模型在有关基准数据集上的性能优于现有的学习方法,与传统模型相比,提供了更高的性能。
2021-11-19 cs.LG eess.SP
Audio Visual Speech Recognition using Deep Recurrent Neural Networks
Samsung R&D Institute India(三星研发研究院(印度))
在这项工作中,我们提出了一种使用深度递归神经网络(RNN)的视听自动语音识别(AV-ASR)系统的训练算法。首先,我们训练一个具有连接主义时间分类(CTC)目标函数的深度RNN声学模型。然后,从声学模型获得的帧标签用于使用深瓶颈网络执行视觉特征的非线性降维。音频和视觉特征被融合并用于训练融合RNN。使用视觉模态的瓶颈特征有助于模型在训练过程中正确收敛。我们的系统进行了评估GRID语料库。我们的研究结果表明,视觉模态的存在下,在不同程度的噪声的字符出错率(CER)显着改善,即使在没有噪声数据的模型进行训练。我们还提供了两种融合方法:特征融合和决策融合的比较。
2016-11-09 cs.CL cs.CV cs.LG
An Attention-based Recurrent Convolutional Network for Vehicle Taillight Recognition
Toyota Research Institute(丰田研究院)
汽车尾灯识别是自动驾驶的一个重要应用,特别是对汽车的意图预测和自我车辆的轨迹规划。在这项工作中,我们提出了一个端到端的深度学习框架,以识别尾灯,即后方转向和刹车信号,从图像序列。所提出的方法从卷积神经网络(CNN)开始提取空间特征,然后应用长短期记忆网络(LSTM)来学习时间依赖性。此外,我们在空间和时间域中集成了注意力模型,其中注意力模型学习选择性地关注空间和时间特征。我们的方法在UC Merced车辆后方信号数据集的准确性方面能够超越最先进的技术水平,证明了注意力模型对车辆尾灯识别的有效性。
2019-06-09 cs.CV cs.LG
SAR Target Recognition Using the Multi-aspect-aware Bidirectional LSTM Recurrent Neural Networks
College of Information Science & Technology, Beijing University of Chemical Technology(北京化工大学信息科学与技术学院);National Research Center for High-Performance Computing Engineering Technology, Sugon Information Industry Co., Ltd(曙光信息产业股份有限公司高性能计算工程技术国家研究中心);Sichuan Provincial Key Laboratory of Information Coding and Transmission, Southwest Jiaotong University(西南交通大学信息编码与传输四川省重点实验室);Institute of Electronics, Chinese Academy of Sciences(中国科学院电子学研究所)
深度学习出色的模式识别性能,为合成孔径雷达(SAR)自动目标识别(ATR)带来了新的活力。然而,目前基于深度学习的ATR算法存在一个局限性,即每次学习过程只处理一幅SAR图像,即学习静态散射信息,而忽略了空间变化信息。可见,引入空变散射信息的多方位联合识别,可以提高分类精度和鲁棒性。本文提出了一种新的多方面感知的方法来实现这一想法,通过双向长短期记忆(LSTM)循环神经网络的空间变化的散射信息学习。具体地说,我们首先选择不同的方面的图像生成多方面的空间变化的图像序列。然后,逐步采用Gabor滤波器和三块局部二值模式(TPLBP)提取综合的空间特征,再利用多层感知器(MLP)网络进行降维。最后,我们设计了一个双向LSTM递归神经网络来学习多方面的特征,并进一步集成softmax分类器来实现目标识别。实验结果表明,该方法可以达到99.9%的准确率为10类识别。此外,它的抗噪声和抗混淆性能也优于传统的基于深度学习的方法。
2017-07-25 cs.CV cs.LG
Zero-Shot Activity Recognition with Videos
KU Leuven(鲁汶大学);TU Munich(慕尼黑工业大学)
在本文中,我们研究了使用视频的zero-shot活动识别任务。我们引入了一个自动编码器为基础的模型来构建一个多模态联合嵌入空间之间的视觉和文本流形。在视觉方面,我们使用活动视频和最先进的3D卷积动作识别网络来提取特征。在文本方面,我们使用了GloVe词嵌入。zero-shot识别结果采用top-n精度进行评价。然后,流形学习能力衡量平均最近邻重叠。最后,我们提供了一个广泛的讨论的结果和未来的方向。
2020-01-22 cs.CL cs.CV cs.LG