Towards Better Meta-Initialization with Task Augmentation for Kindergarten-aged Speech Recognition
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
儿童的自动语音识别(ASR)一直是困难的,部分原因是数据稀缺的问题,特别是对于10岁的孩子。当数据稀缺时,模型可能会过拟合训练数据,因此良好的训练起点至关重要。最近,元学习被提出来学习不同语言的ASR任务的模型初始化(MI)。当模型适应于看不见的语言时,这种方法会带来良好的性能。然而,MI容易受到训练任务的过度拟合(学习者过度拟合)。也不知道MI是否推广到其他低资源任务。在本文中,我们验证了MI在儿童ASR中的有效性,并试图缓解学习者过度拟合的问题。为了实现模型不可知的元学习(MAML),我们把每个年龄段的儿童的语音作为一个不同的任务。在学习者过拟合方面,我们提出了一种任务级增强方法,通过使用频率弯曲技术模拟新的年龄。详细的实验表明,任务增强对每个年龄段的10岁以上的言语的影响。其结果是,我们的方法实现了相对字错误率(WER)的51%的改善基线系统没有增强或初始化。
2022-02-24 cs.CL cs.LG cs.SD
Towards Robust and Interpretable EMG-based Hand Gesture Recognition using Deep Metric Meta Learning
针对EMG手势识别在无约束环境中泛化差的问题,提出基于深度度量元学习的Siamese深度卷积网络与对比三元组损失,学习可解释特征嵌入并采用最近质心推理与置信度估计,显著提升了模型在域内外的决策精度与泛化能力。
2024-04-17 cs.AI cs.HC cs.LG
Meta-forests: Domain generalization on random forests with meta-learning
King’s College London(伦敦国王学院)
本文提出名为meta-forests的领域泛化算法,结合元学习与最大均值差异优化随机森林,降低树间相关性并增强强度,在物体识别与葡萄糖监测数据集上泛化性能优于现有方法。
2024-01-09 cs.CV cs.LG
Learning-to-Learn Personalised Human Activity Recognition Models
Robert Gordon University(罗伯特·戈登大学)
人类活动识别(HAR)是对人类运动的分类,使用一个或多个传感器捕获,这些传感器可以作为可穿戴设备或嵌入环境中(例如深度相机,压力垫)。最先进的HAR方法依赖于访问大量的标记数据,以使用许多可训练参数训练深度架构。当任务是创建对人体运动中的个人细微差别敏感的模型时,这变得令人望而却步,在执行练习时明确存在。此外,不可能收集涵盖目标人群中所有可能受试者的训练数据。因此,用很少的数据学习个性化模型仍然是HAR研究的一个有趣的挑战。我们提出了一种元学习方法,用于学习HAR的个性化HAR模型;期望最终用户只需要提供一些标记数据,但可以从通用元模型的快速适应中受益。我们介绍两种算法,个性化MAML和个性化关系网络的灵感来自现有的Meta-学习算法,但优化学习HAR模型,可适应任何人的健康和福祉的应用。一项比较研究显示,在多个HAR领域中,与最先进的深度学习算法和Few-Shot Meta-学习算法相比,性能有了显着提高。
2020-06-12 cs.CV cs.LG
Spatio-Temporal Fuzzy-oriented Multi-Modal Meta-Learning for Fine-grained Emotion Recognition
University of Chinese Academy of Sciences(中国科学院大学);National Key Laboratory of Space Integrated Information System(空间信息集成系统国家重点实验室);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所);Department of Computer Science and Technology(计算机科学与技术系)
本文提出时空模糊导向多模态元学习框架ST-F2M,通过多视图任务构建、时空卷积编码、模糊语义增强和元循环神经网络学习通用元知识,解决细粒度情感识别中数据标注成本高、时空异质性及情感模糊性等挑战,并在准确性和效率上超越现有方法。
2025-06-03 cs.CV cs.LG cs.NE
Transfer Learning for Video Recognition with Scarce Training Data for Deep Convolutional Neural Network
无约束视频识别和深度卷积网络(Deep Convolution Network,DCN)是计算机视觉中的两个热点问题。在这项工作中,我们将DCN作为基于帧的识别器用于视频识别。然而,我们的初步研究表明,具有完整基础事实的视频语料库通常不够大,也不够多样,无法学习一个强大的模型。直接在视频数据集上训练的网络遭受显著的过拟合,并且在测试集上具有较差的识别率。同样缺乏训练样本的问题限制了深度模型在难以获得训练数据的各种计算机视觉问题上的使用。为了克服这个问题,我们执行从图像到视频的迁移学习,以利用弱标记图像语料库中的知识进行视频识别。图像语料库有助于学习自然图像的重要视觉模式,而这些模式被仅在视频语料库上训练的模型忽略。因此,所得到的网络具有更好的泛化能力和更好的识别率。我们表明,通过从图像到视频的迁移学习,我们可以学习一个基于帧的识别器,只有4k的视频。由于图像语料库是弱标记的,整个学习过程只需要4k个带注释的实例,这远远低于以前的作品所需要的百万级图像数据集。相同的方法可以应用于只有稀缺的训练数据可用的其他视觉识别任务,并且它提高了DCN在各种计算机视觉问题中的适用性。我们的实验还揭示了元参数与DCN性能之间的相关性,给出了目标问题和数据的属性。这些结果为今后的研究提供了一种启发式的元参数选择方法,它不依赖于耗时的元参数搜索。
2015-06-15 cs.CV cs.LG
Quaternion Convolutional Neural Networks for End-to-End Automatic Speech Recognition
Université d'Avignon(阿维尼翁大学);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学);Orkis(奥基斯公司);Element AI(Element AI公司)
最近,与递归(RNN)或卷积神经网络(CNN)耦合的连接主义时间分类(CTC)模型使得以端到端的方式训练语音识别系统变得更容易。然而,在实值模型中,时间帧分量,如梅尔滤波器组能量和从它们获得的倒谱系数,以及它们的一阶和二阶导数,被处理为单独的元素,而一个自然的替代方案是处理这些组成实体的组件。我们建议将这些元素以四元数的形式分组,并使用已建立的四元数代数来处理这些四元数。四元数和四元数神经网络已经证明了它们在处理作为实体的多维输入、编码内部依赖性以及用比实值模型更少的学习参数解决许多任务方面的效率。本文提出在四元数卷积神经网络(QCNN)中集成多个特征视图,用于CTC模型的序列到序列映射。使用简单的QCNN在TIMIT语料库的音素识别实验中报告了有希望的结果。更确切地说,QCNN比基于实值CNN的竞争模型用更少的学习参数获得更低的音素出错率(PER)。
2018-06-20 cs.LG cs.SD eess.AS
Dualformer: Efficient Feature Extractor for Complex-valued Blind Communication Signal Analysis
College of Electronic Science and Technology, National University of Defense Technology(国防科技大学电子科学学院);Department of Electrical and Computer Engineering, The University of Hong Kong(香港大学电气与电子工程系)
提出双通道神经网络DualNN,通过IQ通道参数共享高效处理复值信号,并基于Transformer实现Dualformer,在自动调制识别等任务上性能优于现有方法。
2026-07-01 cs.LG eess.SP
Unsupervised Few-Shot Action Recognition via Action-Appearance Aligned Meta-Adaptation
Microsoft(微软);Oregon State University(俄勒冈州立大学)
我们提出MetaUVFS作为第一个无监督Meta学习算法的视频Few-Shot动作识别。MetaUVFS利用超过55万个未标记的视频,通过对比学习来训练双流2D和3D CNN架构,以分别捕获特定于外观的空间和特定于动作的时空视频特征。MetaUVFS包括一个新的视频-外观对齐元自适应(A3 M)模块,该模块通过在无监督的硬挖掘剧集上的显式Few-Shot情节元学习来学习关注与外观特征相关的面向动作的视频特征。我们的动作外观对齐和显式的Few-Shot学习器使无监督训练能够模仿下游的Few-Shot任务,使MetaUVFS在Few-Shot基准测试中显著优于所有无监督方法。此外,与以前的有监督的Few-Shot动作识别方法不同,MetaUVFS既不需要基类标签,也不需要有监督的预训练骨干。因此,我们只需要训练MetaUVFS一次,就可以在流行的HMDB 51、UCF 101和Kinetics 100 Few-Shot数据集上与最先进的监督方法竞争,有时甚至优于它们。
2021-10-11 cs.AI cs.CV cs.LG
Learning Speech Emotion Representations in the Quaternion Domain
City, University of London(伦敦城市大学);Sapienza University of Rome(罗马第一大学)
语音信号中人类情感表达的建模是一项重要而又具有挑战性的任务。语音情感识别模型的高资源需求,加上情感标记数据的普遍稀缺,是该领域有效解决方案的开发和应用的障碍。在本文中,我们提出了一种方法来共同规避这些困难。我们的方法,名为RH-emo,是一种新的半监督架构,旨在从实值单声道频谱图中提取四元数嵌入,使四元数值网络用于语音情感识别任务。RH-emo是一个混合实/四元数自动编码器网络,由一个实值编码器、一个实值情感分类器和一个四元数解码器组成。一方面,分类器允许优化嵌入的每个潜在轴,用于特定情感相关特征的分类:效价、唤醒、支配和整体情感。另一方面,四元数重构使得潜在维度能够发展通道内相关性,这是作为四元数实体的有效表示所需的。我们使用四个流行的数据集测试我们的语音情感识别任务的方法:Iemocap,Ravdess,ESDb和Tess,比较三个成熟的实值CNN架构(AlexNet,ResNet-50,VGG)及其四元数值等效物的性能与RH-emo创建的嵌入。我们在所有数据集的测试精度上都得到了一致的提高,同时大大降低了模型的资源需求。此外,我们进行了额外的实验和消融研究,证实了我们的方法的有效性。RH-emo存储库可以在https://github.com/ispamm/rhemo上找到。
2023-03-03 cs.LG cs.SD eess.AS
Comparison of meta-learners for estimating multi-valued treatment heterogeneous effects
Ecole polytechnique, Institut Polytechnique de Paris(巴黎理工学院巴黎综合理工学院);TotalEnergies One Tech(道达尔能源第一技术公司)
本文比较多值处理异质性效应估计中的多种元学习器,理论分析误差上界随处理水平数的变化,并通过合成与半合成数据验证其优劣。
2023-06-03 cs.LG stat.AP stat.ML
Meta-CPR: Generalize to Unseen Large Number of Agents with Communication Pattern Recognition Module
National Tsing Hua University(台湾清华大学);Google AI Research(谷歌人工智能研究院);Appier Inc.(沛星互动科技股份有限公司)
在强化学习中,设计一种有效的智能体间通信机制一直是一项具有挑战性的任务,特别是对于现实世界的应用。代理的数量可能会增长,或者环境有时需要与真实场景中不断变化的代理数量进行交互。为此,多代理框架需要处理代理的各种场景,在规模和动态方面,对于现实世界的应用是实用的。我们制定了多代理环境与不同数量的代理作为一个多任务的问题,并提出了一个Meta强化学习(元RL)框架来解决这个问题。所提出的框架采用了元学习通信模式识别(CPR)模块,以识别通信行为和提取信息,促进培训过程。实验结果表明,所提出的框架(a)推广到一个看不见的大量的代理商和(b)允许代理商的数量在情节之间变化。消融研究也提供了理由提出的心肺复苏术的设计,并表明这种设计是有效的。
2022-01-31 cs.AI cs.LG cs.MA
Complex-Valued Time-Frequency Self-Attention for Speech Dereverberation
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
当深度复杂神经网络(DCNN)与自注意(SA)网络相结合时,几个语音处理系统已经表现出相当大的性能改进。然而,大多数基于DCNN的语音去混响研究采用自我注意力,并没有明确考虑到计算注意力时真实和想象特征之间的相互依赖性。在这项研究中,我们提出了一个复值T-F注意(TFA)模块,通过计算跨时间和频率维度的二维注意图来建模频谱和时间依赖性。我们使用REVERB挑战语料库验证了我们提出的复值TFA模块与深度复卷积递归网络(DCCRN)的有效性。实验结果表明,将我们的复杂的TFA模块与DCCRN集成,提高了整体语音质量和性能的后端语音应用程序,如自动语音识别,与早期的自我注意的方法相比。
2022-11-22 cs.LG cs.SD eess.AS
Meta-neural-network for Realtime and Passive Deep-learning-based Object Recognition
Nanjing University(南京大学);Huazhong University of Science and Technology(华中科技大学)
深度学习最近在各个学科都取得了巨大的成功,但传统上需要耗时的计算机处理或大尺寸的衍射元件。在这里,我们从理论上提出并实验证明了一个纯被动的“元神经网络”的紧凑性和高分辨率的实时识别复杂的对象,通过分析声散射。我们证明了我们的元神经网络模仿标准的神经网络,尽管其占地面积小,由于其超材料单位细胞的独特能力,被称为“元神经元”,产生深亚波长分布的离散相移作为可学习的参数在训练过程中。由此产生的设备表现出“智能”来执行所需的任务,有可能解决当前在减小设备尺寸、成本和能耗与提高识别速度和准确性之间的权衡,这一点通过手写数字识别的示例来展示。我们的机制开辟了通往新的基于超材料的深度学习范例的道路,并使智能传感器等概念设备能够自动分析信号,对声学,光学和相关领域具有深远的影响。
2019-09-16 cs.LG cs.NE physics.app-ph
Functional Regularized Least Squares Classi cation with Operator-valued Kernels
INRIA Lille - Nord Europe(里尔-北欧法国国家信息与自动化研究所);Université de Bordeaux(波尔多大学);Université de Lille(里尔大学);Ecole Centrale de Lille(里尔中央理工学院);Université de Rouen(鲁昂大学)
虽然算子值核最近在各种机器学习和函数数据分析问题(如多任务学习或函数回归)中受到越来越多的关注,但很少关注对其相关特征空间的理解。在本文中,我们探讨了采用算子值核特征空间的角度分析功能性数据的潜力。然后,我们扩展了正则化最小二乘分类(RLSC)算法,以涵盖每个观测值有多个函数的情况。对一个声音识别问题的实验表明,该方法的性能优于经典的RLSC算法。
2013-01-12 cs.LG stat.ML
Bayesian Sparsification Methods for Deep Complex-valued Networks
随着不断的小型化,在嵌入式系统中可以发现越来越多的深度学习应用,其中通常会遇到具有自然复域表示的数据。为此,我们扩展稀疏变分辍学复值神经网络和验证所提出的贝叶斯技术进行了大量的数值研究的性能压缩权衡的C值网络上的两个任务:图像识别MNIST类和CIFAR 10数据集和音乐转录MusicNet。我们在MusicNet上复制了Trabelsi等人[2018]的最新结果,其中复值网络被压缩了50- 100倍,性能损失很小。
2020-06-28 cs.LG stat.ML
Quaternion-Valued Convolutional Neural Network Applied for Acute Lymphoblastic Leukemia Diagnosis
Escuela Superior Politécnica del Litoral(滨海理工学院);Universidade Estadual de Campinas(坎皮纳斯州立大学)
近年来,随着深度神经网络和卷积神经网络的发展,神经网络领域已经取得了重大进展。虽然目前的许多工作都是针对实值模型,但最近的研究表明,具有超复值参数的神经网络可以更好地捕获,概括和表示多维数据的复杂性。本文探讨了四元数值卷积神经网络在医学模式识别任务中的应用,即急性淋巴细胞白血病的诊断。准确地说,我们比较了实值和四元数值卷积神经网络的性能,以分类淋巴母细胞从外周血涂片显微图像。四元数值卷积神经网络实现了更好或类似的性能比其相应的实值网络,但仅使用其参数的34%。这一结果证实,四元数代数允许捕获和提取信息的彩色图像与较少的参数。
2021-12-13 cs.CV cs.LG cs.NE
Meta-HAR: Federated Representation Learning for Human Activity Recognition
University of Alberta(阿尔伯塔大学);Tencent(腾讯)
基于移动传感器的人体活动识别在普适计算中发挥着重要作用。然而,数据监管约束的兴起阻止了从个人设备大规模收集私人和标记信号数据。联邦学习已经成为模型训练的一种去中心化的替代解决方案,它迭代地将本地更新的模型聚合到一个共享的全局模型中,因此能够在没有中央收集的情况下利用去中心化的私有数据。然而,HAR的联合学习的有效性受到以下事实的影响:每个用户具有不同的活动类型,甚至对于相同的活动类型具有不同的信号分布。此外,它是不确定的,如果一个单一的全球模型训练可以推广到个人用户或新用户的异构数据。在本文中,我们提出了Meta-HAR,一个联邦表示学习框架,其中信号嵌入网络以联邦的方式进行元学习,而学习的信号表示被进一步馈送到每个用户的个性化分类网络中进行活动预测。为了提高嵌入式网络的表示能力,我们把每个用户的HAR问题作为一个不同的任务,并通过一个模型无关的元学习框架训练共享嵌入式网络,这样嵌入式网络可以推广到任何个人用户。在自适应过程中,在鲁棒学习的表示之上进一步实现个性化。我们进行了广泛的实验的基础上,两个公开的HAR数据集,以及一个新创建的HAR数据集。结果验证了Meta-HAR在为个人用户(包括新用户)保持高测试准确性方面是有效的,并且显著优于几个基线,包括联合平均,爬行动物,甚至在某些情况下集中学习。
2021-05-31 cs.LG eess.SP
Balanced Meta-Softmax for Long-Tailed Visual Recognition
SenseTime Research(商汤科技研究院);Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);The Chinese University of Hong Kong(香港中文大学)
深度分类器在视觉识别中取得了巨大的成功。然而,现实世界的数据本质上是长尾的,导致训练和测试分布之间的不匹配。在本文中,我们证明了Softmax函数虽然用于大多数分类任务,但在长尾设置下给出了有偏梯度估计。本文提出了平衡Softmax,Softmax的一个优雅的无偏扩展,以适应训练和测试之间的标签分布偏移。理论上,我们推导出多类Softmax回归的推广界,并证明我们的损失最小化了界。此外,我们还引入了Balanced Meta-Softmax算法,利用一个互补的Meta Sampler来估计最优的类采样率,进一步改进了长尾学习。在我们的实验中,我们证明了Balanced Meta-Softmax在视觉识别和实例分割任务上都优于最先进的长尾分类解决方案。
2020-11-22 cs.CV cs.LG stat.ML
Spectral Complexity-scaled Generalization Bound of Complex-valued Neural Networks
JD Explore Academy, JD.com Inc.(京东探索研究院);Faculty of Science, University of Hong Kong(香港大学理学院)
复值神经网络在信号处理和图像识别等领域有着广泛的应用。然而,很少有工作集中在CVNN的推广,虽然它是至关重要的,以确保性能的CVNN上看不见的数据。本文首次证明了复值神经网络的一个推广界。该界与谱复杂度成比例,而谱复杂度的主导因素是权矩阵的谱范数积。此外,当训练数据是连续的时,我们的工作提供了CVNN的推广界,这也受到谱复杂度的影响。理论上,这些界限是由Maurey稀疏化引理和Dudley熵积分导出的。从经验上讲,我们通过在不同的数据集上训练复值卷积神经网络来进行实验:MNIST,FashionMNIST,CIFAR-10,CIFAR-100,Tiny ImageNet和IMDB。Spearman的秩序相关系数和相应的p值在这些数据集上给出了强有力的证据,即由权重矩阵谱范数乘积度量的网络的谱复杂性与泛化能力具有统计上显著的相关性。
2021-12-07 cs.AI cs.LG stat.ML
Meta-Prompting for Automating Zero-shot Visual Recognition with LLMs
ICG, TU Graz(格拉茨工业大学ICG研究所);CDL-EML(CDL-EML中心);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);JKU(约翰内斯开普勒大学);IBM Research(IBM研究院);Weizmann Institute of Science(魏茨曼科学研究所);University of Bonn(波恩大学)
本文提出MPVR方法,仅需任务简短描述和类别标签即可自动生成多样化类别特定提示,显著提升零样本图像识别性能。
2024-08-07 cs.AI cs.CV cs.LG
Using Meta-Knowledge Mined from Identifiers to Improve Intent Recognition in Neuro-Symbolic Algorithms
IBM Research - Brazil(IBM巴西研究院)
在本文中,我们将探讨使用嵌入在意图标识符的元知识,以提高会话系统中的意图识别。正如对数千个现实世界聊天机器人的分析以及对专业聊天机器人策展人的采访所证明的那样,开发人员和领域专家倾向于通过使用原型分类来识别聊天机器人意图来组织聊天机器人意图集,即,元知识连接不同意图之间共享的高级符号概念。通过使用神经符号算法,能够将这样的原型分类法,以扩大意图表示,我们表明,这种挖掘的元知识可以提高意图识别的准确性。在一个包含数百个专业聊天机器人的意图和示例话语的数据集中,当我们应用这些算法时,与没有元知识的相同算法的基线相比,我们看到近三分之一的聊天机器人的相等出错率(EER)提高了10%以上。事实证明,元知识在检测范围外的话语时更加相关,在大约一半的聊天机器人中,错误接受率(FAR)降低了20%以上。实验表明,这样的符号元知识结构可以有效地挖掘和使用的神经符号算法,显然是通过纳入学习过程中的更高层次的结构的问题正在解决。基于这些结果,我们还讨论了如何使用挖掘的元知识可以是神经符号算法的知识获取的挑战的答案。
2020-12-16 cs.CL cs.LG
A machine vision meta-algorithm for automated recognition of underwater objects using sidescan sonar imagery
CIDCO - Development Center for Ocean Mapping(CIDCO——海洋测绘开发中心)
本文详细介绍了一种新的方法来识别和检测实时侧扫声纳数据图像流中的水下物体,与水下考古的应用程序的案例研究,和幽灵渔具检索。我们首先从侧扫数据合成图像,应用几何和辐射校正,然后使用2D特征检测算法来识别点云的描述性视觉微观特征,如角和边缘的声纳图像。然后,我们在特征点云上应用聚类算法,将特征集分组为感兴趣的区域,拒绝误报,产生对象的地理参考库存。
2019-09-17 cs.CV cs.LG eess.IV
Surrogate Gradient Spiking Neural Networks as Encoders for Large Vocabulary Continuous Speech Recognition
Idiap Research Institute(伊迪亚普研究所)
与产生密集和实值响应的传统人工神经元相比,生物启发的尖峰神经元传输稀疏和二进制信息,这也可以实现节能。最近的研究表明,脉冲神经网络可以像标准的递归神经网络一样使用代理梯度方法进行训练。它们在语音命令识别任务中显示出了有希望的结果。使用相同的技术,我们表明,他们是可扩展的大词汇量连续语音识别,在那里他们能够取代LSTM的编码器只有轻微的性能损失。这表明它们可能适用于更多涉及的序列到序列任务。此外,与其经常性的非尖峰对应物相比,它们对梯度爆炸问题具有鲁棒性,而无需使用门。
2023-02-16 cs.CL cs.LG cs.NE
Bidirectional Quaternion Long-Short Term Memory Recurrent Neural Networks for Speech Recognition
Université d'Avignon(阿维尼翁大学);McGill University(麦吉尔大学);Orkis(奥基斯)
递归神经网络(RNN)是现代自动语音识别(ASR)系统的核心。特别是,长短期记忆(LSTM)递归神经网络在许多语音识别任务中取得了最先进的结果,这是由于它们在相互依赖的特征序列中有效地表示了长期和短期依赖性。然而,传统的实值表示方法对构成多维特征的元素的内部依赖性考虑得很弱。我们提出了一种新的四元数长短期记忆(QLSTM)递归神经网络,它既考虑了组成序列的特征之间的外部关系,又考虑了这些内部潜在的结构依赖性与四元数代数。QLSTM相比,在内存复制任务和语音识别的华尔街日报(WSJ)数据集的实际应用中的LSTM。在两个实验中,QLSTM达到了更好的性能,其学习参数减少了$2.8$倍,从而使信息的表达更具表现力。
2018-11-06 cs.LG cs.SD eess.AS
Quaternion Neural Networks for Multi-channel Distant Speech Recognition
University of Oxford(牛津大学);Samsung AI(三星人工智能);Avignon University(阿维尼翁大学)
尽管在自动语音识别(ASR)方面取得了重大进展,但由于噪声和混响,远距离ASR仍然具有挑战性。缓解此问题的常见方法包括为记录设备配备多个麦克风,这些麦克风从不同角度捕获声学场景。这些多通道音频记录包含每个信号之间的特定内部关系。在本文中,我们提出捕捉这些内部和内部结构的依赖关系与四元数神经网络,它可以联合处理多个信号作为整个四元数实体。四元数代数将标准的点积替换为Hamilton点积,从而提供了一种简单而优雅的方式来建模元素之间的依赖关系。然后,四元数层与递归神经网络耦合,该网络可以在时域中学习长期依赖关系。我们证明了在级联多通道语音信号上训练的四元数长短期记忆神经网络(QLSTM)在多通道远程语音识别的两个不同任务上优于等效的实值LSTM。
2020-05-19 cs.LG cs.SD eess.AS
Neuronal Synchrony in Complex-Valued Deep Networks
Brown University(布朗大学)
深度学习最近在图像识别等任务中取得了巨大成功(例如Krizhevsky等人,2012年)。然而,深度网络仍然无法与大脑的能力和多功能性相匹配,这可能部分是由于皮层电路可以进行更丰富的神经元计算。挑战在于确定哪些神经元机制是相关的,并找到合适的抽象来建模。在这里,我们展示了如何将长期假设在皮层信息处理中发挥关键作用的尖峰时间方面纳入深度网络,以构建更丰富,多功能的表征。我们引入了一个基于复值神经元单元的神经网络公式,它不仅具有生物学意义,而且适用于各种深度学习框架。在这里,单位归因于放电率和相位,后者指示尖峰定时的属性。我们展示了如何定性地捕捉这个配方被认为是与神经元同步,包括门控信息处理和动态绑定的分布式对象表示的几个方面。专注于后者,我们展示了几个简单的实验中的方法的潜力。因此,神经元同步可能是一种灵活的机制,可以在深度网络中发挥多种功能作用。
2014-03-22 cs.LG cs.NE q-bio.NC