ITA: Image-Text Alignments for Multi-Modal Named Entity Recognition
Shopee(虾皮);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉成像工程技术研究中心);Microsoft(微软);Alibaba Group(阿里巴巴集团)
近年来,多模态命名实体识别(MNER)引起了人们的广泛关注。大多数工作通过从预训练的对象检测器获得的区域级视觉表示来利用图像信息,并依赖于注意力机制来对图像和文本表示之间的交互进行建模。然而,很难对这种交互进行建模,因为图像和文本表示是在其各自模态的数据上单独训练的,并且不在同一空间中对齐。由于文本表示在MNER中起着最重要的作用,本文提出了{ \bf I}mage-{ \bf t}ext { \bf A}lignments(ITA)来将图像特征对齐到文本空间中,从而可以更好地利用基于transformer的预训练文本嵌入中的注意力机制。ITA首先将图像对齐到区域对象标签、图像级标题和光学字符中作为视觉上下文,将它们与输入文本连接起来作为新的跨模态输入,然后将其馈送到预先训练的文本嵌入模型中。这使得预训练的文本嵌入模型的注意力模块更容易对两种模态之间的交互进行建模,因为它们都在文本空间中表示。ITA进一步调整了从跨模态输入和文本输入视图预测的输出分布,使得MNER模型在处理纯文本输入时更加实用,并且对来自图像的噪声具有鲁棒性。在我们的实验中,我们表明,即使没有图像信息,ITA模型也可以在多模态命名实体识别数据集上实现最先进的准确性。
2022-09-20 cs.CL
History Playground: A Tool for Discovering Temporal Trends in Massive Textual Corpora
University of Bristol(布里斯托大学)
最近的研究表明,通过分析从大量文本语料库中提取的时间序列,可以发现几个世纪以来的宏观连续性和变化模式。类似的数据驱动方法已经彻底改变了自然科学,并被广泛认为对人文科学和社会科学具有类似的潜力,这是由目前正在进行的大规模数字化项目驱动的,再加上越来越多的文件是“天生的数字”。因此,需要新的交互式工具来从这些大量的文本数据中发现和提取宏观模式。在这里,我们提出了历史游乐场,一个互动的基于网络的工具,发现趋势,在大量的文本语料库。该工具利用可扩展的算法,首先从文本语料库中提取趋势,然后将其用于实时搜索和发现,为用户提供一个界面来探索数据。该工具包括标准化、回归、ngrams相对频率变化点检测、多项指数和不同语料库趋势比较等算法。
2018-06-04 cs.CL
Le Processus Powered Dirichlet-Hawkes comme A Priori Flexible pour Clustering Temporel de Textes
Université de Lyon, Lyon 2, ERIC UR 3083(里昂第二大学)
文档的文本内容及其发布日期是相互交织的。例如,根据潜在的时间动态,一篇关于某个主题的新闻文章的发表会受到以前关于类似问题的出版物的影响。然而,它可以是具有挑战性的检索有意义的信息时,文本信息传达很少。此外,文档的文本内容并不总是与其时间动态相关。我们开发了一种方法来创建集群的文本文件,根据他们的内容和出版时间,动力Dirichlet-Hawkes过程(PDHP)。当时间信息或文本内容是弱信息时,PDHP比最先进的模型产生更好的结果。PDHP还证实了文本内容和时间动态完全相关的假设。我们证明,PDHP概括了以前的工作-如DHP和UP。最后,我们使用Reddit的真实数据集来说明一个可能的应用程序。
2022-01-29 cs.CL
LinTO Audio and Textual Datasets to Train and Evaluate Automatic Speech Recognition in Tunisian Arabic Dialect
LINAGORA(LINAGORA公司)
针对突尼斯阿拉伯语方言因语言复杂性和数据稀缺导致ASR系统开发困难的问题,提出了包含多源文本与真实语码转换音频的LinTO数据集,为构建和评估该方言的ASR系统提供了高质量材料。
2025-04-03 cs.CL cs.SD eess.AS
ERNetCL: A novel emotion recognition network in textual conversation based on curriculum learning strategy
Huazhong University of Science and Technology(华中科技大学)
针对对话情感识别中上下文建模不足和结构复杂的问题,本文提出融合 TE、SE 与课程学习损失的 ERNetCL,通过由易到难加权训练,在四个数据集上显著超过基线。
2024-01-25 cs.CL
Targeted Extraction of Temporal Facts from Textual Resources for Improved Temporal Question Answering over Knowledge Bases
Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校);IBM Research AI(IBM人工智能研究院)
知识库问答(KBQA)系统的目标是通过对从知识库(KB)检索的相关事实进行推理来回答复杂的自然语言问题。这些系统所面临的主要挑战之一是,由于不完整的知识库和实体/关系链接错误等因素,它们无法检索所有相关事实。在本文中,我们解决这个特殊的挑战,系统处理一个特定类别的问题,称为时间问题,答案推导涉及推理的事实断言点/时间间隔的各种事件。我们提出了一种新的方法,有针对性的时间事实提取技术是用来协助KBQA时,它无法检索时间事实从KB。我们使用$λ$ -问题的表达式来逻辑地表示得出答案所需的组成事实和推理步骤。这使我们能够发现那些未能从知识库中检索到的事实,并生成文本查询,以便以开放域问答的方式从文本资源中提取它们。我们评估了我们的方法在基准时间问答数据集考虑维基数据和维基百科分别作为知识库和文本资源。实验结果表明,该方法在回答正确率上相对提高了$\sim$ 30%,证明了该方法的有效性.
2022-03-21 cs.AI cs.CL
Retrieval of Temporal Event Sequences from Textual Descriptions
Georgia Institute of Technology(佐治亚理工学院)
本文提出了时间事件序列检索基准TESRBench及新模型TPP-Embedding,通过结合大型语言模型与时间点过程,在共享嵌入空间中统一时间动态与事件语义,显著优于基线模型。
2025-02-03 cs.CL cs.IR
Layout Agnostic Human Activity Recognition in Smart Homes through Textual Descriptions Of Sensor Triggers (TDOST)
School of Interactive Computing, Georgia Institute of Technology(佐治亚理工学院交互计算学院);School of Electrical and Computer Engineering, Georgia Institute of Technology(佐治亚理工学院电气与计算机工程学院)
针对智能家居HAR模型因住宅布局差异泛化性低的问题,提出基于传感器触发文本描述(TDOST)的布局无关方法,利用文本嵌入实现跨住宅活动识别,在CASAS数据集上验证了有效性。
2024-05-20 cs.AI cs.CL cs.HC
MSE-Adapter: A Lightweight Plugin Endowing LLMs with the Capability to Perform Multimodal Sentiment Analysis and Emotion Recognition
South China University of Technology(华南理工大学)
针对多模态情感分析和会话情绪识别训练会损害LLM原有能力且计算成本高的问题,本文提出轻量级MSE-Adapter插件,通过TGM融合非文本与文本特征,在四个中英文数据集上验证有效。
2025-02-18 cs.CL
Video sentence grounding with temporally global textual knowledge
Nanyang Technological University(南洋理工大学);The Hong Kong Polytechnic University(香港理工大学)
针对视频句子定位中模态间的领域差距问题,提出伪查询中介网络(PIN),利用时间全局文本知识的伪查询特征,通过对比学习和可学习提示增强多模态特征对齐,在Charades-STA和ActivityNet-Captions数据集上验证了有效性。
2024-06-01 cs.CL cs.CV
Assessing the Tolerance of Neural Machine Translation Systems Against Speech Recognition Errors
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);Interactions, LLC(Interactions有限责任公司)
机器翻译系统传统上是在不对口语中发生的现象进行建模的文本资源上训练的。虽然在文献中积极研究了神经机器翻译系统对文本输入的评估,但很少发现使用神经模型翻译口语数据的复杂性。我们介绍和激励有趣的问题时,考虑到神经机器翻译(NMT)系统的自动语音识别(ASR)输出的翻译。我们测试了NMT编码器-解码器建模的句子编码方法的鲁棒性,重点是基于单词的字节对编码。我们将最先进的NMT编码器-解码器系统中包含ASR错误的话语的翻译与基于短语的机器翻译基线进行比较,以便更好地理解ASR输出中存在的哪些现象在NMT框架下比将翻译表示为线性模型的方法更好地表示。
2019-04-24 cs.CL
Dimensional emotion recognition using visual and textual cues
Faculty of Engineering of University of Porto (FEUP)(波尔图大学工程学院);INESC TEC(波尔图工程学院科技与高等研究中心);Faculty of Science of University of Porto (FCUP)(波尔图大学理学院);UCP-ESB(葡萄牙天主教大学商业经济学院)
本文讨论了一分钟渐进情绪行为挑战(OMG-情绪挑战)范围内的自动情绪识别问题。该挑战的基本目标是在二维情感表示空间(即,唤醒和效价)。所采用的方法是一个加权集成的几个模型,从视频和文本模式。对于基于视频的识别,两种不同类型的视觉提示(即,面部和面部标志)被认为是馈送多输入深度神经网络。关于文本模态,实现了基于简单循环架构的顺序模型。此外,我们还介绍了一个模型的基础上的高层次的功能,以嵌入领域知识的学习过程。在OMG-Emotion验证集上的实验结果证明了所实现的集成模型的有效性,因为它明显优于当前的基线方法。
2018-05-03 cs.AI cs.CL cs.CV
Textual Entailment Recognition with Semantic Features from Empirical Text Representation
Fraunhofer Institute for Applied Information Technology FIT(弗劳恩霍夫应用信息技术研究所FIT);University of Siegen(锡根大学);Hajee Mohammad Danesh Science and Technology University(哈吉·穆罕默德·达内什科技大学);Bangladesh University of Engineering and Technology(孟加拉工程技术大学);RWTH Aachen University(亚琛工业大学);Bonn-Rhein-Sieg University of Applied Sciences(波恩-莱茵-锡格应用科学大学)
本文提出基于经验阈值的语义文本表示新方法,采用元素级曼哈顿距离向量特征识别文本-假设对的语义蕴含关系,在SICK-RTE数据集上结合机器学习算法分类蕴含、中立或矛盾,显著优于已知方法。
2023-06-19 cs.AI cs.CL
Textual Data Augmentation for Arabic-English Code-Switching Speech Recognition
KANARI AI(卡纳里人工智能公司);Johns Hopkins University(约翰斯·霍普金斯大学);Qatar Computing Research Institute(卡塔尔计算研究所)
话语内语码转换(CS)在口语内容中的普遍性要求语音识别(ASR)系统处理混合语言。设计CS-ASR系统有许多挑战,主要是由于数据稀缺,语法结构复杂性和领域不匹配。最常见的解决CS的方法是训练ASR系统与可用的转录CS语音,以及单语数据。在这项工作中,我们提出了一个零样本学习CS-ASR的方法,通过人工生成CS文本来增强单语数据。我们基于我们的方法随机词汇替换和等价约束(EC),同时利用对齐的翻译对生成随机和语法上有效的CS内容。我们的实证结果表明,65.5%的相对减少语言模型困惑,7.7%的ASR WER在两个生态有效的CS测试集。使用EC对生成的文本进行的人工评估表明,超过80%的文本具有足够的质量。
2023-01-11 cs.CL cs.SD eess.AS
M3ER: Multiplicative Multimodal Emotion Recognition Using Facial, Textual, and Speech Cues
University of Maryland(马里兰大学)
我们提出了M3 ER,一种基于学习的方法,用于从多个输入模态中进行情感识别。我们的方法结合了来自多个共同出现的模态(如面部,文本和语音)的线索,并且比其他方法更鲁棒,可以在任何单个模态中传感器噪声。M3 ER建模了一种新的数据驱动的乘法融合方法来组合模态,该模态学习强调更可靠的线索并在每个样本的基础上抑制其他线索。通过引入一个检查步骤,使用典型相关分析来区分无效和有效的模态,M3 ER是强大的传感器噪声。M3 ER还生成代理功能来代替无效的模态。我们通过在两个基准数据集IEMOCAP和CMU-MOSEI上的实验来证明我们的网络的效率。我们报告了IEMOCAP和CMU-MOSEI的平均准确率分别为82.7%和89.0%,总的来说,比以前的工作提高了约5%。
2019-11-22 cs.CL cs.LG eess.AS
Retrieval-Augmented Speech Recognition Approach for Domain Challenges
National Institute of Information and Communications Technology (NICT)(信息通信研究机构(NICT))
针对语音识别领域不匹配且难获取领域数据的问题,提出基于LLM的检索增强语音识别方法,推理时引入领域文本,在CSJ数据集上取得SOTA结果。
2025-02-21 cs.CL cs.SD eess.AS
Forecasting Clinical Risk from Textual Time Series: Structuring Narratives for Temporal AI in Healthcare
本文提出从文本时间序列预测临床风险的方法,通过构建时间有序的临床数据,提升时序AI在医疗健康领域的应用效果。
2025-12-29 cs.AI cs.CL
Zero-Shot Activity Recognition with Videos
KU Leuven(鲁汶大学);TU Munich(慕尼黑工业大学)
在本文中,我们研究了使用视频的zero-shot活动识别任务。我们引入了一个自动编码器为基础的模型来构建一个多模态联合嵌入空间之间的视觉和文本流形。在视觉方面,我们使用活动视频和最先进的3D卷积动作识别网络来提取特征。在文本方面,我们使用了GloVe词嵌入。zero-shot识别结果采用top-n精度进行评价。然后,流形学习能力衡量平均最近邻重叠。最后,我们提供了一个广泛的讨论的结果和未来的方向。
2020-01-22 cs.CL cs.CV cs.LG
Temporally Phenotyping GLP-1RA Case Reports with Large Language Models: A Textual Time Series Corpus and Risk Modeling
National Library of Medicine(美国国家医学图书馆)
本文利用大语言模型处理GLP-1RA病例报告的时间线,构建了包含136个病例的文本时间序列语料库,并通过时间序列分析评估了模型在提取临床事件及其时间点上的性能,发现GPT5在事件覆盖和时间顺序上表现优异,并展示了糖尿病患者使用GLP-1RA降低呼吸并发症风险的证据。
2026-03-12 cs.AI cs.CL
Conversational Speech Recognition by Learning Audio-textual Cross-modal Contextual Representation
School of Computer Science, Northwestern Polytechnical University(西北工业大学计算机学院);School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Mashang Consumer Finance Co., Ltd.(马上消费金融股份有限公司)
本文提出一种基于跨模态对话表示的对话ASR系统,通过结合预训练语音文本模型与条件潜变量模块提取历史上下文与对话级属性,在HKUST和MagicData-RAMC数据集上相对标准Conformer分别提升8.8%和23%准确率。
2024-04-28 cs.CL cs.SD eess.AS
Does Yoga Make You Happy? Analyzing Twitter User Happiness using Textual and Temporal Information
Purdue University(普渡大学)
尽管瑜伽是一种磨练身心的多成分练习,并被认为可以减少焦虑和抑郁,但在社交媒体上对人们与瑜伽相关的情绪状态的理解仍然存在差距。在这项研究中,我们调查练习瑜伽和快乐之间的因果关系,结合使用者的文本和时间信息,使用格兰杰因果关系。为了从文本中找出因果特征,我们测量了两个变量(i)基于内容分析的瑜伽活动水平和(ii)基于情绪状态的幸福水平。为了理解用户的瑜伽活动,我们提出了一个联合嵌入模型的基础上融合的神经网络与注意力机制,利用用户的社会和文本信息。为了测量瑜伽使用者的情绪状态(目标域),我们提出了一种迁移学习方法,从源域上训练的基于注意力的神经网络模型中转移知识。我们在Twitter数据集上的实验表明,有1447名用户“瑜伽格兰杰带来快乐”。
2020-12-05 cs.AI cs.CL cs.CY
Deep Emotion Recognition in Textual Conversations: A Survey
INESC-ID;Instituto Superior Técnico(高等技术学院);Universidade de Lisboa(里斯本大学);Faculdade de Letras(文学院)
本文综述了对话情感识别(ERC)的挑战、数据集、神经架构及实践方法,指出预训练Transformer、图神经网络和生成式大语言模型是当前主流技术路线。
2024-10-19 cs.AI cs.CL
Speech Recognition Oriented Vowel Classification Using Temporal Radial Basis Functions
University of Science and Technology (USTO)(科技大学(USTO));Faculty of Sciences(理学院)
最近人们对时空神经网络作为语音识别工具的兴趣重新燃起,激发了本研究的动机。本文提出了一种基于时间径向基函数(TRBF)的方法,该方法具有参数少、收敛速度快、时不变等优点。这个应用程序的目的是识别元音取自自然语音样本的Timit语料库的美国语音。我们报告的识别准确率为98.06%的训练和90.13测试的一个子集上的6个元音音素,在未来扩展的元音集的可能性。
2009-12-19 cs.CL cs.MM
SoulMate: Short-text author linking through Multi-aspect temporal-textual embedding
Iran University of Science and Technology(伊朗科技大学);Singapore University of Technology and Design(新加坡科技设计大学);University of Queensland(昆士兰大学)
链接短文本内容的作者在许多应用中具有重要用途,包括命名实体识别(NER)和人类社区发现。然而,前面还有一些挑战。首先,输入的短文本内容是嘈杂的,模糊的,不遵循语法规则。其次,传统的文本挖掘方法不能有效地通过单词和短语提取概念。第三,文本内容具有时间倾斜性,可以通过多个时间层面影响语义理解。最后,使用互补的知识库使结果偏向于外部数据库的内容,偏离了对给定短文本语料库的真实性质的理解和解释。为了克服这些挑战,我们设计了一个基于神经网络的时间-文本框架,从微博短文本内容中生成紧密连接的作者子图。我们的方法,一方面,计算作者之间的相关性得分(边权重),通过考虑一个组合的内容和概念,另一方面,采用了一个堆栈明智的图切割算法来提取相关作者的社区。实验结果表明,与其他以知识为中心的竞争对手相比,我们的多方面向量空间模型可以实现更高的性能连接短文本作者。此外,给定作者链接任务,数据集越全面,提取的概念的重要性就越高。
2019-10-27 cs.CL cs.IR cs.LG
Robust Few-Shot Named Entity Recognition with Boundary Discrimination and Correlation Purification
Beijing Institute of Technology(北京理工大学)
针对现有小样本NER模型易受文本对抗攻击的问题,提出基于边界判别与相关性净化的两阶段鲁棒方法,在构建的对抗数据集上验证了其鲁棒性与优越性。
2023-12-13 cs.AI cs.CL
From Text to Forecasts: Bridging Modality Gap with Temporal Evolution Semantic Space
本文提出TESS方法,通过引入时间演化语义空间弥合文本与预测模型间的模态差距,实验显示在四个真实世界数据集上预测误差降低29%。
2026-03-16 cs.AI cs.CL
From Textual Information Sources to Linked Data in the Agatha Project
Universidade de Évora(埃武拉大学)
文本信息的自动推理是现代自然语言处理(NLP)系统中的一项具有挑战性的任务。在这项工作中,我们描述了我们的建议,通过关联数据,如本体论和同义词表示和推理葡萄牙文文件。我们的方法诉诸于一个专门的管道自然语言处理(部分的语音标签,命名实体识别,语义角色标注)填充本体的刑事调查领域。所提供的架构和本体是语言独立的。虽然一些NLP模块是依赖于语言的,但它们可以使用适当的AI方法来构建。
2019-09-03 cs.AI cs.CL
TL;QR: Querying Temporal Discursive Patterns in Textual Corpora
ETH Zürich(苏黎世联邦理工学院);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);IST Austria(奥地利科学技术研究所)
TL;QR是结合LLM与时间逻辑的声明式查询语言及开源引擎,可精准高效查询文本语料的时间话语模式,在基准测试与欧洲议会辩论案例中表现优于仅用LLM的方法。
2026-10-14 cs.CL cs.CY cs.DB
STARK: Spatio-Temporal Attention for Representation of Keypoints for Continuous Sign Language Recognition
RKMVERI
本文提出STARK网络,通过时空注意力机制减少参数量,提升连续手语识别性能。
2026-03-17 cs.CL cs.CV
Evaluating KGR10 Polish word embeddings in the recognition of temporal expressions using BiLSTM-CRF
Wroclaw University of Technology(弗罗茨瓦夫理工大学)
本文介绍了一组新的波兰语词嵌入,使用KGR 10语料库,其中包含超过40亿个单词。这些嵌入评估的时间表达式(时间)的波兰语言的识别问题。我们描述了KGR 10语料库的创建过程和一种新的识别方法,使用双向长短期记忆(BiLSTM)网络与额外的CRF层,其中特定的嵌入是必不可少的。我们介绍了实验和从中得出的结论。
2019-04-03 cs.CL cs.LG stat.ML
PMOA-TTS: Introducing the PubMed Open Access Textual Times Series Corpus
Machine Learning Department, School of Computer Science(计算机科学系机器学习部门);Heinz College of Information Systems and Public Policy(信息系统与公共政策学院);National Library of Medicine(国家医学图书馆)
PMOA-TTS通过大规模语言模型管道构建,为时间序列分析提供结构化文本时间线,支持时间推理、生存建模和事件预测研究。
2026-01-15 cs.AI cs.CL cs.LG
Exploring Lexical, Syntactic, and Semantic Features for Chinese Textual Entailment in NTCIR RITE Evaluation Tasks
National Chengchi University(国立政治大学)
在NTCIR-9和NTCIR-10中,我们计算了繁体中文和简体中文文本中识别推理(RITE)任务的词汇、句法和语义水平的语言信息。采用句法分析、命名实体识别和近义词识别等技术,并考虑常用词数、语句长度、否定词和反义词等特征来判断两个语句的蕴涵关系,同时探索了基于语义的函数和机器学习方法。所报道的系统表现出的鲁棒性,同时实现第二个位置的二进制分类子任务的简体中文和繁体中文在NTCIR-10 RITE-2。利用NTCIR-9 RITE的测试数据进行了进一步的实验,取得了较好的效果。我们还扩展了我们的工作,以寻找更好的配置,我们的分类和调查的贡献,个别功能。这项长期工作显示出令人感兴趣的结果,应鼓励进一步讨论。
2015-04-08 cs.AI cs.CL cs.DL
Speech Emotion Recognition Using Multi-hop Attention Mechanism
Adobe Research(奥多比研究院)
在本文中,我们感兴趣的是利用语音情感分类任务的话语的文本和声学数据。基线方法使用两个深度神经网络(DNN)独立地对来自音频和文本的信息进行建模。然后将来自两个DNN的输出融合以进行分类。相对于单独使用这两种方式的知识,我们提出了一个框架,利用声学信息与词汇数据。建议的框架使用两个双向长短期记忆(BLSTM)获得隐藏的话语表示。此外,我们提出了一个注意力机制,称为多跳,这是训练自动推断模态之间的相关性。多跳注意力首先计算对应于音频信号的文本数据的相关段。然后将相关的文本数据应用于音频信号的注意部分。为了评估该系统的性能,在IEMOCAP数据集上进行了实验。实验结果表明,所提出的技术优于国家的最先进的系统的6.5%的加权精度方面的相对改善。
2019-05-09 cs.AI cs.CL cs.LG
I can listen but cannot read: An evaluation of two-tower multimodal systems for instrument recognition
Queen Mary University of London(伦敦玛丽女王大学);Spotify(Spotify(声田))
本文评估了双塔多模态系统在零样本乐器识别中的表现,发现音频编码器质量良好但文本编码器存在挑战,并提出利用乐器本体量化文本空间语义的新方法。
2024-07-25 cs.CL cs.IR cs.LG
Zero-Shot Vehicle Model Recognition via Text-Based Retrieval-Augmented Generation
Yuan Ze University(元智大学)
针对现有车辆型号识别方法难适配新车型的问题,提出融合视觉语言模型与检索增强生成的零样本识别流水线,无需大规模重训,识别准确率较CLIP基线提升近20%,可支撑智慧城市可扩展VMMR应用。
2025-10-21 cs.AI cs.CL cs.CV
Temporal Feedback Convolutional Recurrent Neural Networks for Speech Command Recognition
Graduate School of Culture Technology, KAIST(韩国科学技术院文化技术研究生院)
使用原始波形作为输入的端到端学习模型在许多音频识别任务中表现出优异的性能。然而,大多数模型架构都是基于卷积神经网络(CNN),主要是为视觉识别任务而开发的。在本文中,我们提出了一个扩展的挤压和激励网络(SENets),增加了时间反馈控制从顶层功能通道的功能激活在较低层使用一个经常性的模块。这类似于人类听觉系统中的外毛细胞的自适应增益控制机制。我们将所提出的模型应用于语音命令识别,并表明它的性能略优于SENets和其他基于CNN的模型。我们还调查了性能改善的细节进行故障分析和可视化的通道的功能缩放引起的时间反馈。
2022-09-18 cs.CL cs.LG cs.SD