VyAnG-Net: A Novel Multi-Modal Sarcasm Recognition Model by Uncovering Visual, Acoustic and Glossary Features
Delhi Technological University（德里理工大学）
提出VyAnG-Net多模态讽刺识别模型，融合视觉、声学和词汇特征，在MUSTaRD数据集上分别取得79.86%和76.94%的准确率，优于现有方法。
2024-08-05 cs.AI cs.CL cs.CV
SemIRNet: A Semantic Irony Recognition Network for Multimodal Sarcasm Detection
University of New South Wales（新南威尔士大学）；University of Sydney（悉尼大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Southern California（南加州大学）；Kazan Federal University（卡扎那夫联邦大学）
本文提出SemIRNet网络，通过引入ConceptNet知识、跨模态语义相似性模块和对比学习损失，在多模态讽刺检测基准上显著提升准确率与F1值。
2025-05-28 cs.CL cs.CV cs.LG
Sarcasm Detection in a Disaster Context
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文构建含15,000条推文的 HurricaneSARC 讽刺标注数据集，利用预训练语言模型和中间任务迁移学习检测灾害语境中的讽刺，最佳模型 F1 达0.70。
2023-08-16 cs.CL cs.LG
ProSarc: Prosody-Aware Sarcasm Recognition Framework via Temporal Prosodic Incongruity
Department of Computer Science and Engineering, Thapar Institute of Engineering and Technology, Patiala, India（1 计算机科学与工程系，泰帕尔工程与技术学院，印度帕蒂亚拉）；School of Computing, Engineering and Intelligent Systems, Ulster University, Londonderry, United Kingdom（2 计算学、工程与智能系统学院，乌斯特大学，英国伦敦德里）；School of Computing, Ulster University, Belfast, United Kingdom（3 计算学学院，乌斯特大学，英国贝尔法斯特）
提出ProSarc，一个仅利用音频的框架，通过建模局部韵律动态与话语级情感基线之间的时间韵律不协调性来检测讽刺，在MUStARD++等数据集上取得最优性能。
2026-06-04 cs.AI cs.CL
Sarcasm Detection using Context Separators in Online Discourse
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）；Netaji Subhas Institute of Technology（内塔吉·苏巴斯理工学院）
讽刺是一种复杂的言语形式，其含义是含蓄地传达的。作为一种复杂的表达形式，检测讽刺是一个艰巨的问题。识别讽刺的困难有很多陷阱，包括日常交流中的误解，这使得我们越来越关注自动讽刺检测。在第二版的比喻语言处理（FigLang 2020）研讨会中，讽刺检测的共享任务发布了两个数据集，包含来自Twitter和Reddit的响应及其上下文。在这项工作中，我们使用RoBERTa_large来检测两个数据集中的讽刺。我们进一步断言上下文的重要性，在提高性能的上下文词嵌入为基础的模型，通过使用三种不同类型的输入-响应，上下文响应，上下文响应（分离）。我们表明，我们提出的架构执行竞争力的两个数据集。我们还表明，在上下文和目标响应之间添加分离标记会导致Reddit数据集中F1分数提高5.13%。
2020-06-01 cs.CL cs.SI
The Role of Conversation Context for Sarcasm Detection in Online Interactions
Rutgers University（罗格斯大学）；Columbia University（哥伦比亚大学）
用于讽刺检测的计算模型通常依赖于孤立的话语内容。然而，如果没有额外的语境，说话人的讽刺意图并不总是显而易见的。聚焦于社交媒体讨论，我们研究两个问题：（1）会话上下文的建模是否有助于讽刺检测和（2）我们是否可以理解会话上下文的哪一部分触发了讽刺回复。为了解决第一个问题，我们研究了几种类型的长短期记忆（LSTM）网络，它们可以对会话上下文和讽刺反应进行建模。我们证明了条件LSTM网络（Rocktaschel等人，2015），并且对上下文和响应具有句子级别注意力的LSTM网络优于仅读取响应的LSTM模型。为了解决第二个问题，我们对LSTM模型产生的注意力权重进行了定性分析，并将结果与人类在任务上的表现进行了比较。
2017-07-19 cs.AI cs.CL cs.LG
Combining Context-Free and Contextualized Representations for Arabic Sarcasm Detection and Sentiment Identification
Savitribai Phule Pune University（萨维特里巴伊·普勒浦那大学）
自诞生以来，基于transformer的语言模型已经在多个自然语言处理任务中带来了令人印象深刻的性能提升。对于阿拉伯语，大多数数据集上的当前最先进的结果是通过AraBERT语言模型实现的。尽管最近取得了这些进展，讽刺和情感检测仍然是阿拉伯语中具有挑战性的任务，因为该语言具有丰富的形态，语言差异和方言变化。本文提供了SPPU-AASM团队提交的WANLP ArSarcasm共享任务2021，该任务围绕阿拉伯语推文的讽刺和情感极性检测。该研究提出了一种混合模型，将AraBERT的句子表示与在阿拉伯语社交媒体语料库上训练的静态词向量相结合。所提出的系统实现了F1讽刺得分为0.62和F-PN得分为0.715的讽刺和情感检测任务，分别。仿真结果表明，该系统优于现有的多种方法的任务，这表明，上下文无关和上下文相关的文本表示的融合，可以帮助捕捉阿拉伯语单词意义的互补方面。该系统在讽刺检测和情感识别的子任务中分别排名第二和第十。
2021-03-09 cs.CL cs.LG cs.NE
Seeing Sarcasm Through Different Eyes: Analyzing Multimodal Sarcasm Perception in Large Vision-Language Models
Anhui Polytechnic University (AHPU)（安徽工程大学）；Shanghai University (SHU)（上海大学）；Shanghai Jiao Tong University (SJTU)（上海交通大学）；Sichuan University (SCU)（四川大学）
本文提出一个分析框架，通过系统设计的提示在2,409个样本上评估12个大型视觉语言模型对多模态讽刺的感知差异，发现模型在解释推理时分歧显著，挑战了二元标注范式，倡导转向多视角、感知不确定性的建模。
2025-08-25 cs.CL cs.MM cs.SI
CFMS: Towards Explainable and Fine-Grained Chinese Multimodal Sarcasm Detection Benchmark
National Key Laboratory for Multimedia Information Processing（多媒体信息处理国家重点实验室）；Peking University School of Computer Science（北京大学计算机科学学院）；Peking University School of Software and Microelectronics（北京大学软件与微电子学院）
本文提出CFMS，首个针对中文社交媒体的细粒度多模态讽刺检测数据集，包含2796对高质量图像-文本对，提供三层次标注框架，并提出PGDS方法在关键任务中优于现有基线。
2026-03-23 cs.AI cs.CL
Sarcasm Analysis using Conversation Context
Yale University（耶鲁大学）；Columbia University（哥伦比亚大学）
用于讽刺检测的计算模型通常依赖于孤立的话语内容。然而，如果没有额外的上下文，说话者的讽刺意图并不总是显而易见的。聚焦于社交媒体讨论，我们研究了三个问题：（1）建模会话上下文是否有助于讽刺检测;（2）我们能否识别会话上下文的哪一部分触发了讽刺回复;以及（3）给定包含多个句子的讽刺帖子，我们能否识别讽刺的特定句子。为了解决第一个问题，我们研究了几种类型的长短期记忆（LSTM）网络，它们可以对会话上下文和当前回合进行建模。我们发现，对上下文和当前回合具有高度关注的LSTM网络，以及条件LSTM网络（Rocktaschel et al. 2016），优于仅读取当前回合的LSTM模型。作为会话语境，我们考虑前一话轮、后一话轮或两者。我们的计算模型在两种类型的社交媒体平台上进行了测试：Twitter和讨论论坛。我们讨论了这些数据集之间的几个差异，从它们的大小到黄金标签注释的性质。为了解决最后两个问题，我们对LSTM模型（有注意力）产生的注意力权重进行了定性分析，并讨论了与人类在两项任务上的表现相比的结果。
2018-08-28 cs.CL
"When Words Fail, Emojis Prevail": Generating Sarcastic Utterances with Emoji Using Valence Reversal and Semantic Incongruity
Islamic University of Technology（伊斯兰科技大学）
针对反讽生成多局限于文本的现状，提出将任务拆分为文本反讽生成（融入效价反转、语义不一致要素）和关联emoji收集两部分的新架构，经人工评估验证效果，代码数据已公开。
2023-06-16 cs.CL
Low-Resource Named Entity Recognition: Can One-vs-All AUC Maximization Help?
Monash University（莫纳什大学）；VinUniversity；University at Buffalo（纽约州立大学布法罗分校）
针对低资源场景下NER标签分布不平衡的问题，研究将多类NER重构为一对多学习任务，采用基于AUC的损失函数，并结合标签分组与元学习策略提升效率，在多种场景下性能优于传统方法。
2023-11-02 cs.CL cs.LG
When Specialization Helps: Using Pooled Contextualized Embeddings to Detect Chemical and Biomedical Entities in Spanish
Goethe University Frankfurt（法兰克福歌德大学）
药理学物质、化合物和蛋白质的识别是识别化学品和其他生物医学相关单位之间关系的基本前期工作。在本文中，我们描述了一种方法，任务1的PharmaCoNER挑战，其中涉及到识别提到的化学品和药物在西班牙医学文本。我们训练了一个最先进的BiLSTM-CRF序列标记器，它使用开源框架FLAIR堆叠池上下文嵌入，单词和子词嵌入。我们提出了一个新的语料库组成的文章和论文从西班牙健康科学期刊，称为西班牙健康语料库，并使用它来训练特定领域的嵌入，我们将在我们的模型训练。我们使用预训练的嵌入实现了89.76%的F1分数，并且能够使用专门的嵌入将这些结果提高到90.52%的F1分数。
2019-10-08 cs.CL cs.LG
Voice based self help System: User Experience Vs Accuracy
Tata Consultancy Services（塔塔咨询服务公司）；TCS Innovation Lab - Mumbai（TCS孟买创新实验室）
通常，自助系统越来越多地被基于服务的行业部署，因为它们能够提供更好的客户服务，并且越来越多地切换到基于语音的自助系统，因为它们提供了用于人与机器交互的自然接口。基于语音的自助系统理想地需要一个语音识别引擎来将所说的语音转换成文本，此外还需要一个语言处理引擎来处理语音识别引擎的任何误识。任何现成的语音识别引擎通常是声学处理和语音语法的组合。虽然这是规范，但我们认为理想情况下，语音识别应用程序除了语音识别引擎之外，还应该具有单独的语言处理引擎，以使系统具有更好的性能。在本文中，我们讨论了如何将语音识别引擎和语言处理引擎相结合，以提供更好的用户体验。
2015-04-07 cs.CL
Does Synthetic Data Help Named Entity Recognition for Low-Resource Languages?
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（魁北克人工智能研究院）；National Research Council（加拿大国家研究委员会）
本文研究了合成数据在多语言低资源命名实体识别中的作用，发现其对不同语言的效果存在显著差异。
2025-11-05 cs.CL
Deep Emotion Recognition in Textual Conversations: A Survey
INESC-ID；Instituto Superior Técnico（高等技术学院）；Universidade de Lisboa（里斯本大学）；Faculdade de Letras（文学院）
本文综述了对话情感识别（ERC）的挑战、数据集、神经架构及实践方法，指出预训练Transformer、图神经网络和生成式大语言模型是当前主流技术路线。
2024-10-19 cs.AI cs.CL
SU-NLP at SemEval-2022 Task 11: Complex Named Entity Recognition with Entity Linking
Sabancı University（萨班哲大学）
本文介绍了由萨班斯大学自然语言处理小组在SemEval-2022 MultiCoNER任务中提出的系统。我们开发了一个无监督的实体链接管道，它可以在维基百科的帮助下检测潜在的实体提及，并使用相应的维基百科上下文来帮助分类器找到该提及的命名实体类型。我们的结果表明，我们的管道显着提高了性能，特别是对于低上下文环境中的复杂实体。
2022-03-22 cs.CL
What Helps Transformers Recognize Conversational Structure? Importance of Context, Punctuation, and Labels in Dialog Act Recognition
Center of Language and Speech Processing（语言与语音处理中心）；Human Language Technology Center of Excellence, Johns Hopkins University（约翰斯·霍普金斯大学人类语言技术卓越中心）
对话行为可以被解释为会话的原子单位，比话语更细粒度，具有特定的交际功能。将会话记录结构化为对话行为序列的能力--对话行为识别，包括分段--对于理解对话至关重要。我们将两个预训练的Transformer模型XLNet和Longformer应用于英语中的这项任务，并在Switchboard Dialog Act和Meeting Recorder Dialog Act语料库上取得了很好的结果，对话行为分割出错率（DSER）为8.4%和14.2%。为了了解影响对话行为识别的关键因素，我们对不同条件下训练的模型进行了比较分析。我们发现，包括一个更广泛的会话上下文有助于消除歧义许多对话行为类，特别是那些不常见的训练数据。转录本中标点符号的存在对模型的性能有很大的影响，详细的分析揭示了在没有标点符号的情况下观察到的特定分割模式。最后，我们发现标签集特异性不影响对话行为分割性能。这些发现对口语语言理解应用程序具有重要的实际意义，这些应用程序在很大程度上依赖于高质量的分割。
2021-07-05 cs.CL
Deep Learning based Emotion Recognition System Using Speech Features and Transcriptions
Samsung R&D Institute India – Bangalore（三星印度研发研究院-班加罗尔）
提出了一种基于语音特征和语音文本的语音情感识别方法。语音特征，如频谱图和梅尔频率倒谱系数（MFCC）有助于保留语音中与情感相关的低层次特征，而文本有助于捕捉语义含义，这两种特征都有助于情感检测的不同方面。我们尝试了几种深度神经网络（DNN）架构，这些架构将语音特征和文本的不同组合作为输入。与基准数据集上最先进的方法相比，所提出的网络架构实现了更高的准确性。结合MFCC-文本卷积神经网络（CNN）模型被证明是最准确的识别IEMOCAP数据中的情绪。
2019-06-11 cs.CL cs.LG cs.SD
Prediction-Adaptation-Correction Recurrent Neural Networks for Low-Resource Language Speech Recognition
Microsoft Research（微软研究院）
在本文中，我们研究了使用预测-自适应-校正循环神经网络（PAC-RNN）的低资源语音识别。PAC-RNN由一对神经网络组成，其中{ \it校正}网络使用由{ \it预测}网络给出的辅助信息来帮助估计状态概率。来自校正网络的信息也由预测网络在循环回路中使用。我们的模型在IARPA-Babel任务上优于其他最先进的神经网络（DNN，LSTM）。此外，从与目标语言相似的语言进行迁移学习可以帮助进一步提高成绩。
2015-10-30 cs.CL cs.LG cs.NE
Gujarati-English Code-Switching Speech Recognition using ensemble prediction of spoken language
Microsoft IDC Hyderabad（微软印度开发中心海得拉巴分部）
针对代码切换语音识别中的语言识别难题，提出在 Transformer 层以监督方式条件化语言 ID，引入语言特定参数和时间损失，虽未显著降低 WER，但有效提升语言预测能力。
2024-03-12 cs.AI cs.CL cs.LG
Does Joint Training Really Help Cascaded Speech Translation?
RWTH Aachen University（亚琛工业大学）
目前，在语音翻译中，直接的方法-将识别系统与翻译系统级联-提供了最先进的结果。然而，诸如来自自动语音识别系统的错误传播之类的基本挑战仍然存在。为了缓解这些问题，最近，人们将注意力转向直接数据，并提出各种联合训练方法。在这项工作中，我们试图回答联合训练是否真的有助于级联语音翻译的问题。我们回顾了最近的论文的主题，并探讨了联合训练标准边缘化的转录后验概率。我们的研究结果表明，一个强大的级联基线可以减少使用联合训练获得的任何改善，我们建议联合训练的替代方案。我们希望这项工作可以作为当前语音翻译领域的一个更新，并激励研究寻找更有效和创造性的方法来利用语音翻译的直接数据。
2022-11-24 cs.CL cs.LG eess.AS
Knowledge Guided Named Entity Recognition for BioMedical Text
Arizona State University（亚利桑那州立大学）
在这项工作中，我们制定的NER任务作为一个多答案的知识引导的QA任务（KGQA），这有助于预测实体只分配B，I和O标签，而不关联实体类型的标签。我们提供了不同的知识背景，如实体类型，问题，定义和例子，以及文本和训练的18个生物医学语料库的组合数据集。该公式（a）使系统能够从不同的NER数据集中联合学习NER特定的特征，（b）可以使用知识-文本注意力来识别与所提供的知识具有更高相似性的单词，从而提高性能，（c）通过将预测类减少到仅B、I、O来减少系统混淆，以及（d）使嵌套实体的检测更容易。我们在18个生物医学NER数据集上对KGQA公式进行了广泛的实验，通过实验，我们注意到知识有助于实现更好的性能。我们的问题公式能够在12个数据集中实现最先进的结果。
2020-09-18 cs.CL cs.IR cs.LG
Does Speech enhancement of publicly available data help build robust Speech Recognition Systems?
Stony Brook University（石溪大学）；Nokia Bell Labs（诺基亚贝尔实验室）
自动语音识别（ASR）系统在包括语音助理在内的许多商业产品中起着关键作用。通常，它们需要大量干净的语音数据进行训练，这给拥有大量私人数据的大型组织带来了不适当的优势。在本文中，我们首先使用公开的数据源管理了一个相当大的数据集。此后，我们试图研究是否可以使用公开的噪声数据来训练鲁棒的ASR系统。我们首先使用语音增强来清除噪声数据，然后将其与其清除版本一起用于训练ASR系统。我们发现，使用语音增强比只在有噪声的数据上训练的单词错误率高9.5%，比只在干净的数据上训练的单词错误率高9%。它的性能也可以与在嘈杂和干净版本上训练时的理想情况相媲美。
2019-11-20 cs.CL cs.SD eess.AS
Sign Language Lexical Recognition With Propositional Dynamic Logic
Université Paul Sabatier（保罗·萨巴捷大学）；IRIT（图卢兹计算机研究所）
本文探讨了使用命题动态逻辑（PDL）作为一个合适的形式化框架来描述手语（SL），聋人的语言，在自然语言处理的背景下。SL是一种视觉化的、完整的、独立的语言，与口头语言一样具有表达能力。SL中的符号通常对应于与运动交织的高度特定的身体姿势序列，这些姿势涉及现实世界的物体，人物或情况。在这里，我们提出了一个正式的SL标志表示，这将有助于我们与自动收集的手跟踪数据的分析，从法国手语（FSL）视频语料库。我们进一步展示了这样的表示可以帮助我们设计的计算机辅助SL验证工具，这反过来又会使我们更接近这些语言的自动识别系统的发展。
2014-03-26 cs.CL
COVID-19 Named Entity Recognition for Vietnamese
VinAI Research（VinAI研究院）
当前的COVID-19大流行导致创建了许多语料库，以促进NLP研究和下游应用，以帮助抗击疫情。然而，这些语料库中的大多数是专门为英语。由于大流行是一个全球性问题，因此值得为英语以外的语言创建COVID-19相关数据集。在本文中，我们为越南人提供了第一个手动注释的COVID-19特定领域数据集。特别是，我们的数据集被注释为命名实体识别（NER）任务与新定义的实体类型，可用于其他未来的流行病。与现有的越南NER数据集相比，我们的数据集还包含最多的实体。我们根据经验在我们的数据集上使用强基线进行实验，并发现：自动越南语分词有助于改善NER结果，并且通过微调预训练的语言模型获得最高性能，其中越南语的单语模型PhoBERT（Nguyen和Nguyen，2020）产生比多语言模型XLM-R更高的结果（Conneau等人，2020年）。我们公开发布我们的数据集：https://github.com/VinAIResearch/PhoNER_COVID19
2021-04-08 cs.CL
Visualizing Automatic Speech Recognition -- Means for a Better Understanding?
Fraunhofer AISEC（弗劳恩霍夫应用与集成安全研究所）；Technical University Munich（慕尼黑工业大学）
自动语音识别（ASR）在模仿人类语音处理方面不断改进。然而，ASR的功能在很大程度上仍然被它们所基于的深度神经网络（DNN）的复杂结构所混淆。在本文中，我们展示了所谓的归因方法，即我们从图像识别中导入并适当地适应处理音频数据的方法，可以帮助澄清ASR的工作。以ASR的端到端模型DeepSpeech为例，我们展示了这些技术如何帮助可视化输入的哪些特征对确定输出最有影响。我们专注于三种可视化技术：逐层相关传播（LRP），显着性地图和Shapley加法解释（SHAP）。我们比较了这些方法，并讨论了潜在的进一步应用，如在检测对抗性的例子。
2022-02-01 cs.AI cs.CL cs.HC
Dialog-context aware end-to-end speech recognition
Carnegie Mellon University（卡内基梅隆大学）
现有的语音识别系统通常是在句子级别上构建的，尽管已知对话上下文（例如，跨越句子或说话者的更高级别的知识）可以帮助处理长对话。端到端语音识别系统的最新进展有望将所有可用信息（例如声学、语言资源）集成到单个模型中，然后对其进行联合优化。因此，这样的对话上下文信息也应该被集成到端到端模型中以进一步提高识别准确性，这似乎是自然的。在这项工作中，我们提出了一个对话上下文感知的语音识别模型，它显式地使用上下文信息超出会话级别的信息，在一个端到端的方式。我们的对话上下文模型捕获了一个历史的会话级上下文，使整个系统可以训练与对话上下文信息在一个端到端的方式。我们评估我们提出的方法上的开关板会话语音语料库，并表明我们的系统优于一个可比的双级端到端的语音识别系统。
2018-08-07 cs.CL
Speech Commands: A Dataset for Limited-Vocabulary Speech Recognition
Google Brain（谷歌大脑）；Mountain View, California（加利福尼亚州山景城（注：此处原文本中该部分是地址，按要求不应提取为机构，正确应为仅提取Google Brain））
描述了一个语音数据集，旨在帮助训练和评估关键字定位系统。讨论了为什么这个任务是一个有趣的挑战，为什么它需要一个专门的数据集，是不同于传统的数据集用于自动语音识别的完整的句子。提出了一种方法，为这项任务的可重复性和可比性的准确性指标。描述如何收集和验证数据、数据包含的内容、以前的版本和属性。最后报告在此数据集上训练的模型的基线结果。
2018-04-09 cs.CL cs.HC
Multistream neural architectures for cued-speech recognition using a pre-trained visual feature extractor and constrained CTC decoding
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（格勒诺布尔图像语音信号自动化实验室）
本文提出了一种简单有效的自动识别提示语音（CS）的方法，提示语音是一种视觉交流工具，可以帮助听力障碍者理解口语的帮助下，手势，可以唯一地识别出的音素，补充唇读。所提出的方法是基于一个预先训练的手和嘴唇跟踪器用于视觉特征提取和语音解码器的基础上训练的连接主义的时间分类损失的多流递归神经网络，并结合发音词典。所提出的系统进行评估的更新版本的法国CS数据集CSF 18的语音转录已被手动检查和纠正。在语音水平的解码精度为70.88%，所提出的系统优于我们以前的CNN-HMM解码器，并与更复杂的基线竞争。
2022-04-11 cs.CL cs.SD eess.AS
Explanations for Automatic Speech Recognition
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
针对基于神经网络的自动语音识别，提出通过解释来提升系统理解和信任，采用统计故障定位和因果方法生成最小且充分的音频帧子集作为转录解释。
2026-06-23 cs.AI cs.CL cs.LG
Aiding Intra-Text Representations with Visual Context for Multimodal Named Entity Recognition
University of Insubria（因苏布里亚大学）
随着Twitter和Instagram等社交媒体的大规模爆炸，人们每天分享数十亿个包含图像和文本的多媒体帖子。通常，这些帖子中的文本简短，非正式和嘈杂，导致可以使用图像解决的歧义。在本文中，我们探讨了以文本为中心的命名实体识别任务，这些多媒体职位。我们提出了一个端到端的模型，学习一个文本和图像的联合表示。我们的模型扩展了多维自我注意技术，现在图像有助于增强单词之间的关系。实验表明，该模型能够更准确地捕获文本和视觉上下文，在Twitter多模态命名实体识别数据集上取得了最佳效果。
2019-04-02 cs.CL cs.CV
An Empirical Study and Improvement for Speech Emotion Recognition
Nanjing University（南京大学）
本文研究多模态语音情感识别中音频与文本的融合策略，提出一种由视角损失改进的模型，在IEMOCAP数据集上达到新的最先进水平。
2023-04-08 cs.CL cs.SD eess.AS
A Comprehensive Review of Sign Language Recognition: Different Types, Modalities, and Datasets
Indian Institute of Technology Roorkee（鲁尔基印度理工学院）
本文系统综述了手语识别在类型、模态和数据集方面的研究进展，分析现有挑战与局限，并指出未来研究方向。
2022-04-07 cs.AI cs.CL cs.CV
MLLM-based Speech Recognition: When and How is Multimodality Beneficial?
Worcester Polytechnic Institute（沃斯特理工学院）
该研究探究多模态大语言模型提升噪声环境下语音识别准确率的条件与架构，通过实验明确了模态类型、噪声水平、视觉表征质量等因素的影响规律，为多模态语音识别的实际应用提供了参考。
2025-07-25 cs.CL cs.MM cs.SD
I3D: Transformer architectures with input-dependent dynamic depth for speech recognition
Carnegie Mellon University（卡内基梅隆大学）；NAVER Corporation（NAVER公司）
基于transformer的端到端语音识别已经取得了巨大的成功。然而，庞大的内存占用和计算开销使得这些模型很难在一些实际应用中部署。模型压缩技术可以减小模型大小并加速推理，但是压缩的模型具有可能是次优的固定结构。我们提出了一种新的Transformer编码器与输入相关的动态深度（I3D），以实现强大的性能效率的权衡。在推理时具有相似数量的层的情况下，基于I3D的模型优于普通Transformer和通过迭代层修剪的静态修剪模型。我们还对门概率和输入依赖性进行了有趣的分析，这有助于我们更好地理解深度编码器。
2023-03-14 cs.CL cs.SD eess.AS
A Transformer-Based Multi-Stream Approach for Isolated Iranian Sign Language Recognition
Sharif University of Technology（谢里夫理工大学）；University of Michigan（密歇根大学）
本研究提出结合早期与晚期融合Transformer编码器、经遗传算法优化的多流伊朗手语识别模型，用含101个学术常用词的数据集训练，结合多任务学习，测试准确率达90.2%，还开发了带实时反馈的手语训练软件并验证其效果。
2024-06-27 cs.AI cs.CL cs.CV
