Hopes and Fears -- Emotion Distribution in the Topic Landscape of Finnish Parliamentary Speech 2000-2020
University of Turku(图尔库大学);University of Eastern Finland(东芬兰大学)
本文通过分析芬兰议会2000-2020年演讲中各主题的情感表达,探讨情感在不同主题上的分布特征及积极情感趋势。
2026-01-28 cs.CL
Contextual Biasing of Language Models for Speech Recognition in Goal-Oriented Conversational Agents
面向目标的会话界面旨在完成特定的任务,通常具有倾向于跨越多个回合的交互,这些交互遵循预定义的结构和目标。然而,自动语音识别(ASR)系统中的传统神经语言模型(NLM)大多是在有限的上下文下逐段训练的。在本文中,我们探索了将上下文纳入基于LSTM的NLM的不同方法,以便对长程依赖关系进行建模并改进语音识别。具体来说,我们使用跨多个回合的上下文结转,并使用词汇上下文线索,例如来自自然语言理解(NLU)模型的系统对话行为和用户提供的聊天机器人结构。我们还提出了一个新的架构,利用上下文嵌入来自BERT在推理时间提供的样本话语。我们的实验表明,一个字的出错率(WER)相对减少7%以上的非上下文话语级NLM rescorers目标为导向的音频数据集。
2021-06-04 cs.CL
An Effective Contextual Language Modeling Framework for Speech Summarization with Augmented Features
National Taiwan Normal University(国立台湾师范大学)
大量与语音信息相关的多媒体信息迫切需要开发高效的自动摘要方法。为此,我们已经看到在将基于监督的深度神经网络的方法应用于提取语音摘要方面取得了快速进展。最近,双向编码器表示从Transformers(BERT)模型被提出,并取得了破纪录的成功,在许多自然语言处理(NLP)任务,如问答和语言理解。鉴于此,我们在本文中的语境和增强的国家的最先进的基于BERT的模型的语音摘要,而其贡献至少是三倍。首先,我们探讨了将置信度分数纳入句子表示,看看这样的尝试是否有助于减轻不完美的自动语音识别(ASR)所造成的负面影响。其次,我们还增加了额外的结构和语言特征,如句子位置和逆文档频率(IDF)的统计信息,从BERT得到的句子嵌入。最后,我们在一个基准数据集上验证了我们提出的方法的有效性,与几个经典和著名的语音摘要方法相比。
2020-06-01 cs.CL
Contextual Topic Modeling For Dialog Systems
Amazon(亚马逊)
会话主题的准确预测可以是用于创建连贯和吸引人的对话系统的有价值的信号。在这项工作中,我们专注于上下文感知的主题分类方法,用于识别自由形式的人类聊天机器人对话中的主题。我们扩展了以前的工作,神经主题分类和无监督主题关键字检测,将会话上下文和对话行为功能。在注释数据上,我们表明,将上下文和对话行为导致主题分类准确率相对提高35%,主题经常跨越多个话语的会话交互的无监督关键字检测召回率提高11%。我们发现,主题深度等主题指标与连贯性和参与度等对话评价指标高度相关,这意味着会话主题模型可以预测用户满意度。我们检测对话主题和关键字的工作可以用来引导聊天机器人进行连贯的对话。
2018-10-19 cs.CL
Towards Interpretable Summary Evaluation via Allocation of Contextual Embeddings to Reference Text Topics
Technical University of Munich(慕尼黑工业大学);Trinity College Dublin(都柏林圣三一学院);IBM(国际商业机器公司);Universitat de Barcelona(巴塞罗那大学)
尽管最近在摘要生成模型方面取得了广泛的进展,但对自动生成的摘要的评估仍然广泛依赖于单分数系统,不足以进行透明的评估和深入的定性分析。为了弥合这一差距,我们提出了多方面的可解释摘要评价方法(MISEM),这是基于分配的摘要的上下文令牌嵌入到语义主题中确定的参考文本。我们进一步贡献了一个可解释性工具箱,用于自动摘要评估和摘要评分,主题识别和令牌主题分配的交互式视觉分析。MISEM在TAC'08数据集上实现了与人类判断的.404皮尔逊相关性。
2022-10-25 cs.CL
Probabilistic Topic and Syntax Modeling with Part-of-Speech LDA
Xerox Research Centre Europe(施乐欧洲研究中心);University of Guelph(圭尔夫大学)
本文提出了一种基于语义主题和句法类的文本概率生成模型,称为词性LDA(POSLDA)。POSLDA同时揭示了存在于文档集合中的短距离句法模式(语法)和长距离语义模式(主题)。这导致了特定于两个主题(体育,教育,...)的单词分布。和词性(名词、动词等)。例如,多项分布的单词可以被理解为“关于天气的名词”或“关于法律的动词”。我们描述了模型和近似推理算法,然后定性和定量地证明了学习主题的质量。然后,我们讨论了一个NLP应用程序,其中POSLDA的输出可以导致质量的大幅提高:无监督词性标注。我们描述了用于此任务的算法,该算法利用POSLDA学习的分布,从而提高了性能,超出了最先进的水平。
2013-03-12 cs.CL
Assessing the impact of contextual information in hate speech detection
Universidad Torcuato Di Tella(托尔夸托·迪·特利亚大学);National Institute of Standards and Technology(美国国家标准与技术研究院);Colorado State University(科罗拉多州立大学)
近年来,仇恨言论在社交网络和其他虚拟媒体中变得越来越重要,因为其强度及其与针对受保护群体成员的暴力行为的关系。由于用户产生的大量内容,在自动工具的研究和开发方面已经做出了很大的努力,以帮助分析和缓和这种语音,至少在其最具威胁性的形式中。当前自动仇恨言论检测方法的局限性之一是缺乏上下文。大多数研究和资源都是在没有上下文的数据上执行的;也就是说,没有任何类型的会话上下文或正在讨论的主题的孤立消息。这限制了可用的信息来定义社交网络上的帖子是否是仇恨的。在这项工作中,我们提供了一个新的语料库,用于基于用户对Twitter上媒体发布的新闻帖子的响应进行上下文化的仇恨言论检测。该语料库以西班牙语的Rioplatense方言种类收集,重点关注与COVID-19大流行相关的仇恨言论。使用最先进的技术的分类实验表明,添加上下文信息,提高仇恨语音检测性能的两个建议的任务(二进制和多标签预测)的证据。我们提供我们的代码、模型和语料库供进一步研究。
2023-03-11 cs.CL
Cross-lingual Contextualized Topic Models with Zero-shot Learning
Bocconi University(博科尼大学);University of Milano-Bicocca(米兰比可卡大学)
许多数据集(例如,评论、论坛、新闻等)以多种语言存在。它们都覆盖相同的内容,但语言上的差异使得无法使用传统的基于词袋的主题模型。模型必须要么是单一语言,要么是庞大但极其稀疏的词汇表。这两个问题都可以通过迁移学习来解决。在本文中,我们介绍了一个zero-shot跨语言主题模型。我们的模型学习一种语言(这里是英语)的主题,并预测不同语言(这里是意大利语,法语,德语和葡萄牙语)的未见过的文档。我们评估了不同语言的同一文档的主题预测的质量。我们的研究结果表明,转移的主题是连贯和稳定的跨语言,这表明令人兴奋的未来研究方向。
2021-02-04 cs.CL
Surfacing contextual hate speech words within social media
National Tsinghua University(清华大学)
社交媒体平台最近出现了仇恨言论话语的增加,这导致了对改进检测方法的呼吁。其中大多数依赖于注释数据、关键字和分类技术。虽然这种方法提供了很好的覆盖面,但在处理网上极端主义社区产生的新术语时,这种方法可能不够,因为这些新术语是具有其他仇恨言论含义的单词的原始来源。这些暗语(既可以是创造的,也可以是被采用的)被设计成逃避自动检测,并且在常规话语中通常具有善意的含义。例如,“skypes”、“googles”和“yahoos”都是具有可用于仇恨言论的替代含义的单词的实例。这种重叠在依赖于收集仇恨言论特定数据和下游分类的关键词时带来了额外的挑战。在这项工作中,我们开发了一种社区发现方法,用于发现极端主义仇恨言论社区并从其成员那里收集数据。我们还开发了一个词嵌入模型,该模型学习单词的替代仇恨言论含义,并通过几个注释实验证明了我们的代码词的候选资格,旨在确定是否有可能在不知道其替代含义的情况下识别一个词用于仇恨言论。我们报告的注释者间的协议率K=0.871,K=0.676分别从我们的极端主义社区和关键字的方法,支持我们的说法,仇恨言论检测是一个上下文的任务,并不依赖于一个固定的关键字列表。我们的目标是通过提供高质量的仇恨言论数据集以及可以输入现有分类方法的学习代码来推进该领域,从而提高自动检测的准确性。
2017-11-28 cs.CL
Prosody-Based Automatic Segmentation of Speech into Sentences and Topics
在处理语音音频数据以进行信息抽取、主题检测或浏览/回放的过程中,关键的一步是将输入分割成句子和主题单元。语音分割是具有挑战性的,因为通常用于分割文本(标题、段落、标点符号)的线索在口语中不存在。我们调查使用韵律(信息收集的时间和旋律的讲话)为这些任务。使用决策树和隐马尔可夫模型技术,我们结合韵律线索与基于词的方法,并评估两个语音语料库,广播新闻和总机的性能。结果表明,单独的韵律模型的表现与基于单词的统计语言模型相当,甚至更好-无论是真实的和自动识别的话在新闻讲话。韵律模型实现了相当的性能与显着更少的训练数据,不需要手工标记的韵律事件。在任务和语料库中,我们获得了显着的改善,只有单词模型使用的韵律和词汇信息的概率组合。检查发现,韵律模型捕获的语言独立的边界指标中描述的文献。最后,线索使用是任务和语料库依赖。例如,停顿和音高特征对于分割新闻语音是高度信息化的,而停顿、持续时间和基于单词的线索对于自然对话占主导地位。
2000-06-27 cs.CL
Attention-based Contextual Language Model Adaptation for Speech Recognition
Amazon Alexa(亚马逊Alexa)
用于自动语音识别(ASR)的语言建模(LM)通常不包括话语级上下文信息。然而,对于像语音助理这样的一些领域,附加的上下文(诸如说出话语的时间)提供了丰富的输入信号。我们引入了一种注意力机制,用于在文本和非语言上下文数据上训练神经语音识别语言模型。当应用于一个流行的语音助手平台收集的大量去识别的话语数据集时,我们的方法相对于不包含上下文信息的标准LM减少了7.0%的困惑。当从数据集的长尾中提取的话语进行评估时,我们的方法相对于标准LM提高了9.0%的困惑度,与最先进的上下文LM模型相比,相对提高了2.8%。
2021-06-02 cs.AI cs.CL
Unsupervised Topic Adaptation for Lecture Speech Retrieval
我们正在开发一个跨媒体的信息检索系统,用户可以通过提交文本查询来查看特定片段的讲座视频。为了产生文本索引,从讲座视频中提取音轨,并通过自动语音识别生成转录。在本文中,为了提高我们的检索系统的质量,我们广泛的调查适应声学和语言模型对语音识别的影响。我们执行基于MLLR的方法来适应声学模型。为了获得用于语言模型适应的语料库,我们使用目标讲座的教科书来搜索与讲座主题相关联的网页的Web集合。我们通过实验证明了我们的方法的有效性。
2004-07-10 cs.CL
Would you Like to Talk about Sports Now? Towards Contextual Topic Suggestion for Open-Domain Conversational Agents
Emory University(埃默里大学)
为了进行真正的对话,智能代理应该能够偶尔采取主动,并推荐下一个自然的对话主题。这是一项具有挑战性的任务。代理人建议的话题应该与人相关,适合对话上下文,并且代理人应该有一些有趣的话题要说。因此,照本宣科,或一刀切,基于受欢迎程度的话题建议注定会失败。相反,我们探索不同的方法,为开放域对话的个性化,上下文主题建议。我们正式的会话主题建议问题(CTS),以更清楚地确定的假设和要求。我们还探索了三种可能的方法来解决这个问题:(1)基于模型的顺序主题建议,以捕获会话上下文(CTS-Seq),(2)基于协同过滤的建议,以捕获以前成功的会话从类似的用户(CTS-CF),和(3)一个混合的方法结合会话上下文和协同过滤。为了评估这些方法的有效性,我们使用了作为Amazon Alexa Prize 2018对话AI挑战赛的一部分收集的真实对话。结果令人鼓舞:CTS-Seq模型建议的主题比基线高出23%的准确度,并且将协同过滤信号并入混合CTS-Seq-CF模型中进一步将推荐准确度提高了12%。总之,我们提出的模型,实验和分析显着推进开放域会话代理的研究,并为未来的改进提出了有前途的方向。
2020-05-28 cs.CL
Deriving Word Vectors from Contextualized Language Models using Topic-Aware Mention Selection
Cardiff University(卡迪夫大学);Université d’Artois(阿图瓦大学);CRIL-CNRS(法国国家科学研究中心计算机与自动化研究所)
词汇语义学的一个长期存在的挑战在于学习反映其语义属性的词的表示。词嵌入在这方面的显著成功表明,通过总结词提及的句子上下文可以获得高质量的表示。在本文中,我们提出了一种学习单词表示的方法,遵循这一基本策略,但在两个重要方面不同于标准的词嵌入。首先,我们利用上下文化的语言模型(CLM),而不是词向量袋编码上下文。其次,我们不是直接学习单词向量,而是使用主题模型来划分单词出现的上下文,然后为每个单词学习不同的主题特定向量。最后,我们使用一个特定于任务的监督信号,使软选择的结果向量。我们发现,这种简单的策略导致高质量的词向量,这是更预测的语义属性比词嵌入和现有的CLM为基础的战略。
2021-06-15 cs.CL
Contextualized End-to-End Speech Recognition with Contextual Phrase Prediction Network
Northwestern Polytechnical University(西北工业大学)
本文提出上下文短语预测网络,通过显式偏置损失增强基于注意力的深度偏置,显著降低多种端到端模型及上下文短语的词错率。
2023-07-12 cs.CL cs.SD eess.AS
WikiDiverse: A Multimodal Entity Linking Dataset with Diversified Contextual Topics and Entity Types
Fudan University(复旦大学);Alibaba Group(阿里巴巴集团);Shopee(虾皮);Vipshop (China) Co., Ltd.(唯品会(中国)有限公司);Fudan-Aishu Cognitive Intelligence Joint Research Center(复旦-爱数认知智能联合研究中心)
多模态实体链接(MEL),其旨在将具有多模态上下文的提及链接到来自知识库的所指实体(例如,Wikipedia)是许多多模态应用程序的基本任务。尽管MEL受到了广泛的关注,但现有MEL数据集的不足之处,如上下文主题和实体类型有限、提及歧义简化、可用性受限等,给MEL的研究和应用带来了很大的障碍。在本文中,我们提出了WikiDiverse,一个高质量的人类注释MEL数据集与多样化的上下文主题和实体类型从Wikinews,它使用维基百科作为相应的知识库。一个精心定制的注释程序,以确保数据集的质量。基于WikiDiverse,实现了一系列具有模态内和模态间关注的MEL模型,这些模型比现有的MEL模型更充分地利用了图像的视觉信息。通过大量的实验分析,探讨了不同模态对最大似然估计的贡献,为今后的研究提供了参考。数据集和基线模型可在https://github.com/wangxw5/wikiDiverse上获得。
2022-04-13 cs.CL
Fast and Robust Unsupervised Contextual Biasing for Speech Recognition
Salesforce.com, Inc.(赛富时公司)
自动语音识别(ASR)系统正在成为一种普遍存在的技术。虽然它的准确性在某些设置下正在缩小与人类水平的差距,但可以进一步改进的一个领域是纳入用户特定的信息或上下文来使其预测产生偏差。一种常见的框架是从所提供的上下文迷你语料库动态地构建小语言模型,并且在解码过程期间用主语言模型内插其得分。在这里,我们提出了一种替代方法,不需要显式的上下文语言模型。相反,我们从训练语料库中获得系统词汇表中每个单词的偏差分数。该方法的独特之处在于:1)它不需要上下文或训练语料库的元数据或类标签注释。2)偏差分数与单词的对数概率成比例,因此它不仅会使所提供的上下文发生偏差,而且对不相关的上下文(例如,用户错误指定或难以量化严格范围的情况)也是鲁棒的。3)在训练阶段期间预先确定整个词汇表的偏差分数,从而消除了在推理期间计算上昂贵的语言模型构造。当相关上下文可用时,我们在识别准确性方面表现出显着的改进。此外,我们还证明了所提出的方法具有较高的容忍度,在不相关的上下文存在的假触发错误。
2020-05-04 cs.CL
Standard-to-Dialect Transfer Trends Differ across Text and Speech: A Case Study on Intent and Topic Classification in German Dialects
MaiNLP lab, CIS, LMU Munich, Germany(慕尼黑大学自然语言处理实验室、计算机研究所、慕尼黑大学,德国);Munich Center for Machine Learning, Germany(慕尼黑机器学习中心,德国)
研究比较了标准到方言的文本和语音转移效果,发现语音处理在方言数据上表现最佳,而文本处理在标准数据上更优,同时提出了首个方言语音意图分类数据集。
2026-04-16 cs.CL
OleSpeech-IV: A Large-Scale Multispeaker and Multilingual Conversational Speech Dataset with Diverse Topics
Olewave;Stanford University(斯坦福大学);Microsoft(微软);PingAn Technology(平安科技);Korea University(韩国大学);Carnegie Mellon University(卡内基梅隆大学)
本研究推出大规模多说话人多语言主题多样的对话语音数据集OleSpeech-IV,音频取自公开英文对话内容,人工标注结合专属流水线生成多类信息,同时开源非商用子集供研究使用。
2025-09-04 cs.CL
Contextual Semantic Relevance Tracks fMRI BOLD Responses During Naturalistic Speech Comprehension
Tongji University(同济大学);Tuebingen University(图宾根大学)
研究自然语言理解中上下文语义相关性对功能磁共振成像血氧水平依赖反应的预测作用,通过分析两个数据集,用广义相加混合模型等方法,发现语义相关性是有前景的血氧水平依赖指标,扩展了语言理解计算模型。
2026-08-04 cs.CL
End-to-end contextual speech recognition using class language models and a token passing decoder
Facebook(脸书)
自动语音识别(ASR)的端到端建模(E2E)将传统语音识别系统的所有组件融合到一个统一的模型中。统一模型虽然简化了训练和解码流程,但在训练数据和测试数据不匹配的情况下难以适应。在这项工作中,我们专注于上下文语音识别,这是特别具有挑战性的E2E模型,因为它引入了显着的训练和测试数据之间的不匹配。为了提高性能,在复杂的上下文信息的存在下,我们建议使用基于类的语言模型(CLM),可以填充类与上下文相关的信息在实时。为了使这种方法能够扩展到大量的类成员,并尽量减少搜索错误,我们提出了一个令牌传递解码器,有效的令牌重组E2E系统的第一次。我们评估所提出的系统一般和上下文的ASR,并实现相对62%的字出错率(WER)减少上下文的ASR,而不损害一般ASR的性能。我们表明,该方法在不修改跨任务的解码超参数的情况下表现良好,使其成为E2E ASR的通用解决方案。
2018-12-05 cs.CL cs.LG
Layer-wise Minimal Pair Probing Reveals Contextual Grammatical-Conceptual Hierarchy in Speech Representations
Department of Electrical Engineering, Columbia University(哥伦比亚大学电气工程系)
本文首次系统评估多种语音语言模型中的上下文句法与语义特征,通过71个任务的最小对探测发现语音编码器普遍更稳健地编码语法特征而非概念特征。
2025-09-19 cs.CL eess.AS
Contextualized Translation of Automatically Segmented Speech
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
直接语音到文本翻译(ST)模型通常在句子级别分割的语料库上训练,但在推理时,它们通常由语音活动检测器(VAD)分割的音频提供。由于VAD分割不是句法通知的,因此所得到的片段不一定对应于说话者说出的格式良好的句子,而是最有可能对应于一个或多个句子的片段。这种分割不匹配大大降低了ST模型的输出质量。到目前为止,研究人员一直专注于改进音频分割,以产生类似音乐的分割。相反,在本文中,我们解决了模型中的问题,使其对不同的、潜在的次优分割更加鲁棒。为此,我们训练我们的模型随机分割的数据和比较两种方法:微调和添加前一段作为上下文。我们表明,我们的上下文感知解决方案对VAD分段输入更鲁棒,优于强基础模型和对英语-德语测试集的不同VAD分段的微调,最高可达4.25个BLEU点。
2020-08-05 cs.CL
Topics in Contextualised Attention Embeddings
University of Essex(埃塞克斯大学);University of Southampton(南安普顿大学)
通过预先训练的语言模型获得的上下文化的词向量编码已经在应用中被利用的各种知识。这些语言模型的补充是概率主题模型,它从文本中学习主题模式。最近的工作已经表明,进行聚类的词级上下文表示从语言模型模仿词集群中发现的潜在主题的词从潜在狄利克雷分配。重要的问题是,当语言模型没有被明确设计为对潜在主题进行建模时,如何通过聚类在该语言模型中自动形成这样的主题词聚类。为了解决这个问题,我们设计了不同的探针实验。使用BERT和DistilBERT,我们发现注意力框架在建模这样的词主题集群中起着关键作用。我们坚信我们的工作为进一步研究概率主题模型和预训练语言模型之间的关系铺平了道路。
2023-01-11 cs.CL cs.IR
From Documents to Segments: A Contextual Reformulation for Topic Assignment
LG AI Research(LG AI研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一种基于段落的主题分配方法(SBTA),通过将主题分配到短小且连贯的文本段落而非整个文档,以解决传统主题模型中文档多主题问题导致的主题污染问题,从而提升主题分析的清晰度和可解释性。
2026-05-18 cs.CL
Automatic Speech Recognition and Topic Identification for Almost-Zero-Resource Languages
The Johns Hopkins University(约翰斯·霍普金斯大学);Brno University of Technology(布尔诺理工大学);Raytheon BBN Technologies(雷神BBN技术公司)
自动语音识别(ASR)系统通常需要针对资源极低的语言来开发,以服务于诸如音频内容分类和搜索之类的最终用途。虽然当没有转录语音可用于训练一种语言的ASR系统时,考虑通用电话识别是很自然的,但是还需要研究使用非常少量(几分钟而不是几小时)的转录语音来适应通用电话模型,特别是使用最先进的基于DNN的声学模型。DARPA LORELEI计划为这种资源非常少的ASR研究提供了一个框架,并为评估人道主义援助和救灾环境中的ASR性能提供了一个外在指标。本文介绍了我们的Kaldi为基础的系统的程序,它采用了通用的电话建模方法ASR,并描述了非常快速适应这个通用的ASR系统的配方。我们获得的结果显著优于NIST LoReHLT 2017评估数据集上许多竞争方法获得的结果。
2018-06-18 cs.CL
Integrating Prosodic and Lexical Cues for Automatic Topic Segmentation
我们提出了一个概率模型,同时使用韵律和词汇线索的自动分割语音成主题连贯的单位。我们提出了两种方法结合使用隐马尔可夫模型和决策树的词汇和韵律信息。从语音识别器中获取词汇信息,从语音波形中自动提取韵律特征。我们评估我们的方法上的广播新闻语料库,使用DARPA-TDT评估指标。结果表明,单独的韵律模型是有竞争力的基于词的分割方法。此外,我们实现了一个显着减少错误相结合的韵律和基于单词的知识源。
2001-05-31 cs.CL
A Cost-aware Study of Depression Language on Social Media using Topic and Affect Contextualization
Universidad Politécnica de Madrid(马德里理工大学)
本文提出基于机器学习的社交媒体抑郁症检测系统,结合集成学习与主题情感上下文化策略,并分析模型能耗以权衡分类性能与计算成本。
2023-06-30 cs.CL
Evaluation of Hate Speech Detection Using Large Language Models and Geographical Contextualization
Iowa State University(爱荷华州立大学)
本研究提出三维评估框架,系统测试三个大语言模型在多语言地理情境下的仇恨言论检测性能,揭示准确性、情境理解与鲁棒性间的权衡,为开发情境化检测系统奠定基础。
2025-02-26 cs.CL cs.LG
Exploring the topics, sentiments and hate speech in the Spanish information environment
University of Murcia(穆尔西亚大学)
本研究分析西班牙五家媒体2021年1月33万余条评论与推文,用BERTopic提取81个话题,发现社会与政治话题主导,内容以负面为主,仇恨言论虽低但毒性高。
2024-09-19 cs.CL
Benchmarking Contextual and Paralinguistic Reasoning in Speech-LLMs: A Case Study with In-the-Wild Data
Institute of Infocomm Research (I 2 R)(信息通信研究所)
针对语音大语言模型在副语言推理上的不足,提出CP-Bench基准,通过两个QA数据集评估模型整合言语与非言语线索的能力,揭示现有评估空白,为构建情感智能语音模型提供方向。
2025-09-24 cs.AI cs.CL
Contextual Paralinguistic Data Creation for Multi-Modal Speech-LLM: Data Condensation and Spoken QA Generation
Agency for Science, Technology and Research (A ⋆ ⋆ \star ⋆ STAR)(科技研究局);Institute for Infocomm Research (I 2 R)(信息通信研究所)
本文提出首个从自然场景语音中生成上下文副语言问答数据集的框架,通过伪副语言标签数据浓缩和LLM生成CPQA,验证了其有效性并揭示了现有语音LLM在共情推理上的不足。
2025-06-03 cs.AI cs.CL eess.AS
Zero-Shot Stance Detection using Contextual Data Generation with LLMs
Iran University of Science and Technology(伊朗科技大学)
针对立场检测标注数据稀缺问题,提出结合少样本学习与 LLM、在测试时用 GPT-3 生成主题数据的 DyMoAdapt,并构建多主题 MGT-VAST 数据集;实验提升未达预期。
2024-05-19 cs.CL
Towards Event Extraction from Speech with Contextual Clues
Southeast University(东南大学);Monash University(莫纳什大学)
针对语音语义事件抽取探索不足的问题,本文提出SpeechEE任务,构建相关数据集,采用带上下文线索的序列到结构生成范式及扁平化事件表示,实现了显著的性能提升。
2024-01-27 cs.CL cs.MM
Contextual Earnings-22: A Speech Recognition Benchmark with Custom Vocabulary in the Wild
Argmax, Inc.(Argmax公司);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出Contextual Earnings-22基准测试,通过真实自定义词汇场景推动研究,揭示潜在进展。关键词提示和增强方法在扩展到大规模系统时表现出色。
2026-03-28 cs.AI cs.CL cs.SD
Contextualized Automatic Speech Recognition with Dynamic Vocabulary Prediction and Activation
Northwestern Polytechnical University(西北工业大学);Chongqing Changan Automobile Co., Ltd.(重庆长安汽车有限公司)
针对ASR中子词独立增强损害短语完整性的问题,提出基于动态词表预测与激活的短语级语境化ASR方法,引入偏置损失和置信度激活解码,在Librispeech和Wenetspeech上显著降低WER。
2025-05-29 cs.CL cs.SD eess.AS
Speak in Context: Multilingual ASR with Speech Context Alignment via Contrastive Learning
Institute for Analytics and Data Science, University of Essex(数据分析与科学研究所,埃塞克斯大学);School of Computer Science and Electronic Engineering, University of Essex(计算机科学与电子工程学院,埃塞克斯大学)
本文提出一种基于对比学习的多语言语音识别框架,通过语境对齐提升识别性能,支持多种语言和口音,实现语音与上下文的高效交互。
2026-08-19 cs.CL
CEMTM: Contextual Embedding-based Multimodal Topic Modeling
本研究提出上下文增强的多模态主题模型CEMTM,利用微调LVLMs的上下文嵌入与分布注意力机制,通过重构目标对齐跨模态语义,无需重复编码处理多图,在六个基准上优于基线,在少样本检索和复杂领域语义捕捉上表现出色。
2025-10-05 cs.CL cs.LG
Elderly-Contextual Data Augmentation via Speech Synthesis for Elderly ASR
Department of Computer Science and Artificial Intelligence, Dongguk University(计算机科学与人工智能系,东国大学);Department of Biostatistics, Harvard University(生物统计学系,哈佛大学)
本文通过结合大语言模型和语音合成技术,解决老年人ASR数据稀缺问题,实验表明方法有效降低WER达58.2%。
2026-04-15 cs.CL cs.SD
Reusing Latent Speech Representations for Query-Conditioned Topic Localization in Transcripts
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡应用科学大学)
本文研究查询条件主题定位,通过复用ASR编码器状态与文本嵌入融合,实现无需额外音频编码器的轻量级跨度定位,在公开数据集上超越纯文本基线,对结构化语音效果最佳。
2026-09-21 cs.CL eess.AS
Lifelong Neural Topic Learning in Contextualized Autoregressive Topic Models of Language via Informative Transfers
Technische Universität München(慕尼黑工业大学);TUM(慕尼黑工业大学);Siemens AG(西门子股份公司);LMU(慕尼黑大学)
LDA、DocNADE、iDocNADEe等主题模型在文档分析中得到了广泛的应用。然而,传统的主题模型有几个局限性,包括:(1)词袋(BoW)假设,其中它们忽略了单词排序,(2)数据稀疏,其中由于有限的单词共现,主题模型的应用具有挑战性,导致不连贯的主题,以及(3)没有用于终身主题学习的持续学习框架,利用历史知识(或潜在主题)和最小化灾难性遗忘。本文的研究重点是在神经主题建模框架下解决上述问题。我们建议:(1)结合主题和语言模型并引入语言结构(如词序、句法和语义特征等)的语境化主题模型在主题建模中,(2)将一种新的终身学习机制引入神经主题建模框架,以证明连续文档集合中的连续学习和最小化灾难性遗忘。此外,我们执行一个选择性的数据增强,以减轻在数据幻觉或重放过程中需要完整的历史语料库。
2019-09-29 cs.CL cs.IR cs.LG
CLARITY: Contextual Linguistic Adaptation and Accent Retrieval for Dual-Bias Mitigation in Text-to-Speech Generation
CLARITY通过双信号优化缓解文本到语音生成中的双偏见问题,通过语境语言适应和检索增强口音提示提高口音准确性和公平性。
2026-02-17 cs.CL cs.SD
SpeechLLMs for Large-scale Contextualized Zero-shot Slot Filling
Uniphore
本文针对口语理解中的槽位填充任务,利用speechLLMs建立经验上界,通过改进训练数据、架构和策略显著缩小性能差距,实现零样本泛化。
2025-10-17 cs.CL cs.LG
Incorporating Contextual Paralinguistic Understanding in Large Speech-Language Models
Institute for Infocomm Research (I 2 R), Agency for Science, Technology
针对Speech-LLMs共情推理受限于缺乏整合语境与副语言线索数据集的问题,提出显式与隐式两种结合语境副语言信息的训练方法,在人工标注QA基准上性能显著提升,并验证了LLM评判的可靠性。
2025-08-10 cs.AI cs.CL eess.AS
Contextualized Streaming End-to-End Speech Recognition with Trie-Based Deep Biasing and Shallow Fusion
Facebook AI
如何在端到端语音识别中充分利用动态上下文信息一直是一个活跃的研究领域。以前解决这个问题的方案要么是针对特殊用例设计的,这些用例不能很好地推广到开放域场景,不能扩展到大型偏置列表,或者在罕见的长尾词上表现不佳。我们通过提出一种新的解决方案来解决这些限制,该解决方案结合了浅层融合、基于trie的深度偏置和神经网络语言模型上下文化。这些技术导致显着的19.5%的相对字出错率改善现有的上下文偏置方法和5.4%-9.3%的改善相比,一个强大的混合基线上的开放域和受约束的上下文任务,其中的目标包括大多数罕见的长尾词。我们的最终系统仍然是轻量级和模块化的,允许快速修改,而无需模型重新训练。
2021-06-11 cs.CL cs.LG eess.AS
Contextualized End-to-end Automatic Speech Recognition with Intermediate Biasing Loss
Honda Research Institute Japan Co., Ltd.(日本本田研究所);Carnegie Mellon University(卡内基梅隆大学)
针对现有上下文化端到端语音识别忽略中间层上下文知识的问题,提出在编码器中间层加入显式偏置损失的方法,在LibriSpeech语料库上显著降低词错误率,提升模型鲁棒性。
2024-06-23 cs.CL cs.SD eess.AS
Prosodic Representation Learning and Contextual Sampling for Neural Text-to-Speech
Amazon Research(亚马逊研究院)
在本文中,我们介绍了Kathaka,一个新的两阶段训练过程的神经语音合成与上下文适当的韵律训练模型。在第一阶段,我们从训练过程中可用的梅尔频谱图中学习句子级别的韵律分布。在第二阶段,我们提出了一种新的方法,从这个学习的韵律分布使用文本中的上下文信息进行采样。为此,我们在文本上使用BERT,在从文本中提取的解析树上使用图形注意力网络。与录音相比,我们显示出$13.2\%$在强基线上自然度的统计学显著相对改善。我们还对我们的采样技术的变化进行了消融研究,并显示在每种情况下,在基线上有统计学意义的改善。
2020-11-04 cs.CL cs.SD eess.AS
Learned In Speech Recognition: Contextual Acoustic Word Embeddings
Carnegie Mellon University(卡内基梅隆大学)
端到端的声学到词语音识别模型最近得到了普及,因为它们易于训练,可以很好地扩展到大量的训练数据,并且不需要词典。此外,单词模型也可以更容易地与下游任务(例如口语语言理解)集成,因为推理(搜索)与音素、字符或任何其他种类的子单词单元相比简化得多。在本文中,我们描述的方法来构建上下文声学词嵌入直接从监督序列到序列的声学到词的语音识别模型使用学习的注意力分布。在一组16个标准句子评估任务中,我们的嵌入显示出与在语音传输上训练的word2vec模型相比具有竞争力的性能。此外,我们评估这些嵌入在语言理解任务,并观察到,我们的嵌入匹配的性能,基于文本的嵌入在管道中的第一次执行语音识别,然后从transmittance构建词嵌入。
2019-02-18 cs.CL cs.SD eess.AS
Automatic Text Pronunciation Correlation Generation and Application for Contextual Biasing
Institute of Acoustics, CAS(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出自动文本发音相关性(ATPC)方法,利用语音与文本标注对齐和语音嵌入距离比较,在无需人工发音词典的情况下提升端到端语音识别的上下文偏置性能。
2025-01-01 cs.CL eess.AS
Contextual Adapters for Personalized Speech Recognition in Neural Transducers
Amazon Alexa(亚马逊Alexa)
由于缺乏训练数据,端到端自动语音识别(E2E ASR)模型中的个人稀有词识别是一个挑战。解决这个问题的标准方法是在推理时使用浅层融合方法。然而,由于它们依赖于外部语言模型和确定性的方法来提高权重,它们的性能是有限的。在本文中,我们提出了在基于神经换能器的ASR模型中训练用于个性化的神经上下文适配器。我们的方法不仅可以偏向用户定义的单词,而且可以灵活地使用预训练的ASR模型。使用内部数据集,我们证明了上下文适配器可以应用于任何通用的预训练ASR模型,以提高个性化。我们的方法优于浅层融合,同时通过不改变任何模型权重来保留预训练模型的功能。我们进一步表明,适配器风格的训练优于在具有用户定义内容的数据集上对ASR模型进行全微调。
2022-05-26 cs.CL cs.LG
Improving End-to-End Contextual Speech Recognition with Fine-Grained Contextual Knowledge Selection
Bytedance AI Lab(字节跳动人工智能实验室);Chinese Academy of Sciences(中国科学院)
目前,大多数端到端的上下文语音识别方法都偏向于上下文知识。由于全神经上下文偏置方法依赖于短语级上下文建模和基于注意力的相关性建模,因此它们可能会遇到类似的上下文特定短语之间的混淆,这会损害令牌级的预测。在这项工作中,我们专注于减轻混淆问题与细粒度的上下文知识选择(FineCoS)。在FineCoS中,我们引入了细粒度的知识来减少令牌预测的不确定性。具体来说,我们首先应用短语选择来缩小短语候选者的范围,然后对所选择的短语候选者中的标记进行标记注意。此外,我们重新规范化的最相关的短语在推理中的注意力权重,以获得更集中的短语级上下文表示,并注入位置信息,以更好地区分短语或令牌。在LibriSpeech和内部160,000小时的数据集上,我们探索了基于可控全神经偏置方法,协作解码(ColDec)的方法。所提出的方法提供了最多6.1%的相对字出错率减少LibriSpeech和16.4%的相对字符出错率减少内部数据集超过ColDec。
2022-03-02 cs.AI cs.CL cs.SD
From Oracle to Noisy Context: Mitigating Contextual Exposure Bias in Speech-LLMs
School of Computer Science and Technology, Xinjiang University, Urumqi, China(新疆大学计算机科学与技术学院,乌鲁木齐,中国);Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing, Urumqi, China(丝绸之路多语种认知计算联合国际研究实验室,乌鲁木齐,中国);Timekettle
本文提出统一训练框架,通过教师错误知识、上下文dropout和直接偏好优化提升语音大语言模型在真实历史下的鲁棒性,实验表明在预测历史解码中性能提升,且在无关上下文攻击下表现更稳健。
2026-03-25 cs.AI cs.CL
A Light-weight contextual spelling correction model for customizing transducer-based speech recognition systems
Microsoft(微软)
在基于传感器的自动语音识别(ASR)系统中,背景信息是动态的,在模型训练过程中是不可用的。在这项工作中,我们引入了一个轻量级的上下文拼写校正模型,以纠正上下文相关的识别错误,在基于传感器的ASR系统。我们将上下文信息与共享的上下文编码器的拼写校正模型,并使用过滤算法来处理大尺寸的上下文列表。实验表明,该模型提高了基线ASR模型的性能,相对词出错率降低了约50%,也明显优于上下文LM偏置等基线方法。该模型还显示出在训练过程中看不到的词汇表外术语的出色性能。
2021-08-17 cs.CL cs.LG cs.SD
Contextual Expressive Text-to-Speech
Alibaba DAMO Academy(阿里巴巴达摩院);Renmin University of China(中国人民大学)
表达性文本转语音(TTS)的目标是以高表达性合成具有期望内容、韵律、情感或音色的自然语音。以往的大多数研究都试图从给定的风格和情感标签中生成语音,这通过将风格和情感分类到固定数量的预定义类别中来过度简化问题。在本文中,我们介绍了一种新的任务设置,上下文TTS(CTTS)。CTTS的主要思想是,一个人说话的方式取决于他所处的特定上下文,其中上下文通常可以表示为文本。因此,在CTTS任务中,我们建议利用这样的上下文来指导语音合成过程,而不是依赖于风格和情感的明确标签。为了实现这一任务,我们构建了一个合成数据集,并开发了一个有效的框架。实验表明,我们的框架可以生成高质量的表达语音的基础上给定的背景下,无论是在合成数据集和现实世界的场景。
2022-11-26 cs.CL cs.LG cs.MM