The Prosody of Emojis
University of Edinburgh（爱丁堡大学）；NatWest；Aveni
研究探讨了表情符号如何影响语音表达，并揭示听众如何通过语音线索恢复表情符号的含义，发现语义差异越大，语音变化越明显，表明表情符号是连接数字文本和口语表达的语调载体。
2026-06-04 cs.CL
The Role of Prosody in Spoken Question Answering
University of Edinburgh（爱丁堡大学）；Apple MLR（苹果公司MLR部门）
针对口语语言理解研究中忽视韵律的问题，本研究在SLUE-SQA-5数据集上分离韵律与词汇信息，发现仅用韵律训练的模型有合理性能，但模型优先依赖词汇，需更有效的整合方法以发挥韵律的补充作用。
2025-02-08 cs.CL
Modeling Sarcastic Speech: Semantic and Prosodic Cues in a Speech Synthesis Framework
Speech Technology Lab, University of Groningen, Campus Fryslân, The Netherlands（格罗宁根大学弗里赛兰校区语音技术实验室，荷兰）；Center for Language and Cognition, University of Groningen, The Netherlands（格罗宁根大学语言与认知中心，荷兰）
提出一个计算框架，通过整合语义和韵律线索建模讽刺，使用微调LLaMA 3模型提取语义线索，从讽刺语音数据库提取韵律线索，语音合成测试表明两者结合能增强讽刺感知。
2026-06-16 cs.CL cs.SD eess.AS
Using Information Theory to Characterize Prosodic Typology: The Case of Tone, Pitch-Accent and Stress-Accent
Georgetown University（杰斐逊大学）；University of Zürich（苏黎世大学）；ETH Zürich（苏黎世联邦理工学院）；UC San Diego（圣地亚哥大学）；MIT（麻省理工学院）
本文利用信息论刻画词汇身份与韵律的关系，发现声调语言中文本与音高曲线的互信息高于重音语言，支持语言类型学渐变观。
2025-05-30 cs.CL
Prosodic Structure Beyond Lexical Content: A Study of Self-Supervised Learning
University of Edinburgh（爱丁堡大学）；Centre for Speech Technology Research（语音技术研究中心）
本文利用自监督学习提出 Masked Prosody Model，研究韵律声学结构的时间粒度，发现其对词边界等局部标签和情感识别等长时程标签均有增益，且优于传统音高、能量和语音活动特征。
2025-06-03 cs.AI cs.CL eess.AS
Prosody-Based Automatic Segmentation of Speech into Sentences and Topics
在处理语音音频数据以进行信息抽取、主题检测或浏览/回放的过程中，关键的一步是将输入分割成句子和主题单元。语音分割是具有挑战性的，因为通常用于分割文本（标题、段落、标点符号）的线索在口语中不存在。我们调查使用韵律（信息收集的时间和旋律的讲话）为这些任务。使用决策树和隐马尔可夫模型技术，我们结合韵律线索与基于词的方法，并评估两个语音语料库，广播新闻和总机的性能。结果表明，单独的韵律模型的表现与基于单词的统计语言模型相当，甚至更好-无论是真实的和自动识别的话在新闻讲话。韵律模型实现了相当的性能与显着更少的训练数据，不需要手工标记的韵律事件。在任务和语料库中，我们获得了显着的改善，只有单词模型使用的韵律和词汇信息的概率组合。检查发现，韵律模型捕获的语言独立的边界指标中描述的文献。最后，线索使用是任务和语料库依赖。例如，停顿和音高特征对于分割新闻语音是高度信息化的，而停顿、持续时间和基于单词的线索对于自然对话占主导地位。
2000-06-27 cs.CL
Combining Prosodic, Voice Quality and Lexical Features to Automatically Detect Alzheimer's Disease
Universitat Pompeu Fabra（庞培法布拉大学）
阿尔茨海默氏症（AD）是当今最常见的痴呆症形式，其自动检测可以帮助在早期阶段识别症状，从而可以采取预防措施。此外，基于语音数据的非侵入性技术对于AD自动检测系统的开发至关重要。在这种情况下，本文提出的贡献ADReSS挑战，旨在提高AD自动检测自发的语音。为此，来自108名年龄、性别和AD状况平衡的参与者的录音被用作训练集来执行两个不同的任务：AD/非AD状况的分类和对简易精神状态检查（MMSE）分数的回归。这两项任务都是基于韵律和语音质量从语音中提取28个特征，基于词汇和话轮转换信息从transmix中提取51个特征。我们的结果实现了高达87.5%的分类精度使用随机森林分类器，和4.54的RMSE使用线性回归与随机梯度下降在提供的测试集。这显示了通过语音和词汇特征自动检测阿尔茨海默病的有希望的结果。
2020-11-18 cs.CL cs.SD eess.AS
Giving Attention to the Unexpected: Using Prosody Innovations in Disfluency Detection
University of Washington（华盛顿大学）
自发言语中的不流利被认为与韵律中断有关。然而，大多数用于不流利检测的算法仅使用单词转录。整合韵律线索已被证明是困难的，因为影响声学相关的可变性的许多来源。本文介绍了一种新的方法来提取声学韵律线索，使用基于文本的分布式预测的声学线索，以获得矢量z分数功能（创新）。我们探索早期和晚期融合技术，整合文本和韵律，显示收益超过一个高精度的纯文本模型。
2019-04-08 cs.AI cs.CL
Representation of perceived prosodic similarity of conversational feedback
KTH Royal Institute of Technology（皇家理工学院）
本研究探究词汇形式相同的语音反馈的感知韵律相似性及现有语音表征的反映程度，通过三元比较任务实验发现频谱和自监督语音表征的韵律编码效果优于基频特征，且可通过对比学习优化表征与人类感知的对齐。
2025-05-19 cs.AI cs.CL cs.LG
When Models Hear What They Expect: Diagnosing Prosodic Heuristics in Multimodal Sarcasm Detection
Magellan Technology Research Institute (MTRI)（麦哲伦技术研究所（MTRI））；Center for Language and Cognition, University of Groningen（格罗宁根大学语言与认知中心）
本文以讽刺检测为切入点，评估Qwen2.5-Omni等多模态大语言模型，发现模型依赖音高升高、停顿不规则的韵律刻板印象，操控该维度可使假阳性率达60%，且该效应可跨模型复现。
2026-09-01 cs.CL
ProsAudit, a prosodic benchmark for self-supervised speech models
PSL Research University（巴黎文理研究大学）；ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；EHESS（法国高等社会科学研究院）；INRIA（法国国家信息与自动化研究所）；Université Paris Cité（巴黎西岱大学）；Bielefeld University（比勒费尔德大学）；INRAE（法国国家农业、食品与环境研究院）；Institut Agro（农业研究院）；Meta AI Research（Meta人工智能研究院）
本文提出 ProsAudit 基准，通过原型句法和词汇两个子任务评估自监督语音模型的韵律知识，发现模型均优于随机水平，且数据规模和词汇知识对性能有显著影响。
2023-06-01 cs.CL cs.SD eess.AS
Exploring BERT's Sensitivity to Lexical Cues using Tests from Semantic Priming
Purdue University（普渡大学）；University of Chicago（芝加哥大学）
在自然语言处理中，被训练来估计上下文中的单词概率的模型已经变得无处不在。这些模型如何使用上下文中的词汇线索来告知他们的单词概率？为了回答这个问题，我们提出了一个案例研究，分析了预先训练的BERT模型与语义启动的测试。使用英语词汇刺激，显示在人类启动，我们发现，BERT也显示“启动”，预测一个词的概率更大时，上下文包括一个相关的词与一个无关的。这种影响随着上下文提供的信息量的增加而减少。后续分析表明，随着上下文信息量的增加，BERT越来越多地被相关的启动词分散注意力，相关词的概率越来越低。我们的研究结果强调了在这些模型中研究单词预测时考虑上下文约束效应的重要性，并强调了与人类处理的可能相似之处。
2020-10-06 cs.CL
SAMPA: Transformer-based segmentation of prosodic boundaries in Brazilian Portuguese
ICMC（Instituto Superior Técnico）；University of Lisbon（里斯本大学）
研究巴西葡萄牙语韵律边界分割问题，基于Whisper提出SAMPA分割器，通过微调及评估不同配置，在多数据集测试中取得有竞争力的边界检测性能，模型能遵循多种线索检测韵律边界。
2026-10-27 cs.AI cs.CL
Veracity Computing from Lexical Cues and Perceived Certainty Trends
Saarland University（萨尔大学）
我们提出了一种数据驱动的方法来确定一组社交媒体数据上的谣言索赔的真实性。来自不同来源的与谣言有关的推文在三个层面上进行处理：首先，基于与我们的新闻用例相关的四个文本提示类别，为每条推文分配真实性值;这些合并了在确定性和猜测方面的极性和承诺方面的发言者支持。接下来，这些词汇线索的比例被用作广义线性回归模型中推文确定性的预测因子。随后，词汇线索的比例，预测的确定性，以及他们的时间过程中的特点是用来计算准确性为每个谣言的身份谣言解决鸣叫和其二进制分辨率值判断。该系统的运作不需要语言外的资源。在手工标记的示例可用的数据部分上进行评估，它在识别谣言解决推文方面获得了.74 F1分数，在预测谣言是否被解决为真或假方面获得了.76 F1分数。
2016-11-11 cs.CL
Morphological Cues for Lexical Semantics
大多数自然语言处理任务需要词汇语义信息。因此，自动获取这些信息将增加NLP系统的鲁棒性和可移植性。本文描述了一种利用派生词缀与词汇语义信息之间的固定对应关系的习得方法。这种方法和其他只依赖于语言表面特征的方法的一个优点是，必要的输入是当前可用的。
1996-06-04 cmp-lg cs.CL
VowelPrompt: Hearing Speech Emotions from Text via Vowel-level Prosodic Augmentation
Meta Superintelligence Labs（Meta超智能实验室）；Arizona State University（亚利桑那州立大学）；Massachusetts Institute of Technology（麻省理工学院）
VowelPrompt通过元音层面的语调增强，提升LLM在语音情感识别中的表现并生成可解释的解释。
2026-02-06 cs.CL
It's not what you said, it's how you said it: discriminative perception of speech as a multichannel communication system
University of Edinburgh（爱丁堡大学）
人们通过口语交流非常有效地传递信息，使用多个信息传递渠道：词汇渠道说什么，以及非词汇渠道如何说。我们建议研究人类对口语交流的感知，以更好地了解信息是如何通过这些渠道编码的，重点是“什么特征的交际环境影响听众的期望讲话？”'.为了研究这一点，我们提出了一种新的行为任务测试是否可以区分真正的话语在对话和话语采样从其他上下文中具有相同的词汇内容。我们的特点是如何感知-和随后的辨别能力-受到不同程度的额外的上下文信息在词汇和非词汇的语音通道。结果表明，人们可以有效地区分不同的韵律实现，即非词汇上下文是信息丰富的，这个渠道提供了更多的显着信息比词汇渠道，突出的非词汇渠道在口语互动的重要性。
2021-08-10 cs.CL
Do Audio LLMs Really LISTEN, or Just Transcribe? Measuring Lexical vs. Acoustic Emotion Cues Reliance
Department of Linguistics, The Ohio State University, USA（语言学系，俄亥俄州立大学）；Department of Computer Science and Engineering, The Ohio State University, USA（计算机科学与工程系，俄亥俄州立大学）；Department of Information Sciences and Technology, Penn State University, USA（信息科学与技术系，宾夕法尼亚州立大学）；Amazon, USA（亚马逊公司）
本研究提出LISTEN基准，评估六个音频大语言模型，发现它们主要依赖词汇而非声学线索，在情感理解上表现为“转录”而非“倾听”，并提供了评估框架。
2025-10-17 cs.AI cs.CL
Combining Acoustics, Content and Interaction Features to Find Hot Spots in Meetings
Microsoft（微软）
参与热点已被提出作为一个有用的概念，会议分析和研究断断续续超过15年。这些是由人类注释者判断的以高参与者参与为标志的会议区域。然而，之前的工作要么不是在正式的机器学习环境中进行的，要么只关注可能的会议功能或下游应用程序（如摘要）的子集。在本文中，我们调查在何种程度上各种声学，语言和语用方面的会议，无论是在孤立和联合，可以帮助检测热点。在这种情况下，openSMILE工具包是用来提取特征的基础上的声学韵律线索，BERT词嵌入用于编码的词汇内容，和各种统计的基础上的语音活动被用来描述参与者之间的口头互动。在实验中的注释ICSI会议语料库，我们发现，词汇模型是最翔实的，与互动和声学韵律模型组件的增量贡献。
2020-02-14 cs.CL
Automatic lexical semantic classification of nouns
Universitat Pompeu Fabra（庞培法布拉大学）
我们在这里提出的工作地址基于线索的英语和西班牙语的名词分类。其主要目标是通过将名词分类到已知的名词词汇类中来自动获取词汇语义信息。这是通过使用语言语境的特定方面作为识别特定词汇类的线索来实现的。在这里，我们集中在识别这些线索的任务和理论背景，允许评估任务的复杂性。结果表明，尽管任务的先验复杂性，基于线索的分类是一个有用的工具，在自动获取词汇语义类。
2013-03-08 cs.CL
Assessing the Ability of Neural TTS Systems to Model Consonant-Induced F0 Perturbation
University at Buffalo（布法罗大学）；Australian National University（澳大利亚国立大学）
本文提出一种段级声学探针框架，评估神经TTS模型对辅音诱导F0扰动的再现能力，发现高频率词汇表现准确，但低频率词汇泛化差，表明系统更依赖词汇级记忆而非抽象段级声学编码。
2026-03-22 cs.AI cs.CL cs.SD
Why is "Chicago" Predictive of Deceptive Reviews? Using LLMs to Discover Language Phenomena from Lexical Cues
Amazon（亚马逊）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
本文研究LLMs能否将微妙的词汇线索转化为人类可理解的语言现象，提出猜想-验证框架，证明其在数据上具有实证基础，可跨领域推广且比传统方法更有效。
2026-05-13 cs.CL cs.LG
Hear2Act: Benchmarking When Prosody Should Change What an Assistant Does
Amazon（亚马逊公司）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University College London（伦敦大学学院）
该研究推出 Hear2Act 基准，评估发现词汇证据不足时韵律对助手决策很重要，具备音频能力的 LLM 能从语音恢复信息但需显式中间表示才能可靠转化为行动。
2026-10-20 cs.CL
Lexical Access Model for Italian -- Modeling human speech processing: identification of words in running speech toward lexical access based on the detection of landmarks and other acoustic cues to features
Massachusetts Institute of Technology (MIT)（麻省理工学院）；Sapienza University of Rome（罗马大学）；Radcliffe Institute for Advanced Study, Harvard University（哈佛大学拉德克利夫高级研究所）
为了模拟听者在推导出说话者想要表达的词语时所激发的过程，需要对词汇项如何存储在记忆中设定一个假设。这项工作的目的是开发一个系统，模仿人类识别运行语音中的单词，并以这种方式，提供一个框架，以更好地理解人类的语音处理。我们建立了一个语音识别器为意大利语的基础上史蒂文斯的词汇访问模型的原则，其中单词存储为层次安排的区别性特征（史蒂文斯，K。n.（2002年）的报告。"Toward a model for lexical access based on acoustic landmarks and distinct features，" J. Acoust. Soc. Am.，111（4）：1872 - 1891）。在过去的几十年里，麻省理工学院（MIT）的语音通信组基于这种方法开发了一个英语语音识别系统。意大利语将是英语之外的第一种语言;扩展到另一种语言提供了一个机会来测试假设，即单词在记忆中表示为一组分层排列的独特特征，并揭示哪些潜在机制可能具有语言独立性。本文还介绍了一个新的词汇访问语料库，LaMIT数据库，创建和标记专门为这项工作，将免费提供给语音研究社区。未来的发展将测试这一假设，即特定的声学不连续性-称为地标-作为特征的线索，是语言独立的，而其他线索可能是语言依赖的，这对理解人类大脑如何识别语音具有重要意义。
2021-06-24 cs.CL cs.SD eess.AS
Dialogue Act Modeling for Automatic Tagging and Recognition of Conversational Speech
我们描述了一种用于对会话语音中的对话行为进行建模的统计方法，即，类似言语行为的单元，如陈述、问题、反向通道、同意、不同意和道歉。我们的模型检测和预测的基础上的词汇，搭配，韵律线索，以及对话行为序列的话语连贯性的对话行为。对话模型是基于治疗会话的话语结构作为一个隐藏的马尔可夫模型和个人的对话行为的观察，从模型的状态。通过对话行为n-gram对可能的对话行为序列进行约束建模，将统计对话语法与单词n-gram、决策树和神经网络相结合，对每个对话行为的特殊词汇和韵律表现进行建模。我们开发了一个概率集成的语音识别与对话建模，以提高语音识别和对话行为分类的准确性。使用来自自发的人对人电话语音的Switchboard语料库的1，155个会话的大型手动标记数据库来训练和评估模型。我们实现了良好的对话行为标记准确率（65%基于错误，自动识别的单词和韵律，71%基于单词成绩单，相比之下，机会基线准确率为35%，人类准确率为84%）和单词识别错误的小幅减少。
2000-10-26 cs.CL
Disentangling segmental and prosodic factors to non-native speech comprehensibility
Texas A&M University（德克萨斯农工大学）
本研究提出一种口音转换系统，分离音段与韵律特征，发现音段特征对非母语语音可理解性影响更大，可用于研究社会态度。
2024-08-20 cs.CL eess.AS
Prosody leaks into the memories of words
University of Florida（佛罗里达大学）；Yale University（耶鲁大学）
一个词在上下文中的平均可预测性（又名信息性）已经被证明是词持续时间的条件（Seyfarth，2014）。在其他条件相同的情况下，倾向于出现在更可预测的环境中的单词比倾向于出现在更不可预测的环境中的单词更短。信息量对持续时间的影响的一个解释是，概率还原的声学细节被存储为单词心理表征的一部分。其他研究认为，可预测性效应与韵律结构有着不可分割的联系。为了评估潜在的韵律基础上的信息性影响的语音生产，本研究扩展了过去的工作在两个方向;它调查了信息性影响，在另一个大的语言，普通话，并扩大了研究超出字的持续时间额外的声学尺寸，音高和强度，已知的索引韵律突出。内容词的声学信息是从一个大型的电话交谈语音语料库中提取的，该语料库具有超过40万个标记和由1,655个个体说出的6,000个词类型，并使用从4.31亿字的字幕语料库中估计的频率统计来分析信息性的效果。结果表明，低信息量的单词持续时间较短，复制在英语中发现的效果。此外，信息度对与韵律突显相关的最大音高和强度两个语音维度有显著影响。扩展这种解释，这些结果表明，可预测性是密切相关的韵律突出，和词汇表示的一个词，包括语音细节与其平均韵律突出的话语。换句话说，词汇吸收了韵律对言语产生的影响。
2020-12-29 cs.CL cs.SD eess.AS
Aligning Backchannel and Dialogue Context Representations via Contrastive LLM Fine-Tuning
Department for Speech, Music and Hearing（语音、音乐与听觉系）
本文提出双阶段框架，通过对话转录微调大语言模型获取上下文表示，并学习对话上下文和反馈通道表示的联合嵌入空间，实验表明学习的投影显著提升了上下文-反馈通道检索性能。
2026-04-17 cs.AI cs.CL cs.LG
Represented but Ignored: A Causal Account of Prosodic Underuse in Audio-Language Models
University of Connecticut（康涅狄格大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究针对音频语言模型（audio-LLM）韵律使用不足的问题，通过阶段特定探测阶梯与隐藏状态干预实验，发现模型能表征韵律却未在输出中表达，瓶颈在于韵律的使用而非感知。
2026-08-21 cs.AI cs.CL cs.SD
PRISM: Prosody-Integrated Multi-Agent Reasoning Framework for Empathetic Spoken Dialogue
School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）
提出PRISM多智能体框架，通过解耦语音感知、响应生成和语音合成，并引入韵律到语言翻译机制，实现共情口语对话中的韵律适当性和知识集成。
2026-06-12 cs.CL
Aligning a Parallel English-Chinese Corpus Statistically with Lexical Criteria
我们描述了我们的经验与自动对齐的句子在平行的英汉文本。我们的报告涉及三个相关的主题：（1）香港科技大学英汉双语平行语料库的进展;（2）Gale & Church的基于长度的统计方法对非印欧语言对齐任务的适用性实验;（3）改进的统计方法，也结合了特定领域的词汇线索。
1994-06-02 cmp-lg cs.CL
Support-Contra Asymmetry in LLM Explanations
Hewlett Packard Enterprise（慧与科技公司）
研究探讨了大语言模型生成的解释与外部模型提取的预测词汇证据之间的关系，发现正确预测的解释更倾向于引用支持性词汇，而错误预测的解释则更多引用矛盾性词汇，揭示了解释与证据之间的不对称性。
2026-04-02 cs.AI cs.CL
Computational Induction of Prosodic Structure
Bielefeld University（比勒费尔德大学）
本研究有两个目标与韵律的语法，理解为语音的节奏和旋律。首先，概述了可计算的语法和语音的韵律分析方法，使用假设演绎的方法，是基于学习解释学的直觉语言。其次，提出了一个建议，在物理信号中的感应接地，其中韵律结构推断使用语言无关的方法从低频谱的语音信号。概述包括标准生成和生成后模型的计算方面的讨论，并建议重新制定这些形成归纳的方法。还包括讨论的语言语音学方法来分析注释（对语音单元标签与时间戳）记录的口语。该提案介绍了节奏形式化理论（RFT）的归纳方法和相关的节奏形式化分析（RFA）方法，其目的是通过建立一个独立于语言的语音信号分析归纳程序来完成语言假设演绎循环中的空白。该方法的有效性进行了论证，并适用于朗读普通话的节奏模式，发现与英语的差异，这是有关的语言之间的词汇和语法的差异，以及个人的变化。总的结论是：（1）考虑到由于体裁和风格差异以及话语动态而产生的各种语言内部因素，规范的语言与语言之间的节奏的语音或语音比较（例如汉语和英语）过于简单化;（2）需要语言独立的物理信号中的节奏经验基础。
2019-12-15 cs.CL cs.SD eess.AS
A Framework for Evaluation of Machine Reading Comprehension Gold Standards
University of Manchester（曼彻斯特大学）
机器阅读理解（MRC）是在一段文本上回答问题的任务。虽然神经MRC系统越来越受欢迎，并取得了显着的性能，但用于建立其性能的方法，特别是关于用于评估它们的黄金标准的数据设计的问题正在提出。对这些数据中存在的挑战的理解有限，这使得很难进行比较并提出可靠的假设。作为缓解问题的第一步，本文提出了一个统一的框架，系统地调查目前的语言特征，所需的推理和背景知识和事实的正确性，一方面，和存在的词汇线索作为一个下限的要求理解另一方面。我们提出了一个定性的注释模式和一组近似度量后者。在该框架的第一次应用中，我们分析了现代MRC黄金标准并提出了我们的发现：缺乏导致词汇歧义的特征、预期答案的不同事实正确性以及词汇线索的存在，所有这些都可能降低阅读理解的复杂性和评估数据的质量。
2020-03-10 cs.CL
Autism Detection in Speech -- A Survey
University of Applied Sciences（应用技术大学）；Darmstadt（达姆施塔特）
本文综述了利用语音、语言和声学线索检测自闭症的多领域研究，指出女性患者研究不足、NLP方法偏传统机器学习且缺乏音频与文本特征融合研究。
2024-02-20 cs.CL
Enhancing Speech Emotion Recognition with Graph-Based Multimodal Fusion and Prosodic Features for the Speech Emotion Recognition in Naturalistic Conditions Challenge at Interspeech 2025
Federal University of Goiás（戈亚斯联邦大学）；Federal University of Rio Grande do Norte（北里奥格兰德联邦大学）；Aeronautics Institute of Technology（航空技术研究所）；Federal University of Mato Grosso（马托格罗索联邦大学）
本文面向 INTERSPEECH 2025 自然条件语音情感识别挑战赛，提出结合先进音频模型、韵律与频谱增强文本特征、F0 量化和集成学习的鲁棒系统，并验证图注意力网络融合有效性，测试集 Macro F1 达 39.79%。
2025-06-02 cs.CL cs.LG cs.SD
On the Lexical Superstition of Large Language Models for Code Comprehension: Re-evaluation on Code of Low Lexical Quality
Nanjing University（南京大学）
本研究通过Face/Off重命名框架揭示LLMs在代码理解中过度依赖词汇线索，即使误导性命名也影响输出，且难以通过干预消除，呼吁平衡词汇与结构语义。
2026-09-23 cs.CL cs.LG cs.SE
A Novel Sentence Stress Detection Framework Leveraging Auxiliary Word-Stress Modeling and Loss Optimization
National Taiwan Normal University（台湾师范大学）
本文提出一种结合辅助词重音建模与词跨度正则化的句子重音检测框架，在TinyStress-15K基准上取得最优性能。
2026-10-07 cs.CL eess.AS
Lexical Co-occurrence, Statistical Significance, and Word Association
IIT Bombay（印度理工学院孟买分校）；Microsoft Research India（微软印度研究院）
词汇同现是检测词汇联想的重要线索。我们提出了一个理论框架，发现统计上显着的词汇共现从一个给定的语料库。与普遍的做法给予权重的unigram频率相比，我们只关注包含两个术语（候选bigram）的文档。我们检测的相关词的跨度分布的偏见，而不可知的全球单字频率的变化。我们的框架具有保真度，区分不同类别的词汇同现，根据强度的文件和语料库水平的线索的同现数据。我们在基准数据集上进行了大量的实验，以研究目前文献中已知的各种同现措施的性能。我们发现，一个相对模糊的措施称为Ochiai，和一个新推出的措施CSA捕获词汇共现的概念最好的，其次是LLR，骰子，和TTest，而另一个流行的措施，PMI，令人惊讶的是，表现不佳的上下文中的词汇共现。
2010-08-31 cs.CL cs.IR
LLM-Anchored Paralinguistic Enrichment for Alzheimer's Disease Detection
Tianjin University（天津大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Fuzhou University（福州大学）；Huiyan Technology (Tianjin) Co., Ltd（慧眼科技（天津）有限公司）
针对阿尔茨海默病语音检测，提出LLM锚定的副语言增强方法，通过韵律事件文本化、词汇-韵律单元化和文本锚定融合，在ADReSS和ADReSSo上取得最先进性能。
2026-09-23 cs.CL cs.SD
The Truth and Nothing but the Truth: Multimodal Analysis for Deception Detection
Institute of Engineering and Technology（工程技术学院）；DA University（DA大学）；IIT BHU（印度理工学院（瓦拉纳西））；Nanyang Technological University（南洋理工大学）
我们提出了一个数据驱动的方法，在现实生活中的试验数据使用视觉和语言线索的自动欺骗检测。使用具有面部动作单元识别的OpenFace，我们分析了证人在提出问题时的面部特征的运动以及使用OpenSmile的声学模式。然后，我们对所说的话进行词法分析，强调停顿和话语中断的使用，将其馈送到支持向量机来测试欺骗或真理预测。然后，我们尝试了一种方法，将基于话语的视觉和词法分析的融合，使用基于字符串的匹配。
2019-03-11 cs.CL
Prosody-to-Text: Predicting text from low-pass filtered speech
Masaryk University（马萨里克大学）；Faculty of Informatics, Masaryk University（马萨里克大学信息学院）；Natural Language Processing Centre（自然语言处理中心）
该研究针对被忽视的韵律转文本任务，微调Whisper模型从低通滤波语音预测文本，取得WER36%等结果，揭示低频语音与词汇内容的强关联，或可用于指导LLM文本生成。
2026-10-09 cs.CL
Oh, Jeez! or Uh-huh? A Listener-aware Backchannel Predictor on ASR Transcriptions
本文研究对话中的反向信道建模，提出一种结合词汇、声学线索及听者嵌入的预测器，在Switchboard数据集上验证了声学线索优于词汇线索，且两者结合听者嵌入在手动和自动转录上均效果最佳。
2023-04-10 cs.CL cs.SD eess.AS
Device Directedness with Contextual Cues for Spoken Dialog Systems
AWS AI Labs（AWS人工智能实验室）
在这项工作中，我们将打断验证定义为监督学习任务，其中仅使用音频信息将用户口语对话分类为真和假打断。在预训练模型成功之后，我们使用来自自监督表示学习模型的低级语音表示进行下游分类任务。此外，我们还提出了一种新的技术，将词汇信息直接注入语音表示，以提高在预训练过程中隐式学习的特定领域的语言信息。对口语对话数据进行的实验表明，我们提出的经过训练以完全从语音表示验证插入的模型比使用音频和自动语音识别的基线LSTM模型相对快38%，并实现了4.5%的相对F1分数改进（ASR）1-最佳假设。最重要的是，我们提出的最好的模型与词汇注入表示以及上下文特征提供了进一步的相对改善5.7%的F1得分，但只有22%比基线快。
2022-11-23 cs.CL cs.SD eess.AS
Using Prosody to Predict Syntactic Structure
Georgetown University（乔治城大学）；UC San Diego（加州大学圣迭戈分校）；MIT（麻省理工学院）；ETH Zürich（苏黎世联邦理工学院）
该研究从信息论视角提出通用框架，利用多模态语言模型量化韵律与句法的互信息，发现韵律可降低自然对话中10.2%的句法不确定性，为相关理论提供实证支持。
2026-09-01 cs.AI cs.CL cs.LG
On the Contribution of Lexical Features to Speech Emotion Recognition
Computer Science Department Technical University of Cluj-Napoca, Romania
本研究探讨词汇特征在语音情感识别中的作用，证明基于词汇的方法在MELD数据集上取得优于声学模型的性能，并分析了SSL表示、Transformer层和去噪影响。
2025-09-06 cs.CL cs.SD eess.AS
Integrating Form and Meaning: A Multi-Task Learning Model for Acoustic Word Embeddings
Saarland University（萨尔大学）
声学词嵌入（AWE）模型学习将可变长度的口语词片段映射到固定维度的向量表示上，使得同一个词的不同声学样本在嵌入空间中被投影到附近。除了他们的语音技术应用，AWE模型已经被证明可以预测人类在各种听觉词汇处理任务上的表现。目前的AWE模型是基于神经网络，并在自底向上的方法，整合声学线索，建立一个单词表示给定的声学或符号的监督信号。因此，这些模型在学习过程中不利用或捕获高级词汇知识。在本文中，我们提出了一个多任务学习模型，将自上而下的词汇知识的AWE的训练过程。我们的模型学习声学输入和词汇表示之间的映射，该词汇表示除了自下而上的基于形式的监督之外，还对诸如单词语义之类的高级信息进行编码。我们用三种语言进行了实验，并证明了将词汇知识结合起来可以提高嵌入空间的可辨别性，并鼓励模型更好地分离词汇类别。
2022-09-18 cs.CL eess.AS
Real Images, Worse Judgments: Evaluating Vision-Language Models on Concreteness and Imagery
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
本文通过具体性和意象性评分任务，发现真实图像上下文不仅未提升视觉-语言模型与人类判断的一致性，反而在视觉证据相关性低时加剧偏差，并表明推理时聚焦文本指令可缓解退化。
2026-09-09 cs.CL
Multi-modal Automated Speech Scoring using Attention Fusion
Indraprastha Institute of Information Technology（英德拉普拉斯塔信息技术学院）；Netaji Subhas Institute of Technology（内塔吉·苏巴斯理工学院）；Teachers College, Columbia University（哥伦比亚大学教师学院）；Second Language Testing Inc.（第二语言测试公司）
在这项研究中，我们提出了一种新的多模态端到端的神经网络方法，使用注意力融合的非英语母语者的自发语音的自动评估。该流水线采用双向递归卷积神经网络和双向长短期记忆神经网络来分别对来自声谱图和transmart.tag_1的声学和词汇线索进行编码。在这些学习的预测特征上执行注意力融合，以在最终评分之前学习不同模态之间的复杂交互。我们将我们的模型与强基线进行比较，发现对词汇和声学线索的联合关注显着提高了系统的整体性能。此外，我们提出了我们的模型的定性和定量分析。
2021-11-28 cs.CL cs.SD eess.AS
CobSeg: Coherence Boundary Modeling for Dialogue Topic Segmentation
Institute of High Performance Computing, Agency for Science, Technology and Technology（高性能计算研究所，科技局）；Shanghai Univeristy（上海大学）；Fudan University（复旦大学）
提出CobSeg多分支架构，通过分离连贯性语义与词汇边界转换并利用边界信息加权和主题连贯性线索，在无需LLM调用下提升对话主题分割性能。
2026-05-29 cs.AI cs.CL
Bridging Lexical Ambiguity and Vision: A Mini Review on Visual Word Sense Disambiguation
School of Computing Informatics（计算与信息学学院）；Institute of Technology（技术研究所）
本文综述了视觉词义消歧的发展，探讨了对比模型和LLM在解决词汇歧义中的作用，并指出未来发展方向。
2026-02-01 cs.CL cs.CV
EchoMind: An Interrelated Multi-level Benchmark for Evaluating Empathetic Speech Language Models
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Shenzhen Loop Area Institute（深圳河套学院）
EchoMind是一种多级基准，用于评估SLMs在共情对话中的能力，揭示了现有模型在处理高表现性语音线索方面的不足。
2026-03-05 cs.CL
Vision-Grounded Machine Interpreting: Improving the Translation Process through Visual Cues
University of Mainz（马尔堡大学）
本文提出 Vision-Grounded Interpreting（VGI），利用视觉语言模型融合网络摄像头视觉线索辅助语音口译，并通过诊断语料库证明其显著改善词汇消歧。
2025-09-28 cs.AI cs.CL
Pitch Accent Detection improves Pretrained Automatic Speech Recognition
IT University of Copenhagen（丹麦技术大学）；AppleDenmark（苹果丹麦）
本文提出联合ASR与音高重音检测模型，音高重音检测F1差距缩小41%，ASR在LibriSpeech上WER降低28.3%，凸显预训练模型保留韵律线索的重要性。
2025-08-06 cs.CL cs.SD eess.AS
