The division of labor in communication: Speakers help listeners account for asymmetries in visual perspective
Stanford University（斯坦福大学）
最近关于成年人心理理论使用的争论因交流中观点采择的意外失败而加剧，这表明观点采择可能相对费力。那么，演讲者和听众应该如何分配他们的资源来实现成功的沟通呢？我们首先观察到，这种共同的目标会导致自然的劳动分工：一个代理人选择分配给观点采择的资源应该取决于他们对另一个分配的期望。我们正式这个想法在一个资源合理的模型，增加最近的概率加权帐户的机制（昂贵的）控制程度的观点。在一系列的模拟中，我们首先推导出一个中间程度的观点权重作为预期的成本和利益的观点之间的最佳权衡。然后，我们提出了两个行为实验测试我们的模型的新的预测。在实验1中，我们操纵的存在或不存在的闭塞的导演匹配任务，发现扬声器自发地产生更多的信息描述占“已知的未知”在他们的合作伙伴的私人视图。在实验2中，我们比较了脚本的话语所使用的同盟者在以前的工作中产生的互动与unscripted董事。我们发现，邦联系统的信息量比听众最初预期的闭塞的存在，但听众使用的违规行为，以适应随着时间的推移，使更少的错误。总的来说，我们的研究表明，人们不仅仅是“头脑失明”;他们使用上下文适当的期望来导航与他们的合作伙伴的劳动分工。我们讨论了如何资源合理的框架可以提供一个更深入的解释基础，理解灵活的视角下处理的限制。
2020-05-11 cs.CL
Reasoning About Pragmatics with Neural Listeners and Speakers
Computer Science Division（计算机科学系）；University of California, Berkeley（加州大学伯克利分校）
我们提出了一个模型，用于语用描述场景，其中对比行为的结果从推理驱动的语用学和语义学的结合。像以前学习的语言生成方法一样，我们的模型使用一个简单的特征驱动架构（这里是一对神经“听者”和“说话者”模型）来为世界上的语言打下基础。像推理驱动的方法，语用学，我们的模型积极的原因，听众的行为时，选择话语。对于训练，我们的方法只需要普通的标题，注释_没有_模型最终展示的语用行为的演示。在对一个指称表达游戏的人类评估中，我们的方法成功率为81%，而使用现有技术的成功率为69%。
2016-09-26 cs.CL cs.NE
Closing the Affective Loop: Multimodal Speaker-Listener Emotion-Dynamics-Aware Empathetic Social Robots
Graduate School of Informatics, Kyoto University（京都大学情报学研究科）；Computer Science Department, Boise State University（博伊西州立大学计算机科学系）
本研究提出AffectLoop系统，在Misty II机器人上实现多模态情感动态感知的说话人-听话人共情交互，经试点研究验证可提升共情响应与用户满意度。
2026-08-18 cs.CL cs.HC cs.RO
A Joint Speaker-Listener-Reinforcer Model for Referring Expressions
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
指称表达是用于标识场景内的特定对象的自然语言构造。在本文中，我们提出了一个统一的框架，指的表达理解和生成的任务。我们的模型由三个模块组成：发言人，听众和发言人。说话者生成指称表达，听话者生成指称表达，而话语者引入奖励函数来引导对更具区分性的表达的采样。发音者-说话者模块在端到端学习框架中联合训练，允许模块在学习期间彼此意识到，同时还受益于有区别的发音者的反馈。我们证明了这个统一的框架和训练在三个参考表达数据集上实现了最先进的理解和生成结果。项目和演示页面：https://vision.cs.unc.edu/refer
2017-04-17 cs.AI cs.CL cs.CV
Communicating with Speakers and Listeners of Different Pragmatic Levels
University of Amsterdam（阿姆斯特丹大学）；Delft University of Technology（代尔夫特理工大学）
该研究模拟不同推理水平的说话者与听者的语言学习与对话，探究语用能力对交流的影响，发现推理水平匹配利于交流与学习，字面语言学习有益，学习阶段融入语用推理可显著提升交流表现。
2024-10-08 cs.AI cs.CL
Calibrate your listeners! Robust communication-based training for pragmatic speakers
Stanford University（斯坦福大学）
为了成为好的会话伙伴，自然语言处理（NLP）系统应该被训练成产生上下文有用的话语。先前的工作已经研究了具有基于通信目标的NLP系统的训练，其中神经侦听器作为通信伙伴。然而，这些系统通常遭受语义漂移，其中所学习的语言从根本上偏离自然语言。我们提出了一种方法，使用人口的神经听众，定期扬声器训练。我们首先表明，语言漂移起源于神经听者的不确定性校准差，这使得对新句子的高确定性预测。我们探讨合奏和辍学为基础的听众群体，发现前者的结果更好的不确定性量化。我们评估两个基于人口的目标参考游戏，并表明，集成方法具有更好的校准，使扬声器生成务实的话语，同时扩展到一个大的词汇量和推广到新的游戏和听众。
2021-10-11 cs.AI cs.CL cs.LG
Predicting States of Understanding in Explanatory Interactions Using Cognitive Load-Related Linguistic Cues
Faculty of Linguistics；Literary Studies, Bielefeld University, Bielefeld, Germany Faculty of Arts；Humanities, Paderborn University, Paderborn, Germany \| SFB/Transregio 318 ‘Constructing Explainability’, Bielefeld \& Paderborn, Germany
研究通过分析对话中说话者和听者的语言特征，探讨如何预测听者的理解状态。通过MUNDEX语料库的统计分析，发现认知负荷相关的语言线索与听者理解水平相关，使用三种语言线索和文本特征可提升预测效果。
2026-03-20 cs.CL
Comparing Models of Associative Meaning: An Empirical Investigation of Reference in Simple Language Games
Massachusetts Institute of Technology（麻省理工学院）
简单参照游戏在语言情境使用研究中具有重要的理论和实证意义。虽然语言提供了丰富的，成分真值条件语义，以促进参考，说话者和听众有时可能缺乏整体的词汇和认知资源，以保证成功的参考，通过这些手段。然而，语言也有丰富的联想结构，可以作为实现成功的参考的进一步资源。在这里，我们调查这种使用的关联信息的设置中，只有关联信息是可用的：一个简化版本的流行游戏代号。使用最优实验设计技术，我们比较了一系列的模型不同类型的关联信息部署和对人类行为的语用复杂程度。在这种情况下，我们发现，听众的行为反映了直接的二元搭配关联更强烈的词嵌入或语义知识图谱为基础的协会，并有很少的证据表明，语用复杂的行为，无论是扬声器或听众的类型，可以预测的递归推理模型，如理性言语行为理论。这些结果揭示了词汇资源的性质，说话者和听话者可以承担通过联想意义单独实现参考。
2018-10-08 cs.CL
Language-agnostic, automated assessment of listeners' speech recall using large language models
Rotman Research Institute, Baycrest Academy for Research and Education（罗特曼研究所，贝克雷斯特研究与教育学院）；University of Toronto（多伦多大学）
本研究利用大型语言模型自动化生成多语言口语故事并评分言语回忆，克服了传统言语测试的局限，为自然主义言语理解评估提供了临床适用的自动化方案。
2025-03-02 cs.CL
Yeah, Right, Uh-Huh: A Deep Learning Backchannel Predictor
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
使用支持的反向信道（BC）提示可以使人机交互更具社交性。BC提供从听者到说话者的反馈，向说话者指示他仍然被倾听。BC可以以不同的方式表达，这取决于交互的模态，例如作为手势或声学提示。在这项工作中，我们只考虑了声学线索。我们提出了一种基于功率和音调等声学输入特征来检测BC机会的方法。虽然该领域的其他工作依赖于使用手写的规则集或专门的功能，但我们使用了人工神经网络。它们能够从输入特征本身导出高阶特征。在我们的设置中，我们首先使用一个完全连接的前馈网络来建立一个更新的基线，与我们之前提出的设置相比。我们还通过使用长短期记忆（LSTM）网络扩展了这种设置，这些网络在各种任务上的表现优于基于前馈的设置。我们最好的系统使用功率和音高功能实现了0.37的F1分数。使用word 2 vec添加语言信息，得分增加到0.39。
2017-06-02 cs.CL cs.CV cs.HC
A study on native American English speech recognition by Indian listeners with varying word familiarity level
Indian Institute of Science (IISc)（印度科学学院）；IIIT Hyderabad（印度海得拉巴国际信息技术学院）
在这项研究中，不同的印度裔的听众被要求听和识别TIMIT的美国人所说的话语。我们有三种反应，从每个听众，而他们认识到一个发言：1。句子难度评分，2。演讲者难度等级，和3。话语的转录。从这些译文中计算出单词错误率（WER），并将其作为衡量识别句子与原始句子之间相似性的一个指标，根据单词在句子中出现的频率将所选句子分为三组：易、中、难。我们观察到，句子，扬声器难度等级和WERs增加从容易到难的句子类别。我们还比较了人类语音识别性能与使用三种自动语音识别（ASR）在以下三种声学模型（AM）和语言模型（LM）组合下的性能：ASR 1）使用来自印度裔说话者的录音训练AM，并在TIMIT文本上构建LM，ASR 2）使用来自美国本土说话者的录音训练AM，并在来自LIBRI语音语料库的文本上构建LM，和ASR 3）AM使用来自美国本土说话者的录音，LM建立在LIBRI语音和TIMIT文本上。我们观察到，HSR的性能类似于ASR1，而ASR3实现了最佳性能。发言者出生明智的分析表明，发言者的一些出生是更难以识别的印度听众相比，其他一些出生
2021-12-08 cs.CL cs.SD eess.AS
Speaking the Language of Your Listener: Audience-Aware Adaptation via Plug-and-Play Theory of Mind
University of Amsterdam（阿姆斯特丹大学）；Sapienza University of Rome（罗马第一大学）
本文提出一种即插即用的模拟模块，使说话者能从听者视角实时调整指称表达，无需微调语言模型即可提升交际成功率。
2023-05-31 cs.AI cs.CL cs.CV
Learning to Mediate Disparities Towards Pragmatic Communication
University of Michigan（密歇根大学）；ASAPP
人际沟通是一个协作的过程。说话者在传达自己意图的同时，还根据听者的知识背景、个性和身体能力等因素调整内容和语言表达。为了构建具有相似语言交流能力的人工智能智能体，我们提出了一个扩展理性言语行为（RSA）的框架--语用理性说话者（PRS）。PRS试图通过在说话者的长期记忆系统之上的工作记忆中添加轻加权的视差调整层来学习说话者-收听者视差并相应地调整语音。通过固定长期记忆，PRS只需要更新其工作记忆来学习和适应不同类型的听者。为了验证我们的框架，我们创建了一个数据集，模拟不同类型的说者-听者的差异的背景下，参考游戏。我们的实证结果表明，PRS能够将其输出转向听者能够理解的语言，显着提高协作任务的结果。
2022-03-25 cs.AI cs.CL cs.LG
DiffListener: Discrete Diffusion Model for Listener Generation
Artificial Intelligence Graduate School, UNIST（蔚山科学技术院人工智能研究生院）
针对听者头部生成任务中现有方法模态有限或自回归误差累积问题，提出DiffListener离散扩散模型，结合说话者多模态输入与面部差分信息，实现非自回归连贯反应生成并获最优性能。
2025-02-05 cs.CL cs.GR cs.LG
Know your audience: specializing grounded language models with listener subtraction
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学研究组）；University College London（伦敦大学学院）；DeepMind（深度思维）
该研究受Dixit游戏启发构建多智能体图像指称游戏，通过微调CLIP与大语言模型间的注意力适配器，仅靠奖励就让具身语言模型实现了针对不同听众的上下文特化，且支持零样本迁移到真实数据。
2023-05-01 cs.AI cs.CL cs.LG
Colors in Context: A Pragmatic Neural Model for Grounded Language Understanding
Stanford University（斯坦福大学）
我们提出了一个模型，务实的指涉表达解释接地通信任务（从描述中识别颜色），借鉴了两个经常性的神经网络分类器，扬声器和听众，统一的递归语用推理框架的预测。实验表明，这种组合的语用模型解释颜色描述更准确地比分类器，它是建立，这种改进的结果结合扬声器和听众的角度。我们观察到，语用推理主要有助于在最困难的情况下：当模型必须区分非常相似的颜色，或者当很少的话语充分表达目标颜色。我们的研究结果利用了一个新收集的语料库的人类话语在颜色参考游戏，表现出各种各样的语用行为。我们还表明，嵌入式扬声器模型再现了许多这些语用行为。
2017-05-16 cs.CL
Learning to Interrupt in Language-based Multi-agent Communication
CMU（卡内基梅隆大学）；Meta FAIR
本文提出一种可中断的通信框架，通过学习预测合适的中断点，减少通信成本，提升多智能体任务性能。
2026-08-17 cs.CL
Towards Style Alignment in Cross-Cultural Translation
University of Pennsylvania（宾夕法尼亚大学）
本文提出RASTA方法，通过检索增强的风格概念引导LLM在跨文化翻译中避免风格中性化，改善非西方语言的风格对齐。
2025-06-30 cs.CL
A Multimodal LSTM for Predicting Listener Empathic Responses Over Time
A*STAR Artificial Intelligence Initiative（新加坡科技研究局人工智能计划）；Agency for Science, Technology and Research（新加坡科技研究局）
人们很自然地理解他们周围人的情绪，并且经常会感同身受。在本文中，我们预测随着时间的推移，共情的听众的情绪效价，因为他们听一个扬声器叙述一个生活故事。我们使用OMG-Empathy预测挑战提供的数据集，这是一个与IEEE FG 2019联合举办的研讨会。我们提出了一个具有特征级融合和局部注意力的多模态LSTM模型，可以预测来自音频，文本和视觉特征的移情反应。我们的表现最好的模型，只使用音频和文本特征，在通用和个性化轨道的验证集上分别达到了0.29和0.32的一致性相关系数（CCC），并在保持测试集上达到了0.14和0.14的CCC。我们讨论了面临的困难和应对这一挑战的经验教训。
2019-01-29 cs.CL
Probabilistic adaptation of language comprehension for individual speakers: evidence from neural oscillations
The Chinese University of Hong Kong（香港中文大学）
本研究通过脑电图实验发现，听者基于说话者做出刻板印象不一致陈述的频率概率性适应语言理解，涉及高β振荡的说话者一般性机制和θ振荡的说话者特异性机制。
2025-10-25 cs.CL q-bio.NC
Learning to refer informatively by amortizing pragmatic reasoning
Stanford University（斯坦福大学）
人类语言的一个标志是有效和高效地传达上下文相关信息的能力。一个关于人类如何推理语言的理论是在理性言语行为（RSA）框架中提出的，该框架通过递归社会推理的过程来捕捉语用现象（古德曼和弗兰克，2016）。然而，RSA代表了无约束设置中的理想推理。我们探讨的想法，扬声器可能会学习摊销成本的RSA计算随着时间的推移，通过直接优化成功的沟通与内部的听众模型。在两个代表合成数据和人类生成数据的通信游戏数据集上使用接地神经扬声器和听众的模拟中，我们发现我们的摊销模型能够快速生成在一系列上下文中有效和简洁的语言，而不需要明确的语用推理。
2020-05-31 cs.CL
Yeah, Un, Oh: Continuous and Real-time Backchannel Prediction with Fine-tuning of Voice Activity Projection
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出基于微调语音活动投影（VAP）模型的连续实时反馈语预测方法，在不平衡真实数据上逐帧预测反馈语时机与类型，实验表明其优于基线方法，有助于构建更自然的对话系统。
2025-02-05 cs.CL cs.HC cs.SD
Pragmatically Informative Text Generation
Computer Science Division, UC Berkeley（加州大学伯克利分校计算机科学系）；Computer Science and Artificial Intelligence Laboratory, MIT（麻省理工学院计算机科学与人工智能实验室）
我们使用计算语用学的技术来提高条件文本生成模型的信息量。这些技术将语言生产制定为说话者和听众之间的游戏，其中说话者应该生成输出文本，听众可以使用该文本来正确识别文本描述的原始输入。虽然这些方法在认知科学和基础语言学习中得到了广泛的应用，但对于更标准的语言生成任务，它们却很少受到关注。我们考虑两种语用建模方法的文本生成：一个语用是由信息保存，另一个语用是由明确的干扰建模。我们发现，这些方法提高了强大的现有系统的抽象摘要和结构化的意义表示生成的性能。
2019-04-04 cs.CL
LISE : Listenable Interpretable Speaker Embeddings
University of Southampton（南安普顿大学）；The Hong Kong Polytechnic University（香港理工大学）；University of Edinburgh（爱丁堡大学）
提出LISE框架，将预训练说话人嵌入分解为少量可解释分量，在保持说话人验证性能的同时，通过听辨实验证明其可解释性。
2026-06-23 cs.CL cs.SD
Modeling natural language emergence with integral transform theory and reinforcement learning
Stanford University（斯坦福大学）；Quiltomics
Zipf定律预测了语言交流系统中词序和频率之间的幂律关系，并且在各种自然语言处理应用中得到了广泛报道。然而，自然语言的出现通常被建模为说话者和听者利益之间的偏见的函数，这缺乏一个直接的方式有关的信息理论偏见Zipfian等级。偏见的功能也是对说话者和听话者之间交流努力的一种非直觉的解释。我们针对这些缺点，提出了一种新的积分变换和内核映射到相应的词的频率等级表示在任何任意的相变点，从而在一个直接的方式来链接沟通的努力（建模扬声器/听众的偏见），以特定的词汇使用（由字排名）。我们展示了我们的积分变换的实际效用，通过展示如何从偏置到秩的变化导致在图像分类任务中更高的准确性和性能，用于将单词标签分配给从CIFAR 10随机子采样的图像。我们将此任务建模为说话者和听话者之间的强化学习游戏，并比较了偏见和Zipfian单词等级对两个代理之间的沟通性能（和准确性）的相对影响。
2018-11-30 cs.AI cs.CL
A pragmatic account of the weak evidence effect
Princeton University（普林斯顿大学）
语言不仅用于传递中立的信息，我们还经常通过支持某个特定观点的辩论来寻求说服。说服提出了一些挑战的经典帐户的信念更新，因为信息不能采取在表面价值。当听众吸收新信息时，他们应该如何解释演讲者的“隐藏议程”？在这里，我们扩展了最近的递归社会推理的概率模型，使有说服力的目标，并表明我们的模型提供了一个务实的帐户，为什么弱有利的论点可能适得其反，一种现象称为弱证据效应。重要的是，这个模型预测了信念更新和对信息源的期望之间的系统关系：只有当说话者被期望在有说服力的目标下行事，并且更喜欢最有力的证据时，弱证据才应该适得其反。我们引入了一个简单的实验范式称为坚持比赛来衡量弱证据效应取决于扬声器的期望，并表明，一个务实的听众模型占比替代模型的经验数据。我们的研究结果为社会推理的理性模型提供了进一步的途径，以阐明经典的决策现象。
2022-09-13 cs.CL
Know What You Don't Know: Modeling a Pragmatic Speaker that Refers to Objects of Unknown Categories
Bielefeld University（比勒费尔德大学）；University of Potsdam（波茨坦大学）
语言与视觉中的零样本学习是正确标记（或命名）新类别的对象的任务。L&V中的另一个工作链旨在提供实用信息，而不是“正确”的对象描述，例如在参考游戏中。我们结合这些线的研究和模型zero-shot参考游戏，扬声器需要成功地指一个新的对象在图像中。受“理性言语行为”模型的启发，我们扩展了一个神经发生器，使其成为一个实用的说话人对不确定对象类别的推理。作为这种推理的结果，与字面说话者相比，生成器产生更少的名词和分心物类别的名称。我们表明，这种会话策略处理新的对象往往提高沟通的成功，在自动监听器的分辨率精度。
2019-06-13 cs.CL
gComm: An environment for investigating generalization in Grounded Language Acquisition
Indian Institute of Science（印度科学学院）
gComm是朝着开发一个强大的平台迈出的一步，以促进在更具挑战性和现实的环境中进行接地语言习得的研究。它包括一个2-d网格环境，一组代理（通过通信信道连接的固定扬声器和移动侦听器）暴露在部分可观察设置中的连续任务阵列中。解决这些任务的关键在于智能体开发语言能力，并利用它们来有效地探索环境。说话者和收听者可以访问以不同模态提供的信息，即，说话者的输入是包含目标和任务规范的自然语言指令，而收听者的输入是其网格视图。每个人都必须依靠对方来完成分配的任务，然而，他们可以实现相同目标的唯一方法是开发和使用某种形式的通信。gComm提供了几种工具，用于研究不同形式的通信并评估其泛化。
2021-05-16 cs.AI cs.CL
"LazImpa": Lazy and Impatient neural agents learn to communicate efficiently
ENS - EHESS - PSL Research University - CNRS - INRIA（巴黎高等师范学院 - 社会科学高等学院 - 巴黎文理研究大学 - 法国国家科学研究中心 - 法国国家信息与自动化研究所）；Facebook AI Research（脸书人工智能研究院）
以前的工作表明，人工神经代理自然会开发出令人惊讶的非有效代码。这是由一个参考的游戏，涉及扬声器和听众神经网络优化精确的传输在一个离散的通道，紧急消息未能达到最佳长度的事实说明。此外，频繁的信息往往比不频繁的信息更长，这与在所有自然语言中观察到的齐普夫缩略语定律（ZLA）相反。在这里，我们表明，接近最佳和ZLA兼容的消息可以出现，但只有当扬声器和听众都被修改。因此，我们引入了一种新的通信系统，“LazImpa”，其中说话者变得越来越懒惰，即避免长消息，而听者不耐烦，即~它试图尽快猜测预期的内容。
2020-10-05 cs.AI cs.CL cs.MA
ConversationalVoice: Full-Duplex Speech Data from Real Conversations through Source-Faithful Reconstruction and Conversation-Grounded Expansion
AveraLabs（艾维拉实验室）
提出ConversationalVoice流水线，通过分离、重建和扩展将真实对话转化为全双工训练数据，保持高说话人相似度与语音质量，为后续模型训练提供基础。
2026-09-09 cs.CL cs.SD eess.AS
Continue, Adapt, or Yield: In-Turn Adaptation to Overlapping Speech in Full-Duplex Agents
Besimple AI
针对全双工智能体评估忽视轮内适应的问题，提出Duplex Cue方法，区分听者意图与说话者行为，实验显示真人适应率68.2%远超PersonaPlex的34.8%，强调需同时衡量回应方式与是否继续说话。
2026-09-14 cs.CL cs.SD
AAD-LLM: Neural Attention-Driven Auditory Scene Understanding
Department of Electrical Engineering（电气工程系）；Department of Neurological Surgery（神经外科系）；Mortimer B. Zuckerman Mind Brain Behavior Institute（莫提默·B·祖克曼心智-脑-行为研究所）；Hofstra Northwell School of Medicine（霍夫曼斯特拉北well医学院）；The Feinstein Institutes for Medical Research（费森特医学研究所）；Neurology Department（神经病学系）
针对现有听觉模型缺乏感知选择性、与听者意图对齐度不足的问题，提出整合iEEG脑信号推断注意力的AAD-LLM，在多说话者场景多任务上实现更优的听者意图对齐，开辟感知驱动的机器听觉新范式。
2025-06-11 cs.AI cs.CL cs.HC
Structural and Functional Decomposition for Personality Image Captioning in a Communication Game
VinAI Research（VinAI研究院）；University of Information Technology, VNU-HCM（越南国家大学胡志明市分校信息科技大学）；Stony Brook University（石溪大学）；University of Oregon（俄勒冈大学）
个性化图像描述（PIC）的目的是描述一个具有个性特征的自然语言标题的图像。在这项工作中，我们介绍了一种新的配方PIC的基础上，一个扬声器和一个听众之间的通信游戏。说话者尝试生成自然语言字幕，而收听者鼓励所生成的字幕包含关于输入图像和人格特质的区别性信息。通过这种方式，我们希望生成的字幕可以得到改进，以自然地表示图像并表达特征。此外，我们建议采用语言模型GPT 2来执行PIC的字幕生成。这使得说话者和听者能够从GPT2的语言编码能力中受益。实验结果表明，该模型实现了PIC的最先进的性能。
2020-11-17 cs.CL cs.CV cs.LG
Speaker-Reasoner: Scaling Interaction Turns and Reasoning Patterns for Timestamped Speaker-Attributed ASR
School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）；Shanghai Lingguang Zhaxian Technology（上海灵光乍现科技）
本文提出Speaker-Reasoner，一种端到端的语音大语言模型，通过迭代分析音频结构和自主预测时间边界，提升了多说话人对话的转录和理解能力，尤其在处理重叠语音和复杂轮次转换方面表现优异。
2026-04-03 cs.CL cs.SD eess.AS
A Formal Limitation on Learning Human Language From Textual Corpora
Universitat Pompeu Fabra（庞培法布拉大学）；ETH Zürich（苏黎世联邦理工学院）
该研究从信息论角度推导了听者从话语表示恢复说话者意图含义的概率上界，通过三类实验验证了理论，表明任何文本特征提取器的表示都无法超越该上界。
2026-09-29 cs.CL
Evidence and Intervention: A Coupled Active-Inference Extension of Rational Speech Act Models
Seoul National University（首尔国立大学）；McGovern Medical School（麦戈文医学院）；UTHealth（德克萨斯大学休斯顿健康科学中心）；Texas Institute for Restorative Neurotechnologies（德克萨斯修复性神经技术研究所）
提出耦合主动推断对话模型，将RSA扩展为双向推断，区分四类更新，预测适应持久性与转移，并解释澄清逆转、自我确认误解等对话现象。
2026-10-06 cs.CL cs.MA
Recognizing Speech in a Novel Accent: The Motor Theory of Speech Perception Reframed
言语知觉的运动理论认为，我们对他人言语的知觉是通过对该言语的运动表征来实现的。然而，当我们学会识别外国口音时，似乎有理由认为，识别一个单词很少涉及说话者而不是听者的言语手势的重建。为了更好地评估运动理论和这一观察，我们分三个阶段进行。第一部分将言语知觉的运动理论置于一个更大的框架中，这个框架是基于我们早期关于镜像神经元的适应性形成的模型，这些镜像神经元用于抓握，并将镜像系统的扩展视为神经语言处理的更大系统的一部分，并通过目前对识别新口音的言语的考虑而得到增强。然后，第2部分提供了一个新颖的计算模型，说明听众如何理解带有外国口音的听众母语的语音。该模型的核心原则是，听者使用关于说话者当前说出的单词的假设来更新将说话者产生的声音与听者的母语曲目中的音素联系起来的概率。平均而言，这提高了对后面单词的识别。该模型在其使用的表征性质（运动与听觉）方面是中立的。它作为第三部分讨论的参考点，第三部分提出了一个双流神经语言架构，以重新审视支持和反对言语知觉的运动理论以及镜像神经元的相关性，并提取了运动理论重构的一些含义。
2013-09-20 cs.CL cs.LG q-bio.NC
Conversational Rubert for Detecting Competitive Interruptions in ASR-Transcribed Dialogues
本研究针对ASR转录的俄语客户支持电话对话，通过微调Conversational RuBERT开发了一种基于文本的打断分类模型，能有效区分合作性与竞争性打断，可用于呼叫中心的自动监控。
2024-07-20 cs.CL cs.LG cs.SD
Affective Decoding for Empathetic Response Generation
University of Sheffield（谢菲尔德大学）；Utrecht University（乌得勒支大学）；Zhejiang Wanli University（浙江万里大学信息与智能工程学院）
理解说话人的情感并做出恰当的情感回应是移情对话系统的关键交际技巧。在本文中，我们提出了一个简单的技术，称为情感解码移情反应的产生。我们的方法可以有效地将情感信号在每个解码步骤，并可以额外增加一个辅助的双情感编码器，它学习单独的嵌入扬声器和听众给定的情感基础的对话。广泛的实证研究表明，我们的模型被认为是更同情的人的评价，在几个强大的主流方法相比，同情的反应。
2021-10-14 cs.CL
When a Man Says He Is Pregnant: Event-related Potential Evidence for a Rational Account of Speaker-contextualized Language Comprehension
The Chinese University of Hong Kong（香港中文大学）
该研究通过ERP实验探讨说话者语境化语言理解中的理性推断机制，发现社会刻板印象导致N400效应，而生物学知识导致P600效应。
2026-02-12 cs.CL q-bio.NC
To Populate is To Regulate
Microsoft Research Montreal（蒙特利尔微软研究院）
我们研究的影响，实例化刘易斯信号游戏的人口中的扬声器和听众代理的目的是产生一组一般和强大的表示非结构化像素数据。初步实验表明，在这一目标上，群体内生成的与语言相关的一组表示优于单个说话者-听话者对之间生成的表示，这为在新兴传播研究中采用基于群体的方法提供了理由。此外，事后分析表明，以人口为基础的学习诱导了一些新的因素，以传统的紧急通信设置，邀请了广泛的未来研究的问题，通信动态和信息流在其中。
2019-11-06 cs.CL cs.LG stat.ML
In-Context Learning Boosts Speech Recognition via Human-like Adaptation to Speakers and Language Varieties
Stanford University（斯坦福大学）；University of Cambridge（剑桥大学）
本研究提出可扩展的上下文学习框架，使Phi-4 Multimodal模型可通过少量示例适应不同说话者和语言变体，显著降低语音识别词错误率，展现类人适应模式，同时指出当前模型仍存在的灵活性差距。
2025-05-20 cs.CL cs.SD eess.AS
KABURI-TTS: Phoneme-Keyed Activity-conditioned Bi-channel Utterance Rendering for Interaction
Nagoya University（名古屋大学）；National Institute of Informatics（信息学研究所）；Keio University（庆应义塾大学）；Waseda University（早稻田大学）
针对全双工对话中重叠等同时现象，提出KABURI-TTS，以每说话人音素栅格为输入，在语音活动条件下双声道渲染语音，实现可控双人对话生成，提升自然度并产生更多重叠与轮换。
2026-09-09 cs.CL cs.SD
You Sound a Little Tense: L2 Tailored Clear TTS Using Durational Vowel Properties
School of Computing Science（计算科学学院）；SUPMICROTECH, CNRS, institut FEMTO-ST（SUPMICROTECH、CNRS、FEMTO-ST研究所）；Department of Linguistics（语言学系）
本研究提出首个面向二语学习者的定制化TTS系统，通过调整美式英语紧/松元音时长为Matcha-TTS增设清晰模式，实验证实该模式可降低二语听众转录错误率，且发现实际可懂度与感知可懂度不相关，Whisper-ASR不足以评估TTS对二语人群的可懂度。
2025-09-03 cs.CL cs.SD eess.AS
Empathic Grounding: Explorations using Multimodal Interaction and Large Language Models with Conversational Agents
Northeastern University（东北大学）
本文提出共情式接地概念，并构建融合语音和面部表情的多模态大语言模型，使对话智能体在交流中同时传达命题与情感理解，实验证明其能显著提升用户对共情、理解、情商和信任的感知。
2024-07-01 cs.CL cs.HC cs.RO
