TurnGPT: a Transformer-based Language Model for Predicting Turn-taking in Spoken Dialog
KTH Speech, Music and Hearing(KTH语言、音乐与听力学院)
句法和语用的完整性对于话轮转换预测是非常重要的,但是到目前为止,话轮转换的机器学习模型只以有限的方式使用了这样的语言信息。在本文中,我们介绍了TurnGPT,一个基于transformer的语言模型,用于预测口语对话中的话轮转换。该模型已经在各种书面和口头对话数据集上进行了训练和评估。我们表明,该模型优于先前工作中使用的两个基线。我们还报告了消融研究,以及注意力和梯度分析,这表明该模型能够利用对话上下文和语用完整性的话轮转换预测。最后,我们探讨了该模型的潜力,不仅检测,而且投影,回合完成。
2020-10-21 cs.AI cs.CL
TurnNat: Automatic Evaluation of Turn-Taking Naturalness in Dyadic Spoken Dialogue
Center for Language and Speech Processing(语言与语音处理中心);Johns Hopkins University(约翰霍普金斯大学);Amazon Research(亚马逊研究院);Amazon(亚马逊)
提出TurnNat框架,通过因果轮流预测模型估计双说话人语音活动状态,利用负对数似然度量时序异常性,实现对话级轮流自然性自动评估。
2026-07-07 cs.AI cs.CL
Triadic Multi-party Voice Activity Projection for Turn-taking in Spoken Dialogue Systems
Graduate School of Informatics(信息科学研究生学校)
本研究针对传统话轮转换研究多聚焦二元场景的问题,首次将语音活动预测(VAP)拓展至三方对话场景,在日语三方数据集上训练的模型优于基线,证实VAP可用于三方对话话轮转换,为后续集成到口语对话系统奠定基础。
2025-10-03 cs.CL
Assertion-Conditioned Compliance: A Provenance-Aware Vulnerability in Multi-Turn Tool-Calling Agents
Monash University(墨尔本大学);University of California, Berkeley(加州大学伯克利分校)
本文提出了一种新的评估方法A-CC,用于检测多轮工具调用代理在面对误导性断言时的鲁棒性问题,揭示了模型在用户和系统政策冲突下的脆弱性。
2026-01-21 cs.AI cs.CL
Modeling Turn-Taking with Semantically Informed Gestures
Saarland University(萨尔兰大学);Max Planck Institute for Informatics(马克斯·普朗克信息研究所);Saarland Informatics Campus(萨尔兰信息学校区)
本文通过引入DnD Gesture++数据集,结合文本、音频和手势的混合专家框架,研究语义引导的手势在多模态轮流交替建模中的作用。
2026-03-19 cs.CL
Investigating Speech Features for Continuous Turn-Taking Prediction Using LSTMs
Trinity College Dublin(都柏林圣三一学院);KTH(瑞典皇家理工学院)
为了使口语对话系统与用户进行流畅的会话交互,系统必须对用户产生的话轮转换提示敏感。模型的设计应使系统能够有效地决定何时适合或不适合发言。传统的转向结束模型在话语端点做出决策,其对快速转向开关和重叠进行建模的能力有限。一种更灵活的方法是使用RNN以连续的方式对话轮转换进行建模,其中系统预测未来窗口内离散帧的语音概率得分。连续预测表示在训练数据中观察到的广义话轮转换行为,并且可以应用于做出不仅仅限于话轮结束检测的决策。在本文中,我们研究了最佳的语音相关的功能集,使预测在对话中的停顿和重叠。我们发现,虽然传统的声学特征表现良好,但词性特征的表现通常比单词特征差。我们表明,我们目前的模型优于以前报告的基线。
2018-06-29 cs.CL
JAL-Turn: Joint Acoustic-Linguistic Modeling for Real-Time and Robust Turn-Taking Detection in Full-Duplex Spoken Dialogue Systems
本文提出JAL-Turn框架,通过联合声学-语言建模实现高效实时轮流检测,利用交叉注意力模块整合预训练声学表示与语言特征,同时共享冻结的ASR编码器以并行处理,提升准确性和实时性。
2026-10-14 cs.AI cs.CL
Easy Turn: Integrating Acoustic and Linguistic Modalities for Robust Turn-Taking in Full-Duplex Spoken Dialogue Systems
针对全双工对话中话轮转换检测依赖闭源、大模型或单模态的问题,提出开源双模态 Easy Turn 模型及 1,145 小时数据集,在开源测试集上达到最优准确率。
2025-09-28 cs.AI cs.CL
RC-GRPO: Reward-Conditioned Group Relative Policy Optimization for Multi-Turn Tool Calling Agents
New Laboratory of Pattern Recognition (NLPR), State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), Institute of Automation, Chinese Academy of Sciences(模式识别新实验室、多模态人工智能系统国家重点实验室、自动化研究所,中国科学院);School of Mathematics and Statistics(数学与统计学学院);Statistics, Lanzhou University(统计学,兰州大学);Shanghai Innovation Institute(上海创新研究院);Microsoft Research(微软研究院);Nanjing University(南京大学);Zhongguancun Academy(中关村学院)
RC-GRPO通过奖励条件化策略优化提升多轮工具调用性能,有效解决组内奖励稀疏导致的更新问题。
2026-02-03 cs.AI cs.CL
Decoupling Turn-Taking from Semantics: A Decoupled Data Approach for Finite-State-Machine-Based Full-Duplex Dialogue
Kyoto University(京都大学)
该研究针对神经有限状态机框架依赖合成数据导致对话轮次自然度不足的问题,提出解耦数据方法,通过规则转换HH对话为FSM序列并结合SAC损失,提升对话轮次能力同时恢复LLM语义能力。
2026-09-04 cs.CL
Real-TurnTurk: A Multimodal Turkish Corpus for Turn-Taking Prediction
Data Science and Innovation Ata Technology Platforms(阿塔技术平台数据科学与创新部);Digital Operations and Data(数字运营与数据部)
本研究构建多模态土耳其语对话数据集,采用遗传算法优化规则,实现话轮转换预测,填补土耳其语相关自然对话语料库的空白。
2026-08-25 cs.AI cs.CL
The Role of Prosodic and Lexical Cues in Turn-Taking with Self-Supervised Speech Representations
School of Engineering, Trinity College Dublin, Ireland(都柏林信任学院工程学院)
本文研究了基于自监督语音表示的轮替机制,发现语调和词汇线索均支持轮替,且可单独使用,为未来模型设计提供了新方向。
2026-01-20 cs.CL
ML-SPEAK: A Theory-Guided Machine Learning Method for Studying and Predicting Conversational Turn-taking Patterns
Rice University(莱斯大学)
本文提出ML-SPEAK模型,通过对话轮流发言模式研究人格特质与团队沟通动态的关系,仅凭团队特质构成即可预测群体沟通模式,并在模拟和真实数据上优于基线,为团队人员配置和培训提供洞见。
2024-11-23 cs.CL cs.LG
3M-TRANSFORMER: A Multi-Stage Multi-Stream Multimodal Transformer for Embodied Turn-Taking Prediction
本文提出3M-Transformer,一种多阶段多流多模态Transformer架构,利用同步多视角自我中心数据预测多参与者对话中的轮次转换,在EgoCom数据集上平均性能提升14.01%。
2023-12-21 cs.CL cs.CV
Text Injection for Capitalization and Turn-Taking Prediction in Speech Models
Google(谷歌)
本文将 JEIT 文本注入用于 ASR 模型的大小写转换与话轮转换预测,证明其可改善长尾大小写性能并提高话轮检测召回率。
2023-08-14 cs.CL cs.LG cs.SD
Predicting gender and age categories in English conversations using lexical, non-lexical, and turn-taking features
The Hong Kong Polytechnic University(香港理工大学)
本文考察了英国英语会话中的性别和年龄突显性和(立体声)典型性,旨在根据词汇、短语和话轮转换特征预测性别和年龄类别。我们研究了SpokenBNC,这是一个包含约1140万个英国英语对话单词的语料库,并确定了标记为性别和年龄类别的扬声器之间的行为差异。我们探讨了语言使用和话轮转换动态的差异,并确定了一系列的特征,设置类别分开。我们发现,女性发言者往往会产生更多的话轮,略长,而男性发言者的话轮具有较高的类型标记比和一个明显的范围内的最小粒子,如“嗯”,“嗯”和“嗯”。例如,在不同年龄组中,我们观察到,年轻人说话时会说脏话和大笑,而老年人说话时往往会说一些简短的话。然后,我们使用观察到的特征来预测每个会话和每个回合的发言者的性别和年龄标签作为分类任务,表明非词汇话语,如通常被排除在对话数据之外的最小粒子,可以有助于设置类别。
2021-02-26 cs.CL
Modeling turn-taking with distant viewing: investigating silence thresholds in human and AI-generated discourse
University of Richmond(里士满大学);Université Paris Cité(巴黎城市大学)
研究通过分析美国情景喜剧和谷歌生成的合成播客,比较不同性别说话者及制作设置下的沉默间隙,利用Praat估计基频阈值来研究人类和AI话语中的沉默阈值。
2026-07-21 cs.CL
Using Semantic Uncertainty to Estimate Transition Relevance in Turn-taking
Tufts University(塔夫茨大学)
本研究利用LLM语义不确定性建模话轮中不断演变的语义约束,通过采样延续并监测语义离散度变化来预测转换关联位置,在实时听者反应数据集上显著优于文本基线。
2026-09-11 cs.CL
Predicting Turn-Taking and Backchannel in Human-Machine Conversations Using Linguistic, Acoustic, and Visual Signals
School of Informatics, Xiamen University(厦门大学信息学院)
针对人机对话话轮转换与反馈语预测的研究缺口,本文构建了超210小时的多模态对话数据集MM-F2F,提出支持多模态任意组合的端到端预测框架,在两项任务上均达到SOTA,相关资源已公开。
2025-05-20 cs.AI cs.CL
Talking Turns: Benchmarking Audio Foundation Models on Turn-Taking Dynamics
Carnegie Mellon University(卡内基梅隆大学);Apple(苹果公司)
本文提出了一种新颖的评估协议,利用监督模型作为裁判评估音频基础模型在对话轮次交接中的理解、预测和执行能力,揭示了现有系统在轮次交接上的不足与改进空间。
2025-03-03 cs.CL cs.SD eess.AS
DualTurn: Learning Turn-Taking from Dual-Channel Generative Speech Pretraining
Anyreach AI
DualTurn通过双通道生成式语音预训练,实现了更自然的轮流对话处理,优于现有方法在代理动作预测和词级轮流预测上的表现。
2026-03-09 cs.CL cs.SD eess.AS
Gated Multimodal Fusion with Contrastive Learning for Turn-taking Prediction in Human-robot Dialogue
JD AI(京东人工智能研究院);University of Cambridge(剑桥大学)
话轮转换是构建人机对话系统的重要环节,其目的是决定下一个说话者何时开始说话。先前的研究表明,多模态线索可以促进这一具有挑战性的任务。然而,由于公共多模式数据集的缺乏,当前的方法大多仅限于利用单模式特征或简单化的多模式集成模型。此外,真实场景中固有的类不平衡性,如以短暂停顿结尾的句子大多被认为是话轮结束,也给话轮转换决策带来了很大的挑战。在本文中,我们首先收集了一个大规模的话轮转换注释语料库,其中包含5,000多个真实的语音和文本形式的人机对话。然后,一种新的门控多模态融合机制的设计,无缝地利用各种信息的话轮转换预测。更重要的是,为了解决数据不平衡的问题,我们设计了一个简单而有效的数据增强方法来构建没有监督的负实例,并应用对比学习来获得更好的特征表示。进行了大量的实验,结果表明,我们的模型在几个国家的最先进的基线的优越性和竞争力。
2022-04-18 cs.AI cs.CL eess.AS
Visual Cues Enhance Predictive Turn-Taking for Two-Party Human Interaction
ADAPT Centre, School of Engineering, Trinity College Dublin(ADAPT中心、工程学院、都柏林信任学院)
本文提出多模态话轮转换模型MM-VAP,融合语音与视觉线索,在视频会议中超越仅音频模型,消融显示面部表情贡献最大,为首次全面分析多模态PTTM。
2025-10-24 cs.CL cs.RO
Skill-SD: Skill-Conditioned Self-Distillation for Multi-turn LLM Agents
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences(中国科学院大学杭州高等研究院);The Chinese University of Hong Kong(香港中文大学);University of Science and Technology of China(中国科学技术大学);University of Chinese Academy of Sciences(中国科学院大学);vivo AI Lab(vivo AI实验室)
Skill-SD通过将代理自身轨迹转化为动态训练监督,结合重要加权反KL损失稳定训练,提升多轮LLM代理性能,实验显示优于标准RL和OPD方法。
2026-04-12 cs.AI cs.CL cs.LG
Multimodal Transformer Models for Turn-taking Prediction: Effects on Conversational Dynamics of Human-Agent Interaction during Cooperative Gameplay
Hanyang University(汉阳大学);DePaul University(德保罗大学)
本研究提出融合多模态信息的跨模态Transformer话轮转换预测模型,在合作游戏场景的用户研究中验证其可提升人机对话流畅自然度,维持平衡会话动态。
2025-02-05 cs.AI cs.CL cs.HC
Pardon the Interruption: An Analysis of Gender and Turn-Taking in U.S. Supreme Court Oral Arguments
Educational Testing Service(教育考试服务中心);University of Washington(华盛顿大学)
本研究提出了一个语料库的话轮之间的变化,在美国最高法院口头辩论。每一个回合的变化都被一个在美国有法律经验的人类注释者贴上了“合作”到“竞争”的标签。我们分析了言语特征、交流的性质以及说话者的性别和法律角色之间的关系。最后,我们证明了该模型可以用来预测标签的交流与适度的成功。自动分类的性质的交流表明,未来的研究话轮转换在口头辩论可以依靠更大的,未标记的语料库。
2020-09-15 cs.CL cs.SD eess.AS
Fast When, Careful Who: Dual-Process Multiparty Turn-Taking with Diffusion Augmentation
Deakin University(迪肯大学);Griffith University(格里菲斯大学)
针对多说话人对话中的轮次转换问题,提出音频两阶段流水线,先快速检测轮次边界,再轻量验证决定是否转移并预测下一说话人,扩散增强进一步改善检测性能。
2026-06-16 cs.AI cs.CL
MENASpeechBank: A Reference Voice Bank with Persona-Conditioned Multi-Turn Conversations for AudioLLMs
Qatar Computing Research Institute(卡塔尔计算研究所)
MENASpeechBank通过合成数据管道生成多轮对话数据,支持音频大语言模型在多样化语音和方言场景中的训练与应用。
2026-09-21 cs.AI cs.CL cs.SD
Adaptive Turn-Taking for Real-time Multi-Party Voice Agents
Amazon AGI(亚马逊人工智能研究院);IIT Kharagpur, India(印度克里ш格布尔理工学院)
提出ModeratorLM,一种基于角色条件的语音大模型,通过分块流式处理和链式推理,在多方对话中实现自适应轮流发言,显著提升轮流精度和召回率。
2026-06-29 cs.AI cs.CL eess.AS
Note2Chat: Improving LLMs for Multi-Turn Clinical History Taking Using Medical Notes
Note2Chat通过医疗笔记训练LLM提升多轮临床病史采集的准确性和效率
2026-01-29 cs.CL
Same Words, Different Actions: Paired Turn-Taking Evaluation under Rewritten Dialogue Contexts
Zuoyebang Education Technology(作业帮教育科技)
针对全双工对话中话轮转换评估忽视上下文的问题,提出配对基准ECHO和配对准确率指标,揭示多数系统偏向让出,打断评估会高估可靠性。
2026-09-25 cs.CL
Speak or Stay Silent: Context-Aware Turn-Taking in Multi-Party Dialogue
School of Electrical and Computer Engineering, Purdue University, United States(帕克大学电气与计算机工程学院);Ishiki Labs Inc.(Ishiki实验室)
本文提出了一种基于上下文的情境感知发言轮换方法,通过监督微调和推理痕迹提升模型在多方对话中的发言准确性,发现现有大语言模型在零样本条件下无法有效实现该能力。
2026-03-12 cs.AI cs.CL
Applying General Turn-taking Models to Conversational Human-Robot Interaction
KTH Royal Institute of Technology(瑞典皇家理工学院)
针对人机交互系统话轮转换不自然的问题,首次将TurnGPT和VAP两种通用话轮模型结合使用,无需领域微调,经39人参与的实验验证,该系统更受偏好且能减少响应延迟与打断。
2025-01-15 cs.CL cs.RO
Turn-taking and Backchannel Prediction with Acoustic and Large Language Model Fusion
Amazon(亚马逊)
本研究提出融合神经声学模型与大语言模型的口语对话话轮转换及反馈语位置预测方法,搭配多任务指令微调策略,在Switchboard数据集上优于单模态基线,为更自然的人机语音交互提供了新思路。
2024-01-26 cs.AI cs.CL cs.LG
Lla-VAP: LSTM Ensemble of Llama and VAP for Turn-Taking Prediction
Emory University(埃默里大学)
本项目提出Lla-VAP多模态集成框架,结合Llama和VAP模型提升对话中话轮转换预测的准确性与效率,并在ICC和CCPE数据集上验证了其有效性。
2024-12-24 cs.CL cs.HC cs.SD
Syn-TurnTurk: A Synthetic Dataset for Turn-Taking Prediction in Turkish Dialogues
Qwen(通义实验室)
本文提出Syn-TurnTurk数据集,通过Qwen大语言模型生成土耳其对话数据,用于提升轮询预测的准确性与AUC分数,促进自然的人机交互。
2026-04-15 cs.AI cs.CL
"Dyadosyncrasy", Idiosyncrasy and Demographic Factors in Turn-Taking
KTH Royal Institute of Technology(皇家理工学院);Pontifical Catholic University of São Paulo(圣保罗天主教大学);Stockholm University(斯德哥尔摩大学)
本研究利用Fisher数据集分析话轮转换,发现性别和年龄对转换话轮偏移量有较小显著影响,而对话对关系和联合活动是决定TFO的最强因素,影响远超人口统计学因素。
2025-05-30 cs.CL eess.AS
Beyond Turn-taking: Introducing Text-based Overlap into Human-LLM Interactions
Sungkyunkwan University(成均馆大学);Google DeepMind(谷歌DeepMind)
本研究提出在基于文本的人机交互中引入重叠消息,开发了支持双方发起重叠的原型聊天机器人OverlapBot,实验证明其能提升交互的交流性、沉浸感、流畅度与自然度。
2025-01-30 cs.CL cs.HC
TurnBench: A Multi-Domain Benchmark for Turn-Taking Dynamics in Spoken Dialogue
Sesame AI;Mundo AI;Carnegie Mellon University(卡内基梅隆大学);National Taiwan University(台湾大学);Academia Sinica(中央研究院);Oto;Brno University of Technology(布尔诺理工大学)
针对口语对话话轮转换评估的局限,提出多领域基准测试TurnBench,含标注语料与评估协议,测试14种系统发现打断误报具风格依赖性,当前系统未达人类流畅交接表现。
2026-09-17 cs.CL eess.AS
Synchronization and Turn-Taking in Full-Duplex Speech Dialogue Models
ASAPP Inc.(ASAPP公司);Departamento de Computación, FCEyN, Universidad de Buenos Aires(计算机系,福克雷斯-恩分校,布宜诺斯艾利斯大学)
本文研究了全双工语音对话模型如何通过内部表示的同步协调交互,并发现噪声条件下同步性下降,内部状态编码了提前的轮流预测信息。
2026-05-19 cs.AI cs.CL cs.SD
Full-Duplex-Bench: A Benchmark to Evaluate Full-duplex Spoken Dialogue Models on Turn-taking Capabilities
Graduate Institute of Communication Engineering, National Taiwan University(国立台湾大学通信工程研究所);UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
针对现有口语对话模型评估局限于半双工和粗粒度指标的问题,本文提出Full-Duplex-Bench基准,系统评估停顿处理、反馈通道、话轮转换和打断管理能力,并通过自动指标实现公平、快速、可复现的评估,以推动全双工口语对话模型的发展。
2025-08-16 cs.CL eess.AS
Team Flow at DRC2023: Building Common Ground and Text-based Turn-taking in a Travel Agent Spoken Dialogue System
Nagoya University(名古屋大学)
本文介绍Team Flow在DRC2023中开发的旅行代理对话系统,通过构建共同基础和基于文本的轮流发言,提升对话机器人的交互自然度。
2023-12-21 cs.AI cs.CL cs.RO
DyMT-ESB: Dynamic Multi-Turn Evaluation of Social Bias in User-LLM Interactions
Institute of Science Tokyo(东京科学大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Third Intelligence;The University of Liverpool(利物浦大学)
本文提出DyMT-ESB协议,通过响应条件生成后续查询和可变轮数,评估LLM多轮交互中的社会偏见动态,发现后期出现、非单调及重新出现的偏见模式,强调轮级动态分析的重要性。
2026-09-17 cs.CL
A Noise-Robust Turn-Taking System for Real-World Dialogue Robots: A Field Experiment
Graduate School of Informatics, Kyoto University(京都大学信息学研究科);CyberAgent;University of Osaka(大阪大学)
本研究提出基于Transformer的抗噪语音活动投影(VAP)模型以增强对话机器人实时轮次切换,现场实验表明该系统显著降低响应延迟并提升交互体验。
2025-07-14 cs.CL cs.RO cs.SD
Instruct-FD: Can Your Full-Duplex Speech System Follow Turn-Taking Instructions?
Boson AI(玻色子人工智能公司)
研究全双工语音系统在明确指令下的轮流发言行为,引入Instruct-FD基准,开发相关工具,通过对六个先进系统测试发现遵循指令的轮流管理有差距,为构建适应性全双工对话系统指明关键方向。
2026-07-24 cs.AI cs.CL
Prompt-Guided Turn-Taking Prediction
Kyoto University(京都大学)
本文提出一种基于文本提示动态控制轮流发言预测的模型,通过在VAP模型中融入提示嵌入,实现对话节奏的直观调控并提升预测准确率。
2025-07-03 cs.CL cs.SD eess.AS
Turn-Taking Prediction for Natural Conversational Speech
Google Inc.(谷歌公司)
虽然流式语音助理系统已被用于许多应用中,但该系统通常专注于不自然的一次性交互,假设来自单个语音查询的输入没有犹豫或不流利。然而,一个共同的会话话语往往涉及多个问题与话轮转换,除了不流利。这些不流利包括停下来思考,犹豫,单词拉长,充满停顿和重复的短语。这使得对会话语音(包括具有多个查询的会话语音)进行语音识别成为一项具有挑战性的任务。为了更好地对会话交互进行建模,区分不流利和查询结束是至关重要的,以便允许用户保持不流利的发言权,同时在用户完成发言时使系统尽可能快地响应。在本文中,我们提出了一个建立在端到端(E2E)语音识别器之上的话轮转换预测器。我们最好的系统是通过联合优化ASR任务和检测用户何时暂停思考或完成说话来获得的。该方法在测试集上测试了4种插入会话中的不流利语,在100 ms的潜伏期内预测真实话轮转换的召回率和准确率分别超过97%和85%。
2022-08-29 cs.CL cs.SD eess.AS
From Turn-Taking to Synchronous Dialogue: A Survey of Full-Duplex Spoken Language Models
Jilin University, Changchun, China(吉林大学);Hunan University, Changsha, China(湖南大学)
本文综述了LLM时代的全双工口语语言模型,提出工程化同步与学习式同步的分类法,并统一评估框架,指出同步数据稀缺、架构分歧和评估缺口等核心挑战,为人机通信发展提供路线图。
2025-09-18 cs.CL cs.SD eess.AS
Real-time and Continuous Turn-taking Prediction Using Voice Activity Projection
Kyoto University(京都大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出基于VAP模型的实时连续轮流预测系统,利用CPC和transformers直接映射对话音频至未来语音活动,并验证了其在CPU设置下能实时运行且性能下降极小。
2024-01-10 cs.CL cs.HC cs.SD
Multimodal Voice Activity Projection for Turn-Taking in Social Robots with Voice-Activity-Related Pretrained Encoders
i Intelligent Insights(4i智能洞察公司);Universidad de Sevilla(塞维利亚大学);Universidad Pablo de Olavide(巴勃罗·德奥拉维德大学);Honda Research Institute Japan(本田日本研究所)
研究社交机器人对话轮次转换,提出多模态语音活动投影框架,基于预训练视听主干并经低秩适应,结合说话人间注意力及语义一致性损失,实验表明该方法优于基线,适用于调解型人机交互。
2026-07-09 cs.AI cs.CL cs.RO
Audio-Visual Turn-taking Prediction in Cocktail Party Scenarios
Trinity College Dublin(都柏林圣三一大学)
本研究评估了音视频轮流说话预测模型在鸡尾酒会嘈杂场景下的泛化与适应能力,发现性能显著下降(加权F1最高降38%),微调可改善但效果因模态和数据量而异,并公开了代码与标签。
2026-10-09 cs.CL cs.SD
Learning Multi-Party Turn-Taking Models from Dialogue Logs
IBM Research(IBM研究院)
本文研究了应用机器学习(ML)技术,使智能系统学习多方话轮转换模型从对话日志。特定的ML任务包括在对话的每个话语之后确定谁接下来说话,给定谁已经说过以及在之前的话语中说了什么。有了这个目标,本文提出了不同的ML技术,如最大似然估计(MLE),支持向量机(SVM)和卷积神经网络(CNN)架构的准确性比较,有和没有话语数据。我们提出了三个语料库:第一个具有来自美国电视情景喜剧的对话(闲聊),第二个具有来自金融建议多机器人系统的日志,第三个具有从多域向导奥兹数据集创建的语料库(两者都是面向主题的)。结果显示:(i)语料库的大小对基于内容的深度学习方法的准确性具有非常积极的影响,并且这些模型在较大的数据集中表现最好;以及(ii)如果对话数据集是小的并且面向主题(但主题很少),使用仅代理的MLE或SVM模型就足够了,尽管通过使用具有CNN模型的话语内容可以实现稍高的准确度。
2019-07-03 cs.CL
A Hybrid Solution to Learn Turn-Taking in Multi-Party Service-based Chat Groups
IBM Research(IBM研究院)
预测多方对话中下一个最有可能交互的参与者是一个难题。在基于文本的聊天组中,唯一可用的信息是发送者、文本内容和对话历史。在本文中,我们提出了我们的研究如何这些信息可以使用的预测任务,通过语料库和架构,集成了话轮转换分类器的基础上最大似然期望(MLE),卷积神经网络(CNN)和有限状态自动机(FSA)。该语料库是多域向导奥兹数据集(MultiWOZ)的合成适应多个基于旅行服务的机器人场景与对话错误,并创建模拟用户的交互和评估架构。我们目前的实验结果表明,CNN方法实现了更好的性能比基线的准确率为92.34%,但与MLE,CNN和FSA的综合解决方案实现了更好的性能,95.65%。
2020-01-14 cs.CL cs.FL
Voice Activity Projection Model with Multimodal Encoders
Sorbonne University(索邦大学);CNRS(国家科学研究中心)
本文提出一种融合预训练音频与面部编码器的多模态语音活动投影模型,通过捕捉细微表情提升轮流发言预测性能,并在部分指标上超越现有最优模型。
2025-06-04 cs.CL