The State of SLIVAR: What's next for robots, human-robot interaction, and (spoken) dialogue systems?
Boise State University（博伊西州立大学）
我们综合了最近召开的研讨会和研讨会的报告结果和建议，讨论机器人，人机交互和口语对话系统研究的重要交叉点内的开放性问题。这一日益增长的研究领域的目标是使人们能够更有效、更自然地与机器人进行交流。为了将网络和讨论的机会推向具体的、有可能获得资助的项目，我们鼓励感兴趣的各方考虑参加未来的虚拟和面对面的讨论和研讨会。
2021-08-24 cs.CL
Empirically Evaluating an Adaptable Spoken Dialogue System
最近的技术进步已经使得为各种各样的应用建立实时、交互式口语对话系统成为可能。然而，当用户不尊重这种系统的限制时，性能通常会下降。尽管用户对系统限制的了解有所不同，并且尽管不同的对话策略使系统限制对用户来说更加明显，但大多数当前系统并没有尝试通过使对话行为适应个人用户来提高性能。本文提出了一个经验评估TOOT，一个自适应口语对话系统检索训练时刻表在网络上。我们进行了一个实验，其中20个用户进行4个任务，适应性和非适应性版本的TOOT，导致语料库的80个对话。然后从该语料库中提取各种评价措施的值。我们的研究结果表明，自适应TOOT一般优于非自适应TOOT，适应的效用取决于TOOT的初始对话策略。
1999-03-05 cs.CL
Time Masking: Leveraging Temporal Information in Spoken Dialogue Systems
Amazon Alexa AI（亚马逊Alexa人工智能部门）
在口语对话系统中，对话状态跟踪器（DST）组件通过使用直到那时的交互来更新与针对当前用户回合被跟踪的每个槽相关联的值的分布来跟踪对话的状态。以前的大部分工作都依赖于对会话的自然顺序进行建模，使用基于距离的偏移作为时间的近似值。在这项工作中，我们假设，利用挂钟的时间差异轮流是至关重要的细粒度控制的对话场景。我们开发了一种新的方法，适用于{ \it时间掩码}，基于挂钟的时间差，相关的插槽嵌入和经验证明，我们提出的方法优于现有的方法，利用距离偏移，在内部基准数据集以及DSTC 2。
2019-07-25 cs.CL
SpokenWOZ: A Large-Scale Speech-Text Benchmark for Spoken Task-Oriented Dialogue Agents
DAMO Academy, Alibaba Group（阿里巴巴集团大模型研究院）；Computer Science and Engineering Division, University of Michigan（密歇根大学计算机科学与工程系）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学光明人工智能学院）
针对现有任务型对话数据集与真实语音场景的差距，提出大规模语音-文本基准SpokenWOZ，包含8领域249小时音频，并设计跨轮槽位与推理槽位检测新挑战，实验表明现有模型在语音对话中仍有大幅提升空间。
2025-06-24 cs.AI cs.CL
Triadic Multi-party Voice Activity Projection for Turn-taking in Spoken Dialogue Systems
Graduate School of Informatics（信息科学研究生学校）
本研究针对传统话轮转换研究多聚焦二元场景的问题，首次将语音活动预测（VAP）拓展至三方对话场景，在日语三方数据集上训练的模型优于基线，证实VAP可用于三方对话话轮转换，为后续集成到口语对话系统奠定基础。
2025-10-03 cs.CL
A Sequence-to-Sequence Model for User Simulation in Spoken Dialogue Systems
Maluuba Research（马鲁巴研究院）
用户模拟对于生成足够的数据来训练统计口语对话系统是必不可少的。以前的用户模拟模型有几个缺点，如无法考虑到对话历史，需要刚性的结构，以确保连贯的用户行为，严重依赖于一个特定的域，无法输出几个用户的意图在一个对话回合，或要求一个概括的动作空间的易处理性。本文介绍了一种数据驱动的用户模拟器的基础上的编码器-解码器的递归神经网络。该模型将一系列对话上下文作为输入，并输出与用户意图相对应的一系列对话行为。对话上下文包括关于机器动作和用户目标的状态的信息。我们在对话状态跟踪挑战2（DSTC 2）数据集上显示，根据F分数，序列到序列模型的性能优于基于martina的模拟器和n-gram模拟器。此外，我们展示了如何使用这个模型可以在原来的动作空间，从而更精细的粒度用户行为模型。
2016-06-30 cs.CL
Semantic Refinement GRU-based Neural Language Generation for Spoken Dialogue Systems
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；University of Information and Communication Technology（信息与通信技术大学）
自然语言生成在口语对话系统中起着至关重要的作用。本文提出了一种新的方法，NLG使用循环神经网络（RNN），其中的门控机制之前，RNN计算。这允许所提出的模型生成适当的句子。基于RNN的生成器可以通过联合训练句子规划和表面实现来从未对齐的数据中学习，以产生自然语言响应。该模型进行了广泛的评估四个不同的NLG域。结果表明，该生成器实现了更好的性能在所有的NLG域相比，以前的发电机。
2017-07-11 cs.CL
Interactivism in Spoken Dialogue Systems
The University of Sheffield（谢菲尔德大学）
互动主义模式引入了一种动态的语言，沟通和认知方法。在这项工作中，我们将探讨这一基本理论的背景下，对话建模口语对话系统（SDS）。为了扩展这样一个理论框架，我们提出了一套设计原则，坚持中央心理语言学和传播理论，以实现互动在SDS。从这些，关键的想法是联系在一起，构成我们提出的设计原则的基础。
2022-09-28 cs.CL cs.CY
Towards Generalized Models for Task-oriented Dialogue Modeling on Spoken Conversations
Ant Group（蚂蚁集团）
由于口语和书面数据分布的差距，为口语对话构建健壮和通用的对话模型具有挑战性。本文介绍了我们的方法来建立通用模型的知识为基础的面向任务的对话建模口语会话挑战的DSTC-10。为了减少口语和书面文本之间的差异，我们主要采用广泛的数据增强策略的书面数据，包括人工错误注入和往返的文本-语音转换。为了训练口语会话的鲁棒模型，我们改进了预训练的语言模型，并对每个子任务应用集成算法。通常，对于检测任务，我们微调\roberta和ELECTRA，并运行错误修复集成算法。对于选择任务，我们采用了一个两阶段的框架，包括实体跟踪和知识排名，并提出了一个多任务学习方法，学习多层次的语义信息，通过领域分类和实体选择。对于生成任务，我们采用交叉验证数据过程来改进预训练的生成语言模型，然后采用共识解码算法，该算法可以添加任意特征，如相对\rouge度量，并直接将相关特征权重调整到\bleu。我们的方法在客观评估中排名第三，在最终的官方人类评估中排名第二。
2022-03-08 cs.CL
Improving Long Distance Slot Carryover in Spoken Dialogue Systems
Amazon.com, Inc.（亚马逊公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
跟踪会话的状态是面向任务的口语对话系统中的中心组件。用于跟踪对话状态的一种这样的方法是时隙结转，其中，如果来自上下文的时隙与当前回合相关，则模型做出二元判定。以前的插槽结转任务的工作使用的模型，为每个插槽作出独立的决定。对结果的仔细分析表明，这种方法在较长的上下文对话中表现不佳。在本文中，我们建议联合建模的插槽。我们提出了两个神经网络架构，一个基于指针网络，将插槽排序信息，和其他基于Transformer网络，使用自我注意力机制来模拟插槽的相互依赖性。我们在内部对话基准数据集和公共DSTC 2数据集上的实验表明，我们提出的模型能够解决更长距离的插槽引用，并能够实现有竞争力的性能。
2019-06-04 cs.CL
Evaluation of the NLP Components of the OVIS2 Spoken Dialogue System
挪威世界教育组织优先方案语言和语音技术是一项为期5年的研究方案，旨在开发口语信息系统。在该方案中，并行开发了两个备选的自然语言处理模块：一个基于语法的模块（常规的、基于规则的）和一个面向数据的模块（基于存储器的、随机的、DOP）。为了比较自然语言处理模式，在方案开始三年后进行了正式评估。本文介绍了评价过程和评价结果。在这个比较中，基于语法的组件比面向数据的组件性能更好。
1999-06-14 cs.CL
Neural User Simulation for Corpus-based Policy Optimisation for Spoken Dialogue Systems
Cambridge University Engineering Department（剑桥大学工程系）
用户模拟器是实现面向任务的对话系统离线训练的主要工具之一。对于这个任务，通常使用基于XML的用户模拟器（ABUS）。ABUS是基于手工制作的规则，其输出是语义形式。这两个属性都会产生问题，例如有限的多样性和无法连接文本级信念跟踪器。本文介绍了神经用户模拟器（NUS），其行为是从语料库中学习，并生成自然语言，因此需要一个更少的标记数据集比模拟器生成的语义输出。在这个主题上，它评估用户模拟器基于语料库的指标的过去的工作相比，我们使用NUS训练的政策，强化学习为基础的口语对话系统。通过评估使用模拟器训练的策略，将NUS与ABUS进行比较。进行跨模型评估，即在一个模拟器上进行训练，在另一个模拟器上进行测试。此外，经过训练的策略在真实用户上进行测试。在这两项评估任务中，NUS的表现都优于ABUS。
2018-05-17 cs.AI cs.CL stat.ML
Dialogue Systems Can Generate Appropriate Responses without the Use of Question Marks? -- Investigation of the Effects of Question Marks on Dialogue Systems
LINE Corporation（LINE公司）
本文研究问号对口语对话系统生成回应的影响，发现问号缺失会显著影响系统表现，并通过具体示例分析了受影响的话语类型。
2023-08-07 cs.CL
Towards a PURE Spoken Dialogue System for Information Access
随着万维网的迅速发展，越来越有可能容易地获取各种各样的信息，例如航班时刻表、黄页、二手车价格、当前股票价格、娱乐活动时间表、帐户余额等。具有用于这种信息访问任务的口语对话接口将是非常有用的。我们确定的可移植性，可用性，鲁棒性和可扩展性的四个主要设计目标，这样的系统。换句话说，我们的目标是开发一个PURE（便携，可用，强大，可扩展）系统。提出了一种口语对话系统的两层对话结构，上层是领域无关的，下层是领域特定的。我们正在一个混合主动系统中实现这种架构，该系统从万维网访问航班到达/离开信息。
1997-07-22 cmp-lg cs.CL
Semantic Processing of Out-Of-Vocabulary Words in a Spoken Dialogue System
口语对话系统失败的最重要原因之一通常被忽视：系统词汇表中未覆盖的单词（词汇表外或OOV单词）的问题。本文介绍了一种在训练时刻表自动生成系统中对无尾词进行检测、分类和处理的方法。各种扩展，不得不影响系统的不同模块的报告，导致设计适当的对话策略，因为是令人鼓舞的评价结果的新版本的单词识别器和语言处理器。
1997-09-17 cmp-lg cs.CL
Duplex Conversation: Towards Human-like Interaction in Spoken Dialogue Systems
Alibaba Group（阿里巴巴集团）
在本文中，我们提出了双工对话，多回合，多模态口语对话系统，使基于电话的代理人与客户像一个人。我们使用电信中全双工的概念来演示什么是类人的交互体验，以及如何通过三个子任务实现平滑的话轮转换：用户状态检测，反向信道选择和闯入检测。此外，我们提出了半监督学习与多模态数据增强，利用未标记的数据，以提高模型的泛化。三个子任务的实验结果表明，该方法取得了一致的改善与基线相比。我们将Duplex Conversation部署到阿里巴巴智能客户服务中，并分享生产中的经验教训。在线A/B实验表明，该系统可以显着减少响应延迟的50%。
2022-06-14 cs.CL
Team Flow at DRC2023: Building Common Ground and Text-based Turn-taking in a Travel Agent Spoken Dialogue System
Nagoya University（名古屋大学）
本文介绍Team Flow在DRC2023中开发的旅行代理对话系统，通过构建共同基础和基于文本的轮流发言，提升对话机器人的交互自然度。
2023-12-21 cs.AI cs.CL cs.RO
Chat Detection in an Intelligent Assistant: Combining Task-oriented and Non-task-oriented Spoken Dialogue Systems
The University of Tokyo（东京大学）；Yahoo Japan Corporation（雅虎日本公司）
最近出现的智能手机和家用电子产品上的智能助理（例如，Siri和Alexa）可以被视为特定领域任务导向的口语对话系统和开放领域非任务导向的口语对话系统的新混合体。为了实现这样的混合对话系统，本文研究确定用户是否要与系统聊天。为了解决这个任务缺乏基准数据集的问题，我们构建了一个新的数据集，包括从商业智能助理的真实日志数据中收集的15; 160个话语（并将发布数据集以促进未来的研究活动）。此外，我们调查使用推文和Web搜索查询处理开放域的用户话语，其特征在于聊天检测的任务。实验表明，虽然简单的监督方法是有效的，但使用推文和搜索查询进一步将F1分数从86.21提高到87.53。
2018-07-24 cs.CL
From Awareness to Adherence: Bridging the Context Gap in Spoken Dialogue Systems via Context-Aware Decoding
ECE, Seoul National University（首尔大学电气与计算机工程系）；IPAI, Seoul National University（首尔大学IPAI研究所）；Department of AI, University of Seoul（首尔市立大学人工智能系）
提出音频适配的上下文感知解码方法，通过对比有无关键上下文的输出分布，放大多模态上下文信号，解决口语对话系统中上下文遵循问题。
2026-06-16 cs.CL
LD-SDS: Towards an Expressive Spoken Dialogue System based on Linked-Data
Toshiba Research Europe（东芝欧洲研究院）；Institute of Computer Science, FORTH-ICS（FORTH-ICS 计算机科学研究所）；University of Crete（克里特大学）
在这项工作中，我们讨论了相关的挑战，并描述了一种方法，从口语对话系统（SDS）和语义Web和信息检索域的融合国家的最先进的技术。我们设想了一个名为LD-SDS的对话系统，它将支持先进的、富有表现力的、吸引人的用户请求，通过多个、复杂的、丰富的、开放的数据源，利用可用的关联数据的财富。具体而言，我们专注于：a）改进数据源和用户输入中出现的实体的识别、消歧和链接; b）提供高级查询服务，用于利用数据的语义，具有推理和探索能力;以及c）扩展典型的信息寻求对话模型（槽填充），以更好地反映真实世界的对话搜索场景。
2017-10-09 cs.CL cs.IR
Learning from Real Users: Rating Dialogue Success with Neural Networks for Reinforcement Learning in Spoken Dialogue Systems
University of Cambridge（剑桥大学）
为了训练统计口语对话系统（SDS），必须有一个精确的方法来测量任务的成功。到目前为止，训练依赖于向模拟或付费用户呈现任务，并通过观察所呈现的任务是否完成来推断对话的成功。然而，我们的目标是能够从真正的用户根据自己的意志行事，在这种情况下，它是不平凡的成功率，因为任何先验知识的任务是根本不可用。可以利用用户反馈，但发现不一致。因此，在这里，我们提出了两个神经网络模型，评估一系列的回合水平功能，以评价对话的成功。重要的是，这些模型不使用用户任务的任何先验知识。该模型在由模拟用户生成的对话上进行训练，然后使用最佳模型来训练在线策略，该策略被示出为使用用户任务的先验知识来执行至少与基线系统一样好。我们注意到，这些模式还应有助于评估安全数据交换和监测基于规则的安全数据交换对话。
2015-08-13 cs.CL cs.LG
Reward Shaping with Recurrent Neural Networks for Speeding up On-Line Policy Learning in Spoken Dialogue Systems
University of Cambridge（剑桥大学）
统计口语对话系统具有能够通过与真实用户的交互从数据优化的吸引人的特性。然而，在强化学习范例中，对话管理器（代理）通常需要大量的时间来探索状态-动作空间，以学习以期望的方式表现。这是一个关键的问题，当系统是在线训练与真实用户的学习成本是昂贵的。奖励塑造是解决这些问题的一种有前途的技术。在这里，我们研究了三种递归神经网络（RNN）方法，除了主要的（面向任务的）环境反馈外，还提供了奖励塑造信息。这些RNN是根据模拟用户生成的对话的返回值进行训练的，并试图将对话的整体评估扩散到回合级别，以引导智能体更快地实现良好的行为。在模拟和真实的用户场景中，这些RNN被证明可以提高策略学习速度。重要的是，它们不需要事先了解用户的目标。
2015-08-18 cs.CL cs.LG
On-line Active Reward Learning for Policy Optimisation in Spoken Dialogue Systems
University of Cambridge（剑桥大学）
计算准确的奖励函数的能力对于通过强化学习优化对话策略至关重要。在现实世界的应用中，使用明确的用户反馈作为奖励信号通常是不可靠的，并且收集成本很高。如果用户的意图是预先知道的，或者数据可用于离线预训练任务成功预测器，则可以缓解这个问题。实际上，这两种方法都不适用于大多数现实世界的应用。在这里，我们提出了一个在线的学习框架，通过主动学习与高斯过程模型的奖励模型一起，通过联合训练的对话政策。该高斯过程对使用递归神经网络编码器-解码器以无监督方式生成的连续空间对话表示进行操作。实验结果表明，该框架能够显着降低数据标注成本，并减轻嘈杂的用户反馈对话策略学习。
2016-06-02 cs.CL cs.LG
Spoken Language Dialogue Systems and Components: Best practice in development and evaluation (DISC 24823) - Periodic Progress Report 1: Basic Details of the Action
DISC项目的目的是（a）深入了解口语对话系统的最新技术以及组件的开发和评估，目的是（b）开发该领域的第一个最佳实践方法。该方法将附有（c）一系列开发和评价支助工具。在项目期间尽可能有限的范围内，方法和工具的草案将（d）由来自工业和研究的可持续土地开发系统开发者进行测试，并将（e）打包以最适合他们的需要。在光盘的第一年，（a）已经完成，（b）和（c）已经开始。已于1998年3月向Esprit长期研究公司提交了一项建议，即在本项目的18个月基础上再增加12个月，以完成上述工作。
1998-09-23 cs.CL cs.SE
Semantic filtering by inference on domain knowledge in spoken dialogue systems
一般的自然对话处理需要大量的领域知识以及语言知识，以确保可接受的覆盖率和理解。在不同层次的对话处理中，有几种方法可以整合词汇资源（例如词典、同义词词典）和知识库或本体。我们集中在本文中，如何利用领域知识过滤的解释假设所产生的强大的语义分析器。我们使用领域知识来语义约束假设空间。此外，增加一个推理机制，使我们能够完成解释时，信息是不明确的。此外，我们简要地讨论了如何将其推广到一个预测性的自然交互系统。
2004-10-23 cs.AI cs.CL cs.HC
Neural Generation of Dialogue Response Timings
ADAPT Centre（ADAPT中心）；School of Engineering（工程学院）；Trinity College Dublin（都柏林圣三一学院）
人类对话中的口头响应偏移的定时已经被示出基于对话的上下文元素而变化。我们提出了神经模型，模拟这些响应偏移量的分布，同时考虑到响应转向以及前面的转向。这些模型被设计成集成到增量口语对话系统（SDS）的流水线中。我们使用离线实验以及人类听力测试来评估我们的模型。我们表明，人类听众认为某些响应时间是更自然的对话上下文的基础上。将这些模型引入SDS管道可以增加交互的感知自然度。
2020-05-18 cs.CL
EmoNews: A Spoken Dialogue System for Expressive News Conversations
Carnegie Mellon University（卡内基梅隆大学）
本研究开发了用于新闻对话的情感口语对话系统EmoNews，结合LLM情感分析器与PromptTTS实现上下文适配的情感语音，提出对应评估量表，实验证明其在情感调节与对话参与度上优于基线系统，且代码已开源。
2025-06-16 cs.CL
An Analysis of User Behaviors for Objectively Evaluating Spoken Dialogue Systems
Kyoto University（京都大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出基于用户行为客观评估口语对话系统的框架，分析专注倾听、求职面试和初次见面交谈中的行为指标与主观评分关系，揭示不同任务应采用不同行为指标。
2024-01-23 cs.AI cs.CL cs.HC
Multi-Task Learning for Domain-General Spoken Disfluency Detection in Dialogue Systems
Heriot-Watt University（赫瑞-瓦特大学）
自发的口语对话往往不流利，包含停顿，犹豫，自我纠正和错误的开始。处理这些现象对于理解说话者的意图和控制会话的流程至关重要。此外，该处理需要是逐词递增的，以允许进一步的下游处理尽早开始，以便处理真实的自发人类会话行为。此外，从开发人员的角度来看，非常希望能够开发出可以从“干净”示例中训练的系统，同时还能够概括相同数据上的非常多样化的不流利变化-从而提高数据效率和鲁棒性。在本文中，我们提出了一个多任务的LSTM为基础的模型，用于增量检测的不流利结构，它可以连接到任何组件的增量解释（例如，增量语义解析器），或者只是用来“清理”当前的话语，因为它正在产生。我们训练系统上的交换机对话行为（SWDA）语料库，并提出其准确性在这个数据集上。我们的模型优于以前的神经网络为基础的增量方法约10个百分点的SWDA，同时采用一个更简单的架构。为了测试模型的泛化潜力，我们在bAbI+数据集上评估了相同的模型，没有任何额外的训练。bAbI+是一个综合目标导向对话的数据集，我们控制不流利的分布及其类型。这表明，我们的方法有很好的泛化潜力，并揭示了更多的光，哪些类型的不流利可能服从域一般处理。
2018-10-08 cs.CL
Spoken Dialogue System for Medical Prescription Acquisition on Smartphone: Development, Corpus and Evaluation
Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔国立理工学院、格勒诺布尔信息学实验室）；Calystene SA（Calystene公司）；CHU Grenoble Alpes（格勒诺布尔阿尔卑斯大学医院）
针对医院信息系统处方录入耗时长、界面复杂的问题，本文开发了低资源环境下的智能手机端口语处方对话系统，经真实场景验证具备可用的效率与成功率，并发布了首个公开口语处方语料库PxCorpus。
2023-11-06 cs.CL
Multi-domain Neural Network Language Generation for Spoken Dialogue Systems
Cambridge University（剑桥大学）
从有限域自然语言生成（NLG）到开放域是困难的，因为语义输入组合的数量随着域的数量呈指数级增长。因此，重要的是利用现有资源并利用域之间的相似性来促进领域自适应。在本文中，我们提出了一个过程，训练多领域，基于递归神经网络（RNN）的语言生成器通过多个适应步骤。在这个过程中，首先在从域外数据集合成的伪造数据上训练模型，然后在具有判别目标函数的一小组域内话语上进行微调。基于语料库的评估结果表明，所提出的程序可以实现竞争力的性能，在BLEU分数和插槽出错率，同时显着减少所需的数据，训练发电机在新的，看不见的领域。在主观测试中，人类法官证实，该程序大大提高了生成器的性能时，只有少量的数据是在域中。
2016-03-03 cs.CL
Sympathy Begins with a Smile, Intelligence Begins with a Word: Use of Multimodal Features in Spoken Human-Robot Interaction
Heriot-Watt University（赫瑞-瓦特大学）
从人类面部表情或语音韵律中识别社会信号是人机交互研究中的一个热门研究课题。在口语对话社区中也有一长串的研究，调查与对话特征相关的用户满意度。然而，很少有研究涉及多模态的社会信号和语言功能的组合，在口语面对面的人机交互过程中检测到的用户感知的机器人。在本文中，我们展示了人类用户的不同情感的面部表情，结合人类语音的韵律特征和人机对话的特征，与用户的机器人的印象后，对话。我们发现，在用户的识别面部表情的幸福感强烈相关的机器人的可爱性，而对话相关的功能（如人类的回合数或每机器人话语的句子数）与感知机器人智能。此外，我们表明，面部表情，情感特征和韵律是更好的预测人类评级相关的感知机器人的可爱性和拟人化，而语言和非语言功能更经常预测感知机器人的智能和可解释性。因此，这些特征将来可以用作基于原位强化学习的自适应人机对话系统的在线奖励信号。
2017-06-08 cs.CL cs.HC cs.RO
Specialized Language Models using Dialogue Predictions
本文分析了访问数据库的口语对话系统中的语言建模。通过利用对话预测获得的几个语言模型的使用给出了更好的结果比使用单个模型的整个对话交互。为此，已经创建了几个模型，每个模型都针对特定的系统问题，例如请求或确认参数。依赖于对话的语言模型的使用提高了识别和理解水平的性能，特别是对系统请求的回答。此外，其他提高性能的方法，如词汇的自动聚类或在识别过程中使用更好的声学模型，不会影响依赖于对话的语言模型所带来的改进。在我们的实验中使用的系统是Dialogos，用于通过电话访问铁路时刻表信息的意大利口语对话系统。实验是在使用Dialogos收集的大量对话语料库上进行的。
1996-12-13 cmp-lg cs.CL
Are LLMs Robust for Spoken Dialogues?
University of Trento（特伦托大学）；Concordia University（康考迪亚大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
本文在DSTC11测试集上评估了LLM在口语任务导向对话中的鲁棒性，发现默认模型对口语噪声不具鲁棒性，但在合适的口语对话数据集上微调后性能更鲁棒。
2024-01-04 cs.CL
J-CHAT: Japanese Large-scale Spoken Dialogue Corpus for Spoken Dialogue Language Modeling
The University of Tokyo（东京大学）；Keio University（庆应义塾大学）
本文提出 J-CHAT，一个76000小时的日本口语对话语料库，用于改进 spoken dialogue 语言模型，通过自动化方法确保高质量和自然性，推动人机对话研究。
2026-04-02 cs.CL cs.SD eess.AS
Towards a Japanese Full-duplex Spoken Dialogue System
Nagoya University（名古屋大学）
本文提出首个公开的日语全双工口语对话模型，基于Moshi构建，通过大规模日语口语数据预训练、高质量立体声对话微调及合成数据增强，在自然度和有意义性上超越日语基线。
2025-06-03 cs.CL eess.AS
PARADISE: A Framework for Evaluating Spoken Dialogue Agents
本文介绍了Paradise（PARAdigm for DIMENSIONAL System Evaluation），一个评价口语对话代理的通用框架。该框架从代理人的对话行为中提取任务要求，支持对话策略之间的比较，能够计算子对话和整个对话的性能，指定各种因素对性能的相对贡献，并通过规范化任务复杂性来比较执行不同任务的代理人。
1997-04-15 cmp-lg cs.CL
Topic-Oriented Spoken Dialogue Summarization for Customer Service with Saliency-Aware Topic Modeling
Fudan University（复旦大学）；Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）
在客户服务系统中，对话摘要可以通过自动为客户和代理尝试解决有关特定主题的问题的长时间对话创建摘要来提高服务效率。在这项工作中，我们专注于面向主题的对话摘要，它生成高度抽象的摘要，保留对话的主要思想。在口语对话中，大量的对话噪音和共同的语义可能会掩盖潜在的信息内容，使一般的主题建模方法难以应用。此外，对于客户服务而言，特定角色的信息至关重要，是不可或缺的一部分。为了有效地进行主题建模的对话和捕获多角色的信息，在这项工作中，我们提出了一种新的主题增强的两阶段对话摘要（TDS）与显着性感知神经主题模型（SATM）共同面向主题的客户服务对话摘要。对真实世界的中国客户服务数据集的综合研究证明了我们的方法对几个强基线的优越性。
2021-06-25 cs.CL
Knowledge Augmented BERT Mutual Network in Multi-turn Spoken Dialogues
Georgia Institute of Technology（佐治亚理工学院）
现代口语语言理解（SLU）系统依赖于在单个话语中揭示的复杂语义概念来检测意图和槽。然而，他们缺乏在对话中建模多回合动态的能力，特别是在长期的插槽上下文中。在没有外部知识的情况下，依赖于词序列内有限的语言合法性可能会忽略对话轮之间的深层语义信息。在本文中，我们建议装备一个基于BERT的联合模型与知识注意力模块，以相互利用两个SLU任务之间的对话上下文。门控机制被进一步用来过滤掉不相关的知识三元组，并避免分心的理解。在两个复杂的多轮对话数据集上的实验结果表明，通过对两个SLU任务进行相互建模，过滤知识和对话上下文，我们的方法与几个竞争对手的基线相比有很大的改进。
2022-02-23 cs.CL
SocialNLP EmotionX 2019 Challenge Overview: Predicting Emotions in Spoken Dialogues and Chats
Taiwan International Graduate Program（台湾国际研究生学程）；National Tsing Hua University（台湾清华大学）；Academia Sinica（中央研究院）
我们概述了在第七届社交媒体自然语言处理国际研讨会（SocialNLP）上与IJCAI 2019联合举办的AsitionX 2019挑战赛。这项挑战需要使用增强的AppropriationLines数据集来预测口语和基于聊天的对话中的情绪。QuestionLines包含两个不同的数据集：第一个包括来自美国电视情景喜剧剧集脚本（Friends）的摘录，第二个包含在线聊天（QuestionPush）。共有36支队伍报名参加挑战赛。11个团队成功提交了预测性能评估。得分最高的团队在基于口语的对话（朋友）和基于聊天的对话（Push）中分别获得了81.5%和79.5%的微F1分数。
2019-09-18 cs.CL
EVI: Multilingual Spoken Dialogue Tasks and Dataset for Knowledge-Based Enrolment, Verification, and Identification
PolyAI Limited（PolyAI有限公司）
基于知识的身份验证对于提供个性化和注重隐私的服务的面向任务的口语对话系统至关重要。此类系统应能够根据其个人信息（如邮政编码、姓名和出生日期）登记（E）、验证（V）和识别（I）新用户和经常性用户。在这项工作中，我们正式确定了三个认证任务及其评估协议，并提出了EVI，这是一个具有挑战性的多语言口语数据集，包含英语，波兰语和法语的5，506个对话。我们提出的模型设定了第一个有竞争力的基准，探讨了口语对话的多语言自然语言处理的挑战，并为未来的研究设定了方向。
2022-04-28 cs.CL cs.LG
Adapting Text-based Dialogue State Tracker for Spoken Dialogues
KAIST（韩国科学技术院）；Electronics Telecommunications Research Institute (ETRI)（韩国电子通信研究院）
本文提出一种适配口语对话的模型，包含自动语音识别纠错、基于D3ST的槽位估计及后处理模块，验证了纠错与数据增强对提升鲁棒性的关键作用。
2024-01-09 cs.AI cs.CL
DuplexChat: Constructing Speaker-Separated Full-Duplex Dialogue Speech at Scale for Spoken Dialogue Language Modeling
The University of Tokyo, Japan（东京大学，日本）；National Institute of Advanced Industrial Science and Technology, Japan（日本国家先进工业科学与技术研究院）
针对现有大规模公共语音语料库不适用于全双工口语对话模型训练的问题，提出DuplexChat及DuplexChat-Pipe，通过特定流程构建分离说话者全双工对话语音，产出多语言语料库。
2026-07-07 cs.CL cs.SD eess.AS
Data Augmentation Integrating Dialogue Flow and Style to Adapt Spoken Dialogue Systems to Low-Resource User Groups
The University of Electro-Communications（电气通信大学）
本研究提出一种融合对话流程与风格的数据增强框架，利用LLM提取说话风格和PLM模拟对话行为历史，以提升口语对话系统在低资源用户群体（如未成年人）上的性能，实验验证了其有效性。
2024-08-20 cs.AI cs.CL
A Spoken Drug Prescription Dataset in French for Spoken Language Understanding
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）；Calystene SA（Calystene股份公司）；CHU Grenoble Alpes（格勒诺布尔阿尔卑斯大学中心医院）
口头医疗对话系统越来越吸引人们的兴趣，以增强对医疗保健服务的访问并提高患者护理的质量和可追溯性。在本文中，我们专注于通过语音对话在智能手机上获得的医疗药物处方。这样的系统将有助于追踪护理，并将节省临床医生的时间。然而，由于大多数相关语料库都是文本形式的，并且是英文的，因此缺乏语音语料库来开发这样的系统。为了促进医学口语对话系统的研究和开发，我们提出了，尽我们所知，第一个口语医学药物处方语料库，命名为PxSLU。它包含了4个小时的转录和注释对话的药物处方在法国获得通过实验与55名参与者专家和非专家的处方。我们还提出了一些实验，证明了这个语料库的评估和医疗对话系统的发展的兴趣。
2022-07-17 cs.CL
TRILOGUE: A Trilingual Spoken Dialogue Fact-Checking Benchmark with Evidence and Paired Audio
The Pennsylvania State University（宾夕法尼亚州立大学）；Satbayev University（萨特巴耶夫大学）；University of Sheffield（谢菲尔德大学）
本文提出TRILOGUE三语种口语对话事实核查基准，含多语种带配对音频的对话数据，支持相关核查任务，实验发现ASR退化与跨语言迁移具挑战性，检索证据可缩小验证差距。
2026-11-04 cs.CL
PRISM: Prosody-Integrated Multi-Agent Reasoning Framework for Empathetic Spoken Dialogue
School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）
提出PRISM多智能体框架，通过解耦语音感知、响应生成和语音合成，并引入韵律到语言翻译机制，实现共情口语对话中的韵律适当性和知识集成。
2026-06-12 cs.CL
Memory Consolidation for Contextual Spoken Language Understanding with Dialogue Logistic Inference
Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
对话语境在口语语言理解（SLU）系统中被证明是有用的，并且它们通常被编码为外显记忆表征。然而，大多数以前的模型学习的上下文记忆只有一个目标，最大限度地提高SLU的性能，留下的上下文记忆开发不足。在本文中，我们提出了一个新的对话逻辑推理（DLI）任务巩固上下文记忆联合SLU在多任务框架。DLI被定义为将混洗的对话会话排序为其原始逻辑顺序，并且与SLU模型共享相同的存储器编码器和检索机制。我们的实验结果表明，各种流行的上下文SLU模型可以受益于我们的方法，和改进是相当令人印象深刻的，特别是在插槽填充。
2019-06-05 cs.CL
Improving End-of-turn Detection in Spoken Dialogues by Detecting Speaker Intentions as a Secondary Task
University of Michigan at Ann Arbor（密歇根大学安娜堡分校）；Microsoft（微软）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
本文主要研究了在二元口语对话中使用声学线索来模拟话轮转换。以前的研究表明，说话者的意图（例如，问一个问题，说出一个反向通道，等等）可以影响话轮转换行为，是口语对话中话轮转换的良好预测因子。然而，自动化系统在运行时并不容易使用说话者的意图;因此很难使用此信息来预测转向转换。为此，我们提出了一种多任务神经方法，用于同时预测话轮转换和说话人意图。我们的研究结果表明，添加说话人意图预测的辅助任务提高了口语对话中的话轮转换预测的性能，而不依赖于运行时的额外输入功能。
2018-05-09 cs.AI cs.CL
An Efficient Approach to Encoding Context for Spoken Language Understanding
Google AI（谷歌人工智能）
在面向任务的对话系统中，口语语言理解或SLU是指将自然语言用户话语解析成语义框架的任务。从先前的对话历史中利用上下文是更有效的SLU的关键。SLU的现有技术方法使用存储器网络通过在每一轮处理来自对话的多个话语来编码上下文，从而导致准确性和计算效率之间的显著权衡。另一方面，像对话状态跟踪器（DST）这样的下游组件已经跟踪了对话状态，这可以作为对话历史的摘要。在这项工作中，我们提出了一个有效的方法来编码上下文从先前的话语SLU。更具体地说，我们的架构包括一个单独的基于递归神经网络（RNN）的编码模块，该模块积累对话上下文以指导帧解析子任务，并且可以在SLU和DST之间共享。在我们的实验中，我们证明了我们的方法对两个领域的对话的有效性。
2018-07-01 cs.CL
Metrics for Evaluating Dialogue Strategies in a Spoken Language System
在本文中，我们描述了一组不同的对话管理策略，在一个实时口语系统的评估指标。我们提出的一组指标提供了有用的见解，在评估对话管理中的特定选择如何影响人机对话的整体质量。评估使用既定的指标：交易成功，系统答案的上下文适当性，计算正常和纠正的对话。我们还定义了一个新的指标，隐式恢复，它允许测量的能力，对话管理器处理错误的不同层次的分析。我们报告的评估数据，从几个实验中，我们比较了两种不同的方法，对话修复策略使用的一组指标，我们认为。
1996-12-17 cmp-lg cs.CL
Towards human-like spoken dialogue generation between AI agents from written dialogue
rinna Co., Ltd.（Rinna株式会社）
针对从书面对话生成类人口语对话的难题，研究提出基于离散token的CHATS系统，可同时生成双方语音、实现自然话轮转换，效果优于基线，对话更互动流畅且清晰可懂。
2023-10-02 cs.CL cs.LG cs.SD
Investigating the Effects of Large-Scale Pseudo-Stereo Data and Different Speech Foundation Model on Dialogue Generative Spoken Language Model
NVIDIA（英伟达）；National Taiwan University（台湾大学）
本文提出将单声道对话转换为伪立体声数据的流程，把训练数据扩展至17,600小时，并比较不同语音基础模型的离散单元，以提升口语对话生成模型性能。
2024-07-02 cs.CL cs.HC cs.SD
Context-Aware Multimodal Claim Verification in Spoken Dialogues
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Sheffield（谢菲尔德大学）
提出MAD2基准和上下文感知多模态融合方法，验证对话音频中的声明，发现对话结构比虚假信息框架对验证更重要。
2026-11-04 cs.CL cs.SI
