Time Masking: Leveraging Temporal Information in Spoken Dialogue Systems
Amazon Alexa AI（亚马逊Alexa人工智能部门）
在口语对话系统中，对话状态跟踪器（DST）组件通过使用直到那时的交互来更新与针对当前用户回合被跟踪的每个槽相关联的值的分布来跟踪对话的状态。以前的大部分工作都依赖于对会话的自然顺序进行建模，使用基于距离的偏移作为时间的近似值。在这项工作中，我们假设，利用挂钟的时间差异轮流是至关重要的细粒度控制的对话场景。我们开发了一种新的方法，适用于{ \it时间掩码}，基于挂钟的时间差，相关的插槽嵌入和经验证明，我们提出的方法优于现有的方法，利用距离偏移，在内部基准数据集以及DSTC 2。
2019-07-25 cs.CL
Triadic Multi-party Voice Activity Projection for Turn-taking in Spoken Dialogue Systems
Graduate School of Informatics（信息科学研究生学校）
本研究针对传统话轮转换研究多聚焦二元场景的问题，首次将语音活动预测（VAP）拓展至三方对话场景，在日语三方数据集上训练的模型优于基线，证实VAP可用于三方对话话轮转换，为后续集成到口语对话系统奠定基础。
2025-10-03 cs.CL
A Sequence-to-Sequence Model for User Simulation in Spoken Dialogue Systems
Maluuba Research（马鲁巴研究院）
用户模拟对于生成足够的数据来训练统计口语对话系统是必不可少的。以前的用户模拟模型有几个缺点，如无法考虑到对话历史，需要刚性的结构，以确保连贯的用户行为，严重依赖于一个特定的域，无法输出几个用户的意图在一个对话回合，或要求一个概括的动作空间的易处理性。本文介绍了一种数据驱动的用户模拟器的基础上的编码器-解码器的递归神经网络。该模型将一系列对话上下文作为输入，并输出与用户意图相对应的一系列对话行为。对话上下文包括关于机器动作和用户目标的状态的信息。我们在对话状态跟踪挑战2（DSTC 2）数据集上显示，根据F分数，序列到序列模型的性能优于基于martina的模拟器和n-gram模拟器。此外，我们展示了如何使用这个模型可以在原来的动作空间，从而更精细的粒度用户行为模型。
2016-06-30 cs.CL
Semantic Refinement GRU-based Neural Language Generation for Spoken Dialogue Systems
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）；University of Information and Communication Technology（信息与通信技术大学）
自然语言生成在口语对话系统中起着至关重要的作用。本文提出了一种新的方法，NLG使用循环神经网络（RNN），其中的门控机制之前，RNN计算。这允许所提出的模型生成适当的句子。基于RNN的生成器可以通过联合训练句子规划和表面实现来从未对齐的数据中学习，以产生自然语言响应。该模型进行了广泛的评估四个不同的NLG域。结果表明，该生成器实现了更好的性能在所有的NLG域相比，以前的发电机。
2017-07-11 cs.CL
Towards Generalized Models for Task-oriented Dialogue Modeling on Spoken Conversations
Ant Group（蚂蚁集团）
由于口语和书面数据分布的差距，为口语对话构建健壮和通用的对话模型具有挑战性。本文介绍了我们的方法来建立通用模型的知识为基础的面向任务的对话建模口语会话挑战的DSTC-10。为了减少口语和书面文本之间的差异，我们主要采用广泛的数据增强策略的书面数据，包括人工错误注入和往返的文本-语音转换。为了训练口语会话的鲁棒模型，我们改进了预训练的语言模型，并对每个子任务应用集成算法。通常，对于检测任务，我们微调\roberta和ELECTRA，并运行错误修复集成算法。对于选择任务，我们采用了一个两阶段的框架，包括实体跟踪和知识排名，并提出了一个多任务学习方法，学习多层次的语义信息，通过领域分类和实体选择。对于生成任务，我们采用交叉验证数据过程来改进预训练的生成语言模型，然后采用共识解码算法，该算法可以添加任意特征，如相对\rouge度量，并直接将相关特征权重调整到\bleu。我们的方法在客观评估中排名第三，在最终的官方人类评估中排名第二。
2022-03-08 cs.CL
Improving Long Distance Slot Carryover in Spoken Dialogue Systems
Amazon.com, Inc.（亚马逊公司）；Johns Hopkins University（约翰斯·霍普金斯大学）
跟踪会话的状态是面向任务的口语对话系统中的中心组件。用于跟踪对话状态的一种这样的方法是时隙结转，其中，如果来自上下文的时隙与当前回合相关，则模型做出二元判定。以前的插槽结转任务的工作使用的模型，为每个插槽作出独立的决定。对结果的仔细分析表明，这种方法在较长的上下文对话中表现不佳。在本文中，我们建议联合建模的插槽。我们提出了两个神经网络架构，一个基于指针网络，将插槽排序信息，和其他基于Transformer网络，使用自我注意力机制来模拟插槽的相互依赖性。我们在内部对话基准数据集和公共DSTC 2数据集上的实验表明，我们提出的模型能够解决更长距离的插槽引用，并能够实现有竞争力的性能。
2019-06-04 cs.CL
Dialogue Systems Can Generate Appropriate Responses without the Use of Question Marks? -- Investigation of the Effects of Question Marks on Dialogue Systems
LINE Corporation（LINE公司）
本文研究问号对口语对话系统生成回应的影响，发现问号缺失会显著影响系统表现，并通过具体示例分析了受影响的话语类型。
2023-08-07 cs.CL
DIA-MOLE: An Unsupervised Learning Approach to Adaptive Dialogue Models for Spoken Dialogue Systems
DIAlogue MOdel学习环境支持面向工程的方法，用于口语界面的对话建模。对话模型的主要步骤是了解用于构建对话模型的基本单元和可能的序列。与许多其他方法不同的是，一组对话动作不是由任何理论或在工程过程中手动预定义的，而是从可视口语对话系统中可用的数据中学习的。该体系结构的概述和方法被应用到域的预约调度。即使基于一个词的正确性约70%的可预测性的对话行为在DIA-MOLE原来是可比的人类分配的对话行为。
1997-08-18 cmp-lg cs.CL
Duplex Conversation: Towards Human-like Interaction in Spoken Dialogue Systems
Alibaba Group（阿里巴巴集团）
在本文中，我们提出了双工对话，多回合，多模态口语对话系统，使基于电话的代理人与客户像一个人。我们使用电信中全双工的概念来演示什么是类人的交互体验，以及如何通过三个子任务实现平滑的话轮转换：用户状态检测，反向信道选择和闯入检测。此外，我们提出了半监督学习与多模态数据增强，利用未标记的数据，以提高模型的泛化。三个子任务的实验结果表明，该方法取得了一致的改善与基线相比。我们将Duplex Conversation部署到阿里巴巴智能客户服务中，并分享生产中的经验教训。在线A/B实验表明，该系统可以显着减少响应延迟的50%。
2022-06-14 cs.CL
Grammatical analysis in the OVIS spoken-dialogue system
我们认为，语法处理是一个可行的替代概念发现处理口语输入在一个实际的对话系统。我们讨论的语法结构，分析器的属性，并实现鲁棒性的方法。我们讨论的测试结果表明，语法处理允许快速和准确的处理口语输入。
1997-05-01 cmp-lg cs.CL
Chat Detection in an Intelligent Assistant: Combining Task-oriented and Non-task-oriented Spoken Dialogue Systems
The University of Tokyo（东京大学）；Yahoo Japan Corporation（雅虎日本公司）
最近出现的智能手机和家用电子产品上的智能助理（例如，Siri和Alexa）可以被视为特定领域任务导向的口语对话系统和开放领域非任务导向的口语对话系统的新混合体。为了实现这样的混合对话系统，本文研究确定用户是否要与系统聊天。为了解决这个任务缺乏基准数据集的问题，我们构建了一个新的数据集，包括从商业智能助理的真实日志数据中收集的15; 160个话语（并将发布数据集以促进未来的研究活动）。此外，我们调查使用推文和Web搜索查询处理开放域的用户话语，其特征在于聊天检测的任务。实验表明，虽然简单的监督方法是有效的，但使用推文和搜索查询进一步将F1分数从86.21提高到87.53。
2018-07-24 cs.CL
From Awareness to Adherence: Bridging the Context Gap in Spoken Dialogue Systems via Context-Aware Decoding
ECE, Seoul National University（首尔大学电气与计算机工程系）；IPAI, Seoul National University（首尔大学IPAI研究所）；Department of AI, University of Seoul（首尔市立大学人工智能系）
提出音频适配的上下文感知解码方法，通过对比有无关键上下文的输出分布，放大多模态上下文信号，解决口语对话系统中上下文遵循问题。
2026-06-16 cs.CL
SpokenWOZ: A Large-Scale Speech-Text Benchmark for Spoken Task-Oriented Dialogue Agents
DAMO Academy, Alibaba Group（阿里巴巴集团大模型研究院）；Computer Science and Engineering Division, University of Michigan（密歇根大学计算机科学与工程系）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学光明人工智能学院）
针对现有任务型对话数据集与真实语音场景的差距，提出大规模语音-文本基准SpokenWOZ，包含8领域249小时音频，并设计跨轮槽位与推理槽位检测新挑战，实验表明现有模型在语音对话中仍有大幅提升空间。
2025-06-24 cs.AI cs.CL
Interactivism in Spoken Dialogue Systems
The University of Sheffield（谢菲尔德大学）
互动主义模式引入了一种动态的语言，沟通和认知方法。在这项工作中，我们将探讨这一基本理论的背景下，对话建模口语对话系统（SDS）。为了扩展这样一个理论框架，我们提出了一套设计原则，坚持中央心理语言学和传播理论，以实现互动在SDS。从这些，关键的想法是联系在一起，构成我们提出的设计原则的基础。
2022-09-28 cs.CL cs.CY
Reward-Balancing for Statistical Spoken Dialogue Systems using Multi-objective Reinforcement Learning
University of Cambridge（剑桥大学）
强化学习被广泛用于对话策略优化，其中奖励函数通常由多于一个分量组成，例如，对话的成功和对话的长度。在这项工作中，我们提出了一个结构化的方法，通过寻找最佳的奖励组件权重，找到这些组件之间的良好平衡。为了使这种搜索可行，我们使用多目标强化学习来显着减少所需的训练对话的数量。我们应用我们提出的方法来找到六个域的优化组件权重，并将它们与默认基线进行比较。
2017-07-19 cs.CL stat.ML
Towards a PURE Spoken Dialogue System for Information Access
随着万维网的迅速发展，越来越有可能容易地获取各种各样的信息，例如航班时刻表、黄页、二手车价格、当前股票价格、娱乐活动时间表、帐户余额等。具有用于这种信息访问任务的口语对话接口将是非常有用的。我们确定的可移植性，可用性，鲁棒性和可扩展性的四个主要设计目标，这样的系统。换句话说，我们的目标是开发一个PURE（便携，可用，强大，可扩展）系统。提出了一种口语对话系统的两层对话结构，上层是领域无关的，下层是领域特定的。我们正在一个混合主动系统中实现这种架构，该系统从万维网访问航班到达/离开信息。
1997-07-22 cmp-lg cs.CL
Neural Generation of Dialogue Response Timings
ADAPT Centre（ADAPT中心）；School of Engineering（工程学院）；Trinity College Dublin（都柏林圣三一学院）
人类对话中的口头响应偏移的定时已经被示出基于对话的上下文元素而变化。我们提出了神经模型，模拟这些响应偏移量的分布，同时考虑到响应转向以及前面的转向。这些模型被设计成集成到增量口语对话系统（SDS）的流水线中。我们使用离线实验以及人类听力测试来评估我们的模型。我们表明，人类听众认为某些响应时间是更自然的对话上下文的基础上。将这些模型引入SDS管道可以增加交互的感知自然度。
2020-05-18 cs.CL
EmoNews: A Spoken Dialogue System for Expressive News Conversations
Carnegie Mellon University（卡内基梅隆大学）
本研究开发了用于新闻对话的情感口语对话系统EmoNews，结合LLM情感分析器与PromptTTS实现上下文适配的情感语音，提出对应评估量表，实验证明其在情感调节与对话参与度上优于基线系统，且代码已开源。
2025-06-16 cs.CL
Semantic Processing of Out-Of-Vocabulary Words in a Spoken Dialogue System
口语对话系统失败的最重要原因之一通常被忽视：系统词汇表中未覆盖的单词（词汇表外或OOV单词）的问题。本文介绍了一种在训练时刻表自动生成系统中对无尾词进行检测、分类和处理的方法。各种扩展，不得不影响系统的不同模块的报告，导致设计适当的对话策略，因为是令人鼓舞的评价结果的新版本的单词识别器和语言处理器。
1997-09-17 cmp-lg cs.CL
Multi-Task Learning for Domain-General Spoken Disfluency Detection in Dialogue Systems
Heriot-Watt University（赫瑞-瓦特大学）
自发的口语对话往往不流利，包含停顿，犹豫，自我纠正和错误的开始。处理这些现象对于理解说话者的意图和控制会话的流程至关重要。此外，该处理需要是逐词递增的，以允许进一步的下游处理尽早开始，以便处理真实的自发人类会话行为。此外，从开发人员的角度来看，非常希望能够开发出可以从“干净”示例中训练的系统，同时还能够概括相同数据上的非常多样化的不流利变化-从而提高数据效率和鲁棒性。在本文中，我们提出了一个多任务的LSTM为基础的模型，用于增量检测的不流利结构，它可以连接到任何组件的增量解释（例如，增量语义解析器），或者只是用来“清理”当前的话语，因为它正在产生。我们训练系统上的交换机对话行为（SWDA）语料库，并提出其准确性在这个数据集上。我们的模型优于以前的神经网络为基础的增量方法约10个百分点的SWDA，同时采用一个更简单的架构。为了测试模型的泛化潜力，我们在bAbI+数据集上评估了相同的模型，没有任何额外的训练。bAbI+是一个综合目标导向对话的数据集，我们控制不流利的分布及其类型。这表明，我们的方法有很好的泛化潜力，并揭示了更多的光，哪些类型的不流利可能服从域一般处理。
2018-10-08 cs.CL
Spoken Dialogue System for Medical Prescription Acquisition on Smartphone: Development, Corpus and Evaluation
Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔国立理工学院、格勒诺布尔信息学实验室）；Calystene SA（Calystene公司）；CHU Grenoble Alpes（格勒诺布尔阿尔卑斯大学医院）
针对医院信息系统处方录入耗时长、界面复杂的问题，本文开发了低资源环境下的智能手机端口语处方对话系统，经真实场景验证具备可用的效率与成功率，并发布了首个公开口语处方语料库PxCorpus。
2023-11-06 cs.CL
LD-SDS: Towards an Expressive Spoken Dialogue System based on Linked-Data
Toshiba Research Europe（东芝欧洲研究院）；Institute of Computer Science, FORTH-ICS（FORTH-ICS 计算机科学研究所）；University of Crete（克里特大学）
在这项工作中，我们讨论了相关的挑战，并描述了一种方法，从口语对话系统（SDS）和语义Web和信息检索域的融合国家的最先进的技术。我们设想了一个名为LD-SDS的对话系统，它将支持先进的、富有表现力的、吸引人的用户请求，通过多个、复杂的、丰富的、开放的数据源，利用可用的关联数据的财富。具体而言，我们专注于：a）改进数据源和用户输入中出现的实体的识别、消歧和链接; b）提供高级查询服务，用于利用数据的语义，具有推理和探索能力;以及c）扩展典型的信息寻求对话模型（槽填充），以更好地反映真实世界的对话搜索场景。
2017-10-09 cs.CL cs.IR
Learning from Real Users: Rating Dialogue Success with Neural Networks for Reinforcement Learning in Spoken Dialogue Systems
University of Cambridge（剑桥大学）
为了训练统计口语对话系统（SDS），必须有一个精确的方法来测量任务的成功。到目前为止，训练依赖于向模拟或付费用户呈现任务，并通过观察所呈现的任务是否完成来推断对话的成功。然而，我们的目标是能够从真正的用户根据自己的意志行事，在这种情况下，它是不平凡的成功率，因为任何先验知识的任务是根本不可用。可以利用用户反馈，但发现不一致。因此，在这里，我们提出了两个神经网络模型，评估一系列的回合水平功能，以评价对话的成功。重要的是，这些模型不使用用户任务的任何先验知识。该模型在由模拟用户生成的对话上进行训练，然后使用最佳模型来训练在线策略，该策略被示出为使用用户任务的先验知识来执行至少与基线系统一样好。我们注意到，这些模式还应有助于评估安全数据交换和监测基于规则的安全数据交换对话。
2015-08-13 cs.CL cs.LG
Multi-domain Neural Network Language Generation for Spoken Dialogue Systems
Cambridge University（剑桥大学）
从有限域自然语言生成（NLG）到开放域是困难的，因为语义输入组合的数量随着域的数量呈指数级增长。因此，重要的是利用现有资源并利用域之间的相似性来促进领域自适应。在本文中，我们提出了一个过程，训练多领域，基于递归神经网络（RNN）的语言生成器通过多个适应步骤。在这个过程中，首先在从域外数据集合成的伪造数据上训练模型，然后在具有判别目标函数的一小组域内话语上进行微调。基于语料库的评估结果表明，所提出的程序可以实现竞争力的性能，在BLEU分数和插槽出错率，同时显着减少所需的数据，训练发电机在新的，看不见的领域。在主观测试中，人类法官证实，该程序大大提高了生成器的性能时，只有少量的数据是在域中。
2016-03-03 cs.CL
Team Flow at DRC2023: Building Common Ground and Text-based Turn-taking in a Travel Agent Spoken Dialogue System
Nagoya University（名古屋大学）
本文介绍Team Flow在DRC2023中开发的旅行代理对话系统，通过构建共同基础和基于文本的轮流发言，提升对话机器人的交互自然度。
2023-12-21 cs.AI cs.CL cs.RO
Reward Shaping with Recurrent Neural Networks for Speeding up On-Line Policy Learning in Spoken Dialogue Systems
University of Cambridge（剑桥大学）
统计口语对话系统具有能够通过与真实用户的交互从数据优化的吸引人的特性。然而，在强化学习范例中，对话管理器（代理）通常需要大量的时间来探索状态-动作空间，以学习以期望的方式表现。这是一个关键的问题，当系统是在线训练与真实用户的学习成本是昂贵的。奖励塑造是解决这些问题的一种有前途的技术。在这里，我们研究了三种递归神经网络（RNN）方法，除了主要的（面向任务的）环境反馈外，还提供了奖励塑造信息。这些RNN是根据模拟用户生成的对话的返回值进行训练的，并试图将对话的整体评估扩散到回合级别，以引导智能体更快地实现良好的行为。在模拟和真实的用户场景中，这些RNN被证明可以提高策略学习速度。重要的是，它们不需要事先了解用户的目标。
2015-08-18 cs.CL cs.LG
On-line Active Reward Learning for Policy Optimisation in Spoken Dialogue Systems
University of Cambridge（剑桥大学）
计算准确的奖励函数的能力对于通过强化学习优化对话策略至关重要。在现实世界的应用中，使用明确的用户反馈作为奖励信号通常是不可靠的，并且收集成本很高。如果用户的意图是预先知道的，或者数据可用于离线预训练任务成功预测器，则可以缓解这个问题。实际上，这两种方法都不适用于大多数现实世界的应用。在这里，我们提出了一个在线的学习框架，通过主动学习与高斯过程模型的奖励模型一起，通过联合训练的对话政策。该高斯过程对使用递归神经网络编码器-解码器以无监督方式生成的连续空间对话表示进行操作。实验结果表明，该框架能够显着降低数据标注成本，并减轻嘈杂的用户反馈对话策略学习。
2016-06-02 cs.CL cs.LG
Spoken Language Dialogue Systems and Components: Best practice in development and evaluation (DISC 24823) - Periodic Progress Report 1: Basic Details of the Action
DISC项目的目的是（a）深入了解口语对话系统的最新技术以及组件的开发和评估，目的是（b）开发该领域的第一个最佳实践方法。该方法将附有（c）一系列开发和评价支助工具。在项目期间尽可能有限的范围内，方法和工具的草案将（d）由来自工业和研究的可持续土地开发系统开发者进行测试，并将（e）打包以最适合他们的需要。在光盘的第一年，（a）已经完成，（b）和（c）已经开始。已于1998年3月向Esprit长期研究公司提交了一项建议，即在本项目的18个月基础上再增加12个月，以完成上述工作。
1998-09-23 cs.CL cs.SE
Semantic filtering by inference on domain knowledge in spoken dialogue systems
一般的自然对话处理需要大量的领域知识以及语言知识，以确保可接受的覆盖率和理解。在不同层次的对话处理中，有几种方法可以整合词汇资源（例如词典、同义词词典）和知识库或本体。我们集中在本文中，如何利用领域知识过滤的解释假设所产生的强大的语义分析器。我们使用领域知识来语义约束假设空间。此外，增加一个推理机制，使我们能够完成解释时，信息是不明确的。此外，我们简要地讨论了如何将其推广到一个预测性的自然交互系统。
2004-10-23 cs.AI cs.CL cs.HC
Neural User Simulation for Corpus-based Policy Optimisation for Spoken Dialogue Systems
Cambridge University Engineering Department（剑桥大学工程系）
用户模拟器是实现面向任务的对话系统离线训练的主要工具之一。对于这个任务，通常使用基于XML的用户模拟器（ABUS）。ABUS是基于手工制作的规则，其输出是语义形式。这两个属性都会产生问题，例如有限的多样性和无法连接文本级信念跟踪器。本文介绍了神经用户模拟器（NUS），其行为是从语料库中学习，并生成自然语言，因此需要一个更少的标记数据集比模拟器生成的语义输出。在这个主题上，它评估用户模拟器基于语料库的指标的过去的工作相比，我们使用NUS训练的政策，强化学习为基础的口语对话系统。通过评估使用模拟器训练的策略，将NUS与ABUS进行比较。进行跨模型评估，即在一个模拟器上进行训练，在另一个模拟器上进行测试。此外，经过训练的策略在真实用户上进行测试。在这两项评估任务中，NUS的表现都优于ABUS。
2018-05-17 cs.AI cs.CL stat.ML
An Analysis of User Behaviors for Objectively Evaluating Spoken Dialogue Systems
Kyoto University（京都大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出基于用户行为客观评估口语对话系统的框架，分析专注倾听、求职面试和初次见面交谈中的行为指标与主观评分关系，揭示不同任务应采用不同行为指标。
2024-01-23 cs.AI cs.CL cs.HC
Sympathy Begins with a Smile, Intelligence Begins with a Word: Use of Multimodal Features in Spoken Human-Robot Interaction
Heriot-Watt University（赫瑞-瓦特大学）
从人类面部表情或语音韵律中识别社会信号是人机交互研究中的一个热门研究课题。在口语对话社区中也有一长串的研究，调查与对话特征相关的用户满意度。然而，很少有研究涉及多模态的社会信号和语言功能的组合，在口语面对面的人机交互过程中检测到的用户感知的机器人。在本文中，我们展示了人类用户的不同情感的面部表情，结合人类语音的韵律特征和人机对话的特征，与用户的机器人的印象后，对话。我们发现，在用户的识别面部表情的幸福感强烈相关的机器人的可爱性，而对话相关的功能（如人类的回合数或每机器人话语的句子数）与感知机器人智能。此外，我们表明，面部表情，情感特征和韵律是更好的预测人类评级相关的感知机器人的可爱性和拟人化，而语言和非语言功能更经常预测感知机器人的智能和可解释性。因此，这些特征将来可以用作基于原位强化学习的自适应人机对话系统的在线奖励信号。
2017-06-08 cs.CL cs.HC cs.RO
Specialized Language Models using Dialogue Predictions
本文分析了访问数据库的口语对话系统中的语言建模。通过利用对话预测获得的几个语言模型的使用给出了更好的结果比使用单个模型的整个对话交互。为此，已经创建了几个模型，每个模型都针对特定的系统问题，例如请求或确认参数。依赖于对话的语言模型的使用提高了识别和理解水平的性能，特别是对系统请求的回答。此外，其他提高性能的方法，如词汇的自动聚类或在识别过程中使用更好的声学模型，不会影响依赖于对话的语言模型所带来的改进。在我们的实验中使用的系统是Dialogos，用于通过电话访问铁路时刻表信息的意大利口语对话系统。实验是在使用Dialogos收集的大量对话语料库上进行的。
1996-12-13 cmp-lg cs.CL
Are LLMs Robust for Spoken Dialogues?
University of Trento（特伦托大学）；Concordia University（康考迪亚大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
本文在DSTC11测试集上评估了LLM在口语任务导向对话中的鲁棒性，发现默认模型对口语噪声不具鲁棒性，但在合适的口语对话数据集上微调后性能更鲁棒。
2024-01-04 cs.CL
Topic-Oriented Spoken Dialogue Summarization for Customer Service with Saliency-Aware Topic Modeling
Fudan University（复旦大学）；Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）
在客户服务系统中，对话摘要可以通过自动为客户和代理尝试解决有关特定主题的问题的长时间对话创建摘要来提高服务效率。在这项工作中，我们专注于面向主题的对话摘要，它生成高度抽象的摘要，保留对话的主要思想。在口语对话中，大量的对话噪音和共同的语义可能会掩盖潜在的信息内容，使一般的主题建模方法难以应用。此外，对于客户服务而言，特定角色的信息至关重要，是不可或缺的一部分。为了有效地进行主题建模的对话和捕获多角色的信息，在这项工作中，我们提出了一种新的主题增强的两阶段对话摘要（TDS）与显着性感知神经主题模型（SATM）共同面向主题的客户服务对话摘要。对真实世界的中国客户服务数据集的综合研究证明了我们的方法对几个强基线的优越性。
2021-06-25 cs.CL
Knowledge Augmented BERT Mutual Network in Multi-turn Spoken Dialogues
Georgia Institute of Technology（佐治亚理工学院）
现代口语语言理解（SLU）系统依赖于在单个话语中揭示的复杂语义概念来检测意图和槽。然而，他们缺乏在对话中建模多回合动态的能力，特别是在长期的插槽上下文中。在没有外部知识的情况下，依赖于词序列内有限的语言合法性可能会忽略对话轮之间的深层语义信息。在本文中，我们建议装备一个基于BERT的联合模型与知识注意力模块，以相互利用两个SLU任务之间的对话上下文。门控机制被进一步用来过滤掉不相关的知识三元组，并避免分心的理解。在两个复杂的多轮对话数据集上的实验结果表明，通过对两个SLU任务进行相互建模，过滤知识和对话上下文，我们的方法与几个竞争对手的基线相比有很大的改进。
2022-02-23 cs.CL
SocialNLP EmotionX 2019 Challenge Overview: Predicting Emotions in Spoken Dialogues and Chats
Taiwan International Graduate Program（台湾国际研究生学程）；National Tsing Hua University（台湾清华大学）；Academia Sinica（中央研究院）
我们概述了在第七届社交媒体自然语言处理国际研讨会（SocialNLP）上与IJCAI 2019联合举办的AsitionX 2019挑战赛。这项挑战需要使用增强的AppropriationLines数据集来预测口语和基于聊天的对话中的情绪。QuestionLines包含两个不同的数据集：第一个包括来自美国电视情景喜剧剧集脚本（Friends）的摘录，第二个包含在线聊天（QuestionPush）。共有36支队伍报名参加挑战赛。11个团队成功提交了预测性能评估。得分最高的团队在基于口语的对话（朋友）和基于聊天的对话（Push）中分别获得了81.5%和79.5%的微F1分数。
2019-09-18 cs.CL
A Spoken Drug Prescription Dataset in French for Spoken Language Understanding
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）；Calystene SA（Calystene股份公司）；CHU Grenoble Alpes（格勒诺布尔阿尔卑斯大学中心医院）
口头医疗对话系统越来越吸引人们的兴趣，以增强对医疗保健服务的访问并提高患者护理的质量和可追溯性。在本文中，我们专注于通过语音对话在智能手机上获得的医疗药物处方。这样的系统将有助于追踪护理，并将节省临床医生的时间。然而，由于大多数相关语料库都是文本形式的，并且是英文的，因此缺乏语音语料库来开发这样的系统。为了促进医学口语对话系统的研究和开发，我们提出了，尽我们所知，第一个口语医学药物处方语料库，命名为PxSLU。它包含了4个小时的转录和注释对话的药物处方在法国获得通过实验与55名参与者专家和非专家的处方。我们还提出了一些实验，证明了这个语料库的评估和医疗对话系统的发展的兴趣。
2022-07-17 cs.CL
TRILOGUE: A Trilingual Spoken Dialogue Fact-Checking Benchmark with Evidence and Paired Audio
The Pennsylvania State University（宾夕法尼亚州立大学）；Satbayev University（萨特巴耶夫大学）；University of Sheffield（谢菲尔德大学）
本文提出TRILOGUE三语种口语对话事实核查基准，含多语种带配对音频的对话数据，支持相关核查任务，实验发现ASR退化与跨语言迁移具挑战性，检索证据可缩小验证差距。
2026-11-04 cs.CL
PRISM: Prosody-Integrated Multi-Agent Reasoning Framework for Empathetic Spoken Dialogue
School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）
提出PRISM多智能体框架，通过解耦语音感知、响应生成和语音合成，并引入韵律到语言翻译机制，实现共情口语对话中的韵律适当性和知识集成。
2026-06-12 cs.CL
Memory Consolidation for Contextual Spoken Language Understanding with Dialogue Logistic Inference
Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
对话语境在口语语言理解（SLU）系统中被证明是有用的，并且它们通常被编码为外显记忆表征。然而，大多数以前的模型学习的上下文记忆只有一个目标，最大限度地提高SLU的性能，留下的上下文记忆开发不足。在本文中，我们提出了一个新的对话逻辑推理（DLI）任务巩固上下文记忆联合SLU在多任务框架。DLI被定义为将混洗的对话会话排序为其原始逻辑顺序，并且与SLU模型共享相同的存储器编码器和检索机制。我们的实验结果表明，各种流行的上下文SLU模型可以受益于我们的方法，和改进是相当令人印象深刻的，特别是在插槽填充。
2019-06-05 cs.CL
An Efficient Approach to Encoding Context for Spoken Language Understanding
Google AI（谷歌人工智能）
在面向任务的对话系统中，口语语言理解或SLU是指将自然语言用户话语解析成语义框架的任务。从先前的对话历史中利用上下文是更有效的SLU的关键。SLU的现有技术方法使用存储器网络通过在每一轮处理来自对话的多个话语来编码上下文，从而导致准确性和计算效率之间的显著权衡。另一方面，像对话状态跟踪器（DST）这样的下游组件已经跟踪了对话状态，这可以作为对话历史的摘要。在这项工作中，我们提出了一个有效的方法来编码上下文从先前的话语SLU。更具体地说，我们的架构包括一个单独的基于递归神经网络（RNN）的编码模块，该模块积累对话上下文以指导帧解析子任务，并且可以在SLU和DST之间共享。在我们的实验中，我们证明了我们的方法对两个领域的对话的有效性。
2018-07-01 cs.CL
A dataset for resolving referring expressions in spoken dialogue via contextual query rewrites (CQR)
University of New Mexico（新墨西哥大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Alexa AI（Alexa人工智能）；Amazon.com, Inc.（亚马逊公司）
我们提出了上下文查询重写（CQR），一个用于多域面向任务的口语对话系统的数据集，它是斯坦福对话语料库的扩展（Eric等人，2017年a）。虽然先前的方法已经通过学习候选转换来解决不同模式的问题（Naik等人，2018），我们替代地将引用解析任务建模为用户查询重构任务，其中对话状态被串行化为可以由下游口语语言理解系统执行的自然语言查询。在本文中，我们描述了我们的方法来创建查询重构扩展的对话语料库，并提出了一套初步的实验，以建立一个基线的CQR任务。我们已经向公众发布了语料库[1]，以支持这一领域的进一步研究。
2019-04-01 cs.CL
Natural Language Generation for Spoken Dialogue System using RNN Encoder-Decoder Networks
Japan Advanced Institute of Science and Technology（日本先进科学技术大学院大学）
自然语言生成（NLG）是口语对话系统中的一个重要组成部分。本文提出了一种基于递归神经网络的编码器-解码器体系结构，其中引入了一个基于LSTM的解码器来选择、聚合由注意力机制在输入元素上产生的语义元素，并产生所需的话语。所提出的生成器可以联合训练两个句子规划和表面实现产生自然语言句子。该模型在四个不同的NLG数据集上进行了广泛的评估。实验结果表明，所提出的生成器不仅在所有NLG域中始终优于以前的方法，而且还显示出从一个新的、看不见的域进行概括的能力，并从多域数据集进行学习。
2017-08-12 cs.CL
Towards a Japanese Full-duplex Spoken Dialogue System
Nagoya University（名古屋大学）
本文提出首个公开的日语全双工口语对话模型，基于Moshi构建，通过大规模日语口语数据预训练、高质量立体声对话微调及合成数据增强，在自然度和有意义性上超越日语基线。
2025-06-03 cs.CL eess.AS
Modeling Acoustic-Prosodic Cues for Word Importance Prediction in Spoken Dialogues
Rochester Institute of Technology（罗切斯特理工学院）
会话中的韵律提示有助于听者辨别信息。我们调查是否可以使用口语对话中的声学线索，以确定个别单词的重要性的意义的谈话转向。聋人和听力困难的人通常依赖于现场会议中的实时字幕。单词出错率是一个传统的用于评估自动语音识别的度量标准，它未能捕捉到某些单词对于系统正确转录比其他单词更重要。我们提出并评估使用声学特征进行3类单词重要性预测的神经架构。我们的模型与最先进的基于文本的单词重要性预测模型相比具有竞争力，并且在不完美的ASR输出上运行时表现出特别的优势。
2019-07-16 cs.CL
PARADISE: A Framework for Evaluating Spoken Dialogue Agents
本文介绍了Paradise（PARAdigm for DIMENSIONAL System Evaluation），一个评价口语对话代理的通用框架。该框架从代理人的对话行为中提取任务要求，支持对话策略之间的比较，能够计算子对话和整个对话的性能，指定各种因素对性能的相对贡献，并通过规范化任务复杂性来比较执行不同任务的代理人。
1997-04-15 cmp-lg cs.CL
J-CHAT: Japanese Large-scale Spoken Dialogue Corpus for Spoken Dialogue Language Modeling
The University of Tokyo（东京大学）；Keio University（庆应义塾大学）
本文提出 J-CHAT，一个76000小时的日本口语对话语料库，用于改进 spoken dialogue 语言模型，通过自动化方法确保高质量和自然性，推动人机对话研究。
2026-04-02 cs.CL cs.SD eess.AS
Dial HEALTHDIAL for Advice: A Multilingual and Multi-Parallel Spoken Dialogue Dataset for Knowledge-Grounded Information Seeking
Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室）；School of Computation, Information and Technology, Technical University of Munich（慕尼黑技术大学计算、信息与技术学院）；Independent Researcher（独立研究员）
本文构建了HEALTHDIAL，一个大规模多语言多平行口语对话数据集，用于开发基于检索增强生成的口语对话系统，并揭示了不同语言间的性能差异。
2026-05-28 cs.CL
Sequence-to-Sequence Generation for Spoken Dialogue via Deep Syntax Trees and Strings
Charles University in Prague（布拉格查理大学）
我们提出了一个自然语言生成器的序列到序列的方法，可以训练产生自然语言字符串，以及从输入对话行为的深层语法依赖树的基础上，我们用它来直接比较两步生成单独的句子规划和表面实现阶段的联合，一步的方法。我们能够使用非常少的训练数据成功地训练这两个设置。联合设置提供了更好的性能，在基于n-gram的分数方面超过了最先进的水平，同时提供了更相关的输出。
2016-06-17 cs.CL
What Do Humans Hear When Interacting? Experiments on Selective Listening for Evaluating ASR of Spoken Dialogue Systems
Nara Institute of Science and Technology（奈良科学技术研究所）；RIKEN（理化学研究所）；Japan National Institute of Informatics（日本信息处理学会）；Tokyo Institute of Technology（东京技术大学）
本研究通过实验确认人类在生成对话响应时存在选择性听力，并探讨利用该特性评估ASR系统与人类转录能力差距的新方法。
2025-10-07 cs.CL
M3-DuplexBench: A Multi-Turn, Multilingual, Multidomain Benchmark for Full-Duplex Spoken Dialogue Models
研究针对全双工口语对话系统多轮公平比较难、现有基准覆盖不足的问题，提出支持英日双语、涵盖两类对话场景的M3-DuplexBench基准，通过多设置实验揭示模型话轮特征与性能差异。
2026-10-12 cs.CL
Current Challenges in Spoken Dialogue Systems and Why They Are Critical for Those Living with Dementia
Heriot-Watt University（赫瑞-瓦特大学）
像亚马逊的Alexa这样的对话技术有可能改变医疗保健行业。然而，目前的系统还不是自然交互的：它们通常是基于话轮的，具有天真的话轮结束检测，并且完全忽略了许多类型的口头和视觉反馈-例如反向通道，犹豫标记，填充停顿，凝视，眉头皱和不流利-这些在指导和管理会话过程中至关重要。这在医疗保健行业尤其重要，因为口语对话系统（SDS）的目标用户可能身体虚弱、年老、分心或患有认知能力下降，这影响了他们有效使用当前系统的能力。在本文中，我们概述了一些迫切需要进一步研究的挑战，包括增量语音识别和对话中的干扰模式，可能诊断痴呆症的系统研究，以及如何这些可能会通知研究和设计的下一代SDS。
2019-09-14 cs.CL
A Corpus for Modeling Word Importance in Spoken Dialogue Transcripts
Rochester Institute of Technology（罗切斯特理工学院）
受一个项目的激励，为聋人或听力困难的人创建一个系统，该系统将使用自动语音识别（ASR）在与听力正常的人的面对面会议期间产生英语口语的实时文本字幕，我们已经用单词重要性注释的覆盖来增强Switchboard会话对话语料库的成绩单，每个单词都有一个数字分数，以表明它对每一轮对话意义的重要性。此外，我们通过训练自动单词重要性标记模型来证明该语料库的实用性;我们的最佳性能模型在有序6类单词重要性分类任务中的F分数为0.60，与人类注释者的一致性（一致性相关系数）为0.839（注释者之间的一致性分数为0.89）。最后，我们讨论了我们打算未来的应用程序，这个资源，特别是评估ASR性能的任务，即创建指标，预测ASR输出字幕文本的可用性DHH用户优于Word出错率（WER）。
2019-07-16 cs.CL
