DOROTHIE: Spoken Dialogue for Handling Unexpected Situations in Interactive Autonomous Driving Agents
University of Michigan(密歇根大学);U.S. Army Research Laboratory(美国陆军研究实验室)
在现实世界中,自动驾驶智能体在充满意外情况的高度动态环境中导航,其中预先训练的模型是不可靠的。在这些情况下,车辆立即可用的通常只有人类操作员。赋予自动驾驶智能体在连续和动态环境中导航的能力,并通过基于感觉运动的对话与人类进行交流变得至关重要。为此,我们介绍了对话的道路上处理不规则事件(DOROTHIE),一种新型的交互式仿真平台,使意外的情况下创建的飞行,以支持与自动驾驶代理人的经验研究的情况下沟通。基于这个平台,我们创建了情境对话导航(SDN),这是一个导航基准测试,共有183次试验,总共8415个话语,大约18.7小时的控制流和2.9小时的修剪音频。SDN的开发是为了评估智能体预测人类对话动作以及生成自己的对话动作和物理导航动作的能力。我们进一步为这些SDN任务开发了基于变压器的基线模型。我们的实证结果表明,在一个高度动态的环境中,语言引导导航是一个非常困难的任务,端到端的模型。这些结果将为未来强大的自动驾驶代理的工作提供见解。DOROTHIE平台、SDN基准和基线模型的代码可在https://github.com/sled-group/DOROTHIE上获得。
2022-10-22 cs.AI cs.CL cs.CV
DFEE: Interactive DataFlow Execution and Evaluation Kit
AWS AI Labs(亚马逊云科技人工智能实验室)
DataFlow由于其对对话任务的表达性语义表示而成为构建面向任务的聊天机器人的新范式。尽管有大型数据集SMCalFlow和简化的语法,但由于系统复杂性和缺乏下游工具链,基于DataFlow的聊天机器人的开发和评估仍然具有挑战性。在这个演示中,我们提出了DFEE,一个交互式的数据流执行和评估工具包,支持执行,可视化和基准测试的语义分析器给定的对话输入和后端数据库。我们通过一个复杂的对话任务演示了该系统:涉及时间推理的事件调度。它还支持通过友好的界面诊断解析结果,该界面允许开发人员检查动态DataFlow和相应的执行结果。为了说明如何对SoTA模型进行基准测试,我们提出了一个新的基准测试,该基准测试涵盖了更复杂的事件调度场景和任务成功评估的新指标。DFEE的代码已在https://github.com/amazonscience/dataflow-evaluation-toolkit上发布。
2022-12-04 cs.AI cs.CL
Tell Your Story: Task-Oriented Dialogs for Interactive Content Creation
Meta Reality Labs(Meta现实实验室);Meta AI
人们拍摄照片和视频来重温和分享个人重要的记忆。最近,媒体蒙太奇(故事)由于其直观和强大的讲故事能力而成为分享这些记忆的流行模式。然而,创建这样的剪辑通常涉及大量耗时且麻烦的手动搜索、点击和选择,从而不利地影响用户体验。为了缓解这一问题,我们提出了一种新颖的互动工具,无缝搜索,编译和编辑剪辑从媒体收藏蒙太奇创建面向任务的对话框。据我们所知,我们的工作是第一个利用多轮对话这样一个具有挑战性的应用,扩展了以前的文献研究简单的媒体检索任务。我们收集了一个新的数据集C3(会话内容创建),包括10k的对话框条件的媒体剪辑模拟从一个大的媒体集合。我们采取模拟和释义的方法来收集这些对话既节省成本又节省时间,同时借鉴自然语言分布。我们对最先进的语言模型的分析和基准测试展示了数据集中存在的多模态挑战。最后,我们提出了一个现实世界的移动演示应用程序,显示了所提出的工作在现实世界中的应用程序的可行性。我们的代码和数据将公开提供。
2022-11-08 cs.CL
Dialogue SWE-Bench: A Benchmark for Dialogue-Driven Coding Agents
University of California, Santa Cruz(加州大学圣克鲁兹分校)
提出Dialogue SWE-Bench基准,通过用户模拟器评估编码智能体在对话中解决软件工程问题的能力,并引入模式引导智能体提升对话性能3-14%。
2026-06-15 cs.CL
DRIVE: Disfluency-Rich Synthetic Dialog Data Generation Framework for Intelligent Vehicle Environments
Indian Institute of Technology Bombay(印度理工学院班加罗尔学院)
提出 DRIVE 框架下的 DiscoDrive 合成语料库,在七类车载多轮对话中动态融入不流利现象,验证其可提升模型性能、低资源增强效果与人评自然度。
2025-07-26 cs.CL
Program Synthesis Dialog Agents for Interactive Decision-Making
Columbia University(哥伦比亚大学);Amazon(亚马逊);Sciences Po Paris(巴黎社会科学高等研究院)
针对现实资格判定问题,提出交互决策基准BeNYfits,并引入ProADA方法,通过将对话规划映射为代码生成问题并利用结构化数据空缺确定下一步行动,有效缓解语言模型幻觉,在保持对话轮数的同时显著提升F1分数。
2025-11-04 cs.AI
Situated and Interactive Multimodal Conversations
Facebook(脸书)
下一代虚拟助理被设想为处理多模态输入(例如,视觉、先前交互的记忆,以及用户的话语),并执行多模式动作(例如,除了生成系统的话语之外还显示路线)。我们引入情境交互式多模态对话(SIMMC)作为一个新的方向,旨在训练代理,采取多模态行动接地在一个共同发展的多模态输入上下文,除了对话的历史。我们提供了两个SIMMC数据集,总共约13K人与人之间的对话(约169K话语),使用多模态向导奥兹(WoZ)设置,在两个购物领域:(a)家具(在共享的虚拟环境中接地)和(b)时尚(在不断发展的图像集接地)。我们还提供日志的项目出现在每个场景中,上下文NLU和共指注释,使用一个新的和统一的框架SIMMC会话行为的用户和助理的话语。最后,我们提出了SIMMC中的几个任务作为客观的评估协议,如结构API预测和响应生成。我们将这些SIMMC任务上的现有模型集合作为强基线进行基准测试,并展示了丰富的多模态会话交互。我们的数据、注释、代码和模型都是公开的。
2020-11-10 cs.AI cs.CL cs.HC
Learning how to learn: an adaptive dialogue agent for incrementally learning visually grounded word meanings
Interaction Lab(交互实验室);Heriot-Watt University(赫瑞瓦特大学)
我们提出了一种优化的多模态对话代理,用于从人类导师交互式学习视觉接地词义,在真实的人-人辅导数据上进行训练。在终身交互学习期间,使用强化学习(RL)训练的智能体必须能够处理与人类用户的自然对话,并实现良好的学习性能(准确性),同时最大限度地减少学习过程中的人工努力。我们训练和评估这个系统的互动与模拟人类导师,这是建立在BURCHAK语料库-一个人与人的对话数据集的视觉学习任务。结果表明:1)学习的策略可以与模拟用户进行一致的交互,以实现任务的目标(即学习对象的视觉属性,例如颜色和形状); 2)它在分类器准确性和辅导成本之间找到了比手工制作的基于规则的策略(包括具有动态策略的策略)更好的权衡。
2017-09-29 cs.AI cs.CL cs.LG
Marrying Dialogue Systems with Data Visualization: Interactive Data Visualization Generation from Natural Language Conversations
The Hong Kong University of Science and Technology(香港科技大学);WeBank Co., Ltd(微众银行股份有限公司)
本文提出对话式文本到可视化任务CoVis,构建基准数据集Dial-NVBench,并提出多模态神经网络MMCoVisNet,通过自适应解码器生成文本、SQL和DV响应,实现最先进性能。
2023-07-29 cs.AI cs.CL cs.DB
SIMMC 2.0: A Task-oriented Dialog Dataset for Immersive Multimodal Conversations
Facebook Reality Labs(Facebook现实实验室);Facebook AI(Facebook人工智能)
下一代面向任务的对话系统需要理解会话上下文及其感知环境,以有效地帮助用户在现实世界中的多模态环境。现有的面向任务的对话数据集,旨在虚拟援助的不足,并没有在用户的多模态上下文中的对话。为了克服这个问题,我们提出了一个新的数据集,用于情景和交互式多模态对话,SIMMC 2.0,其中包括购物领域中的11K面向任务的用户<->助理对话(117K话语),以沉浸式和照片般逼真的场景为基础。使用两个阶段的流水线收集对话:(1)一种新的多模态对话模拟器生成模拟的对话流,强调交互的多样性和丰富性,(2)手动释义生成的话语,以收集不同的指涉表达。我们对收集的数据集进行了深入分析,并详细描述了我们提出的四个主要基准任务。我们的基线模型由最先进的语言模型提供支持,显示了有希望的结果,并为社区研究提出了新的挑战和方向。
2021-10-20 cs.AI cs.CL
The BURCHAK corpus: a Challenge Data Set for Interactive Learning of Visually Grounded Word Meanings
Interaction Lab(交互实验室);Heriot-Watt University(赫瑞瓦特大学);University of Groningen(格罗宁根大学)
我们激励和描述了一个新的免费的人与人的对话数据集的交互式学习的视觉接地的词义通过明示的定义由导师学习者。已经使用DiET聊天工具的新颖的逐字符变体(Healey等人,二○ ○三年;米尔斯和希利,提交)与一个新的任务,其中一个学习者需要学习发明的视觉属性词(如“burchak“的广场)从导师。因此,基于文本的交互非常类似于面对面的对话,因此包含了自然,自发对话中遇到的许多语言现象。这些包括自我纠正和他人纠正,句中延续,中断,重叠,填充和模糊限制语。我们还提出了一个通用的n-gram框架,用于从这种类型的增量数据中构建用户(即导师)模拟,研究人员可以免费获得。我们表明,模拟产生的输出是类似于原始数据(例如78%的回合匹配相似性)。最后,我们训练和评估一个强化学习对话控制代理学习视觉接地的词义,从BURCHAK语料库训练。学习的策略显示出与以前构建的基于规则的系统相当的性能。
2017-09-29 cs.AI cs.CL cs.LG
Interactive Learning of Hierarchical Tasks from Dialog with GPT
Georgia Institute of Technology(佐治亚理工学院)
本文提出一种利用GPT模型作为对话前端进行可解释符号化交互式任务学习的系统,通过将对话转换为语义表示并递归请求未知步骤定义,实现层次化任务知识的获取与重用,且比传统解析器架构更能容忍语言差异。
2023-05-17 cs.AI cs.CL cs.HC
WeChat AI & ICT's Submission for DSTC9 Interactive Dialogue Evaluation Track
WeChat AI, Tencent Inc(腾讯公司微信人工智能实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Peking University(北京大学);University of Chinese Academy of Sciences(中国科学院大学)
我们参加了DSTC 9交互式对话评估轨道(Gunasekara et al. 2020)子任务1(基于知识的对话)和子任务2(交互式对话)。在子任务1中,我们使用一个预先训练好的语言模型来生成与主题相关的响应,并提出了一种响应集成方法来选择响应。在子任务2中,我们提出了一种新的对话规划模型(Dialogue Planning Model,简称PMM)来捕获与人类交互中的会话流。我们还设计了一个完整的开放领域对话系统,包括前处理,对话模型,评分模型,和后处理,它可以生成流畅,连贯,一致,人性化的反应。我们在人工评分上并列第一,在子任务1中获得了最高的Meteor和Bert评分,在子任务2中的交互式人工评估中排名第三。
2021-06-04 cs.AI cs.CL
VAL: Interactive Task Learning with GPT Dialog Parsing
Georgia Institute of Technology(佐治亚理工学院)
VAL是一个交互式任务学习系统,通过在算法框架内将大型语言模型仅用于特定任务(如谓词和参数选择),实现了从自然语言中增量学习分层任务知识,且所学知识可解释、可泛化,无需额外训练即可执行新任务。
2024-04-22 cs.AI cs.CL cs.HC
Data Collection for Interactive Learning through the Dialog
Charles University in Prague(布拉格查理大学);Faculty of Mathematics and Physics(数学与物理学院)
本文提出了一个从自然对话中收集的数据集,它可以测试对话系统在整个对话中从用户话语中学习新事实的能力。这种交互式学习将有助于解决开放域对话系统最普遍的问题之一,即对话系统可以推理的事实的稀疏性。建议的数据集,包括1900个收集的对话,允许模拟的交互式获得的表示和问题的解释,从用户可以用于交互式学习。
2016-05-15 cs.CL cs.LG
Interactive Evaluation of Dialog Track at DSTC9
Carnegie Mellon University(卡内基梅隆大学);University of Southern California(南加州大学)
对话研究的最终目标是开发能够被真实用户有效地用于交互设置的系统。为此,我们在第九届对话系统技术挑战赛上介绍了对话轨道的交互式评估。这条轨道由两个子任务组成。第一个子任务涉及建立基于知识的响应生成模型。第二个子任务旨在通过与真实用户的交互设置来评估静态数据集之外的对话模型。我们的跟踪挑战参与者开发强大的响应生成模型,并探索将其扩展到与真实用户的来回交互的策略。从静态语料库到交互式评估的进展引入了独特的挑战,并促进了开放域对话系统的更彻底的评估。本文概述了这一轨道,包括方法和结果。此外,它还提供了如何最好地评估开放域对话模型的见解
2022-07-28 cs.CL
Conversational DNA: A Visual Language and Interactive Atlas of Human and AI Dialogue
Berkman Klein Center For Internet & Society(互联网与社会伯克曼-克莱因中心);Harvard University(哈佛大学)
本文提出Conversational DNA,一种将对话视为生命系统并通过生物学隐喻可视化其时间架构的新视觉语言,揭示了传统方法遗漏的交互模式。
2026-09-25 cs.AI cs.CL cs.CY
Training an adaptive dialogue policy for interactive learning of visually grounded word meanings
Interaction Lab(交互实验室);Heriot-Watt University(赫瑞瓦特大学)
我们提出了一个多模态的对话系统,从人类导师的感知接地词义的交互式学习。该系统集成了一个增量的,语义解析/生成框架-动态分类和类型论与记录(DS-TTR)-与一组视觉分类器,在整个交互过程中学习和地面的意义表示,它产生。我们使用这个系统与一个模拟的人类导师的互动,学习的含义,学习率的准确性,和努力/成本的导师研究不同的对话政策和能力的影响。我们表明,学习代理的整体性能受到以下因素的影响:(1)谁在对话中采取主动;(2)表达/使用他们对视觉属性的信心水平的能力;以及(3)处理椭圆和增量构建对话的能力。最终,我们训练了一种自适应对话策略,该策略优化了分类器准确性和辅导成本之间的权衡。
2017-09-29 cs.AI cs.CL cs.LG
Enhancing Self-Disclosure In Neural Dialog Models By Candidate Re-ranking
ADAPT Centre, Trinity College Dublin(都柏林圣三一学院ADAPT中心);ADAPT Centre, University College Dublin(都柏林大学学院ADAPT中心);ADAPT Center, Trinity College Dublin(都柏林圣三一学院ADAPT中心)
针对神经对话模型回复平淡、缺乏对话策略的问题,提出自我表露增强架构SDEA,在推理阶段用SDTM重排序候选回复,提升单轮回复的自我表露水平。
2023-08-28 cs.CL
On model architecture for a children's speech recognition interactive dialog system
South-West University "Neofit Rilski"(西南大学“内奥菲特·里尔斯基”)
这份报告提出了一个一般模型的信息系统的架构为儿童的语音识别。它提出了一个语音数据流的模型,以及它是如何工作的。这些研究的结果和静脉架构模型表明,研究需要集中在声学语音建模,以提高儿童的语音识别的质量和系统的可持续性噪声和传输环境的变化。另一个重要的方面是开发更精确的算法来建模自发的儿童语音。
2016-05-25 cs.CL cs.HC cs.SD
Co-GAT: A Co-Interactive Graph Attention Network for Joint Dialog Act Recognition and Sentiment Classification
Research Center for Social Computing and Information Retrieval, Harbin Institute of Technology(哈尔滨工业大学社会计算与信息检索研究中心)
在对话系统中,对话行为识别和情感分类是两个相互关联的任务,以捕捉说话人的意图,其中对话行为和情感可以分别表示显式和隐式意图。对话上下文信息(上下文信息)和相互交互信息是促成这两个相关任务的两个关键因素。不幸的是,现有的方法都没有同时考虑这两个重要的信息来源。在本文中,我们提出了一个共同互动的图形注意力网络(Co-GAT),共同执行这两个任务。核心模块是一个协同交互的图形交互层,在该交互层中,构建了跨话语连接和跨任务连接,并相互迭代更新,实现了同时考虑两种类型的信息。在两个公共数据集上的实验结果表明,该模型成功地捕获了两个信息源,并达到了最先进的性能。此外,我们发现,从上下文和相互作用的信息的贡献不完全重叠的上下文化的词表示(BERT,罗伯塔,XLNet)。
2020-12-24 cs.CL
DCR-Net: A Deep Co-Interactive Relation Network for Joint Dialog Act Recognition and Sentiment Classification
Harbin Institute of Technology(哈尔滨工业大学)
在对话系统中,对话行为识别和情感分类是两个相互关联的任务,以捕捉说话人的意图,其中对话行为和情感可以分别表示显式和隐式意图。大多数现有的系统要么将它们视为单独的任务,要么通过以隐式方式共享参数来联合建模这两个任务,而没有明确地建模相互的交互和关系。为了解决这个问题,我们提出了一个深度协同交互关系网络(DCR-Net),明确考虑交叉影响,并通过引入协同交互关系层来建模两个任务之间的交互。此外,所提出的关系层可以堆叠,以通过多个交互步骤逐渐捕获相互知识。特别是,我们深入研究了不同的关系层及其影响。在两个公开数据集(Mastodon和Dailydialog)上的实验结果表明,该模型在对话行为识别任务上的F1得分分别比最先进的联合模型高出4.3%和3.4%,在情感分类任务上的F1得分分别比联合模型高出5.7%和12.4%.综合分析实证验证了显式建模两个任务之间的关系和多步交互机制的有效性。最后,我们在我们的框架中使用了来自Transformer的双向编码器表示(BERT),这可以进一步提高我们在这两个任务中的性能。
2020-08-16 cs.CL
Interactive Dialogue Agents via Reinforcement Learning on Hindsight Regenerations
University of California, Berkeley(加州大学伯克利分校)
本文提出利用LLM事后反思能力,通过离线强化学习重写次优对话数据,训练交互式对话智能体,在心理健康支持和慈善捐赠任务中显著优于现有方法。
2024-11-07 cs.AI cs.CL cs.LG
An Efficient Self-Learning Framework For Interactive Spoken Dialog Systems
Amazon AGI(亚马逊AGI);UC Berkeley(加州大学伯克利分校)
针对传统ASR系统无法适配对话上下文、缺乏反馈整合能力的问题,提出结合师生学习、上下文感知处理与Ohm在线难负例挖掘的自学习框架,显著降低词错误率。
2024-09-16 cs.AI cs.CL cs.SD
Interactive Text Graph Mining with a Prolog-based Dialog Engine
University of North Texas(北德克萨斯大学)
在基于神经网络的依赖分析器和基于图的自然语言处理模块的基础上,我们设计了一个基于Prolog的对话引擎,它可以交互式地探索从文本文档中提取的排名事实数据库。我们重新组织依赖图,专注于句子中最相关的内容元素,并将句子标识符集成为图节点。此外,在对图进行排序之后,我们利用了依赖链接和WordNet以主语-动词-宾语、is-a和part-of关系的形式带来的隐含语义信息。在Prolog事实及其推断结果上工作,对话引擎针对查询专门化文本图,并交互式地显示文档中最相关的内容元素。该集成系统的开放源代码可在https://github.com/ptarau/DeepRank上查阅。逻辑程序设计理论与实践(TPLP)
2020-07-31 cs.CL cs.LO
Workflow-Guided Response Generation for Task-Oriented Dialogue
University of Michigan(密歇根大学);ASAPP
本文提出基于强化学习的工作流引导响应生成框架,通过ComplianceScorer指标和交互式采样优化,在ABCD和MultiWOZ 2.2上提升任务型对话对工作流的遵从性与自然度。
2023-11-14 cs.AI cs.CL
Overview of the Ninth Dialog System Technology Challenge: DSTC9
本文介绍了第九届对话系统技术挑战赛(DSTC-9)。这个版本的DSTC集中在应用端到端对话技术的四个不同的任务,即对话系统,1。面向任务的对话框非结构化知识访问建模,2。面向多领域任务的对话,3.对话的交互式评估,以及4.情境交互式多模态对话。本文介绍了任务定义、提供的数据集、基线和每个轨道的评价设置。我们还总结了提交的系统的结果,以突出国家的最先进的技术的任务的总体趋势。
2020-11-12 cs.CL
LAD: Language Models as Data for Zero-Shot Dialog
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌)
为了在面向任务的对话中实现zero-shot泛化,提出了语言模型即数据(LAD)。LAD是用于创建多样且准确的合成数据的范例,该合成数据传达必要的结构约束并且可以用于训练下游神经对话模型。LAD利用GPT-3诱导语言多样性。LAD在zero-shot设置中在意图预测(+15%)、槽填充(+31.4 F-1)和下一动作预测(+11 F1)方面实现了显著的性能提升。此外,一个交互式的人的评价表明,与人的对话培训与LAD的培训是有竞争力的。LAD是开源的,代码和数据可在https://github.com/Shikib/lad上获得。
2022-07-28 cs.AI cs.CL
Fostering Natural Conversation in Large Language Models with NICO: a Natural Interactive COnversation dataset
International Digital Economy Academy(国际数字经济学院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Simon Fraser University(西蒙菲莎大学)
为解决LLMs在实际应用中难以生成自然口语化回复的问题,研究提出中文自然交互对话数据集NICO,通过GPT-4-turbo生成与人工修订构建数据,并定义对话级与句子级任务,实验证明其能有效提升LLMs的自然对话能力。
2024-10-15 cs.CL
Chat-crowd: A Dialog-based Platform for Visual Layout Composition
University of Virginia(弗吉尼亚大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
在本文中,我们介绍了聊天人群,一个交互式环境,通过对话的互动视觉布局组成。Chat-crowd支持具有两个会话角色的多个代理:扮演设计师角色的代理负责根据具有导演角色的代理发出的指令或命令将对象放置在可编辑画布中。该系统可与众包平台集成,用于同步和异步数据汇集,并配备了对两类代理人业绩的全面质量控制。我们希望,该系统将是有用的,以建立多模态目标为导向的对话任务,需要空间和几何推理。
2019-04-01 cs.CL cs.HC
Language Acquisition is Embodied, Interactive, Emotive: a Research Proposal
Boise State University(博伊西州立大学);Department of Computer Science(计算机科学系)
人类对世界的体验从一开始就是深刻的多模态的,那么为什么现有的最先进的语言模型只使用文本作为模态来学习和表示语义呢?在本文中,我们回顾了文学的体现和情感的作用,在互动设置的口语对话作为必要的先决条件,为人类儿童的语言学习,包括如何在儿童词汇主要是具体的,然后转移到变得更加抽象的孩子长大。我们勾勒出一个语义模型,利用当前的transformer为基础的模型和单词级接地模型,然后解释机器人对话系统,将利用我们的语义模型,系统学习语言的设置,和现有的基准评估。
2021-05-10 cs.CL
The slurk Interaction Server Framework: Better Data for Better Dialog Models
University of Potsdam(波茨坦大学)
本文介绍了slurk软件,一个轻量级的交互服务器,用于建立对话数据汇集和运行实验。Slurk支持多种设置,包括两个或多个人或人与机器人之间基于文本的语音和视频交互,以及用于呈现共享或私人交互上下文的多模式显示区域。该软件是用Python实现的,带有HTML和JS前端,可以很容易地适应个人需求。它还提供了一个在常见的众包平台上配对参与者的设置,例如Amazon Mechanical Turk和一些常见交互场景的示例机器人脚本。
2022-02-02 cs.CL