Data Augmentation for Conversational AI
Radboud University(拉德堡德大学);University of Amsterdam(阿姆斯特丹大学)
本教程系统梳理对话式 AI 中的数据增强方法,涵盖开放域与任务型对话生成、模型评估范式,并指出当前挑战与未来方向。
2024-03-02 cs.CL cs.IR
End-to-End Conversational Search for Online Shopping with Utterance Transfer
Shanghai Jiao Tong University(上海交通大学);Amazon.com, Inc.(亚马逊公司)
成功的会话搜索系统可以为在线购物客户提供自然、自适应和交互式的购物体验。然而,从头开始构建这样的系统面临着现实的挑战,从不完善的产品模式/知识和缺乏训练对话data.In这项工作中,我们首先提出了ConvSearch,一个端到端的会话搜索系统,深入结合了对话系统与搜索。它利用文本配置文件来检索产品,与单独使用产品属性相比,它对不完善的产品模式/知识更鲁棒。然后,我们提出了一种话语传输方法,通过使用现有的对话从其他领域,并利用电子商务零售商的搜索行为数据生成对话话语,以解决缺乏数据的挑战。通过话语转移,我们引入了一个新的在线购物会话搜索数据集。实验表明,我们的话语转移方法可以显着提高训练对话数据的可用性,而无需众包,会话搜索系统显着优于最佳测试基线。
2021-09-12 cs.AI cs.CL
Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs
University of Amsterdam(阿姆斯特丹大学)
本文研究用户后续话语反馈对任务导向对话系统评估的影响,通过众包工作者和大型语言模型在四种维度上的对比实验,发现用户反馈显著影响评分,且工作者更易受反馈影响,为自动反馈集成评估提供了依据。
2024-04-29 cs.CL cs.IR
What Types of Questions Require Conversation to Answer? A Case Study of AskReddit Questions
The Pennsylvania State University(宾夕法尼亚州立大学)
本文通过分析AskReddit的500个开放式问题,发现需要对话解答的问题多具社会性与个人性,为未来对话系统设计满足用户需求提供了见解。
2023-04-03 cs.CL cs.HC
A Survey on Recent Advances in Conversational Data Generation
Radboud University(拉博德大学);University of Amsterdam(阿姆斯特丹大学)
本文系统综述了多轮对话数据生成方法,涵盖开放域、任务导向和信息检索三类对话系统,提出了包含种子数据创建、话语生成和质量过滤的通用框架,并讨论了评估指标与未来方向。
2026-05-28 cs.AI cs.CL cs.IR
Insightful Assistant: AI-compatible Operation Graph Representations for Enhancing Industrial Conversational Agents
Technical University of Darmstadt(达姆施塔特工业大学)
语音控制助手的进步为进入消费者市场铺平了道路。对于专业或工业用途,由于数据的复杂性较高,可能的基于AI的操作和请求,这些助手的功能太有限或太耗时。针对这些缺陷,本文提出了洞察助理-一个管道概念,基于一种新的操作图表示,从检测到的意图。使用一组预定义的语义注释(可执行)函数,操作图的每个节点都被分配给一个函数执行。除了基本操作之外,这样的功能可以包含基于人工智能(AI)的操作(例如,异常检测)。然后根据类型和提取的用户偏好以自动化的方式将结果可视化给用户。我们进一步收集了一个独特的869个请求的众包集,每个请求都有四个不同的预期可视化变量,用于工业数据集。在此数据集上对我们的概念验证原型进行的评估显示了其可行性:对于具有不同变体的简单(复杂)请求检测,其准确率高达95.0%(74.5%),对于数据/用户自适应可视化,其top3准确率高达95.4%。
2020-07-25 cs.AI cs.CL cs.IR
Chat-crowd: A Dialog-based Platform for Visual Layout Composition
University of Virginia(弗吉尼亚大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
在本文中,我们介绍了聊天人群,一个交互式环境,通过对话的互动视觉布局组成。Chat-crowd支持具有两个会话角色的多个代理:扮演设计师角色的代理负责根据具有导演角色的代理发出的指令或命令将对象放置在可编辑画布中。该系统可与众包平台集成,用于同步和异步数据汇集,并配备了对两类代理人业绩的全面质量控制。我们希望,该系统将是有用的,以建立多模态目标为导向的对话任务,需要空间和几何推理。
2019-04-01 cs.CL cs.HC
Dynamic Planning in Open-Ended Dialogue using Reinforcement Learning
Google Research(谷歌研究院)
尽管最近在自然语言理解和生成方面取得了进展,并且对会话机器人的开发进行了数十年的研究,但构建能够与人类“在野外”进行丰富的开放式对话的自动代理仍然是一个艰巨的挑战。在这项工作中,我们开发了一个实时的,开放式的对话系统,使用强化学习(RL)来大规模地增强机器人的对话技能。我们的工作对简洁的嵌入使用SOTA(监督)语言模型与RL技术,特别适合于动态的动作空间,随着对话的进展而变化的会话状态。通过使用众包数据进行训练,我们的新系统能够在Google Assistant真实用户的现场实验中,在几个感兴趣的指标方面大大超过(强)基线监督模型。
2022-07-25 cs.CL cs.LG
ArgSciChat: A Dataset for Argumentative Dialogues on Scientific Papers
University of Bologna(博洛尼亚大学);Technical University of Darmstadt(达姆施塔特工业大学)
由于缺乏对话数据来训练这样的代理,会话代理在科学学科(如专家领域)的应用研究不足。虽然大多数数据汇集框架(如Amazon Mechanical Turk)通过连接群组工作者和任务设计者来促进通用域的数据汇集,但这些框架并没有针对专家域中的数据汇集进行太多优化。由于时间预算有限,科学家很少参加这些框架。因此,我们引入了一个新的框架来收集科学家之间的对话领域专家的科学论文。我们的框架让科学家提出他们的科学论文作为对话的基础,并参与对话,他们喜欢它的论文标题。我们使用我们的框架来收集一个新的辩论对话数据集,ArgSciChat。它包括从20篇科学论文的41次对话中收集的498条信息。除了对ArgSciChat的广泛分析外,我们还评估了我们数据集上最近的会话代理。实验结果表明,该代理在ArgSciChat上的表现不佳,从而激发了对论证性科学代理的进一步研究。我们发布我们的框架和数据集。
2022-10-12 cs.CL
CoSQL: A Conversational Text-to-SQL Challenge Towards Cross-Domain Natural Language Interfaces to Databases
Yale University(耶鲁大学);Salesforce Research(赛富时研究院);University of Michigan(密歇根大学);Cornell University(康奈尔大学)
我们提出了CoSQL,用于构建跨域,通用数据库(DB)查询对话系统的语料库。它由30k+ turns加上10k+注释的SQL查询组成,这些查询是从3k对话的向导(WOZ)集合中获得的,查询跨越138个域的200个复杂DB。每个对话都模拟了一个真实的数据库查询场景,其中一个群众工作者作为用户探索数据库,一个SQL专家用SQL检索答案,澄清模糊的问题,或者通知无法回答的问题。当用户问题可以通过SQL回答时,专家向用户描述SQL和执行结果,从而保持自然的交互流。与现有的面向任务的对话数据集相比,CoSQL引入了新的挑战:(1)对话状态基于SQL,一种独立于域的可执行表示,而不是特定于域的槽值对,(2)因为测试是在看不见的数据库上完成的,成功需要推广到新的域。CoSQL包括三个任务:基于SQL的对话状态跟踪,查询结果的响应生成和用户对话行为预测。我们为每个任务评估了一组强大的基线,并表明CoSQL为未来的研究提出了重大挑战。数据集、基线和排行榜将在https://yale-lily.github.io/cosql上发布。
2019-09-11 cs.AI cs.CL
Crafting Realistic Virtual Humans: Unveiling Perspectives on Human Perception, Crowds, and Embodied Conversational Agents
本文回顾虚拟人类技术50年发展,探讨其在人类感知、人群模拟与具身对话智能体三个领域中的逼真角色及其深远影响。
2023-12-06 cs.GR cs.HC
Inter(sectional) Alia(s): Ambiguity in Voice Agent Identity via Intersectional Japanese Self-Referents
Institute of Science(科学研究所);University College Dublin(都柏林大学学院);AIST
本文通过众包实验研究日语非代词性自称词与ChatGPT语音的交互,发现交叉性自称词可制造身份模糊性以规避语音性别化,为语音代理身份设计提供文化敏感的新视角。
2025-05-20 cs.AI cs.CL cs.CY
InstructableCrowd: Creating IF-THEN Rules for Smartphones via Conversations with the Crowd
Pennsylvania State University(宾夕法尼亚州立大学);Ariel University(阿里埃勒大学);Carnegie Mellon University(卡内基梅隆大学)
自然语言界面已经成为现代数字生活的常见部分。聊天机器人利用基于文本的对话与用户进行通信;智能手机上的个人助理(如Google Assistant)直接从用户那里获取语音命令;语音控制设备(如Amazon Echo)使用语音作为唯一的输入模式。在本文中,我们介绍了InstructableCrowd,这是一个群体驱动的系统,允许用户通过对话对他们的设备进行编程。用户向系统口头表达问题,其中一组群组工作人员集体响应并编程相关的多部分“若-则”规则来帮助用户。由InstructableCrowd生成的“若-则”规则连接相关传感器组合(例如,位置、天气、设备加速度等)到有用的效应器(例如,文本消息、设备警报等)。我们的研究表明,非程序员可以使用InstructableCrowd的对话界面来创建“若-则”规则,与手动创建的规则相比,这些规则具有类似的质量。InstructableCrowd通常说明用户如何与他们的设备对话,不仅触发简单的语音命令,而且个性化他们日益强大和复杂的设备。
2019-09-12 cs.CL cs.HC
Supporting Annotators with Affordances for Efficiently Labeling Conversational Data
针对众包对话数据标注耗时昂贵且枯燥的问题,研究设计了具备防错选、引导标注等功能的新型标注界面CAL,用户研究显示其能降低认知负荷、更易用且受偏好,未增加任务时长。
2024-03-12 cs.HC
Not All Transparency Is Equal: Source Presentation Effects on Attention, Interaction, and Persuasion in Conversational Search
The University of Tennessee(田纳西大学);The University of Oklahoma(俄克拉荷马大学)
研究探讨了不同来源呈现方式对用户注意力、交互和说服力的影响,发现高可见性界面在某些情况下会降低知识获取,但随着来源使用增加,积极效果逐渐显现。
2025-12-13 cs.AI cs.HC cs.IR
Entertaining and Opinionated but Too Controlling: A Large-Scale User Study of an Open Domain Alexa Prize System
University of California Santa Cruz(加州大学圣克鲁兹分校)
会话系统通常专注于功能性任务,如安排约会或创建待办事项列表。相反,我们设计和评估SlugBot(SB),这是2018年AlexaPrize的8个半决赛选手之一,其目标是支持休闲开放域社交互动。这种新颖的应用程序需要广泛的主题覆盖和参与互动技能。我们开发了一种新的技术方法来满足这种苛刻的情况,通过众包新颖的内容,并引入基于讲故事和游戏的有趣的对话策略。我们在2018年8月收集了超过10,000个对话,作为Alexa Prize竞赛的一部分。我们还进行了实验室随访定性评价。总体而言,所有用户都认为SB具有中等吸引力;对话平均为3.6分钟,涉及26个用户回合。然而,用户对不同的会话子类型的反应非常不同。讲故事和游戏得到了积极的评价;这些被视为具有可预测的互动结构的娱乐性。相比之下,搜索和一般的聊天引起覆盖问题;在这里,用户发现很难推断SB可以理解的主题,这些对话被视为过于系统驱动。理论和设计的影响表明,远离会话系统,只是提供事实信息。未来的系统应该设计成有自己的观点和个人故事来分享,SB提供了一个我们如何实现这一点的例子。
2019-08-13 cs.CL cs.HC
The Bots of Persuasion: Examining How Conversational Agents' Linguistic Expressions of Personality Affect User Perceptions and Decisions
Delft University of Technology(代尔夫特理工大学)
研究探讨了对话代理通过语言表达的人格如何影响用户在慈善捐赠中的感知和决策,发现人格特征显著影响用户信任和捐赠行为。
2026-02-19 cs.AI cs.HC
Exploring User Acceptance and Concerns toward LLM-powered Conversational Agents in Immersive Extended Reality
研究探讨了沉浸式扩展现实中基于大语言模型的对话代理的用户接受度与担忧,发现熟悉度和性别影响接受度,位置数据敏感性最高。
2025-12-17 cs.AI cs.CY cs.HC
Building a Legal Dialogue System: Development Process, Challenges and Opportunities
University of Essex(埃塞克斯大学)
本文提出了关键的原则和解决方案所面临的挑战,在设计一个特定领域的对话代理的法律领域。它包括范围、平台、体系结构和输入数据的准备等问题。它提供了回答用户查询和记录用户信息的功能,包括联系方式和案件相关信息。它利用基于Amazon Web Services(AWS)LEX和AWS Lambda构建的深度学习技术。由于缺乏公开可用的数据,我们确定了两种方法,包括众包实验和存档查询,以开发一些语言资源。这包括训练数据集、会话代理的预定响应集、回归测试用例集和另一会话测试集。我们提出了一个分层的机器人结构,便于多级委托和报告模型的回归测试集的准确性。此外,我们还强调了添加到机器人中的功能,以改善对话流程和整体用户体验。
2021-09-01 cs.AI cs.HC
Contextualized Counterspeech Can Be More Persuasive Than Generic Counterspeech
University of Pisa(比萨大学);IIT-CNR(意大利国家研究委员会信息科学与技术研究所);ILC-CNR(意大利国家研究委员会语言与计算研究所)
该研究针对现有通用反言语忽略语境与用户特征的问题,提出情境化反言语生成策略,结合多指标评估发现轻量个性化策略可提升反言语的感知充分性与说服力,为反言语系统开发提供方向。
2026-07-30 cs.AI cs.CY cs.HC