Improving Dialog Safety using Socially Aware Contrastive Learning
University at Buffalo(布法罗大学)
针对现有对话AI易生成不安全内容、难识别细微不安全场景的问题,提出基于社会感知n对对比损失的双步微调方法,结合多数据集训练融合亲社会行为的模型,有效提升了对话回复的社会适宜性。
2024-02-01 cs.CL
Searching for Snippets of Open-Domain Dialogue in Task-Oriented Dialogue Datasets
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);Laboratoire Interdisciplinaire des Sciences du Numérique(数字科学跨学科实验室)
本研究通过主题建模探索Schema-Guided Dialogues和MultiWOZ训练集,发现面向任务对话数据中自然存在社交闲聊序列,为闲聊与任务对话的结合研究提供了依据。
2023-11-23 cs.CL
A Methodology for Identifying Evaluation Items for Practical Dialogue Systems Based on Business-Dialogue System Alignment Models
C4A Research Institute, Inc.(C4A研究机构);Musashi University(Musashi大学);SANKEN, Osaka University(SANKEN,大阪大学)
本文提出一种基于业务-对话系统对齐模型的方法,用于识别实用对话系统中的评估项,旨在发现新的研究方向。
2026-01-10 cs.CL cs.HC cs.SE
HERALD: An Annotation Efficient Method to Detect User Disengagement in Social Conversations
Stanford University(斯坦福大学);Columbia University(哥伦比亚大学)
开放域对话系统有一个以用户为中心的目标:为人类提供一个引人入胜的对话体验。用户参与度是评估开放域对话系统的最重要指标之一,也可以用作实时反馈,以利于对话策略学习。现有的检测用户脱离的工作通常需要手工标记许多对话框样本。我们提出了HERALD,一个有效的注释框架,重新定义的训练数据注释过程作为一个去噪问题。具体来说,我们首先使用一组标记算法来自动标记训练样本,而不是手动标记训练样本。然后,我们使用Shapley算法对弱标记数据进行去噪。最后,我们使用去噪的数据来训练用户参与检测器。实验结果表明,HERALD显著提高了标注效率,在两个对话语料库中达到了86%的用户脱离检测准确率。
2021-06-02 cs.CL
A Taxonomy of Empathetic Response Intents in Human Social Conversations
School of Computer and Communication Sciences(计算机与通信科学学院);École polytechnique fédérale de Lausanne(洛桑联邦理工学院)
开放域会话代理或聊天机器人在自然语言处理社区中越来越受欢迎。其中一个挑战是让他们以一种同情的方式交谈。目前的神经反应生成方法仅依赖于从大规模对话数据中进行端到端学习来生成对话。由于缺乏用于训练神经模型的大规模质量数据,这种方法可能产生社会上不可接受的响应。然而,最近的工作表明,结合对话行为/意图建模和神经反应生成的承诺。这种混合方法提高了聊天机器人的响应质量,使其更具可控性和可解释性。对话意图建模中的一个关键元素是分类法的开发。受此启发,我们使用相当大的移情对话数据集(25 K对话)的子集手动标记了500个响应意图。我们的目标是产生一个大规模的移情反应意图的分类。此外,使用词汇和机器学习方法,我们自动分析了整个数据集的说话者和听者话语,识别出了响应意图和32种情感类别。最后,我们使用信息可视化的方法来总结情感对话交流模式及其时间进程。这些结果揭示了新的和重要的移情模式,在人与人的开放域对话,并可以作为混合方法的启发。
2020-12-07 cs.CL
INSPIRED: Toward Sociable Recommendation Dialog Systems
University of California, Davis(加利福尼亚大学戴维斯分校);University of California, Berkeley(加利福尼亚大学伯克利分校)
在推荐对话框中,人们通常以友好的方式公开他们的偏好并提出建议。然而,这是一个挑战,当开发一个社交推荐对话系统,由于缺乏对话数据集注释与这样的社交策略。因此,我们提出了INSPIRED,这是一个包含1,001个用于电影推荐的人与人对话的新数据集,具有成功推荐的措施。为了更好地理解人类在交流中如何进行推荐,我们基于社会科学理论设计了一个与推荐策略相关的注释方案,并对这些对话进行了注释。我们的分析表明,社交推荐策略,如分享个人意见或鼓励沟通,更频繁地导致成功的推荐。基于我们的数据集,我们训练端到端的推荐对话系统与我们的战略标签。在自动和人工评估中,我们的模型与战略纳入优于基线模型。这项工作是建立社会科学理论基础上的社交推荐对话系统的第一步。
2020-10-08 cs.CL
Seamlessly Integrating Factual Information and Social Content with Persuasive Dialogue
Columbia University(哥伦比亚大学);University of California, Davis(加州大学戴维斯分校);Intel Labs(英特尔实验室)
复杂的对话设置(如说服)涉及沟通态度或行为的变化,因此需要解决用户的观点,即使与主题没有直接关系。在这项工作中,我们贡献了一个新的模块化对话系统框架,无缝集成的事实信息和社会内容到有说服力的对话。我们的框架是概括的任何对话任务,混合社会和任务的内容。我们进行了一项研究,比较了用户对我们框架的评价与基线端到端生成模型。我们发现,与没有明确处理社交内容或事实问题的端到端模型相比,我们的框架在包括能力和友好度在内的所有维度上都得到了更好的评价。
2022-09-23 cs.AI cs.CL cs.CY
Alquist 4.0: Towards Social Intelligence Using Generative Models and Dialogue Personalization
Faculty of Electrical Engineering, CTU Prague(布拉格捷克理工大学电气工程学院);CTU Medialab(布拉格捷克理工大学媒体实验室);DTU Compute, Technical University of Denmark(丹麦技术大学计算学院);CIIRC, CTU Prague(布拉格捷克理工大学人工智能、机器人与控制论研究所)
开放域-对话系统Alquist的目标是进行连贯和引人入胜的对话,可以被认为是社会智力的基准之一。该系统的第四个版本是在Alexa Prize Socialbot Grand Challenge 4中开发的,带来了两个主要创新。第一个解决连贯性,第二个解决对话的连贯性。对于创新的一致性,我们提出了一种新的混合方法相结合的手设计的反应和生成模型。所提出的方法利用手工设计的对话,域外检测,和神经反应发生器。手工设计的对话引导用户完成高质量的对话流程。域外检测识别出用户偏离了预定义的流,并防止系统产生可能对意外的用户输入没有意义的脚本响应。最后,神经响应生成器基于对话的上下文生成响应,该响应正确地对意外的用户输入做出反应,并将对话返回到手动设计的对话的边界。我们提出的创新参与,主要是受到著名的探索-开发困境的启发。为了与对话伙伴进行一次引人入胜的对话,你必须了解他们的偏好和兴趣--探索。此外,为了吸引合作伙伴,我们必须利用我们已经学到的知识-剥削。在这项工作中,我们提出的原则和内部运作的开放域的对话系统Alquist开发的Alexa奖Socialbot大挑战4和实验,我们已经进行了评估。
2021-09-16 cs.AI cs.CL
Identifying Untrustworthy Samples: Data Filtering for Open-domain Dialogues with Bayesian Optimization
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Australian National University(澳大利亚国立大学)
能够以相关、流畅和信息丰富的响应进行回复是构建高质量会话代理的不可或缺的要求。为了生成更好的响应,已经提出了一些方法,例如通过收集具有人类注释的大规模数据集来馈送额外信息,设计具有复杂架构和损失函数的神经会话模型(NCM),或者基于对话属性过滤掉不可信的样本,例如,相关性或通用性。在本文中,我们遵循第三个研究分支,并提出了一个数据过滤方法,开放域对话,识别不可信的样本,从训练数据的质量措施,线性结合七个对话属性。属性权重通过贝叶斯优化(BayesOpt)获得,其目的是在验证集上迭代地优化对话生成的目标函数。然后,我们用质量指标对训练样本进行评分,按降序排序,并过滤掉底部的样本。此外,为了加速BayesOpt在大规模数据集上的“过滤-训练-评估”迭代,我们提出了一个集成最大似然估计(MLE)和负训练方法(NEG)的训练框架。训练方法在两个小集合上分别用新维护和删除的样本更新已训练的NCM的参数。具体而言,MLE被应用于最大化新维护的样本的对数似然,而NEG被用于最小化新删除的样本的对数似然。在两个数据集上的实验结果表明,该方法能有效地识别出不可信样本,在过滤后的数据集上训练的NCM具有更好的性能。
2021-09-14 cs.CL
Towards Dialogue-based Navigation with Multivariate Adaptation driven by Intention and Politeness for Social Robots
University of Hamburg(汉堡大学);SoftBank Robotics Europe(软银机器人欧洲公司)
服务机器人需要表现出适当的社会行为,以便部署在医疗保健,教育,零售等社会环境中,机器人应该具有的一些主要功能是导航和会话技能。如果这个人不耐烦,他可能希望机器人导航得更快,反之亦然。表明礼貌的语言特征可以提供有关一个人的耐心和不耐烦行为的社会线索。本文提出的新颖之处是动态地将礼貌的机器人对话系统导航。理解用户言语中的礼貌可以用来调节机器人的行为和反应。因此,我们开发了一个对话系统,在室内环境中导航,产生不同的机器人的行为和反应的基础上用户的意图和礼貌程度。我们部署和测试我们的系统与胡椒机器人,适应用户的礼貌的变化。
2018-11-14 cs.AI cs.CL cs.RO
Neural Response Ranking for Social Conversation: A Data-Efficient Approach
Heriot-Watt University(赫瑞-瓦特大学)
“社交”对话系统的总体目标是支持关于各种各样的话题的引人入胜的、娱乐性的和冗长的对话,包括社交闲聊。除了原始的对话数据,用户提供的评级是最常见的信号,用于训练这样的系统,以产生引人入胜的反应。在本文中,我们表明,社会对话系统可以有效地从原始的未注释的数据进行训练。使用在2017年Alexa Prize挑战中收集的真实对话数据集,我们开发了一个神经排名器,用于选择对用户话语的“好”系统响应,即可能导致长时间和引人入胜的对话的响应。我们表明,(1)当训练以优化用户评级时,我们的神经排名器始终优于几个强基线;(2)当训练大量数据并仅使用对话长度作为目标时,排名器的表现优于使用评级训练的排名器-最终达到0.87的Precision@1。这一进步将使社交会话代理的数据汇集在未来变得更简单、更便宜。
2018-11-02 cs.CL
Cocktail-Talker: Multi-Speaker Dialog Modeling in Noisy Social Environments with Turn Action GRPO
本文提出Cocktail-Talker框架,结合Turn Action GRPO,通过动作令牌建模助手行为,利用Cocktail-DialogGen生成数据,实现嘈杂社交环境下的多说话人口语对话建模,推动更自然的对话系统发展。
2026-07-31 cs.CL cs.MM cs.SD
Social Commonsense-Guided Search Query Generation for Open-Domain Knowledge-Powered Conversations
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对被动用户对话中难以确定检索信息的问题,提出社交常识引导的搜索查询生成方法,整合主题跟踪、常识响应生成和指令驱动查询生成,生成更相关具体的查询以提升对话吸引力。
2023-10-22 cs.CL
Challenges in Building Intelligent Open-domain Dialog Systems
Tsinghua University(清华大学);Microsoft Research(微软研究院)
由于大量会话数据的可用性以及最近在会话AI的神经方法方面的进展,开发智能开放域对话系统的兴趣重新燃起。与传统的面向任务的机器人不同,开放域对话系统旨在通过满足人类对沟通、情感和社会归属感的需求,与用户建立长期联系。本文回顾了最近的神经方法,致力于解决三个挑战,在开发这样的系统:语义,一致性和交互性的工作。语义学要求对话系统不仅要理解对话的内容,而且要在对话过程中识别用户的社交需求。一致性要求系统表现出一致的个性,以赢得用户的信任并获得他们的长期信心。互动性是指系统产生人际反应以实现特定社交目标(如娱乐、协调和任务完成)的能力。我们选择在这里展示的作品是基于我们的独特观点,并不完整。尽管如此,我们希望讨论将激发新的研究,开发更智能的对话系统。
2020-02-28 cs.AI cs.CL
DEUX: An Attribute-Guided Framework for Sociable Recommendation Dialog Systems
University of California, Davis(加州大学戴维斯分校);University of Pennsylvania(宾夕法尼亚大学);Columbia University(哥伦比亚大学)
对于可社交的推荐对话系统来说,重要的是同时作为任务内容和社交内容来执行,以吸引用户并获得他们的青睐。除了理解用户偏好并提供令人满意的推荐之外,这样的系统还必须能够为用户生成连贯和自然的社交对话。传统的对话状态跟踪不能应用于这样的系统,因为它不跟踪社交内容中的属性。为了解决这个问题,我们提出了DEUX,一个新的属性引导框架,以创建更好的用户体验,同时完成电影推荐任务。DEUX具有跟踪电影属性(例如,最喜欢的类型,演员等)在用户话语和系统响应两者中。这允许系统在其社交内容中引入新的电影属性。然后,DEUX对于适合推荐任务的相同属性类型具有多个值,因为例如用户可能喜欢多个流派。实验表明,DEUX在更一致、更符合用户偏好以及提供更吸引人的聊天体验方面优于所有基线。我们的方法可以用于任何类似的问题,社会任务导向的对话系统。
2021-04-16 cs.AI cs.CL
From Fact to Judgment: Investigating the Impact of Task Framing on LLM Conviction in Dialogue Systems
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
研究探讨了任务框架对LLM在对话系统中判断确信度的影响,发现对话上下文显著改变模型判断,强调了对话框架在评估中的重要性。
2026-01-09 cs.CL
Persuasion for Good: Towards a Personalized Persuasive Dialogue System for Social Good
Zhejiang University(浙江大学);University of California, Davis(加州大学戴维斯分校);University of Pennsylvania(宾夕法尼亚大学)
开发智能说服性对话代理来改变人们的意见和行为,以造福社会,是推进自动对话系统道德发展的前沿。要做到这一点,第一步是要理解人类说服对话中所采用的策略披露和呼吁的复杂组织。我们设计了一个在线说服任务,要求一名参与者说服另一名参与者向特定的慈善机构捐款。我们收集了一个包含1,017个对话的大型数据集,并从一个子集中注释了新兴的说服策略。在此基础上,我们构建了一个包含上下文信息和会话级别特征的基线分类器,用于预测语料库中使用的10种说服策略。此外,为了理解个性化的说服过程,我们分析了个人的人口统计学和心理背景,包括个性,道德,价值体系和他们的捐赠意愿之间的关系。然后,我们分析了哪些类型的说服策略导致更大的捐赠金额取决于个人的个人背景。这项工作奠定了基础,开发一个个性化的说服性对话系统。
2020-01-13 cs.AI cs.CL cs.CY
Contextual Topic Modeling For Dialog Systems
Amazon(亚马逊)
会话主题的准确预测可以是用于创建连贯和吸引人的对话系统的有价值的信号。在这项工作中,我们专注于上下文感知的主题分类方法,用于识别自由形式的人类聊天机器人对话中的主题。我们扩展了以前的工作,神经主题分类和无监督主题关键字检测,将会话上下文和对话行为功能。在注释数据上,我们表明,将上下文和对话行为导致主题分类准确率相对提高35%,主题经常跨越多个话语的会话交互的无监督关键字检测召回率提高11%。我们发现,主题深度等主题指标与连贯性和参与度等对话评价指标高度相关,这意味着会话主题模型可以预测用户满意度。我们检测对话主题和关键字的工作可以用来引导聊天机器人进行连贯的对话。
2018-10-19 cs.CL
MultiWOZ 2.3: A multi-domain task-oriented dialogue dataset enhanced with annotation corrections and co-reference annotation
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Huawei Technologies(华为技术有限公司);Tsinghua University(清华大学)
面向任务的对话系统已经取得了前所未有的进展,多个国家的最先进的(SOTA)模型的支持下,一些公开可用的MultiWOZ数据集。对话状态注释容易出错,导致次优性能。在纠正原始MultiWOZ数据集中存在的注释错误方面已经做出了各种努力。在本文中,我们介绍了MultiWOZ 2.3,其中我们区分了对话行为中的不正确注释和对话状态,在发布更新的数据集时识别出缺乏共同引用。为了保证对话行为和对话状态之间的一致性,我们实现了共指功能,并统一了对话行为和对话状态的注释。我们在MultiWOZ 2.3上更新了自然语言理解和对话状态跟踪的最新性能,结果显示比以前版本的MultiWOZ数据集(2.0-2.2)有显著改进。
2021-06-14 cs.CL
Data-Efficient Methods for Dialogue Systems
Heriot-Watt University(赫瑞瓦特大学);School of Mathematical and Computer Sciences(数学与计算机科学学院)
会话式用户界面(CUI)在日常生活中无处不在,无论是Siri和Alexa等以消费者为中心的产品,还是面向企业的解决方案。深度学习是对话系统最近许多突破的基础,但需要非常大量的训练数据,通常由专家注释。这些方法使用较小的数据进行训练,最终严重缺乏鲁棒性(例如,对于不流畅和域外输入),并且通常具有太少的泛化能力。在这篇论文中,我们针对上述问题,介绍了一系列的方法来训练强大的对话系统从最小的数据。首先,我们从数据效率的角度研究了两种正交的对话方法:基于语言的和基于机器学习的。我们概述了使用这两种方法获得数据高效解决方案的步骤。然后,我们介绍了两个数据效率的对话响应生成模型:基于潜变量对话表示的对话知识转移网络,和混合生成检索Transformer模型(在DSTC 8快速领域自适应任务中排名第一)。接下来,我们解决了最小数据的鲁棒性问题。因此,提出了一个多任务的LSTM为基础的模型领域一般不流利检测。对于域外输入的问题,我们提出了Turn Dropout,一种仅使用域内数据进行异常检测的数据增强技术,并引入了自动编码器增强模型,用于Turn Dropout的有效训练。最后,我们将重点放在社交对话上,并介绍一种用于社交对话中的响应排名的神经模型,该模型用于Alana,该模型在2017年和2018年亚马逊Alexa奖中获得第三名。我们采用了一种新的技术,预测的对话长度作为主要的排名目标,并表明…
2020-12-05 cs.CL
Action-Based Conversations Dataset: A Corpus for Building More In-Depth Task-Oriented Dialogue Systems
ASAPP;Columbia University(哥伦比亚大学)
现有的面向目标的对话数据集主要侧重于确定位置和价值。然而,在现实中的客户支持互动往往涉及代理商以下多步骤的程序来自明确定义的公司政策以及.为了在更现实的环境中研究客户服务对话系统,我们引入了基于会话的对话数据集(ABCD),这是一个完全标记的数据集,包含超过10K的人与人之间的对话,其中包含55个不同的用户意图,这些用户意图需要受策略约束的独特动作序列来实现任务成功。我们提出了两个额外的对话任务,动作状态跟踪和级联对话成功,并建立了一系列基线,涉及大规模的,预先训练的语言模型在这个数据集上。实证结果表明,虽然更复杂的网络优于更简单的模型,但在ABCD上仍存在相当大的差距(50.8%的绝对准确率)。
2021-04-01 cs.CL
Assessing User Expertise in Spoken Dialog System Interactions
INESC-ID Lisboa(INESC-ID 里斯本);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等理工学院);ISCTE-IUL – Instituto Universitário de Lisboa(ISCTE-IUL 里斯本大学学院);KTH Royal Institute of Technology(瑞典皇家理工学院)
确定其用户的专门知识水平对一个系统很重要,因为它可以通过适应技术导致更好的互动。此外,该信息可用于根本原因分析的离线过程。然而,没有太多的努力已经投入到自动识别用户的专业知识水平,特别是在基于对话的交互。在本文中,我们提出了一种基于一组特定的任务相关功能的方法。基于两个类别-新手和专家-之间的特征的分布,我们使用随机森林作为分类方法。此外,我们使用了一个支持向量机分类器,以执行结果比较。通过将这些方法应用于来自真实系统的数据,我们得到了初步的结果,我们认为这是积极的,因为任务的难度和缺乏竞争的方法进行比较。
2017-01-18 cs.CL
A Unified Implicit Dialog Framework for Conversational Search
IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
我们提出了一个统一的隐式对话框架,面向目标,信息寻求任务的会话搜索应用程序。它的目的是使对话框与域数据交互,而不回复显式编码的规则,而是利用底层数据表示来构建对话框交互所需的组件,我们在这项工作中将其称为隐式对话框。拟议框架包括一系列端到端可培训模块。集中式知识表示用于语义地为多个对话模块提供基础。一套相关的工具与框架相结合,收集最终用户的意见,以不断改进系统。目标是通过识别可以在许多最终用户应用程序中进行调整和重用的组件和数据来促进会话系统的开发。我们证明了我们的方法,通过创建几个独立的域的会话代理。
2018-02-12 cs.CL
Discourse Obligations in Dialogue Processing
我们表明,在建模的社会互动,特别是对话,义务的态度可以是一个有用的辅助普遍认为信仰,目标和意图的态度,他们的相互和共享的对应物。特别是,我们展示了如何话语义务可以用一种自然的方式来解释对话中的问题和答案之间的联系,以及如何将义务与话语背景的其他部分一起使用,以扩大对话系统的覆盖范围。
1994-07-14 cmp-lg cs.CL
A Unified Framework for Emotion Identification and Generation in Dialogues
Indian Institute of Technology Patna(印度理工学院巴特那分校)
社交聊天机器人已经获得了巨大的人气,它们的吸引力不仅在于它们能够响应用户的各种请求,还在于它们能够与用户建立情感联系。为了进一步开发和推广社交聊天机器人,我们需要专注于增加用户交互,并考虑会话代理的智商和情商。在本文中,我们提出了一个多任务框架,共同确定的情感的一个给定的对话,并根据所确定的情感产生响应。我们采用基于BERT的网络来创建移情系统,并使用混合目标函数来训练具有分类和发电损失的端到端网络。实验结果表明,我们提出的框架优于当前国家的最先进的模型
2022-05-31 cs.AI cs.CL
Emora: An Inquisitive Social Chatbot Who Cares For You
Emory University(埃默里大学)
受人与人之间对话中经验分享的研究启发,埃默里大学开发的社交聊天机器人Emora旨在将这种以经验为中心的交互带入当前的对话人工智能领域。信息共享主题处理程序的传统方法与Emora提供的以观点为导向的交流相平衡,并开发了新的对话能力,支持由合作理解和学习伙伴生活经验的过程组成的对话。我们提出了一个策划的对话系统,利用高度表达的自然语言模板,强大的意图分类,和本体资源,提供一个引人入胜的和有趣的对话体验,每个用户。
2020-09-10 cs.AI cs.CL
EVA: An Open-Domain Chinese Dialogue System with Large-Scale Generative Pre-Training
Tsinghua University(清华大学);BAAI(北京智源人工智能研究院)
虽然预先训练的语言模型显著提高了对话系统的生成能力,但与英语对话系统相比,开放域汉语对话系统仍然受到对话数据和模型大小的限制。在本文中,我们提出了EVA,一个中文对话系统,其中包含最大的中文预训练对话模型与2.8 B参数。为了建立这个模型,我们从各种公共社交媒体上收集了最大的中文对话数据集WDC-Dialogue。该数据集包含1.4B上下文响应对,并用作EVA的预训练语料库。大量的自动和人工评估实验表明,EVA优于其他中文预训练的对话模型,特别是在多轮交互的人-机器人对话。
2021-08-03 cs.AI cs.CL
Stephanie2: Thinking, Waiting, and Making Decisions Like Humans in Step-by-Step AI Social Chat
Yiwu Research Institute of Fudan University(复旦大学义乌研究院);FaceMind Corporation(FaceMind公司);Fudan University(复旦大学);Duke Kunshan University(昆山杜克大学);The Chinese University of Hong Kong(香港中文大学);Tongji University(同济大学)
Stephanie2通过主动等待和信息节奏适应,实现了更自然的步骤式AI社交聊天,实验显示其在自然度和参与度等指标上优于前代系统。
2026-01-09 cs.AI cs.CL
ValueNet: A New Dataset for Human Value Driven Dialogue System
UCLA Center for Vision, Cognition, Learning, and Autonomy(加州大学洛杉矶分校视觉、认知、学习与自主中心);Microsoft Research(微软研究院)
构建一个具有社会智能的代理涉及许多挑战,其中之一是教代理像人类一样在其价值的指导下说话。然而,价值驱动的聊天机器人在对话系统领域仍然研究不足。大多数现有的数据集集中在常识推理或社会规范建模。在这项工作中,我们提出了一个新的大规模人类价值数据集,称为ValueNet,其中包含21,374个文本场景的人类态度。该数据集被组织在十个维度,符合跨文化研究中的基本人类价值理论。我们进一步在ValueNet上开发了一个基于Transformer的价值回归模型来学习效用分布。综合的实证结果表明,学习价值模型可以受益于广泛的对话任务。例如,通过使用强化学习和价值模型的奖励来教授生成代理,我们的方法在个性化对话生成数据集Persona-Chat上获得了最先进的性能。通过将值作为附加特征,现有的情感识别模型能够在上下文中捕获丰富的人类情感,这进一步提高了EmpatheticDialogues数据集中的移情响应生成性能。据我们所知,ValueNet是第一个用于人类价值建模的大规模文本数据集,我们是第一个尝试将价值模型纳入情感智能对话系统的人。该数据集可在https://liang-qiu.github.io/ValueNet/上获得。
2021-12-12 cs.AI cs.CL
End-to-End Trainable Non-Collaborative Dialog System
University of California, Davis(加州大学戴维斯分校)
端到端的面向任务的对话模型在协作任务上取得了很好的性能,用户愿意与系统协调完成给定的任务。而在非协作环境中,例如谈判和说服,用户和系统没有共同的目标。因此,与协作任务相比,人们使用社交内容在这些非协作环境中建立融洽关系和信任,以推进他们的目标。为了处理社交内容,我们引入了一个层次化的意图注释方案,它可以推广到不同的非协作对话任务。在TransferTransfo(Wolf et al. 2019)的基础上,我们提出了一个端到端的神经网络模型,以生成不同的连贯响应。我们的模型利用意图和语义槽作为中间句子表示来指导生成过程。此外,我们设计了一个过滤器,以选择适当的反应的基础上,这些中间表示是否适合设计的任务和会话的限制。我们的非协作对话模型指导用户完成任务,同时保持他们参与。我们在新提出的ANTISCAM数据集和现有的PERSUASIONFORGOOD数据集上测试我们的方法。自动和人工评估都表明,我们的模型在这两个非协作任务中的表现优于多个基线。
2019-11-25 cs.AI cs.CL cs.HC
Automatically Identifying Complaints in Social Media
Bloomberg LP(彭博有限合伙企业);Politehnica University of Bucharest(布加勒斯特理工大学);University of Sheffield(谢菲尔德大学)
抱怨是一种基本的言语行为,经常用于人类和计算机中介的沟通,以表达在特定情况下现实和期望之间的负面不匹配。自动识别社交媒体中的投诉对于组织或品牌改善客户体验或开发用于处理和响应投诉的对话系统至关重要。在本文中,我们介绍了第一个系统的分析抱怨在计算语言学。我们收集了一个新的注释数据集,在Twitter上用英语表达的书面投诉。\footnote{Data and code is available here: \url{https://github.com/danielpreotiuc/complaints-social-media}}我们提出了一个广泛的语言分析抱怨作为一种言语行为在社交媒体和训练强大的功能为基础的和神经模型的投诉在九个领域实现预测性能高达79 F1使用远程监督。
2019-06-10 cs.CL cs.SI
Extracting and Inferring Personal Attributes from Dialogue
University of Washington(华盛顿大学);Nvidia(英伟达)
个人属性表示关于一个人的结构化信息,例如他们的爱好、宠物、家庭、喜欢和不喜欢。我们介绍了从人与人的对话中提取和推断个人属性的任务,并分析了这些任务的语言需求。为了应对这些挑战,我们引入了一个简单的和可扩展的模型,结合了自回归语言模型,利用约束属性生成的歧视reranker。我们的模型在提取个人属性以及推断不包含在话语中逐字的个人属性方面优于强基线,而是需要常识推理和词汇推断,这在日常对话中经常发生。最后,我们证明了将个人属性在社会闲聊和面向任务的对话设置的好处。
2022-04-19 cs.CL cs.IR
SocialNLI: A Dialogue-Centric Social Inference Dataset
Johns Hopkins University(约翰霍普金斯大学)
本文提出SocialNLI,首个以对话为中心的社会推理数据集,用于评估和提升大型语言及推理模型在理解讽刺、反语等复杂社会现象方面的心理理论能力,并通过多步反事实推理进行评测。
2025-10-06 cs.CL
Beyond User Self-Reported Likert Scale Ratings: A Comparison Model for Automatic Dialog Evaluation
Stanford University(斯坦福大学);University of California, Davis(加利福尼亚大学戴维斯分校)
开放域对话系统的评价是对话研究中的一个重要挑战。现有的自动评估指标,如BLEU,大多是基于参考的。它们计算生成的响应与有限数量的可用引用之间的差异。基于Likert评分的自我报告用户评级被社交会话系统广泛采用,例如Amazon Alexa Prize聊天机器人。然而,自我报告的用户评级遭受偏见和不同用户之间的差异。为了缓解这个问题,我们制定对话评价作为一个比较任务。我们还提出了一个自动评估模型CMADE(自动对话评估比较模型),它可以自动清除自我报告的用户评级,因为它对他们进行训练。具体来说,我们首先使用自监督方法来学习更好的对话特征表示,然后使用KNN和Shapley来去除令人困惑的样本。我们的实验表明,CMADE达到89.2%的准确率在对话比较任务。
2020-06-12 cs.AI cs.CL cs.LG
Dependency Parsing for Spoken Dialog Systems
University of California, Davis(加州大学戴维斯分校)
会话输入的依存句法分析通过识别从用户话语中提取的实体之间的关系,可以在对话系统的语言理解中发挥重要作用。此外,有效的依存句法分析可以阐明人-人与人-机对话的语篇分析在语言结构和用法上的差异。然而,在基于新闻文章和网络数据的数据集上训练的模型在口语人机对话上表现不佳,并且目前可用的注释方案不能很好地适应对话数据。因此,我们提出了扩展通用重复性(UD)的口语会话通用重复性(SCUD)注释方案(Nivre等人,2016年,《人机对话》出版。我们还提供了ConvBank,一个人类之间的对话数据集和一个带有SCUD注释的开放域对话系统。最后,为了演示数据集的实用性,我们在ConvBank数据集上训练了一个依赖解析器。我们证明,通过在一组较大的公共数据集上预训练依赖解析器并对ConvBank数据进行微调,我们获得了最佳结果,85.05%的未标记和77.82%的标记附件准确率。
2019-09-07 cs.AI cs.CL cs.LG
Are they lovers or friends? Evaluating LLMs' Social Reasoning in English and Korean Dialogues
KAIST(韩国科学技术院);LT3;IDLab(ID实验室);Universiteit Gent(根特大学);Boston University(波士顿大学)
本文通过SCRIPTS数据集评估LLMs在英语和韩语对话中推断人物关系的能力,发现当前模型在英语和韩语中的准确率分别为75-80%和58-69%,且存在显著的社交推理局限性。
2026-04-20 cs.CL
Leveraging Recurrent Neural Networks for Multimodal Recognition of Social Norm Violation in Dialog
Carnegie Mellon University(卡内基梅隆大学);Peking University(北京大学)
社会规范是管理和促进社会互动的共同规则。通过戏弄和侮辱来违反这种社会规范可能有助于打破权力的不平衡,或者相反,加强谈话中的团结和融洽关系,这种融洽关系高度依赖于情境。在这项工作中,我们研究的任务,自动识别的社会规范违反的现象在话语。为了实现这一目标,我们利用了循环神经网络的力量和交互中存在的多模态信息,并提出了一个预测模型来识别违反社会规范的行为。使用长期的时间和上下文信息,我们的模型达到了0.705的F1分数。我们的工作,发展社会意识代理的影响进行了讨论。
2016-10-10 cs.CL
MINDS: A Cross-cultural Dialogue Corpus for Social Norm Classification and Adherence Detection
SRI International(SRI国际研究院)
针对现有社会规范推理研究难以适配真实多轮跨文化对话的问题,本文提出Norm-RAG检索增强智能体框架,构建MINDS双语跨文化对话数据集,实验证明该方法可提升规范检测性能与泛化能力。
2025-11-13 cs.CL
Multimodal Coreference Resolution for Chinese Social Media Dialogues: Dataset and Benchmark Approach
针对真实社交媒体对话多模态共指消解研究数据匮乏的问题,构建了首个中文社交媒体多模态共指数据集TikTalkCoref,提出聚焦名人领域的基准方法并给出实验结果,将开放数据集以推动相关研究。
2025-05-19 cs.CL
Summarizing Dialogic Arguments from Social Media
UC Santa Cruz(加州大学圣克鲁兹分校);Natural Language and Dialogue Systems Lab(自然语言与对话系统实验室)
在线辩论对话是关于流行信仰和观点的丰富信息来源,对公司以及政府或公共政策机构都很有用。因此,这些对话的摘要紧凑、易于阅读,非常有价值。从先验的角度来看,甚至不清楚这种总结应采取何种形式。以前关于摘要的工作主要集中在总结书面文本,其中文本摘要的概念被很好地定义。我们收集黄金标准的训练数据,包括161个关于同性恋婚姻,枪支管制和堕胎主题的对话中的每一个的五个人的摘要。我们提出了几种不同的计算模型,旨在确定部分的对话,其内容应用于摘要,使用语言功能和Word 2 vec功能与支持向量机和双向LSTM。我们表明,我们可以确定最重要的参数,通过使用的对话上下文与最佳的F-措施为0.74枪支管制,0.71同性恋婚姻,和0.67堕胎。
2017-10-31 cs.CL
SODA: Million-scale Dialogue Distillation with Social Commonsense Contextualization
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Seoul National University(首尔国立大学);University of Washington(华盛顿大学);University of Southern California(南加州大学);University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学)
针对开放域社交对话数据稀缺问题,提出百万级数据集SODA,通过知识图谱语境化从大模型蒸馏社交互动,并训练出泛化对话模型COSMO,在自然度和一致性上超越现有模型。
2023-10-23 cs.CL
Identifying Speakers in Dialogue Transcripts: A Text-based Approach Using Pretrained Language Models
University of Oregon(俄勒冈大学);AWS AI Labs(亚马逊云科技AI实验室);Adobe Research(奥多比研究院)
本文提出基于预训练语言模型的文本方法,利用MediaSum构建大规模数据集,以Transformer模型识别对话记录中的说话人,最佳精度达80.3%,并公开数据和代码。
2024-07-16 cs.CL
"Hiding in Plain Sight": Designing Synthetic Dialog Generation for Uncovering Socially Situated Norms
Purdue University(普渡大学)
本文提出 NormHint 数据集,通过多步骤框架生成合成对话,自动揭示社会规范,提升模型对对话中潜在规范违规的检测能力。
2026-01-14 cs.CL
M2D: Monolog to Dialog Generation for Conversational Story Telling
University of California, Santa Cruz(加州大学圣克鲁兹分校)
讲故事有许多不同的社会功能,例如,故事被用来说服,分享烦恼,建立共同的价值观,学习社会行为和娱乐。此外,故事通常是通过对话来讲述的,以前的工作表明,对话提供的信息比独白提供的信息更吸引人。在本文中,我们提出的算法转换成一个对话的讲故事,可以不同的方面讲故事,包括讲故事的人的个性的一个深表示。我们进行了几个实验,以测试对话式讲故事是否更吸引人,以及是否可以在扩展的讲故事对话中识别出与个性差异相对应的语言形式的自动生成的变体。
2017-08-24 cs.CL
Multi-task dialog act and sentiment recognition on Mastodon
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);LORIA(洛林计算机科学及其应用实验室)
由于许可证的限制,在语料库创建几个月后,通常不可能在Twitter数据上严格复制大多数研究结果。随着时间的推移,这种情况逐渐恶化,推特变得无法访问。这是对社交媒体进行可复制和负责任研究的关键问题。我们部分地解决了这个挑战,通过注释一个新的Twitter样的语料库,从一个替代的大型社交媒体与许可证,是可重复的实验兼容:乳齿象。我们手动注释这个语料库上的对话和情感,并训练一个多任务的层次递归网络的联合情感和对话行为识别。我们的实验表明,迁移学习可以有效地实现这两个任务之间,并进一步分析情感和社交媒体上的对话之间的一些特定的相关性。注释语料库和深度网络都是以开源许可证发布的。
2018-07-13 cs.CL
NormDial: A Comparable Bilingual Synthetic Dialog Dataset for Modeling Social Norm Adherence and Violation
Columbia University(哥伦比亚大学)
提出双语合成对话数据集NormDial,通过人机协同流程生成中美文化社会规范遵守与违反的逐轮标注,并评估现有大模型在规范检测任务上的表现。
2023-10-25 cs.CL cs.CY
Identifying Discourse Markers in Spoken Dialog
本文提出了一种基于机器学习的自发语音中话语标记语用法识别方法。话语标记语是由特定的词性标注来表示的,因此词性标注过程可以用来识别话语标记语。通过将词性标注结合到语言建模中,可以在语音识别过程中识别话语标记,其中信息的及时性可以用于帮助预测后续单词。我们将这种方法与Litman(1996)提出的另一种机器学习方法进行了对比。本文还认为话语标记语可以帮助听话人预测接下来的话语在对话中所扮演的角色。因此,话语标记语应该为对话行为的自动预测提供有价值的证据。
1998-01-17 cmp-lg cs.CL
Are you serious?: Rhetorical Questions and Sarcasm in Social Media Dialog
University of California, Santa Cruz(加州大学圣克鲁兹分校);University of Utah(犹他大学)
有效的社交对话模式必须理解广泛的修辞和比喻手段。修辞性问句是一种修辞语言,其目的是达到语用目的,如构建论点、说服、强调观点或讽刺。虽然有计算模型的其他形式的比喻语言,修辞问题很少受到关注的日期。我们从以前的工作中扩展了一个小数据集,呈现了来自辩论论坛和Twitter的10,270个代表不同话语功能的RQ的语料库。我们表明,我们可以清楚地区分RQ和真诚的问题(0.76 F1)。然后,我们表明,RQ可以使用两个讽刺和非讽刺,观察到的非讽刺(其他)使用的RQ经常在论坛上争论,并在推文中有说服力。我们提出了使用SVM和LSTM模型来区分RQ的这些使用的实验,这些模型代表语言特征和后级上下文,在论坛中,“讽刺”和“其他”的结果高达0.76 F1,在推文中,“讽刺”和“其他”的结果高达0.83 F1。我们补充我们的定量实验与深入表征的语言变异的RQ。
2017-09-15 cs.CL
Topic Independent Identification of Agreement and Disagreement in Social Media Dialogue
University of California, Santa Cruz(加州大学圣克鲁兹分校)
对话结构的研究多年来一直受到阻碍,因为大型的对话语料库还没有。这影响了对话研究社区开发更好的理论以及对话处理的现成工具的能力。令人高兴的是,越来越多的信息和意见交流发生在在线论坛的自然对话中,人们在那里分享他们对广泛主题的看法。特别是,我们感兴趣的拒绝对话,也被称为分歧和否认,其中可用的对话语料库的大小,第一次,提供了一个机会,以实证检验理论帐户的表达和推理拒绝对话。在本文中,我们测试是否主题无关的功能动机的理论预测可以用来识别拒绝在一个主题无关的方式在网上论坛。我们的研究结果表明,我们的理论动机的功能达到66%的准确性,绝对6%的一元基线的改进。
2017-09-03 cs.AI cs.CL
MMChat: Multi-Modal Chat Dataset on Social Media
Alibaba Group(阿里巴巴集团);Utrecht University(乌得勒支大学);Samsung Research China - Beijing (SRC-B)(三星中国研究院-北京(SRC-B))
在会话中描述多模态上下文对于开发更具吸引力的对话系统是重要的。在这项工作中,我们探索这一方向,通过引入MMChat:一个大规模的中文多模态对话语料库(32.4M原始对话和120.84K过滤对话)。与以前的众包或从虚构电影中收集的语料库不同,MMChat包含从社交媒体上的真实对话中收集的基于图像的对话,其中观察到稀疏性问题。具体而言,在日常交流中,图像发起的对话可能会偏离一些非图像为基础的话题进行。为了更好地研究这个问题,我们手动注释来自MMChat的100 K对话,并进一步相应地过滤语料库,从而产生MMChat-hf。我们开发了一个基准模型,以解决对话生成任务的稀疏性问题,通过调整注意力路由机制的图像特征。实验表明,将图像特征的有用性和处理图像特征的稀疏性的有效性。
2022-05-01 cs.CL cs.CV
Filling Conversation Ellipsis for Better Social Dialog Understanding
Zhejiang University(浙江大学);University of California, Davis(加州大学戴维斯分校)
省略现象普遍存在于社会会话中。省略增加了一系列下游语言理解任务的难度,例如对话行为预测和语义角色标注。我们建议通过自动完成句子来解决省略,以提高语言理解。然而,自动省略补全可能导致输出不能准确地反映用户意图。为了解决这个问题,我们提出了一种方法,该方法同时考虑了具有省略的原始话语和对话行为和语义角色标注任务中自动完成的话语。具体来说,我们首先完成用户话语解决省略使用端到端指针网络模型。然后,我们训练一个预测模型,使用包含省略的话语和我们自动完成的话语。最后,我们结合这两个话语的预测结果,使用一个选择模型,是由专家知识指导。在社交会话中,我们的方法在F1得分上分别提高了1.3%和2.5%的对话行为预测和语义角色标注。我们还提出了一个开放域的人机对话数据集手动完成用户的话语和注释后,手动完成的语义角色标注。
2019-11-25 cs.AI cs.CL
Goal-oriented Dialog as a Collaborative Subordinated Activity involving Collective Acceptance
IRISA(法国国家信息与自动化研究所雷恩分院(IRISA))
将对话建模为一种协作活动,主要在于指定会话共同点的内容和所涉及的社会心理状态。在以前的工作(Saget,2006),我们声称,集体接受是适当的社会态度,在特定情况下,目标导向的对话建模会话共同点。在本文中,集体接受的形式化,除了元素,以整合这种态度在一个合理的对话模式提供;最后,作为一个协作活动的一部分的参考行为的模型。为了证明我们的权利要求,选择了特定的参考案例。
2008-05-27 cs.AI cs.CL
Gunrock 2.0: A User Adaptive Social Conversational System
University of California, Davis(加州大学戴维斯分校)
Gunrock 2.0建立在Gunrock之上,强调用户适应性。Gunrock 2.0结合了各种神经自然语言理解模块,包括命名实体检测,链接和对话行为预测,以提高用户的理解能力。它的对话框管理是一个分层模型,可以处理各种主题,如电影、音乐和体育。系统级对话管理器可以处理问题检测、确认、错误处理和其他功能,使下游模块更容易设计和实现。对话管理器还调整其主题选择以适应不同用户的配置文件信息,例如推断的性别和个性。生成模型是模板和神经生成模型的混合。Gunrock 2.0在5月29日至6月4日的最新版本中能够达到3.73的平均评级。
2020-11-30 cs.AI cs.CL
Werewolf Among Us: A Multimodal Dataset for Modeling Persuasion Behaviors in Social Deduction Games
Georgia Institute of Technology(佐治亚理工学院);Shanghai Jiao Tong University(上海交通大学);Meta AI;University of Minnesota(明尼苏达大学)
说服力建模是会话代理的关键构建块。现有的这方面的工作仅限于分析语篇对话语料。我们认为,视觉信号也发挥了重要作用,在理解人类的说服行为。在本文中,我们介绍了第一个多模态数据集建模说服行为。我们的数据集包括199个在多人社交推理游戏设置中捕获的对话transanks和视频,26,647个说服策略的话语级别注释,以及推理游戏结果的游戏级别注释。我们提供了大量的实验来展示对话上下文和视觉信号如何有利于说服策略预测。我们还探讨了说服建模的语言模型的泛化能力和说服策略在预测社会推理游戏结果中的作用。我们的数据集、代码和模型可以在https://persuasion-deductiongame.socialai-data.org上找到。
2022-12-16 cs.CL cs.CV cs.LG