Improving Search through A3C Reinforcement Learning based Conversational Agent
Adobe Systems Inc(奥多比系统公司);IIT Delhi(印度理工学院德里分校)
我们开发了一个基于强化学习的搜索助手,它可以通过一组动作和一系列交互来帮助用户实现他们的意图。我们的方法迎合主观搜索,用户正在寻找数字资产,如图像,这是从根本上不同的任务,具有客观和有限的搜索方式。标记的会话数据通常在这样的搜索任务中不可用,并且通过人类交互来训练代理可能是耗时的。我们提出了一个随机虚拟用户模拟一个真实的用户,可以用来有效地采样用户的行为,训练代理,加快了自举代理。我们开发了基于A3C算法的上下文保持体系结构,使代理提供上下文的帮助给用户。我们将A3C代理与Q学习进行比较,并评估其在验证事件中与虚拟用户获得的平均奖励和状态值上的性能。我们的实验表明,智能体学习获得更高的奖励和更好的状态。
2018-08-19 cs.AI
Affective Conversational Agents: Understanding Expectations and Personal Influences
Microsoft Research(微软研究院);Microsoft(微软)
通过调查745名受访者对32个场景下AI智能体情感技能的期望与偏好,发现所需情感能力高度依赖应用语境,受情绪重评和人格特质影响,强调设计需具备适应性与情境感知。
2023-10-19 cs.AI cs.HC
Homebot: A Personal AI Agent for Conversational Home Assistance and Automation
研究提出可本地部署的Homebot AI智能体,整合语言模型、工具与技能,分离请求处理与会话管理,支持语音和消息请求,可定制以实现对话式家庭辅助与自动化。
2026-08-10 cs.AI
CHAI-DT: A Framework for Prompting Conversational Generative AI Agents to Actively Participate in Co-Creation
IBM(国际商业机器公司)
本文提出CHAI-DT提示框架,使对话式生成AI代理(如ChatGPT)能借鉴人际促进方法,积极参与设计思维共同创造,实验证明其能提供情境化、有用且创新的输入,并讨论了相关益处、局限与未来方向。
2023-05-05 cs.AI cs.HC
AdaptJobRec: Enhancing Conversational Career Recommendation through an LLM-Powered Agentic System
AdaptJobRec提出首个LLM驱动的智能体对话式职业推荐系统,通过查询复杂度识别与记忆分解机制,在沃尔玛场景中降低53.3%延迟并提升推荐准确性。
2025-10-14 cs.AI cs.IR
Migratable AI : Investigating users' affect on identity and information migration of a conversational AI agent
Massachusetts Institute of Technology(麻省理工学院)
会话式人工智能智能体正变得无处不在,并在我们的日常活动中为我们提供帮助。近年来,研究人员已经探索了这些代理在不同实施例之间的迁移,以便保持任务的连续性并改善用户体验。在本文中,我们调查用户的情感反应,在不同的配置的迁移参数。我们提出了一个2x2的主题之间的研究,在一个基于任务的情况下,使用信息迁移和身份迁移作为参数。我们从研究过程中收集的视频片段中概述了影响处理管道,并报告了用户在每种情况下的反应。我们的研究结果表明,用户报告最高的喜悦和最惊讶的信息和身份被迁移时,最愤怒的信息被迁移时,没有他们的代理人的身份。
2021-09-04 cs.AI cs.RO
Memoria: A Scalable Agentic Memory Framework for Personalized Conversational AI
BlackRock, Inc.(黑石公司)
Memoria通过结合动态摘要和加权知识图,为LLM提供持久记忆,实现对话连贯性和个性化,适用于需要适应性用户体验的行业应用。
2025-12-14 cs.AI cs.CL
The Rapidly Changing Landscape of Conversational Agents
College of Information and Computer Sciences University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院)
会话代理已经变得无处不在,从帮助预订的目标导向系统到现代虚拟助理中的聊天模型。在这篇调查论文中,我们探索了这个迷人的领域。我们看看一些定义该领域的开创性工作,并逐渐转向当前最先进的模型。我们研究了基于统计、神经、生成对抗网络和基于强化学习的方法以及它们是如何发展的。一路上,我们讨论了该领域面临的各种挑战,缺乏语境的话语,没有一个很好的量化指标来比较模型,缺乏信任的代理,因为他们没有一个一致的角色等,我们结构本文的方式,回答这些相关的问题,并讨论竞争的方法来解决这些问题。
2018-03-24 cs.AI cs.CL
Cognis: Context-Aware Memory for Conversational AI Agents
Lyzr Research(Lyzr研究)
Cognis通过多阶段检索管道解决LLM代理缺乏持久记忆的问题,结合双存储后端和向量相似性搜索,实现智能版本追踪和时间敏感查询增强,展现先进性能。
2026-03-27 cs.AI cs.CL cs.IR
Representation of perceived prosodic similarity of conversational feedback
KTH Royal Institute of Technology(皇家理工学院)
本研究探究词汇形式相同的语音反馈的感知韵律相似性及现有语音表征的反映程度,通过三元比较任务实验发现频谱和自监督语音表征的韵律编码效果优于基频特征,且可通过对比学习优化表征与人类感知的对齐。
2025-05-19 cs.AI cs.CL cs.LG
Comparison-based Conversational Recommender System with Relative Bandit Feedback
Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学);Shandong University(山东大学)
随着会话式推荐的最新进展,推荐系统能够通过会话式交互主动且动态地引出用户偏好。为了实现这一点,系统定期查询用户对属性的偏好,并收集他们的反馈。然而,大多数现有的会话式推荐系统只能使用户提供绝对的反馈属性。在实践中,绝对反馈通常是有限的,因为用户在表达偏好时倾向于提供有偏见的反馈。相反,用户通常更倾向于表达比较偏好,因为用户偏好本质上是相对的。为了使用户在会话交互过程中提供比较偏好,我们提出了一种新的基于比较的会话推荐系统。相对反馈虽然更实用,但由于其反馈尺度与用户的绝对偏好不匹配,不容易被纳入。通过有效地收集和理解来自交互方式的相对反馈,我们进一步提出了一种新的强盗算法,我们称之为RelativeConUCB。在合成数据集和真实数据集上的实验结果表明,与会话推荐系统中现有的强盗算法相比,本文提出的方法具有明显的优势。
2022-08-21 cs.IR cs.LG
Mitigating Conversational Inertia in Multi-Turn Agents
College of Computer Science and Technology, Zhejiang University, Hangzhou, China(浙江大学计算机科学与技术学院);University of Rochester, Rochester, NY, USA(罗切斯特大学)
本文研究了多轮代理中对话惯性问题,提出通过上下文偏好学习来校准模型偏好,以减少惯性并提升性能。
2026-05-18 cs.AI cs.LG
SYNDICOM: Improving Conversational Commonsense with Error-Injection and Natural Language Feedback
Georgia Institute of Technology(佐治亚理工学院)
SYNDICOM通过构建含无效响应及自然语言反馈的常识对话数据集,并采用先预测反馈再条件生成响应的两步训练方法,在不使用强化学习的情况下显著提升了对话系统的常识推理能力,在ROUGE1上比ChatGPT相对提升53%。
2023-09-18 cs.AI cs.CL cs.LG
Designing Style Matching Conversational Agents
University of Washington(华盛顿大学);University of Southern California(南加州大学);Microsoft Research(微软研究院)
机器智能的进步使会话界面成为可能,这些界面有可能从根本上改变人类与机器交互的方式。然而,即使这些代理人的能力取得了进展,在自然互动的能力方面仍然存在严重差距。一个限制是,代理人的行为往往是单调的,不适应他们的合作伙伴。我们建立了两个端到端的会话代理:一个基于语音的代理,可以进行自然主义的,多回合的对话,并与对话者的会话风格保持一致,以及第二个,表达性,体现会话代理(ECA),可以在开放式对话中识别人类行为,并自动将其响应与另一方的视觉和会话风格保持一致。具体化的会话代理利用多模态输入来产生丰富且感知上有效的声音和面部响应(例如,假唱和表情)。基于一组用户研究的实证结果,我们强调了在建立这样的系统中的几个重大挑战,并为未来的研究提供了使用风格适应的多轮对话交互的设计准则。
2019-10-16 cs.CL cs.HC cs.LG
PSYCHE: A Multi-faceted Patient Simulation Framework for Evaluation of Psychiatric Assessment Conversational Agents
Yonsei University College of Medicine(延世大学医学院);Institute of Behavioral Science in Medicine(医学行为科学研究所);Yonsei University Graduate School(延世大学研究生院)
本文提出PSYCHE框架,通过多层面精神科构念模拟患者,以临床相关、伦理安全、成本高效且可定量的方式评估精神科评估对话智能体,并经10名认证精神科医生验证其有效性。
2025-01-03 cs.AI cs.CL cs.LG
Mediators: Conversational Agents Explaining NLP Model Behavior
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Technische Universität Berlin(柏林工业大学)
以人为中心的可解释人工智能(HCXAI)社区提出了将解释过程框定为人机对话的需求。在本立场文件中,我们为中介者(Mediators)建立了必要条件,中介者是基于文本的对话代理,能够使用自然语言交互式解释神经模型的行为。从自然语言处理(NLP)研究的角度来看,我们工程师这样一个调解人的情感分析的任务的蓝图,并评估目前的研究有多远的道路上,以对话为基础的解释。
2022-06-13 cs.AI cs.CL cs.HC
ChatGPT for Conversational Recommendation: Refining Recommendations by Reprompting with Feedback
University of Louisville(路易斯维尔大学);Microsoft(微软)
本文研究了ChatGPT作为top-n对话式推荐系统的有效性,通过构建带反馈的重新提示流水线来精炼推荐结果,发现该策略能有效提升推荐相关性并缓解流行度偏差。
2024-01-07 cs.AI cs.CL cs.IR
Large-scale Hybrid Approach for Predicting User Satisfaction with Conversational Agents
Alexa AI(Alexa人工智能);Amazon(亚马逊)
测量用户满意度是一项具有挑战性的任务,在开发大规模的会话代理系统服务于真实用户的需求的关键组成部分。解决这个问题的一种广泛使用的方法是收集人类注释数据并将其用于评估或建模。基于人工注释的方法更容易控制,但难以扩展。一种新的替代方法是通过嵌入到会话代理系统的反馈启发系统收集用户的直接反馈,并使用收集到的用户反馈来训练机器学习模型进行泛化。用户反馈是用户满意度的最佳代理,但对于某些不合格的意图和某些情况不可用。因此,这两种方法是相辅相成的。在这项工作中,我们用一种混合方法来解决用户满意度评估问题,该方法融合了明确的用户反馈,由两个机器学习模型推断出的用户满意度预测,一个是在用户反馈数据和其他人类注释数据上训练的。混合方法基于瀑布策略,Amazon Alexa大规模数据集的实验结果显示,在推断用户满意度方面有显着改进。本文提出了一种详细的混合架构,对用户反馈数据进行了深入的分析,并提出了一种生成数据集以正确模拟实时流量的算法。
2020-05-29 cs.AI cs.HC cs.LG
Beyond Fresh Starts: Stateful Inference for Streaming ASR in Conversational Voice Agents
University of Washington(华盛顿大学);SRI International(国际 SRI 研究所)
针对会话语音智能体流式ASR因每轮重置状态导致的话语起始性能下降问题,提出两种保留跨轮次话语上下文的状态管理策略,在实验中实现15-21%的相对WER降低。
2026-08-25 cs.LG
Local Knowledge Powered Conversational Agents
UNC Charlotte(北卡罗来纳大学夏洛特分校);NVIDIA(英伟达);OpenAI(开放人工智能研究中心)
国家的最先进的会话代理显着先进的结合使用大型transformer为基础的语言模型。然而,即使有了这些进步,会话代理仍然缺乏产生与本地上下文信息丰富和一致的响应的能力。在这项工作中,我们提出了一个对话框架,结合本地知识以及用户过去的对话,以产生高质量的对话。我们介绍了一种基于Reddit对话构建数据集的方法,其中出站URL链接在对话中广泛存在,并且超链接文档可以自然地作为本地外部知识包含在内。使用我们的框架和数据集,我们证明,结合本地知识可以在很大程度上提高信息性,一致性和现实性的措施,使用人类的评价。特别是,我们的方法在所有三个指标上都始终优于Reddit数据集上最先进的会话模型。我们还发现,将我们的模型的大小从117M扩展到8.3B参数,可以持续改善验证困惑度和人类评估指标。我们的模型与8.3B参数可以生成类似人类的反应,在单轮对话设置中的各种人类评价。
2020-10-20 cs.AI cs.CL cs.HC
Enhancing Pipeline-Based Conversational Agents with Large Language Models
Accenture GmbH(埃森哲有限责任公司);University of Bremen(不来梅大学);Lloyds Banking Group(劳埃德银行集团)
本文研究在设计和运营阶段利用LLM增强基于流水线的对话智能体,提出混合方法以兼顾LLM能力与现有系统隐私及集成保障。
2023-09-07 cs.AI cs.CL cs.LG
Conversational Contextual Bandit: Algorithm and Application
The Chinese University of Hong Kong(香港中文大学);Chongqing University(重庆大学);Bytedance AI Lab(字节跳动人工智能实验室)
上下文强盗算法提供了原则性的在线学习解决方案,以平衡各种应用(如推荐系统)中的开发-探索权衡。然而,传统的上下文强盗算法的学习速度往往是缓慢的,由于需要广泛的探索。这在像推荐系统这样的应用程序中提出了一个关键问题,因为用户可能需要对许多不感兴趣的项目提供反馈。为了加快学习速度,我们将语境强盗推广到会话语境强盗。对话式上下文强盗不仅利用关于手臂的行为反馈(例如,新闻推荐中的文章),而且还有来自用户的关于关键术语的偶尔的会话反馈。这里,关键词可以涉及分支的子集,例如,新闻推荐中的文章类别。然后,我们设计了会话UCB算法(ConUCB),以解决会话上下文强盗中的两个挑战:(1)选择哪些关键词进行会话,(2)如何利用会话反馈来加快强盗学习的速度。我们从理论上证明了ConUCB比传统的上下文强盗算法LinUCB可以获得更小的遗憾上界,这意味着更快的学习速度。在合成数据以及来自Yelp和今日头条的真实数据集上的实验证明了ConUCB算法的有效性。
2020-01-26 cs.IR cs.LG stat.ML
Conversational Recommendation System with Unsupervised Learning
University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校);Rulai Inc.(Rulai公司)
我们将演示一个会话式产品推荐代理。这个系统展示了我们如何将个性化推荐系统的研究与对话系统的研究相结合来构建一个虚拟销售代理。基于我们开发的新深度学习技术,虚拟代理能够学习如何与用户交互,如何回答用户问题,下一个问题是什么,以及在与人类用户聊天时推荐什么。通常,一个特定领域的下降会话代理需要成千上万的手工标记的会话数据或手写规则。这是为新域启动会话代理时的主要障碍。我们将探索和演示学习解决方案的有效性,即使没有手写的规则或手工标记的训练数据。
2016-09-22 cs.CL cs.IR cs.LG
AutoMedic: An Automated Evaluation Framework for Clinical Conversational Agents with Medical Dataset Grounding
Yonsei University College of Medicine(延世大学医学院);Yonsei Institute for Digital Health(延世大学数字健康研究所);Yonsei University(延世大学);Institute of Behavioral Sciences in Medicine(医学行为科学研究所)
AutoMedic是一种基于医学数据集的自动化评估框架,用于评估临床对话代理的多方面性能,包括准确性、效率、同理心和鲁棒性。
2025-12-11 cs.CL cs.LG cs.MA
Toward Conversational Agents with Context and Time Sensitive Long-term Memory
Zyphra(齐弗拉)
本文提出了一种结合链式表格搜索、向量数据库检索和查询消歧提示的新颖检索模型,以解决长篇对话中基于时间/事件和模糊查询的检索难题,并构建了新数据集作为基准。
2024-06-04 cs.CL cs.LG
Adversarial Conversational Shaping for Intelligent Agents
University College London(伦敦大学学院)
针对当前对话系统不稳定、准确性不足的问题,研究了两种基于对抗式对话塑造的智能对话增强模型,并在强化学习框架下结合不同训练细节探讨其性能。
2023-07-20 cs.CL cs.LG
Hierarchical Conversational Preference Elicitation with Bandit Feedback
Carnegie Mellon University(卡内基梅隆大学);Shanghai Jiao Tong University(上海交通大学);Adobe Research(奥多比研究院)
会话式推荐的最新进展提供了一种有前途的方式,有效地通过会话式交互来获取用户的偏好。为了实现这一点,推荐系统与用户进行对话,询问他们对不同项目或项目类别的偏好。现有的会话式推荐系统大多采用多臂的Bandit框架,以在线的方式学习用户的偏好。然而,它们依赖于预定义的对话频率来询问项目类别而不是单个项目,这可能导致损害用户体验的过度对话交互。为了使更灵活的提问关键词,我们制定了一个新的会话强盗问题,允许推荐系统选择一个关键词或一个项目,建议在每一轮和明确的模型奖励这些行动。这促使我们处理关键词询问和项目推荐之间的新的探索-利用(EE)权衡,这要求我们准确地建模关键词和项目奖励之间的关系。我们进行了一项调查,并分析了现实世界的数据集发现,与以往的工作中所作的假设,关键词奖励主要是由代表性项目的奖励影响。我们提出了两个强盗算法,Hier-UCB和Hier-LinUCB,利用这种观察到的关系和关键词和项目之间的层次结构,有效地学习哪些项目推荐。我们从理论上证明,我们的算法可以减少遗憾界的依赖项目的总数从以前的工作。我们验证了我们提出的算法和遗憾的合成和真实世界的数据。
2022-09-06 cs.IR cs.LG
Self-Supervised Contrastive Learning for Efficient User Satisfaction Prediction in Conversational Agents
UCLA Computer Science(加州大学洛杉矶分校计算机科学系);Amazon Alexa AI(亚马逊Alexa AI)
回合级用户满意度是会话代理最重要的性能指标之一。它可用于监控代理的性能并提供有关缺陷用户体验的见解。此外,一个强大的满意度模型可以用作目标函数,会话代理不断优化。虽然端到端的深度学习已经显示出有希望的结果,但访问这些方法所需的大量可靠的注释样本仍然具有挑战性。在一个大规模的会话系统中,有越来越多的新开发的技能,使传统的数据汇集,注释和建模过程不切实际,由于所需的注释成本以及周转时间。在本文中,我们提出了一个自我监督的对比学习方法,利用池的未标记的数据来学习用户代理交互。我们表明,使用自监督目标的预训练模型可转移到用户满意度预测。此外,我们提出了一种新的Few-Shot迁移学习方法,确保更好的可移植性非常小的样本量。建议的Few-Shot方法不需要任何内部循环优化过程,并且可扩展到非常大的数据集和复杂的模型。基于我们使用来自大规模商业系统的真实世界数据的实验,所建议的方法能够显着减少所需的注释数量,同时提高对看不见的域外技能的泛化。
2021-04-11 cs.CL cs.LG
CRADLE: Conversational RTL Design Space Exploration with LLM-based Multi-Agent Systems
RPTU University of Kaiserslautern-Landau(凯撒斯劳滕-兰道大学)
本文提出CRADLE框架,利用基于LLM的多智能体系统实现对话式RTL设计空间探索,支持用户引导流程与内部自我验证、纠正和优化,在RTLLM基准上显著降低FPGA资源使用,LUT和FF平均减少48%和40%。
2025-08-12 cs.AR cs.LG cs.MA
CoMAC: Conversational Agent for Multi-Source Auxiliary Context with Sparse and Symmetric Latent Interactions
North Carolina State University(北卡罗来纳州立大学);Lirio, Inc.(利里奥公司)
本文提出CoMAC对话生成方法,通过专门编码流、融合后接地网络及双向文本相似度度量,有效利用多源辅助上下文,显著提升人物设定与知识预测准确性及响应质量。
2025-03-25 cs.CL cs.IR cs.LG
AirGapAgent: Protecting Privacy-Conscious Conversational Agents
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
针对LLM对话代理易受上下文劫持攻击泄露隐私的问题,提出AirGapAgent,基于上下文完整性限制数据访问,实验证明其有效抵御攻击并保持核心功能。
2024-09-18 cs.CL cs.CR cs.LG
Conversational Dueling Bandits in Generalized Linear Models
University of Science and Technology of China(中国科学技术大学);Princeton University(普林斯顿大学);ByteDance(字节跳动);Oregon State University(俄勒冈州立大学)
针对现有对话式推荐系统仅支持二元反馈且依赖线性奖励假设的局限,本文提出基于广义线性模型和相对反馈的对话式决斗老虎机算法 ConDuel,并验证了其有效性与扩展性。
2024-07-26 cs.IT cs.LG math.IT