User Experience with LLM-powered Conversational Recommendation Systems: A Case of Music Recommendation
本研究通过12名参与者为期三周的音乐推荐日记研究，探究大语言模型驱动的对话式推荐系统的独特用户体验，发现其可帮助明确隐性需求、支持探索及深化音乐偏好认知，为个性化用户驱动推荐的设计提供了新方向。
2025-02-24 cs.HC
Different but Equal: Comparing User Collaboration with Digital Personal Assistants vs. Teams of Expert Agents
IBM Research – Brazil（IBM研究院（巴西））
这项工作比较了用户与会话式个人助理的协作与专家聊天机器人团队的协作。进行了两项研究，以调查是否每种方法影响任务的完成和协作成本。参与者与两个等效的金融建议聊天机器人系统进行交互，一个由一个对话顾问组成，另一个基于四个专家聊天机器人团队。结果表明，用户有不同形式的经验，但同样能够实现自己的目标。与预期相反的是，有证据表明，在团队合作的情况下，用户更能够更好地预测代理的行为，并没有开销来维持共同点，这表明类似的协作成本。结果指向的两种方法中的任何一种的用户与会话代理的合作的可行性。
2018-08-24 cs.AI cs.HC cs.MA
Who You Explain To Matters: Learning by Explaining to Conversational Agents with Different Pedagogical Roles
National University of Singapore（新加坡国立大学）；Singapore Management University（新加坡管理大学）
本文研究了不同教学角色的对话代理对学习动态的影响，发现不同角色在认知投入、学习兴趣和批判性思维方面有显著差异。
2026-01-23 cs.HC
Neither Replacement nor Panacea: Comparing LLM-Based Conversational and Graphical Decision Support in Industrial Tasks
Department of Computer Science, University of Pisa（比萨大学计算机科学系）；Department of Computer Science, Brunel University of London（伦敦布鲁内尔大学计算机科学系）
通过混合因子实验，比较基于LLM的对话式界面与仪表盘在工业决策支持中的效果，发现对话界面在低复杂度任务中降低认知负荷和加快完成时间，但优势随任务复杂度增加而消失，且未提高决策准确性。
2026-05-29 cs.AI cs.CY cs.HC
Seeing to Think? How Source Transparency Design Shapes Interactive Information Seeking and Evaluation in Conversational AI
The University of Tennessee（田纳西大学）；The University of Oklahoma（俄克拉荷马大学）
本文研究了源透明度设计对对话式AI中信息搜索与评估的影响，发现不同界面设计对用户批判性思维和信息整合有显著影响。
2026-01-21 cs.HC
Designing for Adolescent Voice in Health Decisions: Embodied Conversational Agents for HPV Vaccination
Northeastern University（东北大学）；Tufts Medical Center（塔夫茨医学中心）
本文提出了一种针对青少年和父母的HPV疫苗接种决策干预措施，通过具身对话代理提升青少年的参与度和自主性。
2026-03-05 cs.HC
Comparing Photorealistic and Animated Embodied Conversational Agents in Serious Games: An Empirical Study on User Experience
The University of Edinburgh（爱丁堡大学）
本文通过36名参与者的被试内实验，比较严肃游戏中写实型与动画型具身对话智能体的用户体验，发现两者可用性均高且写实型更受偏好，为后续ECA真实感研究奠定基础。
2023-10-26 cs.AI cs.CL cs.HC
Towards Aligning Personalized Conversational Recommendation Agents with Users' Privacy Preferences
本文指出传统隐私管理与动态AI智能体存在不匹配，主张智能体应主动对齐用户隐私偏好。以个性化对话推荐智能体为例，提出基于CI和Privacy Calculus理论的概念框架，将对齐问题转化为通过反馈学习偏好，并利用对齐与Pareto优化平衡隐私与效用，最后探讨了潜在应用及五个挑战。
2025-08-11 cs.HC
Exploring Anthropomorphism in Conversational Agents for Environmental Sustainability
本文通过对比拟人化与非拟人化对话智能体，研究大语言模型驱动的对话智能体如何促进家庭能源管理中的可持续行为，发现两者均有效，但拟人化设计能增强用户连接感。
2025-05-13 cs.HC
Snowy: Recommending Utterances for Conversational Visual Analysis
自然语言界面（NLI）已经成为进行可视化数据分析的流行媒介，使具有不同分析经验水平的人能够提出问题并与他们的数据进行交互。虽然这些系统在语言理解能力方面有了显著的改进，但基本的用户体验和交互挑战，包括缺乏分析指导（即，知道要考虑数据的哪些方面）和自然语言输入的可解释性（即，知道如何对输入话语进行短语化）持续。为了解决这些挑战，我们研究了通过建议数据特征（例如，属性、值、趋势），同时隐式地使用户知道NLI支持的措辞类型。我们提出了SNOWY，一个原型系统，生成和推荐的话语进行视觉分析的基础上相结合的数据兴趣度指标和语言语用。通过初步的用户研究，我们发现，在SNOWY的话语建议支持对话的视觉分析，指导参与者的分析工作流程，使他们意识到系统的语言解释能力。基于反馈和观察的研究，我们讨论了潜在的影响和考虑，将建议在未来的NLI视觉分析。
2021-10-08 cs.HC
SimViews: An Interactive Multi-Agent System Simulating Visitor-to-Visitor Conversational Patterns to Present Diverse Perspectives of Artifacts in Virtual Museums
为解决虚拟博物馆中难以呈现多元视角的问题，本文提出交互式多智能体系统SimViews，通过模拟不同职业身份访客间的对话模式提供文物的多元解读，实验证明其能有效增强参与者的理解与参与度。
2025-08-11 cs.HC
Comparing Self-Disclosure Themes and Semantics to a Human, a Robot, and a Disembodied Agent
University of Cambridge（剑桥大学）；ETH Zürich（苏黎世联邦理工学院）
本研究通过分析参与者向人类、人形机器人和无实体智能体自我表露的对话数据，发现不同具身形式下主题分布和语义结构高度一致，表明人们在自我表露中保持稳定的主题焦点和语义表达。
2025-04-08 cs.HC cs.RO
An LLM-based Simulation Framework for Embodied Conversational Agents in Psychological Counseling
针对心理健康合成对话数据真实性与多样性不足的问题，提出融合心理学理论的LLM基具身对话智能体（ECAs）仿真框架，扩展真实案例至认知记忆空间并生成对话，经D4数据集验证，其仿真真实性、必要性及对话质量均优于基线。
2025-11-17 cs.HC
On Evaluating and Comparing Open Domain Dialog Systems
Amazon Alexa（亚马逊Alexa）；Michigan State University（密歇根州立大学）；University of Maryland（马里兰大学）
会话型代理人正迅速流行起来。然而，尽管近年来研究兴趣显著增长，但在非目标导向对话领域仍有许多工作要做。为了推进对话式人工智能的发展，亚马逊推出了Alexa Prize，这是一项价值250万美元的大学竞赛，16支精选的大学团队构建了对话式代理，以提供最佳的社交对话体验。Alexa Prize为学术界提供了一个独特的机会，可以使用数百万用户使用的实时系统进行研究。与评估对话相关联的主观性是构建非目标导向的对话系统的挑战的关键因素。在本文中，我们提出了一个综合评价策略，多个指标，旨在减少主观性，通过选择指标，以及与人类的判断。建议的指标提供粒度分析的会话代理，这是不是在人类的评级。我们表明，这些指标可以作为人类判断的合理代理。我们提供了一种机制来统一用于选择表现最佳的代理的指标，这也适用于整个Alexa Prize竞赛。据我们所知，到目前为止，它是评估代理的最大设置，有数百万的对话和数十万的用户评级。我们相信，这项工作是一个自动评估过程中的对话式人工智能的一步。
2018-12-26 cs.AI cs.CL cs.CY
Controlled Yet Natural: A Hybrid BDI-LLM Conversational Agent for Child Helpline Training
本文提出将大语言模型集成到BDI规则框架中构建混合对话智能体，用于儿童求助热线培训，实验表明其在可信度、态度和参与度上优于纯规则智能体，且回复质量不劣于人工回复。
2025-09-20 cs.HC
Behavioral and Symbolic Fillers as Delay Mitigation for Embodied Conversational Agents in Virtual Reality
本文针对虚拟现实中具身对话代理响应延迟问题，比较行为填充与符号指示器策略，发现行为填充能改善感知响应时间、临场感、类人性与自然性，且更受用户偏好。
2025-08-15 cs.HC
Offline and Online Satisfaction Prediction in Open-Domain Conversational Systems
Emory University（埃默里大学）
预测会话系统中的用户满意度已经变得至关重要，因为口语会话助理在越来越复杂的领域中操作。在线满意度预测（即，预测用户在每轮之后对系统的满意度）可以被用作隐式用户反馈的新代理，并且提供了有希望的机会来创建更响应和有效的会话代理，其适应于用户与代理的参与。为了实现这一目标，我们提出了一个会话满意度预测模型，专门为开放域口语会话代理，称为ConvSAT。为了跨域稳健地运行，ConvSAT聚合了会话的多个表示，即会话历史，话语和响应内容，以及面向系统和用户的行为信号。我们首先在一个标准数据集（对话故障检测挑战）上在线校准ConvSAT性能，然后在一个大型的与真实用户对话的数据集上评估ConvSAT，这些数据集是作为Alexa Prize竞赛的一部分收集的。我们的实验结果表明，与以前报道的最先进的方法相比，ConvSAT显着提高了对两个数据集的离线和在线设置的满意度预测。我们研究的见解可以实现更智能的会话系统，这些系统可以实时适应推断出的用户满意度和参与度。
2020-06-02 cs.AI cs.HC cs.LG
From Search Agents to Dissemination Interfaces: Understanding Human Trust in Health Information from Conversational Search
University of Amsterdam（阿姆斯特丹大学）；National Institute of Informatics (NII)（日本国立情报学研究所）；Aalto University（阿尔托大学）；Tilburg University（蒂尔堡大学）；Southeast University（东南大学）；Centrum Wiskunde & Informatica (CWI)（荷兰数学与计算机科学研究中心）；Utrecht University（乌得勒支大学）
本研究通过两项混合方法研究，发现人们对ChatGPT提供的健康信息信任显著高于谷歌，且传播界面类型会显著影响这种信任，为开发可信的LLM驱动健康工具提供了关键见解。
2026-08-24 cs.HC
Chat-Based Support Alone May Not Be Enough: Comparing Conversational and Embedded LLM Feedback for Mathematical Proof Learning
Carnegie Mellon University（卡内基梅隆大学）；The University of Hong Kong（香港大学）
研究评估了GPTutor系统对大学离散数学课程的影响，发现对话式反馈单独使用可能无法有效提升考试成绩，而嵌入式反馈与学习表现相关性较低。
2026-03-31 cs.AI cs.CY cs.HC
Exploring Emotion-Sensitive LLM-Based Conversational AI
University of Southern California（南加州大学）；Institute for Creative Technologies（创意技术研究所）
本研究通过比较30名参与者使用情感敏感与不敏感的基于LLM的聊天机器人，发现情感敏感型聊天机器人虽未提升问题解决率，但能提高用户对其可信度和能力的感知，为客户服务中对话式AI的优化提供参考。
2025-02-13 cs.AI cs.HC
Impact of Multimodal and Conversational AI on Learning Outcomes and Experience
Georgia Institute of Technology（佐治亚理工学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究比较了三种生物学学习方法，发现多模态对话式AI在学习成果和体验上表现最佳，但文本仅对话式AI虽易用但效果最差，揭示了认知负荷理论下的学习效果与感知之间的差异。
2026-04-02 cs.AI cs.HC
Convo: What does conversational programming need? An exploration of machine learning interface design
MIT（麻省理工学院）；Harvard Graduate School of Design（哈佛大学设计研究生院）；Harvard University（哈佛大学）
自然语言理解和语音识别的巨大进步为与计算机的对话交互铺平了道路。虽然会话代理经常被用于简短的面向目标的对话，我们知道很少的代理开发计算机程序。为了探索自然语言在编程中的实用性，我们进行了一项研究（$n$ =45），将不同的输入方法与我们开发的对话式编程系统进行比较。参与者使用基于语音、基于文本和基于语音或文本的系统完成新手和高级任务。我们发现用户欣赏每个系统的各个方面（例如，语音输入效率、文本输入精度），并且新手用户比高级用户更看好使用语音输入进行编程。我们的结果表明，未来的对话式编程工具应该根据用户的编程体验进行定制，并允许用户选择他们喜欢的输入模式。为了减少认知负荷，未来的界面可以包含可视化，并拥有自定义的自然语言理解和语音识别模型用于编程。
2020-03-03 cs.AI cs.HC cs.LG
Exploring Interaction Patterns for Debugging: Enhancing Conversational Capabilities of AI-assistants
Microsoft（微软公司）
本文借鉴交互模式与对话分析，设计增强调试AI助手Robin，通过插入扩展、轮流发言及调试工作流，降低对话障碍，提升故障定位，使错误解决率提高5倍。
2024-02-09 cs.AI cs.HC cs.SE
Signals of AI Hallucination: Designing Hallucination-Aware Cues for Embodied Conversational Agents in VR
North Carolina State University（北卡罗来纳州立大学）；Carnegie Mellon University（卡内基梅隆大学）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）
本研究通过用户实验比较VR中具身对话智能体的三种幻觉感知线索设计，发现具身线索提升信任与沉浸，文本线索解释性最强，为幻觉提示界面提供设计参考。
2026-09-25 cs.HC
Using LLMs to Investigate Correlations of Conversational Follow-up Queries with User Satisfaction
本研究通过分析Naver Cue:的对话日志，提出18种后续查询模式分类体系，并构建LLM分类器（73%准确率），发现澄清查询等模式与用户不满意相关，为对话式搜索体验的自动评估提供信号。
2024-07-18 cs.HC cs.IR
Conversational Assistants in Knowledge-Intensive Contexts: An Evaluation of LLM- versus Intent-based Systems
Delft University of Technology（代尔夫特理工大学）
该研究针对知识管理场景，对比基于LLM与基于意图的对话助手，通过用户研究验证前者在用户体验、任务完成率等多方面更优，为知识管理领域NLP技术选型提供参考。
2024-07-12 cs.AI cs.HC
HumAIne-Chatbot: Real-Time Personalized Conversational AI via Reinforcement Learning
Department of Digital Systems University of Piraeus（数字系统系希腊比雷埃克斯大学）；HEI-Lab University Lusofona/Immersive Lives（HEI实验室卢斯福纳大学/沉浸生活）
针对现有对话系统缺乏个性化的问题，提出HumAIne-chatbot，通过GPT虚拟人设预训练和在线强化学习动态建模用户画像，实现实时个性化对话，实验表明显著提升满意度与任务完成度。
2025-09-24 cs.AI cs.HC
Same Stories, Different Journeys: Exploring Persona-Grounded Conversational Agents for Supporting Career Exploration with Peers' Posts
Sun Yat-sen University（中山大学）
研究针对年轻求职者在社交媒体职业探索时被动浏览的问题，开发JobMate交互式系统，将真实帖子转化为对话式AI代理，通过对比研究发现其能引导社会比较转向建设性自我重构并促进意义建构，还探讨了相关AI系统设计启示。
2026-09-24 cs.AI cs.HC
Not All Transparency Is Equal: Source Presentation Effects on Attention, Interaction, and Persuasion in Conversational Search
The University of Tennessee（田纳西大学）；The University of Oklahoma（俄克拉荷马大学）
研究探讨了不同来源呈现方式对用户注意力、交互和说服力的影响，发现高可见性界面在某些情况下会降低知识获取，但随着来源使用增加，积极效果逐渐显现。
2025-12-13 cs.AI cs.HC cs.IR
Who's Asking? Simulating Role-Based Questions for Conversational AI Evaluation
University of Washington（华盛顿大学）；Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出 CoRUS 框架，基于 OUD 康复社区数据构建角色分类并模拟角色化问题，揭示 LLM 会因用户角色不同而改变回应的支持性与知识含量。
2025-10-19 cs.AI cs.CL cs.CY
Knowledge-Grounded Dialogue Flow Management for Social Robots and Conversational Agents
University of Genoa（热那亚大学）
本文提出了一种基于知识的会话系统，为社会机器人和其他会话代理设计。所提出的系统依赖于一个本体的所有概念，可能是相关的会话主题，以及它们的相互关系的描述。本文重点介绍了对话管理的算法，该算法根据用户的输入选择最合适的对话主题。此外，它讨论了策略，以确保会话流捕捉，尽可能连贯地，用户的意图，以推动对话在特定的方向，同时避免纯粹的反应，用户说什么。为了衡量对话的质量，本文报告了对100名招募的参与者进行的测试，比较了五个对话代理：（i）仅基于语音中的关键字的检测来解决对话流管理的代理，（ii）基于关键字的检测和Google Cloud自然语言的内容分类特征两者的代理，（iii）一个随机选择对话主题的代理，（iv）一个假装是聊天机器人的人，以及（v）世界上最著名的聊天机器人之一：dika。参与者的主观感知通过SASSI（语音系统接口主观评估）工具以及用于测量连贯性主观感知的自定义调查来测量。
2021-08-04 cs.HC cs.RO
Analysing Mixed Initiatives and Search Strategies during Conversational Search
University of Amsterdam（阿姆斯特丹大学）；University of Strathclyde（思克莱德大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Microsoft（微软）
用户和会话搜索代理之间的信息搜索会话由多轮交互组成。当用户发起搜索会话时，理想情况下，CSA有时应该通过提供查询建议或要求查询澄清（即混合主动性）来获得用户的反馈，从而在对话中发挥主导作用。这创造了更吸引人的对话搜索的潜力，但由于大的交互空间加上不同交互的成本和收益之间的权衡，大大增加了建模和评估此类场景的复杂性。在本文中，我们提出了一个对话搜索模型-从我们实例化不同的观察到的对话搜索策略，其中代理elections：（i）反馈第一，或（ii）反馈后。使用49个TREC WebTrack主题，我们进行了一项分析，比较这些不同的策略与不同的混合主动方法的结合程度：（i）查询建议与（ii）查询澄清。我们的分析表明，没有优越或占主导地位的组合，相反，它表明，查询澄清是更好的时候问第一，而查询建议是更好的时候，提出结果后。我们还表明，最好的策略和方法取决于查询和反馈之间的相对成本，初始查询的性能，每个查询的评估数量，以及所需的总收益之间的权衡。虽然这项工作突出了分析CSA所涉及的复杂性和挑战，但它为在批处理/离线设置中评估会话策略和会话搜索代理提供了基础。
2021-09-13 cs.CL cs.HC cs.IR
Reading Between the Lines: Scalable User Feedback via Implicit Sentiment in Developer Prompts
University of California Irvine（加州大学尔湾分校）；Google（谷歌）
针对开发者对对话式AI助手满意度评估的可扩展性与可靠性难题，提出通过分析开发者提示中的隐式情感识别满意度信号的方法，该方法在工业日志中识别信号的比例是显式反馈的13倍以上，为大规模理解开发者体验提供新途径。
2025-09-22 cs.AI cs.HC cs.SE
Designing Smarter Conversational Agents for Kids: Lessons from Cognitive Work and Means-Ends Analyses
University of Regina（里贾纳大学）
本文通过认知工作分析考察巴西儿童使用会话代理的方式，并在1,200个模拟对话中验证结构化提示“配方”可提升交互质量。
2025-08-28 cs.CL cs.HC
A Contextualized Real-Time Multimodal Emotion Recognition for Conversational Agents using Graph Convolutional Networks in Reinforcement Learning
Lucerne University of Applied Science and Arts（卢塞恩应用科学与艺术大学）
本文提出conER-GRL框架，通过将对话划分为话语组并用GRU提取多模态特征，再级联训练GCN和强化学习智能体捕捉情感依赖，在IEMOCAP上实现了实时多模态情感识别的优越性能。
2023-10-24 cs.CL cs.HC cs.LG
Improving Dialogue Agents by Decomposing One Global Explicit Annotation with Local Implicit Multimodal Feedback
Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）
提出GELI方法，利用局部隐式多模态反馈信号跨模态塑造并分解全局显式会话级奖励，学习轮次级奖励模型并应用于RHLF流程，有效提升了基于LLM的对话智能体在各项对话指标上的表现。
2024-04-23 cs.AI cs.CL cs.HC
Visual and Cognitive Demands of a Large Language Model-Powered In-vehicle Conversational Agent
Exponent, Inc.（Exponent公司）；Google, Inc.（Google公司）
本研究评估了基于大型语言模型的车载对话代理在驾驶中的视觉与认知需求，发现其与免提通话在认知负荷上相当，且视觉需求较低，支持其在驾驶环境中的安全应用。
2026-01-21 cs.AI cs.HC
ChatGPT on the Road: Leveraging Large Language Model-Powered In-vehicle Conversational Agents for Safer and More Enjoyable Driving Experience
Computer Science, Virginia Tech, Blacksburg, Virginia, USA（计算机科学，弗吉尼亚理工学院，弗吉尼亚州黑斯堡，美国；弗吉尼亚理工学院黑斯堡弗吉尼亚美国）；Virginia Tech Blacksburg Virginia USA
本研究探索基于ChatGPT的车载对话代理，通过40名驾驶员的模拟器实验发现，相比无代理和预设脚本代理，该代理能显著提升驾驶稳定性、主观评价及交互多样性，从而增强驾驶安全与用户体验。
2025-08-11 cs.AI cs.HC cs.SE
Ruffle&Riley: Towards the Automated Induction of Conversational Tutoring Systems
Carnegie Mellon University（卡内基梅隆大学）；Ariel University（阿里埃勒大学）
本文提出Ruffle&Riley，一种利用大语言模型自动生成辅导脚本并通过双智能体模拟师生对话的对话式辅导系统，实验显示其在学习体验上优于简单问答机器人。
2023-11-14 cs.AI cs.CL cs.HC
Does the Appearance of Autonomous Conversational Robots Affect User Spoken Behaviors in Real-World Conference Interactions?
Kyoto University（京都大学）
本研究比较 ERICA 与 TELECO，发现更类人的机器人外观会使用户言语更流利、句法更复杂，并通过分类模型验证了相关语言特征的区分作用。
2025-03-17 cs.CL cs.HC cs.RO
CloChat: Understanding How People Customize, Interact, and Experience Personas in Large Language Models
Yonsei University（延世大学）；Seoul National University（首尔大学）
本文通过开发CloChat界面研究用户如何定制LLM智能体人格，发现定制能增强情感联结、对话动态性和持续交互意愿，为对话智能体设计提供启示。
2024-02-23 cs.CL cs.HC
Multimodal Transformer Models for Turn-taking Prediction: Effects on Conversational Dynamics of Human-Agent Interaction during Cooperative Gameplay
Hanyang University（汉阳大学）；DePaul University（德保罗大学）
本研究提出融合多模态信息的跨模态Transformer话轮转换预测模型，在合作游戏场景的用户研究中验证其可提升人机对话流畅自然度，维持平衡会话动态。
2025-02-05 cs.AI cs.CL cs.HC
