"It feels like hard work trying to talk to it": Understanding Older Adults' Experiences of Encountering and Repairing Conversational Breakdowns with AI Systems
本研究通过20周居家部署实验，分析老年人使用语音AI药物管理系统的844次交互，识别四种对话中断类型，发现老年人依赖情境知识修复中断且需付出认知努力，强调AI需整合用户环境知识以提升交互体验。
2025-10-08 cs.HC
User Prompting Strategies and ChatGPT Contextual Adaptation Shape Conversational Information-Seeking Experiences
University of Utah（犹他大学）；Michigan State University（密歇根州立大学）；Boise State University（博伊西州立大学）；Emory University（埃默里大学）
研究探讨用户提示策略和ChatGPT响应风格如何影响对话信息检索体验，发现只有19.1%的用户使用提示策略，且这些用户教育程度较高且倾向民主党。ChatGPT在争议性话题中表现出更高的认知复杂性和外部引用，但复杂的响应被感知为不受欢迎，却产生了更积极的相关态度。
2025-09-29 cs.HC
Single Vs Dual: Influence of the Number of Displays on User Experience within Virtually Embodied Conversational Systems
本研究对比单/双平板场景下虚拟具身医疗对话系统的用户体验，通过43人受试者内实验发现单屏可用性和实用质量更高，但部分用户偏好双屏放置虚拟形象以提升临场感。
2024-10-07 cs.HC
Designing Conversational Multimodal 3D Printed Models with People who are Blind
本研究与视障人士共同设计融合对话界面、触觉振动与触摸的交互式3D打印太阳系模型，经用户评估后提出适配视障用户需求的多模态3D打印模型设计建议。
2023-06-12 cs.HC
Towards User-Centric Guidelines for Chatbot Conversational Design
聊天机器人的对话性质给设计师带来了挑战，因为它们的开发与其他软件不同，需要在人类与人工智能交互的背景下研究新的实践及其对用户体验的影响。因此，这项工作的目的是揭示聊天机器人对话的做法及其对用户的影响，以建立一个网络指南，以支持设计师，同时构思聊天机器人的对话。我们进行了系统性文献综述（SLR），以确定聊天机器人会话设计中使用的语言，视觉和交互元素。SLR产生了40个选定的研究，这些研究经过审查并编码成一套对话指南，通过调查进行评估。受访者强烈同意，在聊天机器人开发中应用拟议的指南将提高用户满意度和用户参与度，该指南可用，灵活，清晰，易于理解，使其成为构建具有改进用户体验的聊天机器人的重要盟友。
2023-01-16 cs.HC
Comparing Conventional and Conversational Search Interaction using Implicit Evaluation Methods
对话式搜索应用提供了通过代理支持在信息搜索中改进用户体验的前景。然而，与传统的用户驱动的搜索界面（例如标准网络搜索引擎中的搜索界面）相比，搜索者将如何对这种参与模式作出反应尚不清楚。我们描述了一个基于实验室的研究，直接比较用户行为的传统搜索界面（CSI）与代理介导的多视图会话搜索界面（MCSI），扩展CSI。用户反应和搜索结果的两个接口进行了比较，使用隐式评价使用五种分析方法：声称有一个更好的搜索体验，对比相应的标准搜索界面。
2023-03-18 cs.HC
ProVoice: Designing Proactive Functionality for In-Vehicle Conversational Assistants using Multi-Objective Bayesian Optimization to Enhance Driver Experience
UCL Interaction Centre（UCL交互中心）；Institute of Media Informatics, Ulm University（乌尔姆大学媒体信息研究所）
ProVoice通过多目标贝叶斯优化设计车载对话助手的前瞻性功能，提升驾驶员体验并优化设计权衡。
2026-01-27 cs.HC
Investigating the Day-to-Day Experiences of Users with Traumatic Brain Injury with Conversational Agents
本研究通过为9名创伤性脑损伤患者提供四周家庭对话代理，发现其能力与用户无障碍需求存在差距，并识别出14项相关活动，归类为四组，提出改进设计建议。
2023-10-10 cs.HC
Evaluating multimodal emotion recognition in proactive conversational agents: A user study
I3A (Institute of Engineering Research of Aragon)（阿拉贡工程研究院）；Universidad de Zaragoza（萨拉戈塔大学）
本文研究了多模态情绪识别在主动对话代理中的应用，通过用户研究验证了视觉和语言分析模块的有效性，发现语言分析比视觉线索更可靠，并探讨了SIAs在情绪引导中的潜力与挑战。
2026-04-06 cs.AI cs.HC
Metacognitive Demands and Strategies While Using Off-The-Shelf AI Conversational Agents for Health Information
University of Calgary（卡尔加里大学）；Simon Fraser University（西蒙菲莎大学）；Ottawa General Campus（渥太华综合校区）；Stanford University（斯坦福大学）
研究探讨了使用现成AI对话代理获取健康信息时的元认知需求及用户应对策略，并提出设计改进以提升用户体验。
2026-02-04 cs.HC
Who You Explain To Matters: Learning by Explaining to Conversational Agents with Different Pedagogical Roles
National University of Singapore（新加坡国立大学）；Singapore Management University（新加坡管理大学）
本文研究了不同教学角色的对话代理对学习动态的影响，发现不同角色在认知投入、学习兴趣和批判性思维方面有显著差异。
2026-01-23 cs.HC
Impact of Multimodal and Conversational AI on Learning Outcomes and Experience
Georgia Institute of Technology（佐治亚理工学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究比较了三种生物学学习方法，发现多模态对话式AI在学习成果和体验上表现最佳，但文本仅对话式AI虽易用但效果最差，揭示了认知负荷理论下的学习效果与感知之间的差异。
2026-04-02 cs.AI cs.HC
Tell me more: Intent Fulfilment Framework for Enhancing User Experiences in Conversational XAI
School of Computing, Robert Gordon University（罗伯特戈登大学计算机学院）
本研究针对对话式XAI中多样化用户解释需求的满足问题，提出整合解释追问功能的意图满足框架及对话模型，经用户研究验证可提升用户参与度、系统实用性与整体体验。
2024-05-16 cs.AI cs.HC
IntelliExplain: Enhancing Conversational Code Generation for Non-Professional Programmers
本文提出 IntelliExplain 对话式代码生成框架，通过增强代码解释和结构化交互解决非专业程序员使用 Chat LLM 编码的困难，在 SQL 和 Python 任务中显著提升成功率并缩短用时。
2024-10-08 cs.HC
A Conceptual Framework for Implicit Evaluation of Conversational Search Interfaces
会话式搜索是近年来信息检索领域的一个研究热点。已经进行了多项研究，探讨对话搜索的概念。理解和推进CS研究需要仔细和详细的评估。现有的CS研究仅限于基于简单的用户对任务完成情况的反馈进行评价。我们提出了一个CS评估框架，其中包括多个维度：搜索经验，知识增益，软件可用性，认知负荷和用户体验，会话系统和IR的研究的基础上，我们介绍这些评估标准，并提出他们的使用框架中的CS系统的评估。
2021-04-08 cs.HC cs.IR
Beyond Words: Infusing Conversational Agents with Human-like Typing Behaviors
本文提出模拟类人打字行为（犹豫和自我编辑）的对话代理设计，通过用户实验发现同时包含两种行为的代理能提升感知自然度和可信度，促进更沉浸的对话体验。
2025-10-10 cs.HC
Alexa Depression and Anxiety Self-tests: A Preliminary Analysis of User Experience and Trust
通过网站和移动应用程序提供的心理健康资源提供支持，如建议，日志和认知行为疗法的元素。语音会话代理的激增，如Alexa，Siri和Google Home，导致人们对为这些设备开发心理健康应用程序的兴趣越来越大。我们介绍了Alexa技能的试点研究结果，该技能允许用户进行抑郁和焦虑自我测试。10名参与者获得了为期两周的Alexa技能访问权限，然后对技能的可用性和信任度进行在线评估。我们的初步评估表明，参与者信任该技能，并将可用性和用户体验评分为平均水平。技能使用率很低，大部分人只使用一次。鉴于正在进行的工作，我们还提出了一个讨论的实施和研究设计的挑战，以指导目前的文献设计口语会话代理的心理健康应用。
2020-08-10 cs.HC
Understanding User Preferences for Interaction Styles in Conversational Recommender Systems: The Predictive Role of System Qualities, User Experience, and Traits
School of Computer Science, University of Technology Sydney（技术科技大学计算机科学学院）；Australian Institute of Health Innovation, Macquarie University（麦觉里大学健康创新研究所）
本研究通过受试者内实验发现，愉悦感、有用性、新颖性和对话质量等预测用户对探索性交互的偏好，并识别出五种用户画像，为对话式推荐系统的自适应设计提供依据。
2025-08-04 cs.CL cs.HC cs.IR
No Two Developers Think Alike: How Problem-Solving Styles and Experience Shape Needs in Conversational Interaction with Copilot
Radboud University Nijmegen（拉德堡德大学）；Federal University of Technology – Paraná Campo Mourão（巴拉那联邦技术大学 - 卡莫阿乌校区）；Microsoft（微软）
通过混合方法出声思考研究，识别出5种交互模式和10种需求，并建立概念模型，揭示认知多样性如何影响开发者与GitHub Copilot的交互。
2026-06-18 cs.HC cs.SE
Conversation Progress Guide : UI System for Enhancing Self-Efficacy in Conversational AI
本研究提出对话进度指南（CPG）系统，通过可视化界面展示任务进度，为用户提供掌握经验，以提升对话式AI交互中的自我效能感，实验证明其有效性。
2025-02-24 cs.HC
Towards Embodied Conversational Agents for Reducing Oral Exam Anxiety in Extended Reality
本文探讨在扩展现实环境中结合具身对话智能体与大语言模型，为学生提供心理安全、自适应且可重复的口试演练，以缓解口试焦虑并提升表现。
2025-08-15 cs.HC
Rendezfood: A Design Case Study of a Conversational Location-based Approach in Restaurants
本文通过面向顾客与餐厅经营者的设计案例研究，提出结合基于位置系统与对话代理的 Rendezfood 平台，以增强附近餐厅可见度和情感联结，并总结设计空间、需求及元宇宙启示。
2025-01-07 cs.HC
"Mango Mango, How to Let The Lettuce Dry Without A Spinner?": Exploring User Perceptions of Using An LLM-Based Conversational Assistant Toward Cooking Partner
本研究探索用户使用基于LLM的烹饪对话助手Mango Mango的体验，发现其价值在于定制指令、丰富信息和动态规划，但需更适应对话，据此提出五项设计考虑。
2025-08-07 cs.HC
AI-Assisted Conversational Interviewing: Effects on Data Quality and Respondent Experience
NORC at the University of Chicago（芝加哥大学NORC）
本研究提出AI辅助对话访谈框架，通过聊天机器人提升开放式数据收集质量，发现其在编码准确性上表现良好，但需平衡受访者体验与数据详细度。
2025-12-01 cs.AI cs.HC stat.AP
"This really lets us see the entire world:" Designing a conversational telepresence robot for homebound older adults
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Carnegie Mellon University（卡内基梅隆大学）
本文通过需求发现和技术探针研究，设计对话式远程临场机器人，帮助居家老年人探索外界、回忆和社交参与，并提出机器人主动引导和对话设计见解。
2024-05-23 cs.HC cs.RO
When Refreshable Tactile Displays Meet Conversational Agents: Investigating Accessible Data Presentation and Analysis with Touch and Speech
本研究针对盲人或低视力人群的数据分析需求，结合可刷新触觉显示器与对话式智能体开展绿野仙踪研究，识别出9种交互模式，明确了模态选择的影响因素及混合模态的偏好，为相关界面设计提供依据。
2025-01-15 cs.HC
User Detection and Response Patterns of Sycophantic Behavior in Conversational AI
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Toronto（多伦多大学）
本文研究对话式AI中用户对谄媚行为的检测与响应，提出DCR认识论，揭示用户使用多种检测技术及缓解方法，发现谄媚影响情境依赖，挑战普遍消除谄媚的假设。
2026-03-06 cs.HC
Seeking Late Night Life Lines: Experiences of Conversational AI Use in Mental Health Crisis
University of Minnesota（明尼苏达大学）；Northwestern University（西北大学）；Dartmouth College（达特茅斯学院）；Microsoft（微软）；Mental Health America（心理健康美国）；Microsoft Research（微软研究院）
本文研究了在心理健康危机中使用对话AI的体验，发现AI在填补人类支持空缺中的作用，同时强调人类连接的重要性，并提出负责任的AI干预应促进积极行动并缓解负面行动。
2025-12-29 cs.AI cs.CY cs.HC
From Lived Experience to Insight: Unpacking the Psychological Risks of Using AI Conversational Agents
School of Interactive Computing, Georgia Institute of Technology（交互计算学院，佐治亚理工学院）；Purdue University（普渡大学）；Microsoft Research（微软研究院）；Microsoft（微软）；Microsoft AI（微软人工智能）；University of Toronto（多伦多大学）
本研究通过调查283名有心理健康亲身体验者及专家研讨会，提出了一种聚焦AI对话代理心理风险的新分类法，包含19种AI行为、21种负面心理影响和15种用户情境，并构建了多路径情景框架以理解其复杂交互，为开发更安全的AI代理提供了设计建议。
2025-05-29 cs.AI cs.CY cs.HC
E3VA: Enhancing Emotional Expressiveness in Virtual Conversational Agents
University of Florida（佛罗里达大学）
E3VA通过情感分析和自然语言处理提升虚拟对话代理的情感表达性，增强用户体验和对话质量。
2026-02-25 cs.HC
Enhancing Patient Acceptance of Robotic Ultrasound through Conversational Virtual Agent and Immersive Visualizations
本文提出将大语言模型驱动的对话式虚拟代理与三种混合现实可视化结合，用于引导机器人超声操作，并通过用户研究验证其能显著提升患者的信任与接受度。
2025-02-14 cs.HC
From Search Agents to Dissemination Interfaces: Understanding Human Trust in Health Information from Conversational Search
University of Amsterdam（阿姆斯特丹大学）；National Institute of Informatics (NII)（日本国立情报学研究所）；Aalto University（阿尔托大学）；Tilburg University（蒂尔堡大学）；Southeast University（东南大学）；Centrum Wiskunde & Informatica (CWI)（荷兰数学与计算机科学研究中心）；Utrecht University（乌得勒支大学）
本研究通过两项混合方法研究，发现人们对ChatGPT提供的健康信息信任显著高于谷歌，且传播界面类型会显著影响这种信任，为开发可信的LLM驱动健康工具提供了关键见解。
2026-08-24 cs.HC
How Conversational Structure and Style Shape Online Community Experiences
OpenAI
本研究通过大规模调查分析会话结构和语言风格对在线社区感知虚拟社区（SOVC）的影响，识别出三个主要维度，并提供量化证据支持社交互动模式与SOVC的联系。
2026-04-21 cs.HC cs.SI
Virtual Buddy: Redefining Conversational AI Interactions for Individuals with Hand Motor Disabilities
针对手部运动障碍个体操作对话式人工智能的困难，提出Virtual Buddy原型，通过创建多智能体角色实现一对多交互，减少持续数据输入，从而丰富该群体的交互体验。
2024-11-12 cs.HC
Navigating User Experience of ChatGPT-based Conversational Recommender Systems: The Effects of Prompt Guidance and Recommendation Domain
Hong Kong Baptist University（香港浸会大学）；Duke Kunshan University（昆山杜克大学）
本研究开发基于ChatGPT的对话式推荐系统，通过在线实验（N=100）考察提示引导和推荐领域对用户体验的影响，发现提示引导提升系统可解释性等指标，且效果受推荐领域调节。
2024-05-22 cs.AI cs.HC
The Path to Conversational AI Tutors: Integrating Tutoring Best Practices and Targeted Technologies to Produce Scalable AI Agents
Cornell University（康奈尔大学）；University of Adelaide（阿德莱德大学）；University of Florida（佛罗里达大学）；Digital Promise（数字承诺）
本文探讨了通过整合辅导最佳实践和生成式AI技术，开发可扩展且有效的对话式AI助教的研究路径。
2026-02-22 cs.HC
The influence of persona and conversational task on social interactions with a LLM-controlled embodied conversational agent
University of Regensburg（雷根斯堡大学）
本研究通过虚拟现实实验，发现LLM控制的具身智能体的外向人格能提升用户的社会评价、情绪体验和参与度，且LLM帮助能增强用户信心。
2024-11-08 cs.AI cs.HC
Evaluating User Experience in Conversational Recommender Systems: A Systematic Review Across Classical and LLM-Powered Approaches
School of Computer Science, University of Technology Sydney（技术科技大学计算机科学学院）；The Applied College, King Abdulaziz University（国王阿卜杜勒阿齐兹大学应用学院）；Australian Institute of Health Innovation, Macquarie University（麦考瑞大学健康创新研究所）
本综述基于PRISMA方法分析2017-2025年间23项实证研究，揭示对话式推荐系统用户体验评估存在事后调查主导、情感构念缺失及自适应行为关联不足等问题，并提出面向LLM的评估议程。
2025-08-06 cs.AI cs.HC cs.IR
Signals of AI Hallucination: Designing Hallucination-Aware Cues for Embodied Conversational Agents in VR
North Carolina State University（北卡罗来纳州立大学）；Carnegie Mellon University（卡内基梅隆大学）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）
本研究通过用户实验比较VR中具身对话智能体的三种幻觉感知线索设计，发现具身线索提升信任与沉浸，文本线索解释性最强，为幻觉提示界面提供设计参考。
2026-09-25 cs.HC
Making Videos Accessible for Blind and Low Vision Users Using a Multimodal Agent Video Player
GOOGLE（谷歌）；PARADIGMS OF INTELLIGENCE（智能范式）；GOOGLE RESEARCH（谷歌研究院）；COMPUTER SCIENCE DEPARTMENT, STANFORD UNIVERSITY（斯坦福大学计算机科学系）
本文提出一种多模态代理视频播放器，通过多层提示编排为视障和低视力用户带来交互式、可访问的视频体验，增强用户自主性和信任感。
2026-02-04 cs.HC
Examining Potential Usability and Health Beliefs Among Young Adults Using a Conversational Agent for HPV Vaccine Counseling
人乳头瘤病毒（HPV）疫苗是预防HPV相关癌症的最有效方法。整合提供者疫苗咨询对提高HPV疫苗完成率至关重要。通过对话代理自动化咨询体验可以帮助提高HPV疫苗覆盖率，并减轻提供者的疫苗咨询负担。在以前的一项研究中，我们测试了一种模拟对话代理，该代理使用向导OZ协议为父母提供HPV疫苗咨询。在目前的研究中，我们评估了年轻大学生（n=24）中的对话剂，这一人群在建议接种疫苗时可能在青春期错过了HPV疫苗。我们还对系统和语音可用性以及有关HPV疫苗的健康信念进行了调查。参与者认为该代理具有较高的可用性，比其他语音交互界面稍好或相当，并且有证据表明该代理影响了他们对HPV疫苗的危害，不确定性和风险否认的信念。总的来说，这项研究表明，对话代理是一个有影响力的工具，为健康促进工作的潜力。
2020-01-07 cs.HC
SimViews: An Interactive Multi-Agent System Simulating Visitor-to-Visitor Conversational Patterns to Present Diverse Perspectives of Artifacts in Virtual Museums
为解决虚拟博物馆中难以呈现多元视角的问题，本文提出交互式多智能体系统SimViews，通过模拟不同职业身份访客间的对话模式提供文物的多元解读，实验证明其能有效增强参与者的理解与参与度。
2025-08-11 cs.HC
ChatGPT on the Road: Leveraging Large Language Model-Powered In-vehicle Conversational Agents for Safer and More Enjoyable Driving Experience
Computer Science, Virginia Tech, Blacksburg, Virginia, USA（计算机科学，弗吉尼亚理工学院，弗吉尼亚州黑斯堡，美国；弗吉尼亚理工学院黑斯堡弗吉尼亚美国）；Virginia Tech Blacksburg Virginia USA
本研究探索基于ChatGPT的车载对话代理，通过40名驾驶员的模拟器实验发现，相比无代理和预设脚本代理，该代理能显著提升驾驶稳定性、主观评价及交互多样性，从而增强驾驶安全与用户体验。
2025-08-11 cs.AI cs.HC cs.SE
Same Stories, Different Journeys: Exploring Persona-Grounded Conversational Agents for Supporting Career Exploration with Peers' Posts
Sun Yat-sen University（中山大学）
研究针对年轻求职者在社交媒体职业探索时被动浏览的问题，开发JobMate交互式系统，将真实帖子转化为对话式AI代理，通过对比研究发现其能引导社会比较转向建设性自我重构并促进意义建构，还探讨了相关AI系统设计启示。
2026-09-24 cs.AI cs.HC
From Clicks to Conversations: Evaluating the Effectiveness of Conversational Agents in Statistical Analysis
本文提出统计分析会话智能体 StatZ，并通过 51 名参与者实验证明其在准确性、耗时、体验和满意度上均优于 SPSS 等传统 GUI 软件。
2025-02-16 cs.HC stat.CO
Towards Personalized Dialog Policies for Conversational Skill Discovery
Amazon Alexa（亚马逊Alexa）
许多企业和消费者正在扩展基于语音的服务的功能，例如Amazon Alexa，Google Home，Microsoft Cortana和Apple Siri，以创建自定义语音体验（也称为技能）。随着这些体验的增加，一个关键问题是发现可用于解决用户请求的技能。在本文中，我们专注于会话技能发现，并提出了一个会话代理，从事与用户的对话，以帮助他们找到满足他们需求的技能。为此，我们从基于规则的代理开始，并通过使用强化学习对其进行改进。通过这种方式，我们使代理能够适应不同的用户属性和会话风格，因为它与用户交互。我们评估我们的方法在一个真正的生产环境中部署的代理与真实的用户进行交互，并显示对话代理的有效性，帮助用户找到他们的要求服务的技能。
2019-11-15 cs.AI cs.CL cs.HC
A Low-Code Approach for the Automatic Personalization of Conversational Agents
Luxembourg Institute of Science and Technology（卢森堡科学与技术研究所）；University of Luxembourg（卢森堡大学）
通过系统文献综述，研究MDE领域用户建模现状，发现现有提案分散且维度覆盖有限，提出应建立统一可重用用户模型并利用ML自动推导用户画像以实现个性化。
2026-06-25 cs.HC cs.SE
CloChat: Understanding How People Customize, Interact, and Experience Personas in Large Language Models
Yonsei University（延世大学）；Seoul National University（首尔大学）
本文通过开发CloChat界面研究用户如何定制LLM智能体人格，发现定制能增强情感联结、对话动态性和持续交互意愿，为对话智能体设计提供启示。
2024-02-23 cs.CL cs.HC
Comparing Photorealistic and Animated Embodied Conversational Agents in Serious Games: An Empirical Study on User Experience
The University of Edinburgh（爱丁堡大学）
本文通过36名参与者的被试内实验，比较严肃游戏中写实型与动画型具身对话智能体的用户体验，发现两者可用性均高且写实型更受偏好，为后续ECA真实感研究奠定基础。
2023-10-26 cs.AI cs.CL cs.HC
Adapting for AI: How elementary teachers adjust their practices for an AI-integrated curriculum
University of Pennsylvania（宾夕法尼亚大学）；University of Florida（佛罗里达大学）；Montgomery County Schools（蒙哥马利县学区）；Kennesaw State University（肯尼索州立大学）；North Carolina State University（北卡罗来纳州立大学）
本研究通过三位小学教师在夏令营中实施基于ToyTalk的AI与英语课程，发现其修复、差异化、翻译和平衡等适应性实践源于技术、学习者与教学张力，并为课堂部署对话式AI提供设计启示。
2026-09-28 cs.AI cs.HC
Exploring human-SAV interaction using LLMs: The impact of psychological factors on user experience
Monash University（墨尔本大学）
本研究探讨LLM驱动的对话式SAV智能体中提示策略对用户心理所有权等心理因素的影响，发现拟人化设计提升感知与接受度，强调个性化设计的重要性。
2025-10-10 cs.AI cs.ET cs.HC
OpinionConv: Conversational Product Search with Grounded Opinions
University of Bonn（波恩大学）；Leipzig University（莱比锡大学）
OpinionConv利用产品评论为对话式AI提供真实主观意见依据，开发了首个模拟销售对话的AI，并通过用户研究验证了生成意见的现实感和决策价值。
2023-08-08 cs.CL cs.HC cs.IR
Studying the Effects of Cognitive Biases in Evaluation of Conversational Agents
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
人类经常与会话代理人互动。通过神经网络的生成语言建模的快速发展有助于促进智能会话代理的创建。研究人员通常通过众包判断来评估他们的模型的输出，但没有建立进行此类研究的最佳实践。此外，目前还不清楚决策中的认知偏见是否会影响众包工作者在承担这些任务时的判断。为了进行调查，我们与77名众包工作人员进行了一项受试者间研究，以了解认知偏见的作用，特别是锚定偏见，当人类被要求评估会话代理的输出时。我们的研究结果提供了深入了解如何最好地评估会话代理。我们发现，在两个实验条件下，评级的一致性增加可能是锚定偏差的结果。我们还确定，外部因素，如时间和以前的经验，在类似的任务有影响的评分员之间的一致性。
2020-02-26 cs.CL cs.HC
One Agent Too Many: User Perspectives on Approaches to Multi-agent Conversational AI
University of Michigan（密歇根大学）；Ford Motor Company（福特汽车公司）
本文通过原型设计和用户研究，比较了对话式AI中单一代理与用户选择多代理两种交互模式，发现用户显著偏好后台抽象代理编排，且其回答质量接近人类选择水平。
2024-01-13 cs.CL cs.HC
