Conversational Successes and Breakdowns in Everyday Smart Glasses Use
College of Arts, Media and Design, Northeastern University（东北大学艺术、媒体与设计学院）；University of Colorado Boulder（科罗拉多大学博尔德分校）；Northeastern University（东北大学）
研究通过一个月的协作自民族志方法，分析了非显示智能眼镜在日常场景中的对话表现，揭示其独特优势与改进方向。
2026-04-02 cs.HC
Like My Aunt Dorothy: Effects of Conversational Styles on Perceptions, Acceptance and Metaphorical Descriptions of Voice Assistants during Later Adulthood
本研究通过绿野仙踪实验发现，语音助手的正式与非正式对话风格对中年和老年用户的技术接受度、拟人化隐喻及感知存在差异化影响，为面向成年后期人群的个性化语音助手设计提供了依据。
2023-09-20 cs.HC
Voice Interaction With Conversational AI Could Facilitate Thoughtful Reflection and Substantive Revision in Writing
Calvin University（卡尔文大学）；Microsoft Research（微软研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出将大语言模型生成的静态反馈转化为对话起点，并通过语音交互促进写作者进行更深层次的反思与实质性修改，同时设计形成性研究比较文本与语音输入对反思和修改的影响。
2025-04-11 cs.AI cs.CY cs.HC
How do you Converse with an Analytical Chatbot? Revisiting Gricean Maxims for Designing Analytical Conversational Behavior
聊天机器人作为各种任务的对话界面已经引起了人们的兴趣。虽然存在聊天机器人界面的一般设计指南，但很少有工作探索支持与数据对话的分析聊天机器人。我们探讨格赖斯格言，以帮助通知有效的会话互动的基本设计。我们还从数据探索的自然语言接口中汲取灵感，以支持歧义和意图处理。我们对30名参与者进行了《绿野仙踪》研究，以评估用户对文本和语音聊天机器人设计变体的期望。结果确定了意图解释的偏好，并揭示了用户期望的变化的基础上，接口的启示。随后，我们对实现这些首选设计变体的三种分析聊天机器人系统（文本+图表，语音+图表，仅语音）进行了探索性分析。来自第二个30名参与者研究的经验证据为数据驱动对话提供了具体的启示，例如解释意图，数据导向，并通过适当的系统响应建立信任。
2022-03-16 cs.HC
Designing for Adolescent Voice in Health Decisions: Embodied Conversational Agents for HPV Vaccination
Northeastern University（东北大学）；Tufts Medical Center（塔夫茨医学中心）
本文提出了一种针对青少年和父母的HPV疫苗接种决策干预措施，通过具身对话代理提升青少年的参与度和自主性。
2026-03-05 cs.HC
How does a spontaneously speaking conversational agent affect user behavior?
本研究通过大规模对话实验比较自发语音与朗读语音合成的对话智能体，发现自发语音能缩短用户响应时间、增加反馈声道并提升类人对话感。
2022-05-03 cs.HC
Collaboration with Conversational AI Assistants for UX Evaluation: Questions and How to Ask them (Voice vs. Text)
Rochester Institute of Technology（罗切斯特理工学院）；University of Waterloo（滑铁卢大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
人工智能在帮助用户体验评估人员分析可用性测试方面很有前途，但其判断通常以非交互式可视化的形式呈现。评估人员可能对测试记录有疑问，但无法询问。交互式会话助理提供可以提高分析效率和评估者自主性的Q&A动态。为了了解与分析相关的所有问题，我们对20名通过文本或语音与模拟AI助手进行交互的参与者进行了一项绿野仙踪设计探索研究。我们发现，参与者询问了五类信息：用户操作、用户心理模型、人工智能助手的帮助、产品和任务信息以及用户人口统计数据。那些使用文本助手的人问了更多的问题，但问题长度相似。文本助理被认为效率更高，但两者在满意度和信任度方面的评分相同。我们还为未来的对话式AI助手提供设计考虑，以进行UX评估。
2023-03-07 cs.AI cs.HC
ReVoicer: Conversational Voice Annotation for Human-Centered, LLM-Assisted Peer Review
University of Central Florida（中佛罗里达大学）
该研究提出ReVoicer原型系统，支持评审人员阅读论文时对话式语音标注，借助大语言模型润色、分类并锚定评论，最终基于评审人员自身评论生成符合风格指南的评审意见，计划与ISMAR社区开展评估。
2026-08-06 cs.HC
Voice CMS: updating the knowledge base of a digital assistant through conversation
Orange Research（奥兰治研究）
本研究提出一种基于多智能体LLM架构和语音用户界面（VUI）的解决方案来更新数字助理知识库。对比实验表明，尽管VUI整体可用性低于图形界面，但在低复杂度任务中更受用户偏好，且输入内容质量相当，混合界面有望解决认知负荷等挑战。
2025-05-28 cs.AI cs.HC cs.MA
Eliciting and Analysing Users' Envisioned Dialogues with Perfect Voice Assistants
我们提出了一个对话启发研究，以评估用户如何设想与一个完美的语音助手（VA）的对话。在一项在线调查中，N=205名参与者被提示了日常场景，并在他们认为完美的对话中写下了用户和VA的台词。我们用文本分析和定性分析的方法分析了对话，包括单词和回合的数量，对话的社会方面，隐含的VA能力，以及用户个性的影响。大多数人设想与VA进行交互式对话，而不是纯粹的功能性对话;它是智能的，主动的，并且了解用户。对于助理的角色以及它表达幽默和观点的态度存在分歧。一项探索性分析表明，这些方面与个性的关系，但总体相关性较低。我们讨论了未来VA的研究和设计的影响，强调的愿景，使对话式用户界面，而不是单一的命令“问答”。
2021-04-06 cs.HC
Convo: What does conversational programming need? An exploration of machine learning interface design
MIT（麻省理工学院）；Harvard Graduate School of Design（哈佛大学设计研究生院）；Harvard University（哈佛大学）
自然语言理解和语音识别的巨大进步为与计算机的对话交互铺平了道路。虽然会话代理经常被用于简短的面向目标的对话，我们知道很少的代理开发计算机程序。为了探索自然语言在编程中的实用性，我们进行了一项研究（$n$ =45），将不同的输入方法与我们开发的对话式编程系统进行比较。参与者使用基于语音、基于文本和基于语音或文本的系统完成新手和高级任务。我们发现用户欣赏每个系统的各个方面（例如，语音输入效率、文本输入精度），并且新手用户比高级用户更看好使用语音输入进行编程。我们的结果表明，未来的对话式编程工具应该根据用户的编程体验进行定制，并允许用户选择他们喜欢的输入模式。为了减少认知负荷，未来的界面可以包含可视化，并拥有自定义的自然语言理解和语音识别模型用于编程。
2020-03-03 cs.AI cs.HC cs.LG
A Review on Dyadic Conversation Visualizations - Purposes, Data, Lens of Analysis
许多专业服务都是通过文本和语音系统提供的，从互联网上的语音通话到短信和电子邮件。个人和组织越来越需要更好地理解这些在线对话并找到可操作的见解。允许用户探索见解的一种方法是构建直观且丰富的可视化，以说明对话的内容。在本文中，我们提出了一个系统的调查可视化的对话和研究论文涉及交互式可视化和人类参与者的各种方法。调查结果显示，人们试图将大多数（如果不是全部）数字化对话类型可视化，从语音到消息和电子邮件。通过这次调查，我们做出了两个贡献。首先，我们总结了目前的实践领域的可视化二元对话。第二，对未来的对话可视化研究提出了建议。
2019-05-02 cs.HC
Towards Investigating Biases in Spoken Conversational Search
本文针对语音对话搜索中信息线性呈现可能引发偏见的问题，回顾屏幕搜索中的偏见研究方法，提出在口语对话搜索环境下探究偏见与用户态度变化的实验框架与研究问题。
2024-09-02 cs.HC cs.IR
Personalizing Emotion-aware Conversational Agents? Exploring User Traits-driven Conversational Strategies for Enhanced Interaction
本研究通过实证探究用户性别、人格和文化背景如何影响其与多情绪多声音情感感知对话代理的交互策略，发现个性化定制能提升用户满意度与交互质量。
2025-11-10 cs.HC
Evaluating Trust in the Context of Conversational Information Systems for new users of the Internet
大多数在线信息源都是基于文本的，并且使用英语等西方语言。然而，许多新的和第一次使用互联网的用户都是在英语水平较低的情况下，无法在线访问重要信息。一些研究人员专注于为这一人群建立基于语音的会话信息系统，并强调了建立对信息源的信任的重要性。在这项工作中，我们在Google Assistant平台上开发了四个版本的基于语音的聊天机器人，其中我们改变了机器人的性别，友好性和个性化。我们发现，用户对女性版本的机器人进行了更多的个性化排名;然而，当单独对机器人进行评级时，评级取决于机器人理解用户口头查询并准确响应的能力。
2021-11-26 cs.HC
FitChat: Conversational Artificial Intelligence Interventions for Encouraging Physical Activity in Older Adults
Robert Gordon University（罗伯特·戈登大学）；University of Aberdeen（阿伯丁大学）
已经以多种形式尝试了提供鼓励身体活动的数字行为改变干预措施。大多数情况下，干预措施是以文本通知的形式提供的，但这并不能促进互动。会话AI的进步改善了自然语言的理解和生成，使AI聊天机器人能够为用户提供引人入胜的体验。出于这个原因，聊天机器人最近在医疗保健中被发现通过自由文本或选择提供数字干预。在这项工作中，我们探索使用基于语音的人工智能聊天机器人作为一种新的干预模式，特别针对老年人，以鼓励身体活动。我们与老年人共同创建了“FitChat”，这是一个人工智能聊天机器人，我们使用Think Aloud Sessions评估了第一个原型。我们的主题评估表明，老年人更喜欢基于语音的聊天，而不是文本通知或免费文本输入，语音是鼓励动机的强大模式。
2020-04-29 cs.AI cs.CY cs.HC
Toward Metaphor-Fluid Conversation Design for Voice User Interfaces
Northeastern University（东北大学）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University College Dublin（都柏林大学）
研究针对语音用户界面现有隐喻设计不足，提出隐喻灵活设计方法，通过动态调整隐喻表示适应不同情境。经实验对比默认VUI，该方法提升了用户相关感受，但因个体差异需个性化，挑战了传统设计范式，展现新方法潜力。
2026-07-15 cs.AI cs.CL cs.CY
Voice Chatbot for Hospitality
Chatbot是一种能够通过对话界面自动回答的机器。聊天机器人被认为是人机交互中最特殊和最有前途的表达方式之一。基于语音的聊天机器人或人工智能设备转换人机双向交互，其允许用户通常使用自然语言用他们的语音来导航交互式语音响应系统。在本文中，我们专注于基于语音的聊天机器人，从酒店技术提供商和客人的角度调解酒店和客人之间的互动。我们开发了一个能够接收语音输入的酒店Web应用程序。该应用程序使用语音识别和深度合成API开发，用于语音到文本和文本到语音转换，使用封闭域问答NLP解决方案查询答案。
2022-08-13 cs.HC
Listening to the Voices: Describing Ethical Caveats of Conversational User Interfaces According to Experts and Frequent Users
该研究针对对话式用户界面（CUIs）潜在伦理风险研究不足的问题，通过访谈27名研究者、从业者及高频用户，经主题分析构建5个伦理挑战主题并提出CUI期望周期，为CUI伦理化、以人为本开发提供参考。
2024-01-26 cs.HC
Thousand Voices of Trauma: A Large-Scale Synthetic Dataset for Modeling Prolonged Exposure Therapy Conversations
College of Information Sciences and Technology, Penn State University（宾夕法尼亚州立大学信息科学与技术学院）；Department of Psychiatry and Behavioral Sciences, Emory University（埃默里大学精神病学与行为科学系）；School of Interactive Computing, Georgia Tech（佐治亚理工学院交互计算学院）；School of Psychology, Georgia Tech（佐治亚理工学院心理学学院）
针对创伤治疗对话数据匮乏的问题，研究团队构建了含3000段PTSD延长暴露疗法对话的合成基准数据集，覆盖多样人口特征与创伤类型，经临床专家验证保真度，还配套情绪轨迹评估基准，为心理健康AI与临床培训提供隐私安全的数据源。
2025-05-16 cs.AI cs.CL cs.CY
The AI's Poker Face: Contrasting Persuasion and Sycophancy in Voice-Based Multi-Turn Conversations
University of Munich（慕尼黑大学）；University of Oxford（牛津大学）；GESIS - Leibniz-Institute for the Social Sciences（GESIS-莱布尼茨社会科学研究所）
本研究通过针对616名参与者的随机对照实验，对比语音多轮对话中LLM的说服力与谄媚行为，发现指令性条件下意见向指定立场不对称转变，谄媚不影响意见变化仅作用于主观体验，凸显论证与谄媚迎合的不同作用。
2026-10-14 cs.CL cs.HC
Why Are Conversational Assistants Still Black Boxes? The Case For Transparency
本文针对商业对话式助手缺乏有效隐私与透明度的问题，通过改造开源语音助手Mycroft实现数据访问审计追踪，证明该问题可通过现有技术解决，本质是商业决策而非技术局限。
2023-06-08 cs.HC
Dehumanizing Voice Technology: Phonetic & Experiential Consequences of Restricted Human-Machine Interaction
University of St. Gallen（圣加仑大学）；George Washington University（乔治华盛顿大学）
自然语言和语音界面的使用逐渐改变了消费者搜索、购物和表达偏好的方式。目前的工作探讨了如何在与会话界面（命令与请求为基础的表达方式）的交互句法结构的变化产生负面影响的消费者的主观任务的享受，并系统地改变客观的人声特征。我们发现，请求（与命令）导致语音收敛和语音延迟较低的增加，并最终为消费者提供更自然的任务体验。据我们所知，这是第一个工作文件，改变消费者如何与智能对象交互的输入方式系统地影响消费者的物联网体验。我们提供的证据表明，改变所需的输入，以启动与智能对象的对话引起系统的变化，无论是在消费者的主观体验和客观的语音变化的人的声音。当前的研究还提出了一个方法论的concerns，突出的特征提取在人类语音作为一种新的数据格式连接消费者的语音特征在语音形成和他们的主观任务经验的未开发的潜力。
2021-11-02 cs.AI cs.HC
Document-editing Assistants and Model-based Reinforcement Learning as a Path to Conversational AI
University of Guelph（圭尔夫大学）；Vector Institute for Artificial Intelligence（向量人工智能研究院）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究院）
遵循命令或回答简单问题的智能助手，如Siri和谷歌搜索，是人工智能最具经济意义的应用之一。未来的对话式人工智能助手通过对领域、用户或用户目的的更深入理解，有望提供更强大的功能和更好的用户体验。但是，什么领域和什么方法最适合研究和实现这一承诺？在这篇文章中，我们主张的领域的语音文档编辑和基于模型的强化学习的方法。语音文档编辑的主要优点是，域的范围很窄，并且它为对话提供了一些关于（文档）的内容，这些内容是分隔的，并且智能助理可以完全访问。一般来说，强化学习的优点是，它的方法被设计成在没有明确指令的情况下从交互中学习，并且它使助手的目的形式化。需要基于模型的强化学习来真正理解话语领域，从而与用户有效地合作以实现他们的目标。语音文档编辑和基于模型的强化学习共同构成了实现会话AI的一个有前途的研究方向。
2020-08-27 cs.AI cs.HC cs.LG
VoCoG: An Intelligent, Non-Intrusive Assistant for Voice-based Collaborative Group-Viewing
近年来，媒体技术出现了重大创新。虽然这些发展改善了个人用户的体验，但多用户界面的设计仍然是一个挑战。在这种情况下，一个相对未开发的领域是使多个用户能够享受共享观看（例如，决定一起观看的电影）。特别是，挑战在于设计一个智能系统，使观众能够无缝地一起探索他们喜欢的节目或电影。这是一个复杂的设计问题，因为它需要系统（i）评估个人用户（电影或流派）的亲和力，（ii）考虑用户-用户交互组合个人偏好，以及（iii）同时是非侵入性的。所提出的系统VoCoG是用于协作观看的端到端智能系统。VoCoG融合了在线推荐算法、分析自然会话的有效方法和基于图的方法来融合多个用户的偏好。它将用户对话作为输入，使其非侵入性。系统的可用性调查表明，该系统提供了一个良好的用户体验以及相关的建议。对使用数据的进一步分析揭示了关于交互会话期间的会话性质、用户之间的最终共识以及不同用户组的评级的见解。
2018-11-19 cs.HC
Richard: Voice-First Mobile Interaction for Persistent Tasks
本文提出Richard原型，通过分离语音会话、任务执行与结果交付并关联持久请求记录，支持用户间歇参与，经Android验证实现任务连续性、用户控制与服务集成。
2026-10-01 cs.AI cs.HC
FormBharo: Designing and Evaluating a Voice Agent for Conversational Form Filling in Rural India
该研究针对印度农村无法读写的人群开发了语音助手FormBharo，结合LLMs与规则控制完成表单填写，发布了相关基准数据集，通过端到端评估确定最优模型配置以平衡准确性、成本与延迟。
2026-08-07 cs.AI cs.CL cs.HC
Everything Counts: The Managed Omnirelevance of Speech in Human-Voice Agent Interaction
University of Copenhagen（哥本哈根大学）；Linköping University（林雪平大学）；HES-SO Valais-Wallis（瓦莱-瓦利斯应用科学与艺术大学）
研究探讨了人类与语音代理互动中语音的全相关性问题，分析了人类如何管理代理的轮流发言行为，以及技术进步对这一现象的影响。
2026-04-18 cs.HC
Conversational AI Multi-Agent Interoperability, Universal Open APIs for Agentic Natural Language Multimodal Communications
XCALLY；Open Voice Interoperability Initiative（开放语音互操作性倡议）；Linux Foundation AI & Data（Linux基金会AI与数据项目）；Conversational Technologies（对话技术公司）；ejTalk
本文分析了对话式 AI 多智能体互操作性框架，提出了由 OVON 构建的新型架构，通过基于自然语言的通用开放 API 实现多模态智能体间的互操作交互，并引入 Discovery 规范框架以增强跨平台 AI 交互的能力与可扩展性。
2024-07-28 cs.AI cs.HC
Situated Understanding of Errors in Older Adults' Interactions with Voice Assistants: A Month-Long, In-Home Study
本研究通过入户音频记录分析老年人使用语音助手的错误反应，并测试ChatGPT的改进效果，提出结合LLMs上下文能力以优化错误预防与管理的设计建议。
2024-09-23 cs.HC
A new conversational interaction concept for document creation and editing on mobile devices for visually impaired users
本文介绍了正在进行的开发的会话交互的概念，使视障用户可以轻松地创建和编辑文本文件的移动设备上使用主要是语音输入。为了验证这一概念，基于自然语言理解（NLU）平台Google Dialogflow，开发了一个原型应用程序，并在iOS和Android系统上进行了测试。应用程序和交互概念由有视觉障碍和没有视觉障碍的用户反复测试。根据他们的反馈，这一概念在两个移动平台上不断完善、调整和改进。在一个迭代的以用户为中心的设计方法，以下研究问题进行了调查：视力受损的用户可以主要依靠语音命令，以有效地创建和编辑移动设备上的文档？用户测试发现，基于会话语音命令的交互概念对于视障用户来说是简单和直观的。然而，也有人发现，仅仅依靠语音命令会产生自己的障碍，手势和语音交互的组合会更强大。未来的研究和更广泛的可用性测试应在视障用户中进行，以优化互动的概念。
2023-01-06 cs.HC
Towards Personalized Dialog Policies for Conversational Skill Discovery
Amazon Alexa（亚马逊Alexa）
许多企业和消费者正在扩展基于语音的服务的功能，例如Amazon Alexa，Google Home，Microsoft Cortana和Apple Siri，以创建自定义语音体验（也称为技能）。随着这些体验的增加，一个关键问题是发现可用于解决用户请求的技能。在本文中，我们专注于会话技能发现，并提出了一个会话代理，从事与用户的对话，以帮助他们找到满足他们需求的技能。为此，我们从基于规则的代理开始，并通过使用强化学习对其进行改进。通过这种方式，我们使代理能够适应不同的用户属性和会话风格，因为它与用户交互。我们评估我们的方法在一个真正的生产环境中部署的代理与真实的用户进行交互，并显示对话代理的有效性，帮助用户找到他们的要求服务的技能。
2019-11-15 cs.AI cs.CL cs.HC
Examining Potential Usability and Health Beliefs Among Young Adults Using a Conversational Agent for HPV Vaccine Counseling
人乳头瘤病毒（HPV）疫苗是预防HPV相关癌症的最有效方法。整合提供者疫苗咨询对提高HPV疫苗完成率至关重要。通过对话代理自动化咨询体验可以帮助提高HPV疫苗覆盖率，并减轻提供者的疫苗咨询负担。在以前的一项研究中，我们测试了一种模拟对话代理，该代理使用向导OZ协议为父母提供HPV疫苗咨询。在目前的研究中，我们评估了年轻大学生（n=24）中的对话剂，这一人群在建议接种疫苗时可能在青春期错过了HPV疫苗。我们还对系统和语音可用性以及有关HPV疫苗的健康信念进行了调查。参与者认为该代理具有较高的可用性，比其他语音交互界面稍好或相当，并且有证据表明该代理影响了他们对HPV疫苗的危害，不确定性和风险否认的信念。总的来说，这项研究表明，对话代理是一个有影响力的工具，为健康促进工作的潜力。
2020-01-07 cs.HC
MuVAP: Multimodal Multiparty Voice Activity Projection for Turn-taking Prediction in the Wild
Department of Speech Music and Hearing, KTH Stockholm, Sweden（瑞典皇家理工学院言语、音乐与听觉系）
提出MuVAP框架，通过将声学预测锚定到面部轨迹，实现从单声道音频和单摄像头视角进行说话人感知的轮次预测，并引入角色相对投影和AVCC数据集解决多方建模和因果跟踪问题。
2026-06-23 cs.AI cs.HC cs.SD
MIST: Multimodal Interactive Speech-based Tool-calling Conversational Assistants for Smart Homes
Columbia University（哥伦比亚大学）；Seoul National University（首尔国立大学）
本文提出MIST数据集，用于研究具备物理世界约束推理能力的多模态语音助手，发现开放和闭源多模态LLM在该任务上存在显著差距。
2026-05-07 cs.AI cs.CL cs.HC
Gazeify Then Voiceify: Physical Object Referencing Through Gaze and Voice Interaction with Displayless Smart Glasses
University of Notre Dame（圣母大学）；Meta Reality Labs（Meta现实实验室）；UC San Diego（加州大学圣地亚哥分校）；University of Toronto（多伦多大学）
无显示屏智能眼镜通过眼动和语音交互实现物理物体指认，结合先进分割与视觉-语言模型，提升交互准确性和用户满意度。
2026-01-27 cs.HC
RESPOND: Responsive Engagement Strategy for Predictive Orchestration and Dialogue
University of Houston（休斯顿大学）；Microsoft（微软）
RESPOND通过引入及时的反馈通道和主动的发言声明，使对话更流畅自然，支持根据社交期望调整对话表现。
2026-03-30 cs.HC
Exploring Interactions Between Trust, Anthropomorphism, and Relationship Development in Voice Assistants
Alexa和Google Assistant等现代对话代理代表了语音识别、自然语言处理和语音合成方面的重大进展。但随着这些代理人变得越来越现实，人们开始担心他们的社会性质可能会无意识地影响我们与他们的互动。通过对500名语音助手用户的调查，我们探讨了用户与语音助手的关系是否可以使用与社交、人际关系相同的指标来量化;以及这是否与他们对设备的信任程度以及他们将设备拟人化的程度相关。使用Knapp的人际关系楼梯模型，我们发现不仅可以以这种方式模拟人与设备的交互，而且与语音助手的关系发展与增加的信任和拟人化相关。
2021-08-04 cs.HC
LLM-Mediated Domain-Specific Voice Agents: The Case of TextileBot
本研究通过将结构化知识纳入提示，利用零样本提示化的大型语言模型（LLMs）原型化领域特定对话智能体，以纺织品循环性领域的TextileBot为案例，经30人用户研究验证了该方法的有效性，并探讨了人机交互动态对未来语音智能体设计的启示。
2025-02-03 cs.HC
Voice Agents under Acoustic Stress: From Signal Degradation to Interaction and Action
Technion -- Israel Institute of Technology（以色列理工学院）；Massachusetts Institute of Technology（麻省理工学院）；Bar-Ilan University（巴伊兰大学）；Carnegie Mellon University（卡内基梅隆大学）
本文综述了语音代理在噪声等声学压力下的任务完成能力，提出TRACE工作流用于评估其鲁棒性，并指导改进以防止错误行动。
2026-09-25 cs.HC eess.AS
Telephony Voice Agent for Banking Services
Dharmsinh Desai University（达尔姆辛赫·德赛大学）
提出基于Google Dialogflow CX的语音AI银行系统，支持余额查询、交易记录、卡激活等核心功能，并通过高并发和噪声测试验证其可扩展性和鲁棒性。
2026-06-27 cs.HC
Robotic Speech Synthesis: Perspectives on Interactions, Scenarios, and Ethics
University of Edinburgh（爱丁堡大学）
近年来，许多工作已经调查了会话机器人执行特定任务的可行性，例如医疗保健和面试。伴随着这一发展而来的是一个实际问题：我们应该如何合成机器人的声音，以满足不同情况的需求？在本文中，我们讨论了这个问题，从三个方面：1）合成非语言和面向交互的语音信号，特别是反向通道的困难; 2）的场景分类的机器人语音合成; 3）伦理问题的设计机器人语音的情感和身份。我们提出了相关文献的研究结果和我们以前的工作，试图引起人类与机器人交互研究人员的注意，以设计更好的对话机器人在未来。
2022-03-17 cs.CL cs.HC cs.RO
Yeah, Un, Oh: Continuous and Real-time Backchannel Prediction with Fine-tuning of Voice Activity Projection
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出基于微调语音活动投影（VAP）模型的连续实时反馈语预测方法，在不平衡真实数据上逐帧预测反馈语时机与类型，实验表明其优于基线方法，有助于构建更自然的对话系统。
2025-02-05 cs.CL cs.HC cs.SD
Bilingual by default: Voice Assistants and the role of code-switching in creating a bilingual user experience
University College Dublin（都柏林大学学院）
对话式用户界面（如语音助理）非常受欢迎。然而，它们的设计默认为单语，缺乏对双语对话体验的支持或敏感性。在这篇挑衅性的论文中，我们强调了双语用户在VA交互中所面临的语言生产挑战。我们认为，通过促进双语互动中出现的现象，如语码转换，我们可以为双语用户培养一个更具包容性和改善的用户体验。我们还探讨了可能实现这一目标的方法，通过支持多种语言识别以及对语音输出中的代码切换偏好敏感。
2022-06-20 cs.CL cs.HC
Evaluating Conversational Recommender Systems: A Landscape of Research
会话式推荐系统旨在以直观的方式交互式地支持在线用户的信息搜索和决策过程。随着语音控制设备、自然语言处理和人工智能的最新进展，近年来此类系统受到了越来越多的关注。从技术上讲，会话机器人通常是复杂的多组件应用程序，通常由多个机器学习模型和一个自然语言用户界面组成。因此，以整体方式评估这样一个复杂的系统可能具有挑战性，因为它需要（i）评估不同学习组件的质量，以及（ii）用户对整个系统的质量感知。因此，往往需要一种混合方法的方法，它可以结合客观（计算）和主观（感知导向）的评估技术。在本文中，我们回顾了会话推荐系统的常见评估方法，确定可能的局限性，并概述了未来更全面的评估实践的方向。
2022-10-28 cs.HC cs.IR
A Voice Interactive Multilingual Student Support System using IBM Watson
School of Computing（计算机学院）
由人工智能驱动的系统正在开发中，通过以逐步人性化的对话方式与用户进行交流，使其更加用户友好。聊天机器人，也称为对话系统、交互式对话代理或虚拟代理，是在从商业领域的客户支持到医疗保健领域的陪伴的各种应用中使用的这种系统的示例。开发能够最好地响应用户个性化需求的聊天机器人变得越来越重要，以便它们能够以真正的人类方式尽可能地帮助用户。本文研究并比较了三种流行的现有聊天机器人API产品，然后提出并开发了一种语音交互式多语言聊天机器人，可以使用IBM Watson Assistant，Tone Analyzer和Language Translator有效地响应用户的情绪，音调和语言。该聊天机器人是使用一个用例进行评估的，该用例的目标是根据使用Google Forms生成的大学生调查数据来响应用户对考试压力的需求。测量聊天机器人在分析有关考试压力的反应时的有效性的结果表明，聊天机器人对用户关于他们对考试的感觉的询问做出了适当的反应，占76.5%。聊天机器人还可以适用于其他应用领域，如学生信息中心，政府信息亭和心理健康支持系统。
2019-12-20 cs.AI cs.CL cs.HC
An Automated Testing Framework for Conversational Agents
University of Houston（休斯顿大学）
会话代理是具有会话接口的系统，该会话接口提供口语交互。这些系统正在变得流行，并且在各种情况下和对于许多用户来说是优选的。尽管他们越来越成功，自动化测试的基础设施，以支持有效和高效的开发这些系统相比，传统的软件系统仍然是有限的。会话系统的自动化测试框架可以帮助开发人员编写、执行和维护测试用例，从而提高会话系统的质量。在本文中，我们介绍了我们的工作进展自动化测试框架，以及它的实现在Python程序设计语言。我们讨论了一些研究问题，在发展这样一个自动化测试框架的会话代理。特别是，我们指出的预期行为的规范，被称为测试神谕，和话语的语义比较的问题。
2019-02-17 cs.CL cs.HC
Can AI Have a Personality? Prompt Engineering for AI Personality Simulation: A Chatbot Case Study in Gender-Affirming Voice Therapy Training
University of the District of Columbia（哥伦比亚特区大学）
本研究通过性别肯定语音治疗训练中的聊天机器人案例，验证了提示工程能使大型语言模型模拟出稳定且一致的人格特质。
2025-10-07 cs.CL cs.HC
Visual and Cognitive Demands of a Large Language Model-Powered In-vehicle Conversational Agent
Exponent, Inc.（Exponent公司）；Google, Inc.（Google公司）
本研究评估了基于大型语言模型的车载对话代理在驾驶中的视觉与认知需求，发现其与免提通话在认知负荷上相当，且视觉需求较低，支持其在驾驶环境中的安全应用。
2026-01-21 cs.AI cs.HC
Designing Style Matching Conversational Agents
University of Washington（华盛顿大学）；University of Southern California（南加州大学）；Microsoft Research（微软研究院）
机器智能的进步使会话界面成为可能，这些界面有可能从根本上改变人类与机器交互的方式。然而，即使这些代理人的能力取得了进展，在自然互动的能力方面仍然存在严重差距。一个限制是，代理人的行为往往是单调的，不适应他们的合作伙伴。我们建立了两个端到端的会话代理：一个基于语音的代理，可以进行自然主义的，多回合的对话，并与对话者的会话风格保持一致，以及第二个，表达性，体现会话代理（ECA），可以在开放式对话中识别人类行为，并自动将其响应与另一方的视觉和会话风格保持一致。具体化的会话代理利用多模态输入来产生丰富且感知上有效的声音和面部响应（例如，假唱和表情）。基于一组用户研究的实证结果，我们强调了在建立这样的系统中的几个重大挑战，并为未来的研究提供了使用风格适应的多轮对话交互的设计准则。
2019-10-16 cs.CL cs.HC cs.LG
Does your robot know? Enhancing children's information retrieval through spoken conversation with responsible robots
University of Twente（特文特大学）；NTU Institute of Science and Technology for Humanity（南洋理工大学人类科学技术研究所）
在本文中，我们确定了儿童目前的信息检索过程中的挑战，并提出对话机器人作为一个机会，以减轻这一过程中负责任的方式。儿童目前在这一过程中使用的工具，如计算机上的搜索引擎或语音代理，并不总是能满足他们的具体需求。我们提出的对话机器人保持上下文，提出澄清问题，并给出建议，以更好地满足儿童的需求。由于孩子们往往过于信任机器人，我们建议让机器人测量，监控和适应孩子对机器人的信任。通过这种方式，我们希望在孩子们的信息检索过程中引导他们采取批判的态度。
2021-06-15 cs.HC cs.IR cs.RO
Will AI shape the way we speak? The emerging sociolinguistic influence of synthetic voices
Department of Speech, Music and Hearing, KTH Royal Institute of Technology（语音、音乐与听觉系，皇家理工学院）；Department of English, Aarhus University（英语系，奥胡斯大学）
本文指出对话式合成语音可能通过声学—韵律协同和语言顺应影响人们的言语与社会身份，呼吁开展跨学科研究。
2025-04-14 cs.AI cs.CL cs.CY
MinMo: A Multimodal Large Language Model for Seamless Voice Interaction
Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室）；FunAudioLLM Team（FunAudioLLM团队）
本研究提出面向无缝语音交互的8B参数多模态大模型MinMo，通过多阶段对齐训练与新型语音解码器，在语音理解生成基准上达SOTA，支持全双工对话与细粒度语音控制，延迟较低。
2025-01-10 cs.AI cs.CL cs.HC
