How do Older Adults Set Up Voice Assistants? Lessons Learned from a Deployment Experience for Older Adults to Set Up Standalone Voice Assistants
本研究通过部署实验，探讨老年人设置独立语音助手的挑战，发现触摸屏和说明文档的价值及形态因素影响，为支持老年人独立使用提供方向。
2024-03-14 cs.HC
CodeVaani: A Multilingual, Voice-Based Code Learning Assistant
Indian Institute of Technology Bombay（印度理工学院班加罗尔分校）；IBM Research（IBM研究院）
CodeVaani通过多语言语音交互帮助非英语母语学生更高效地学习编程，实现75%的响应准确率和高用户满意度。
2025-10-08 cs.AI cs.HC
Referring to Screen Texts with Voice Assistants
Apple Inc.（苹果公司）
为提升语音助手的上下文理解能力，研究提出支持用户指代屏幕文本的新体验，构建对应数据集并设计基于UI提取文本的模块化轻量通用模型，兼具灵活性、可解释性与内存效率。
2023-06-10 cs.AI cs.HC
Voice App Developer Experiences with Alexa and Google Assistant: Juggling Risks, Liability, and Security
本研究通过定性访谈揭示第三方语音应用开发者在Alexa和Google Assistant生态中面临的责任风险、隐私安全挑战及认证流程问题，并提出改进建议。
2023-11-15 cs.HC
Exploring Interactions Between Trust, Anthropomorphism, and Relationship Development in Voice Assistants
Alexa和Google Assistant等现代对话代理代表了语音识别、自然语言处理和语音合成方面的重大进展。但随着这些代理人变得越来越现实，人们开始担心他们的社会性质可能会无意识地影响我们与他们的互动。通过对500名语音助手用户的调查，我们探讨了用户与语音助手的关系是否可以使用与社交、人际关系相同的指标来量化;以及这是否与他们对设备的信任程度以及他们将设备拟人化的程度相关。使用Knapp的人际关系楼梯模型，我们发现不仅可以以这种方式模拟人与设备的交互，而且与语音助手的关系发展与增加的信任和拟人化相关。
2021-08-04 cs.HC
Is the Lecture Engaging for Learning? Lecture Voice Sentiment Analysis for Knowledge Graph-Supported Intelligent Lecturing Assistant (ILA) System
College of Computing；Lynch School of Education；Human Development Boston College Boston, MA 02467, USA
本研究提出依托知识图谱的智能授课助手ILA系统，通过语音情感分析案例验证模型性能，旨在借助AI技术辅助教师提升教学吸引力与效果。
2024-10-29 cs.AI cs.HC
Healthcare Voice AI Assistants: Factors Influencing Trust and Intention to Use
本研究基于300名用户的调查构建结构模型，发现功能因素、安全隐私风险和个人技术立场显著影响用户对医疗保健语音AI助手的信任与采用，并揭示了其与通用语音助手的信任差异。
2024-01-11 cs.HC
Can you meaningfully consent in eight seconds? Identifying Ethical Issues with Verbal Consent for Voice Assistants
确定语音助理应如何代理同意与第三方软件共享数据已被证明是一个复杂的问题。设备通常需要用户切换到配套的智能手机应用程序，以便导航他们的免提语音助手的权限菜单。与智能手机应用程序商店更一致的是，Alexa现在提供“语音转发同意”，允许用户使用语音在对话中授予技能访问个人数据。虽然比打开配套应用程序更有用和方便，但“即时”征求同意可能会破坏知情同意过程的几个核心概念。语音接口的无形特性进一步模糊了由底层平台的第三方开发人员控制的交互部分之间的边界。这篇挑衅性的论文强调了当前口头同意实施的关键问题，概述了潜在解决方案的方向，并向研究界提出了五个开放性问题。通过这样做，我们希望帮助塑造语音助理和类似会话用户界面的可用和有效的口头同意的发展。
2022-06-22 cs.HC
Does Siri Have a Soul? Exploring Voice Assistants Through Shinto Design Fictions
很难批判性地反思已经成为日常仪式和惯例的一部分的技术。为了解决这一问题，HCI以前曾使用推测和虚构的方法来将熟悉的和想象的替代品去语境化。在这项工作中，我们转向日本神道叙事作为一种陌生化语音助理的方式，灵感来自助理如何“居住”类似于神的对象之间的相似性。这种方法描述了一个替代的未来，其中助理存在生活在物体内部，突出了一些现象学的怪癖，否则很容易丢失。脱离日常生活的现实，这种方法使我们能够重新评估目前虚拟助手中常见的一些常见交互和设计模式。
2020-03-06 cs.HC
IoT based Personal Voice Assistant
本文针对减少键盘鼠标等输入设备依赖的问题，提出并实现了一个基于 Python 的 Linux 语音助手，使用户能够通过语音运行任意命令，从而降低硬件空间和成本。
2023-05-28 cs.HC
How Should Voice Assistants Deal With Users' Emotions?
在HCI中，越来越多的研究是关于检测用户的情绪。一旦可以可靠地检测用户的情绪，下一个问题就是情绪感知界面应该如何对检测到的情绪做出反应。在第一步中，我们试图找出人类如何处理化身的负面情绪。这种方法背后的希望是识别人类的策略，然后我们可以在情感感知语音助手中模仿。我们提出了一个用户研究中，参与者面临着愤怒，悲伤，或害怕的化身。他们的任务是通过与虚拟形象交谈来让它开心。我们记录了语音信号并进行了分析。结果显示，用户的反应主要是中性情绪。然而，我们也发现了性别差异，这引发了一系列问题。
2022-04-05 cs.HC
Understanding the Use of Voice Assistants by Older Adults
老年人正在各种不同的环境中使用基于语音的技术，并且具有独特的优势，可以从智能扬声器的免提语音界面中受益。为了更好地了解老年人参与和学习如何使用智能音箱的方式，我们对四位拥有智能音箱的老年人进行了定性的半结构化访谈。新的研究结果表明，老年人受益于智能扬声器作为辅助和社交技术。研究结果还表明，当老年人在正式的社区环境中学习新技术时，就会成功采用。
2021-11-01 cs.HC
Consent on the Fly: Developing Ethical Verbal Consent for Voice Assistants
确定语音助理应如何代理同意与第三方软件共享数据已被证明是一个复杂的问题。设备通常需要用户切换到配套的智能手机应用程序，以便导航他们的免提语音助手的权限菜单。与智能手机应用程序商店更一致的是，Alexa现在提供“语音转发同意”，允许用户使用语音在对话中授予技能访问个人数据。虽然比打开配套应用程序更有用和方便，但“即时”征求同意可能会破坏知情同意过程的几个核心概念。语音接口的无形特性进一步模糊了由底层平台的第三方开发人员控制的交互部分之间的边界。我们概述了一个研究议程，旨在实现可用和有效的基于语音的同意，以解决口头代理同意的问题，包括我们自己在GDPR上的工作和Ubicomp中的同意工作。
2022-04-21 cs.CY cs.HC
Echoes of Privacy: Uncovering the Profiling Practices of Voice Assistants
该研究针对语音助手用户画像的隐私风险问题，通过20个月、1171组共24530条查询的实验，分析了三款主流语音助手的画像构建机制、特点及修正工具效果，揭示了其画像存在的无交互触发、不准确等问题。
2024-09-13 cs.HC cs.NI
Deaf and Hard of Hearing Access to Intelligent Personal Assistants: Comparison of Voice-Based Options with an LLM-Powered Touch Interface
Gallaudet University（加拉维特大学）；University of California, Berkeley（加州大学伯克利分校）；Pennsylvania State University（宾夕法尼亚州立大学）
本研究比较了语音识别与LLM驱动触控界面在聋人和听力障碍者使用智能个人助手中的可用性，发现两者无显著差异，但需改进对聋人语音的识别能力。
2026-01-22 cs.AI cs.HC
Voice Over Body? Older Adults' Reactions to Robot and Voice Assistant Facilitators of Group Conversation
RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所革新智能统合研究中心）
智能代理有很大的潜力，促进老年人之间的群体对话。然而，关于如何设计用于此目的和用户组的代理知之甚少，特别是在代理实施例方面。为此，我们进行了一个混合方法的研究，老年人的声音和身体的反应，在一组会话促进剂。比较了具有相同底层人工智能（AI）和语音系统的两种代理形式：人形机器人和语音助手。一项初步研究（共n=24）和一项实验研究比较声音和身体形态（n=36）进行了老年人和有经验的人类主持人。研究结果显示，人工的代理，无论其形式，是有益的社会不舒服的任务，会话促进。即便如此，健谈的性格类型对“身体”机器人版本的体验较差。设计的影响和补充反应，特别是代理的声音，也进行了讨论。
2022-12-08 cs.HC cs.RO
"Who wants to be nagged by AI?": Investigating the Effects of Agreeableness on Older Adults' Perception of LLM-Based Voice Assistants' Explanations
Georgia Institute of Technology（佐治亚理工学院）；Northeastern University（东北大学）
研究探讨了agreeableness对老年人感知基于LLM的语音助手解释的影响，发现高 agreeableness 助手在日常场景中更受信任，但在紧急情况下清晰度更重要，且可接受的老年人更严厉惩罚低 agreeableness 助手。
2026-03-09 cs.HC
CarMem: Enhancing Long-Term Memory in LLM Voice Assistants through Category-Bounding
BMW Group Research and Technology（宝马集团研究与技术部）；University of Augsburg（奥格斯堡大学）；Technical University of Munich（慕尼黑工业大学）
本文提出基于预定义类别的语音助手长期记忆系统CarMem，利用LLM透明地提取、维护和检索用户偏好，并在车载多轮对话数据集上验证其工业适用性。
2025-01-16 cs.AI cs.CL cs.HC
Jaco: An Offline Running Privacy-aware Voice Assistant
Secret University（秘密大学）；University of Augsburg（奥格斯堡大学）；ISSE（ISSE机构）；Unknown Institute（未知机构）
针对在线语音助手隐私保护不足的问题，提出可完全离线运行、支持多语言与技能扩展的Jaco语音助手架构，兼顾隐私保护与开发者能力，且性能具竞争力。
2022-09-16 cs.CL cs.CR cs.HC
Examining the Potential for Conversational Exploratory Search using a Smart Speaker Digital Assistant
在线数字助理，如亚马逊Alexa，谷歌助理，苹果Siri非常受欢迎，并为其用户提供一系列服务，一个关键功能是他们能够从可用的来源满足用户的信息需求。用户可能经常将这些应用视为提供类似于Google类型的搜索引擎的搜索服务。然而，虽然很明显，他们通常能够有效地回答事实问题，但他们对不太具体或探索性的搜索任务的支持程度却不那么明显。我们描述了一项调查，检查标准亚马逊Alexa的探索性搜索任务的行为。我们的研究结果表明，它不能有效地解决这些类型的信息需求。我们提出了旨在克服这些缺点的Alexa扩展。我们的自定义Alexa应用程序扩展了Alexa的探索性搜索会话功能。一项用户研究表明，我们的扩展Alexa应用程序既能使用户更成功地完成探索性搜索任务，也能被我们的测试用户所接受。
2023-03-18 cs.HC cs.IR
Eliciting and Analysing Users' Envisioned Dialogues with Perfect Voice Assistants
我们提出了一个对话启发研究，以评估用户如何设想与一个完美的语音助手（VA）的对话。在一项在线调查中，N=205名参与者被提示了日常场景，并在他们认为完美的对话中写下了用户和VA的台词。我们用文本分析和定性分析的方法分析了对话，包括单词和回合的数量，对话的社会方面，隐含的VA能力，以及用户个性的影响。大多数人设想与VA进行交互式对话，而不是纯粹的功能性对话;它是智能的，主动的，并且了解用户。对于助理的角色以及它表达幽默和观点的态度存在分歧。一项探索性分析表明，这些方面与个性的关系，但总体相关性较低。我们讨论了未来VA的研究和设计的影响，强调的愿景，使对话式用户界面，而不是单一的命令“问答”。
2021-04-06 cs.HC
WearID: Wearable-Assisted Low-Effort Authentication to Voice Assistants using Cross-Domain Speech Similarity
由于语音输入的开放性质，语音助理（VA）系统（例如，Google Home和Amazon Alexa）处于敏感信息泄露的高风险之下（例如，个人时间表和购物账户）。尽管现有的VA系统可以采用语音特征来识别用户，但是它们仍然容易受到各种声学攻击（例如，模仿、重放和隐藏命令攻击）。在这项工作中，我们专注于新兴的VA系统的安全问题，旨在保护用户的高度敏感信息从这些攻击。为此，我们提出了一个系统，WearID，它使用现成的可穿戴设备（例如，智能手表或手镯）作为安全令牌来验证用户对VA系统的语音命令。特别地，WearID利用来自大多数可穿戴设备的容易获得的运动传感器来描述振动域中的命令声音并检查跨两个域（即，可穿戴设备的运动传感器与VA设备的麦克风），以确保声音来自合法用户。
2020-04-09 cs.HC
A Systematic Review of Ethical Concerns with Voice Assistants
本文系统综述117篇论文，分析语音助手伦理问题，发现隐私研究多于可访问性，且参与者多来自西方国家，指出研究不足。
2023-06-23 cs.HC
Voice CMS: updating the knowledge base of a digital assistant through conversation
Orange Research（奥兰治研究）
本研究提出一种基于多智能体LLM架构和语音用户界面（VUI）的解决方案来更新数字助理知识库。对比实验表明，尽管VUI整体可用性低于图形界面，但在低复杂度任务中更受用户偏好，且输入内容质量相当，混合界面有望解决认知负荷等挑战。
2025-05-28 cs.AI cs.HC cs.MA
Legal Obligation and Ethical Best Practice: Towards Meaningful Verbal Consent for Voice Assistants
为了改善用户体验，Alexa现在允许用户通过语音同意数据共享，而不是将他们引导到配套的智能手机应用程序。虽然语音助理（VA）的口头同意机制可以提高可用性，但它们也可能破坏知情同意的核心原则。我们与来自学术界、工业界和公共部门的专家进行了一项德尔菲研究，探讨自愿性协议中口头同意的要求。候选要求来自文献，法规和研究伦理指南，参与者根据其与同意过程的相关性，平台的可操作性和最终用户的可用性进行评级，并随着研究的进展讨论他们的推理。我们强调了专家之间达成一致的关键领域，为监管机构，技能开发人员和VA平台制定有意义的口头同意机制提出了建议。关键主题包括根据用户选择退出的能力来处理权限，最大限度地减少同意决定，并确保平台遵循既定的同意原则。
2023-01-19 cs.HC
An Analysis of Dialogue Repair in Virtual Voice Assistants
Universitat Pompeu Fabra（庞培法布拉大学）
本文对比 Google Assistant、Siri 在英语和西班牙语需修复对话中的表现，揭示人—助手与人—人修复策略及不同助手、语言间的差异。
2023-07-13 cs.CL cs.HC
User Interaction Patterns and Breakdowns in Conversing with LLM-Powered Voice Assistants
本研究通过20名参与者使用ChatGPT驱动的语音助手完成三类任务的探索性研究，发现LLM驱动的语音助手能引发更丰富且因任务而异的交互模式，吸收多数意图识别失败，为定制语音辅助LLM提供设计指南。
2024-11-28 cs.HC
Toward a Unified Metadata Schema for Ecological Momentary Assessment with Voice-First Virtual Assistants
针对语音输入歧义和EMA部署难题，本文提出统一元数据模式，以可运行时渲染的规则支持跨语音设备的语音EMA调查，加速原型迭代。
2024-07-06 cs.HC
Voice Assistants for Health Self-Management: Designing for and with Older Adults
本文通过五阶段设计过程与老年人共同开发了一款由大语言模型驱动的语音助手，用于解读诊后摘要和生成用药提醒，以应对健康意识和医疗依从性挑战，并总结了个人健康助手在个性化、情境适应和尊重用户自主性方面的关键设计特征。
2025-03-07 cs.HC
Bilingual by default: Voice Assistants and the role of code-switching in creating a bilingual user experience
University College Dublin（都柏林大学学院）
对话式用户界面（如语音助理）非常受欢迎。然而，它们的设计默认为单语，缺乏对双语对话体验的支持或敏感性。在这篇挑衅性的论文中，我们强调了双语用户在VA交互中所面临的语言生产挑战。我们认为，通过促进双语互动中出现的现象，如语码转换，我们可以为双语用户培养一个更具包容性和改善的用户体验。我们还探讨了可能实现这一目标的方法，通过支持多种语言识别以及对语音输出中的代码切换偏好敏感。
2022-06-20 cs.CL cs.HC
IDEAIS: Smart Voice Assistants to Improve Interaction with SDIs
一个关键的目标是，组织和公民可以很容易地访问良好治理所需的地理信息。然而，尽管政府为创建和实施空间数据结构（SDI）付出了昂贵的努力，但这一目标还远未实现。部分原因是，用于获取地理信息的地理门户网站缺乏可用性。在这份立场文件中，我们介绍了IDEAIS，一个由多个伊比利亚-美洲合作伙伴组成的研究网络，通过使用智能系统，特别是智能语音助手，有效地恢复和访问地理信息，来解决这一可用性问题。
2019-10-01 cs.CY cs.HC
The Impact of Perceived Tone, Age, and Gender on Voice Assistant Persuasiveness in the Context of Product Recommendations
本研究通过实验考察语音助手声音的感知语气、年龄与性别对产品推荐说服力及购买决策的影响，发现积极或中性语气、中年男性与年轻女性声音更具说服力。
2024-06-13 cs.HC
WhisperWand: Simultaneous Voice and Gesture Tracking Interface
University of Maryland College Park（马里兰大学帕克分校）
本文介绍了WhisperWand的设计和实现，一个全面的语音和运动跟踪接口的语音助手。与之前的作品不同，WhisperWand是一个精确的跟踪接口，可以与低采样率语音助手上的语音接口共存。以手写为具体应用，它还可以在只占用单一频率的情况下捕捉自然笔画和个性化的书写风格。核心技术包括一种称为交叉频率连续波（CFCW）声纳的精确声学测距方法，使语音助手能够使用超声波作为测距信号，同时使用语音助手的常规麦克风系统作为接收器。我们还设计了一个新的优化算法，只需要一个单一的频率的到达时间差。WhisperWand原型在使用语音助理中使用的麦克风阵列的声学信标的1D测距中实现了73 um的中值误差，在3D跟踪中实现了1.4 mm的中值误差。我们实现的空中手写界面实现了94.1%的准确率与自动手写到文本软件，类似于在纸上书写（96.6%）。与此同时，基于语音的用户认证的出错率仅从6.26%增加到8.28%。
2023-01-24 cs.HC cs.SD eess.AS
Taxonomic Classification of IoT Smart Home Voice Control
灵巧家庭中的话音控制是常见的，使得能够方便地控制灵巧家庭物联网集线器、网关和设备，以及信息寻求对话。基于云的语音助手用于促进交互，但隐私问题围绕着数据的云分析。话音控制在多大程度上可以使用纯本地计算来执行，以确保用户数据保持私密？在本文中，我们提出了一个分类的话音控制技术存在于商业灵巧家庭系统。我们首先回顾了有关该主题的文献，并总结了对物联网设备和家庭中的话音控制进行分类的相关工作。这些实体的分类，然后提出，我们分析我们的研究结果。接下来，我们将转向实施和评估语音控制灵巧家庭设置的学术努力，然后我们讨论适用于灵巧家庭和物联网隐私保护语音助手设计的开源库和设备。最后，我们考虑了可以支持无云语音助手的其他技术和方法，并结束了这项工作。
2022-10-24 cs.HC
PyGWalker: On-the-fly Assistant for Exploratory Visual Data Analysis
针对程序化分析与可视化探索割裂的问题，本文提出 Python 库 PyGWalker，通过轻量 GUI、货架构建器和松耦合架构提供即时可视化分析支持，并获得广泛社区采用。
2024-06-17 cs.HC
When It's Not Worth the Paper It's Written On: A Provocation on the Certification of Skills in the Alexa and Google Assistant Ecosystems
语音助手的覆盖范围和功能不断增加，使其成为播放音乐、访问信息和控制灵巧家庭设备等任务的通用平台。为了保持第三方技能的质量，并保护儿童和其他公众成员免受不适当或恶意技能的侵害，平台提供商制定了内容政策和认证程序，技能在公开发布之前必须经过这些程序。不幸的是，研究表明，这些措施在管理语音助手平台方面效果不佳，有记录的技能实例存在重大的安全和隐私问题。这篇挑衅性的论文概述了这些平台的底层架构如何将技能认证变成一个看似棘手的问题，以及当前的认证方法如何未能充分发挥其潜力。我们提出了一个路线图，以改善当代语音助理平台的技能认证状态，包括研究方向和平台供应商需要采取的行动。推动国内语音助手的这种变化尤为重要，因为商业和工业助理或其他类似环境的开发人员越来越多地将这些设备视为规范和惯例。
2022-06-22 cs.HC
Building Proactive Voice Assistants: When and How (not) to Interact
语音助手最近取得了巨大的商业成功。然而，这些设备的当前一代通常仅能够进行反应性交互。换句话说，交互必须由用户发起，这在一定程度上限制了它们的可用性和用户体验。我们建议，下一代此类设备应该能够在正确的时间以正确的方式主动提供正确的信息，而无需用户提示。然而，实现这一点并不简单，因为它可能会打断用户正在做的事情，导致它分散注意力甚至令人讨厌。此外，它可能无意中向第三方透露敏感/私人信息。在本报告中，我们讨论了开发主动启动的交互的挑战，并提出了一个框架，当它是适当的设备进行干预。为了验证我们的设计假设，我们首先描述了我们如何构建一个功能原型，其次是一项用户研究，该研究旨在评估用户在主动语音助理存在时的反应和反映。本预印本总结了截至2018年秋季的状态、想法和主动设备的进展。
2020-05-04 cs.HC
Can Voice Assistants Be Microaggressors? Cross-Race Psychological Responses to Failures of Automatic Speech Recognition
语言技术有种族偏见，黑人用户比白人用户犯更多的错误。然而，很少有工作评估这些不同的出错率对用户本身有什么影响。本研究的目的是了解人机交互中的语音识别错误是否与跨种族人际交流中的误解具有相同的效果。在一项对照实验中（N=108），我们随机分配黑人和白人参与者与预先编程的语音助手进行交互，以显示高与低的出错率。结果显示，黑人参与者在高出错率的条件下，相比黑人参与者在低出错率的条件下，表现出显着更高的自我意识水平，较低的自尊水平和积极的影响，以及不太有利的评级的技术。白人参与者没有表现出这种不同的模式。我们讨论了设计的影响和不同的研究方向，这一初步研究的目的是作出贡献。
2023-02-23 cs.HC
Screen or No Screen? Lessons Learnt from a Real-World Deployment Study of Using Voice Assistants With and Without Touchscreen for Older Adults
本文通过40天真实世界受试者内部署，比较老年人使用带屏与无屏语音助手的体验，揭示触摸屏的价值与语音偏好，并提出六项适老化设计启示。
2023-07-15 cs.HC
Understanding and Improving Usability of Data Dashboards for Simplified Privacy Control of Voice Assistant Data (Extended Version)
如今，像亚马逊的Alexa、谷歌的语音助手（GVA）和苹果的Siri这样的智能语音助手（VA）软件拥有数百万用户。这些VA经常收集和分析大量的用户数据，以改进其功能。然而，该收集的数据可能包含敏感信息（例如，个人语音记录），用户可能不愿意与其他人共享，并且可能引起严重的隐私问题。为了解决这些问题，谷歌等服务提供商向用户提供了一个个人数据仪表板（称为“我的活动仪表板”），允许他们管理所有语音助手收集的数据。然而，现实世界的GVA数据驱动的理解用户的看法和偏好，关于这些数据（和数据仪表板）仍然相对未被探索在以前的研究。为此，在这项工作中，我们专注于谷歌语音助手（GVA）用户，并调查了GVA用户对数据和仪表板的看法和偏好，同时将其置于GVA收集的真实用户数据中。具体来说，我们进行了一项基于80名参与者调查的用户研究，以收集关于GVA使用的一般看法以及他们GVA数据分层样本的所需隐私偏好。我们发现，大多数参与者对GVA收集的数据类型有肤浅的了解。令人担忧的是，我们发现参与者对与Google共享GVA收集的17.7%的数据元素感到不舒服。当前的“我的活动”仪表板虽然有用，但并不能帮助长期GVA用户有效地管理他们的数据隐私。我们的真实数据驱动的研究发现，向用户显示一个敏感的数据元素可以显着提高数据仪表板的可用性。为此，我们构建了一个分类器，可以检测敏感数据，以获得95%的F1分数，并显示出比基…
2021-10-06 cs.CR cs.HC
Rewriting the Script: Adapting Text Instructions for Voice Interaction
University of Pennsylvania（宾夕法尼亚大学）
研究语音助手通过朗读书面指令引导复杂任务的局限性，提出八种“改写脚本”策略将文本转化为口语对话形式，并展望NLP技术助力智能体有效引导用户完成复杂任务。
2023-06-16 cs.CL cs.HC
Voice control interface for surgical robot assistants
Institutes of Innovation for Future Society, Nagoya University（名古屋大学未来社会创新研究院）；Nagoya University（名古屋大学）
针对手术机器人传统控制接口加重医生认知负荷的问题，研究提出集成Whisper与ROS框架的语音控制接口，含三类模块，经实验验证高精度高速度，可用于手术场景，为提升手术协作效率提供新方案。
2024-09-16 cs.HC cs.RO
Towards Usable Parental Control for Voice Assistants
语音个人助理（VPA）已经成为一种常见的家用电器。作为VPA技术的领先平台之一，亚马逊创建了Alexa并设计了Amazon Kids，让儿童可以安全地享受VPA的丰富功能，并让父母通过家长仪表板监控孩子的活动。虽然这个生态系统已经到位，但父母仪表板的使用尚未在父母中普及。在本文中，我们进行了一项家长调查，以了解他们喜欢和不喜欢目前的家长控制功能。我们发现，父母需要更多关于孩子活动的视觉效果，更容易为孩子访问安全功能，以及更好的用户界面。根据我们调查的见解，我们提出了一个新的设计，为家长仪表板考虑家长的期望。
2023-03-24 cs.CR cs.CY cs.HC
Context-Aware Emotionally Adaptive Voice Assistants: A Multimodal Framework for Empathetic Human-Agent Interaction
Vellore Institute of Technology, Amaravati（阿马拉瓦蒂维洛尔理工学院）
针对语音助手打断的侵入性问题，提出多模态框架EmpathicVA，融合生理与语音信号及强化学习策略，实现情感自适应打断，显著提升满意度并减少压力。
2026-09-16 cs.HC
Situated Understanding of Errors in Older Adults' Interactions with Voice Assistants: A Month-Long, In-Home Study
本研究通过入户音频记录分析老年人使用语音助手的错误反应，并测试ChatGPT的改进效果，提出结合LLMs上下文能力以优化错误预防与管理的设计建议。
2024-09-23 cs.HC
HIVA: Holographic Intellectual Voice Assistant
Ala-Too International University（阿拉套国际大学）
本文介绍HIVA，一个通过动画3D吉祥物、俄语NLP流水线及多应用集成，为大学信息咨询提供面对面式交互体验的全息智能语音助手。
2023-06-28 cs.HC cs.LG
Beyond-Voice: Towards Continuous 3D Hand Pose Tracking on Commercial Home Assistant Devices
Cornell University（康奈尔大学）
针对家用助理仅依赖语音交互的缺陷及新增摄像头的成本与隐私问题，提出Beyond-Voice系统，利用现有麦克风和扬声器通过声学感知与深度学习实现无需个性化训练的连续3D手部姿态追踪，平均误差16.47mm。
2025-09-04 cs.HC cs.SD eess.AS
Effects of Voice-Based Synthetic Assistant on Performance of Emergency Care Provider in Training
The University of Toledo（托莱多大学）；Wright State University（莱特州立大学）；Wright State Research Institute（莱特州立研究所）
作为一个常年项目的一部分，我们的团队正在积极参与开发新的合成助理（SA）技术，以协助培训战斗医务人员和医疗急救人员。至关重要的是，医疗第一反应人员必须训练有素，以更有效地处理紧急情况。这就需要对每个受训人员进行实时监测和反馈。因此，我们引入了基于语音的SA来增强医疗急救人员的培训过程，并提高他们在现场的表现。服务协定的潜在好处包括减少培训费用和加强监测机制。尽管在日常生活中越来越多地使用基于语音的个人助理（PA），但在对人为因素的研究中，相关影响通常被忽视。因此，本文的重点是性能分析开发的语音为基础的SA在紧急护理提供者培训选定的紧急治疗方案。在本文中讨论的研究遵循设计科学在开发建议的技术，在长度，我们讨论了架构和开发，并提出了基于语音的SA的工作结果。使用统计分析工具对两组用户进行了实证测试，一组使用传统方法进行培训，另一组使用SA。统计结果表明，由SA供电的医疗响应者的训练效果和性能的放大。此外，本文还讨论了任务执行的准确性和时间（t），并得出结论，为解决所发现的问题的指导方针。
2020-08-12 cs.AI cs.CY cs.HC
Convenience vs. Control: A Qualitative Study of Youth Privacy with Smart Voice Assistants
Vancouver Island University（温哥华岛大学）
本文通过定性研究探讨智能语音助手对青少年隐私的影响，发现透明度和信任对隐私保护行为有显著影响，并提出统一隐私中心等设计建议以平衡便利与控制。
2026-02-28 cs.AI cs.CY cs.HC
Understanding Barriers and Design Opportunities to Improve Healthcare and QOL for Older Adults through Voice Assistants
基于语音的智能虚拟助理（IVA）通过引入免提和免眼交互的范例，有望改善医疗保健管理和生活质量（QOL）。然而，人们对为老年人设计这种系统的挑战知之甚少，特别是在涉及医疗保健相关任务时。为了解决这一问题，我们认为护理服务和提高老年人生活质量的过程是患者和提供者之间的合作任务。通过采访16名独立或半独立生活的老年人和5名提供者，我们确定了老年人在日常生活和管理健康时可能遇到的12个障碍。我们最终强调了在将基于语音的IVA整合到老年人的生活中时可能会引入的关键设计挑战和机遇。我们的工作将使研究并尝试创建完全成熟的IVA驱动智能设备的从业者受益，以提供更好的护理并支持提高老龄化人群的生活质量。
2021-11-05 cs.CY cs.HC
MultiVox: A Benchmark for Evaluating Voice Assistants for Multimodal Interactions
University of Maryland, College Park（马里兰大学 College Park 分校）
MultiVox是首个评估语音助手整合口语与视觉线索及副语言特征能力的基准，含1000个对话，测试显示现有模型在上下文理解上表现不佳。
2025-09-25 cs.CL cs.HC cs.MM
Like My Aunt Dorothy: Effects of Conversational Styles on Perceptions, Acceptance and Metaphorical Descriptions of Voice Assistants during Later Adulthood
本研究通过绿野仙踪实验发现，语音助手的正式与非正式对话风格对中年和老年用户的技术接受度、拟人化隐喻及感知存在差异化影响，为面向成年后期人群的个性化语音助手设计提供了依据。
2023-09-20 cs.HC
Technology-assisted Journal Writing for Improving Student Mental Wellbeing: Humanoid Robot vs. Voice Assistant
本研究对比社交机器人与语音助手辅助日志写作对学生心理健康的影响，实验发现仅机器人辅助组实现情绪改善、更高表露水平及积极感知，验证了具身性智能体在心理支持场景的优势。
2024-03-08 cs.HC
Document-editing Assistants and Model-based Reinforcement Learning as a Path to Conversational AI
University of Guelph（圭尔夫大学）；Vector Institute for Artificial Intelligence（向量人工智能研究院）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究院）
遵循命令或回答简单问题的智能助手，如Siri和谷歌搜索，是人工智能最具经济意义的应用之一。未来的对话式人工智能助手通过对领域、用户或用户目的的更深入理解，有望提供更强大的功能和更好的用户体验。但是，什么领域和什么方法最适合研究和实现这一承诺？在这篇文章中，我们主张的领域的语音文档编辑和基于模型的强化学习的方法。语音文档编辑的主要优点是，域的范围很窄，并且它为对话提供了一些关于（文档）的内容，这些内容是分隔的，并且智能助理可以完全访问。一般来说，强化学习的优点是，它的方法被设计成在没有明确指令的情况下从交互中学习，并且它使助手的目的形式化。需要基于模型的强化学习来真正理解话语领域，从而与用户有效地合作以实现他们的目标。语音文档编辑和基于模型的强化学习共同构成了实现会话AI的一个有前途的研究方向。
2020-08-27 cs.AI cs.HC cs.LG
