Situated Understanding of Errors in Older Adults' Interactions with Voice Assistants: A Month-Long, In-Home Study
本研究通过入户音频记录分析老年人使用语音助手的错误反应,并测试ChatGPT的改进效果,提出结合LLMs上下文能力以优化错误预防与管理的设计建议。
2024-09-23 cs.HC
Reject or Not?: A Benchmark for Voice Assistant Query Rejection in Smart Home Scenario and an Improved Method Based on LLMs
Midea AI Research Center(美的AI研究中心);Harbin Engineering University(哈尔滨工程大学)
本文提出面向智能家庭场景的语音助手查询拒绝基准及基于LLM的改进方法,通过构建多模态数据集和三级协作架构提升拒绝准确率。
2025-12-12 cs.HC
Taxonomic Classification of IoT Smart Home Voice Control
灵巧家庭中的话音控制是常见的,使得能够方便地控制灵巧家庭物联网集线器、网关和设备,以及信息寻求对话。基于云的语音助手用于促进交互,但隐私问题围绕着数据的云分析。话音控制在多大程度上可以使用纯本地计算来执行,以确保用户数据保持私密?在本文中,我们提出了一个分类的话音控制技术存在于商业灵巧家庭系统。我们首先回顾了有关该主题的文献,并总结了对物联网设备和家庭中的话音控制进行分类的相关工作。这些实体的分类,然后提出,我们分析我们的研究结果。接下来,我们将转向实施和评估语音控制灵巧家庭设置的学术努力,然后我们讨论适用于灵巧家庭和物联网隐私保护语音助手设计的开源库和设备。最后,我们考虑了可以支持无云语音助手的其他技术和方法,并结束了这项工作。
2022-10-24 cs.HC
Voice Assistants for Health Self-Management: Designing for and with Older Adults
本文通过五阶段设计过程与老年人共同开发了一款由大语言模型驱动的语音助手,用于解读诊后摘要和生成用药提醒,以应对健康意识和医疗依从性挑战,并总结了个人健康助手在个性化、情境适应和尊重用户自主性方面的关键设计特征。
2025-03-07 cs.HC
"Privacy across the boundary": Examining Perceived Privacy Risk Across Data Transmission and Sharing Ranges of Smart Home Personal Assistants
Tsinghua University(清华大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);University of Macau(澳门大学)
研究探讨智能家庭个人助手数据传输和分享范围中的隐私风险,发现跨越两个关键边界会显著增加用户感知风险,且匿名化措施对第三方分享效果有限。
2026-01-24 cs.HC
Beyond-Voice: Towards Continuous 3D Hand Pose Tracking on Commercial Home Assistant Devices
Cornell University(康奈尔大学)
针对家用助理仅依赖语音交互的缺陷及新增摄像头的成本与隐私问题,提出Beyond-Voice系统,利用现有麦克风和扬声器通过声学感知与深度学习实现无需个性化训练的连续3D手部姿态追踪,平均误差16.47mm。
2025-09-04 cs.HC cs.SD eess.AS
A User Study to Evaluate a Web-based Prototype for Smart Home Internet of Things Device Management
随着物联网(IoT)技术的不断进步,IoT设备管理平台变得越来越重要。我们对43名经常使用物联网设备的参与者进行了基于Web的调查和可用性研究,以:1)检查他们的灵巧家庭物联网使用模式和隐私偏好,2)评估基于Web的灵巧家庭物联网设备管理原型。我们发现,参与者认为隐私比物联网设备提供的便利更重要。根据他们的隐私与便利重要性的平均得分,低隐私和低便利的参与者比高隐私和高便利的参与者报告了更少的隐私控制和便利偏好。总体而言,所有与会者都对拟议的网站原型感到满意,他们的实际可用性评估表明,他们对网站功能有很好的了解。本文对灵巧家庭用户在管理物联网设备时的隐私与便利性权衡进行了实证研究。
2022-04-16 cs.HC
Imagining Future Digital Assistants at Work: A Study of Task Management Needs
数字助理(DA)可以为工作场所内外的员工提供支持。然而,目标用户的需求并没有得到充分的理解,工人理想的功能,希望DA支持需要进一步的研究。对工人需求的更深入了解有助于为未来DA的设计提供信息。我们调查用户的需求,未来的工作场所DA使用的数据,从用户研究的40名工人在四周内。我们的定性分析证实了现有的研究,并产生了新的见解DA在管理人们的时间,任务和信息的作用。将这些见解与自我报告的任务数据的定量分析,我们强调不同的职业角色需要DA采取不同的方法,这些领域和任务特征的影响想象的功能。我们的研究结果对未来DA在工作环境中的设计有影响,我们提供了一些减少实践的建议。
2022-08-06 cs.HC
Conversation-Based Complex Event Management in Smart-Spaces
智能空间管理可以通过多种方式实现。一方面,有一些对话助手,如Google Assistant或Amazon Alexa,使用户能够仅通过语音与智能空间进行舒适的交互,但这些助手的功能有限,通常仅限于简单的命令。另一方面,有一些可视化界面,如IBM的Node-RED,可以支持不同设备之间的复杂功能和依赖关系。然而,这些是有限的,因为它们需要用户具有智能设备如何工作的技术知识,并且系统的界面更复杂,更难使用,因为它们需要计算机。该项目提出了一个新的会话助理-贾维斯-结合了当前助理的易用性与视觉平台的操作复杂性。Jarvis的目标是通过提供直观的命令和有用的功能,使管理智能空间变得更容易。Jarvis与现有的用户界面集成,如Google Assistant、Slack或Facebook Messenger,使其非常容易与现有系统集成。Jarvis还提供了一个创新的功能-因果关系查询-使用户能够询问它为什么会发生某件事。例如,用户可以问“为什么灯打开了?“了解系统是如何工作的。
2018-07-18 cs.HC
Assessment of Sign Language-Based versus Touch-Based Input for Deaf Users Interacting with Intelligent Personal Assistants
本研究针对聋人用户,对比了美国手语、Tap to Alexa与智能家居应用和智能个人助理交互的可用性,发现手语可用性略优,并探讨了有限词汇应用设计对通用手语识别的推进意义。
2024-04-22 cs.HC
MemPal: Leveraging Multimodal AI and LLMs for Voice-Activated Object Retrieval in Homes of Older Adults
本文提出可穿戴记忆助手MemPal,利用多模态LLM和可穿戴摄像头生成活动日记,通过语音交互帮助老年人在家中寻找物品,并在15名老年人的家庭测试中验证了其有效性。
2025-02-03 cs.HC
Sign Language-Based versus Touch-Based Input for Deaf Users with Interactive Personal Assistants in Simulated Kitchen Environments
Gallaudet University(加劳德特大学);University of Connecticut(康涅狄格大学);University of Maryland(马里兰大学)
本研究比较了手语与触屏输入在模拟厨房环境中的可用性,发现手脏情况下手语更受聋人用户欢迎,但效果不如清洁手时明显。
2026-01-22 cs.HC
MIST: Multimodal Interactive Speech-based Tool-calling Conversational Assistants for Smart Homes
Columbia University(哥伦比亚大学);Seoul National University(首尔国立大学)
本文提出MIST数据集,用于研究具备物理世界约束推理能力的多模态语音助手,发现开放和闭源多模态LLM在该任务上存在显著差距。
2026-05-07 cs.AI cs.CL cs.HC
INSPIRE: Evaluation of a Smart-Home System for Infotainment Management and Device Control
本文概述了已被用来确定INSPIRE灵巧家庭系统的质量的评估和评价方法。该系统允许通过语音控制不同的家用电器,并且由语音和说话人识别、语音理解、对话管理和语音输出组件组成。首先单独评估这些组件的性能,然后在与测试用户的交互实验中评估整个系统。初步的评估和评价结果,特别是关于传输通道的影响,语音和说话人识别,和评估语音输出不同的系统隐喻。
2004-10-25 cs.CL cs.HC
A Comprehensive Review on the Advancement of Home Automation System
本文综合评述了家庭自动化系统的最新进展,评估了新开发的系统原型,并探讨了ZigBee、Z-wave、Wi-Fi和Bluetooth等先进拓扑技术,旨在减少人力与时间消耗,推动该领域技术发展。
2024-11-06 cs.HC
Conversational Assistants in Knowledge-Intensive Contexts: An Evaluation of LLM- versus Intent-based Systems
Delft University of Technology(代尔夫特理工大学)
该研究针对知识管理场景,对比基于LLM与基于意图的对话助手,通过用户研究验证前者在用户体验、任务完成率等多方面更优,为知识管理领域NLP技术选型提供参考。
2024-07-12 cs.AI cs.HC
When Single-User-Oriented LLM-based Assistants Involve Others: A Scoping Review of Pathways, Risks, and Responses
Carnegie Mellon University(卡内基梅隆大学);North Carolina State University(北卡罗来纳州立大学);University of Hong Kong(香港大学)
本研究通过范围综述58项研究,系统梳理了面向单用户的LLM助手在多方情境中的五个操作路径、五类风险及五类应对措施,并提出关注角色变化和保持人物边界的治理与设计建议。
2026-09-15 cs.HC
Management von Sensordaten im Smarthome: Besonderheiten und Ansätze
TU Chemnitz(捷克理工大学)
本文探讨了智能家庭中传感器数据管理的特殊性与方法,提出了Sensorkit工具及参与式研究方法,解决了数据生命周期管理、用户交互和隐私保护等问题。
2025-12-17 cs.HC
A Comprehensive Evaluation Framework for Conversational Home Energy Management Systems
University of Arizona(亚利桑那大学)
针对LLM集成家庭能源管理系统的多轮对话评估缺失问题,提出基于目标-问题-度量的23项指标框架,经970段对话验证,可区分不同系统配置的优劣。
2026-11-16 cs.HC
How do Older Adults Set Up Voice Assistants? Lessons Learned from a Deployment Experience for Older Adults to Set Up Standalone Voice Assistants
本研究通过部署实验,探讨老年人设置独立语音助手的挑战,发现触摸屏和说明文档的价值及形态因素影响,为支持老年人独立使用提供方向。
2024-03-14 cs.HC
Design Recommendations Based on Speech Analysis for Disability-Friendly Interfaces for the Control of a Home Automation Environment
本文研究残障人士在包容性住房中使用语音交互控制家庭自动化设备,通过7名参与者使用Amazon语音助手的实验,分析了不同残障类型的语音识别成功率及错误来源,为无障碍界面设计提供依据。
2023-11-22 cs.HC
Towards Democratized Flood Risk Management: An Advanced AI Assistant Enabled by GPT-4 for Enhanced Interpretability and Public Engagement
Rutgers University(罗格斯大学);Texas A&M University, San Antonio(德克萨斯农工大学圣安东尼奥分校)
针对洪水预报复杂数值模型与实际决策脱节的问题,开发了由GPT-4驱动的AI助手,整合实时预警与脆弱性数据以简化信息,提升了洪水风险管理的可及性与公众参与度。
2024-12-20 cs.AI cs.CY cs.HC
Informing the Design of Privacy-Empowering Tools for the Connected Home
家庭中的联网设备代表了一种潜在的严重的新的隐私威胁,因为它们可以不受限制地访问人们生活中最私人的空间。先前的研究表明,尽管人们对这些设备感到担忧,但人们往往缺乏足够的意识、理解或采取有效行动的手段。为了探索直接支持这些需求的新工具的潜力,我们开发了Aretha,这是一种隐私助理技术探测器,它结合了网络分解器,个人导师和防火墙,使最终用户能够获得知识和机制来控制家中的信息披露。我们在六周内在三个家庭中部署了Aretha,目的是了解这种功能组合如何使用户能够通过其设备了解数据泄露,形成有教育意义的隐私偏好,并阻止不必要的数据流。这个探测器以其新颖的功能和局限性促使用户共同适应,寻找新的控制机制,并提出新的方法来解决在联网家庭中恢复隐私的挑战。
2020-01-24 cs.HC
A Prototypical Decision-Support Tool for Household Energy Management: A New Zealand Case Study
Tech Innovation Experts Ltd.(科技创新专家有限公司)
本文介绍了一个基于Web的新西兰家庭能源检查原型,通过引导式检查、评分和优先排序行为建议,帮助家庭识别可避免的能源浪费,并生成节能路线图。
2026-06-16 cs.HC
Multi-Modal End-User Programming of Web-Based Virtual Assistant Skills
虽然Alexa可以在纸上执行超过100,000项技能,但它的能力只涵盖了网络上可能实现的一小部分。为了实现助理的全部潜力,期望个人能够创建技能来自动化他们的个人web浏览例程。然而,许多看似简单的例程,例如监控家乡的COVID-19统计数据,在线检测孩子成绩的变化,或向群组发送个人地址的消息,如果没有条件和迭代评估等传统编程概念,就无法实现自动化。本文介绍了VASH(语音助理脚本助手),一个新的系统,使用户能够创建有用的基于Web的虚拟助理技能,而无需学习正式的程序设计语言。使用VASH,用户可以在浏览器中演示他们感兴趣的任务,并发出一些语音命令,例如命名技能和添加操作条件。VASH将这些多模态规范转化为可以在虚拟助手上调用的技能。这些技能用我们设计的一种正式的程序设计语言来表示,这种语言称为WebTalk,它支持参数化、函数调用、条件和迭代执行。VASH是一个完全工作的原型,可以在现实世界的网站上运行在Chrome浏览器上。我们的用户研究表明,用户有许多他们希望自动化的Web例程,其中81%可以使用VASH表示。我们发现VASH很容易学习,并且我们研究中的大多数用户都希望使用我们的系统。
2020-08-24 cs.HC
Sasha: Creative Goal-Oriented Reasoning in Smart Homes with Large Language Models
University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对智能家居助手难以理解用户模糊目标类指令的问题,研究引入大语言模型,提出智能助手Sasha,通过用户研究验证其可响应宽松指令实现目标,同时也指出了相关局限。
2024-01-25 cs.AI cs.HC
From Rights to Rites: Expectations Management in Smart-Home AI
Department of Computer Science, University of Oxford(牛津大学计算机科学系);Institute for Ethics in AI, University of Oxford(牛津大学人工智能伦理研究所)
研究探讨智能家庭AI期望的构建与管理,通过33次访谈揭示设计中的四大矛盾,提出期望管理模型,强调道德判断与跨文化差异,为负责任的智能家庭设计提供指导。
2026-04-26 cs.AI cs.HC cs.IR
WearID: Wearable-Assisted Low-Effort Authentication to Voice Assistants using Cross-Domain Speech Similarity
由于语音输入的开放性质,语音助理(VA)系统(例如,Google Home和Amazon Alexa)处于敏感信息泄露的高风险之下(例如,个人时间表和购物账户)。尽管现有的VA系统可以采用语音特征来识别用户,但是它们仍然容易受到各种声学攻击(例如,模仿、重放和隐藏命令攻击)。在这项工作中,我们专注于新兴的VA系统的安全问题,旨在保护用户的高度敏感信息从这些攻击。为此,我们提出了一个系统,WearID,它使用现成的可穿戴设备(例如,智能手表或手镯)作为安全令牌来验证用户对VA系统的语音命令。特别地,WearID利用来自大多数可穿戴设备的容易获得的运动传感器来描述振动域中的命令声音并检查跨两个域(即,可穿戴设备的运动传感器与VA设备的麦克风),以确保声音来自合法用户。
2020-04-09 cs.HC
E-Mail Assistant -- Automation of E-Mail Handling and Management using Robotic Process Automation
University of Allahabad(阿拉哈巴德大学)
在本文中,使用机器人过程自动化(RPA)设计机器人的工作流程,与用于信息抽取、分类等的人工智能(AI)相关联,本文提出该机器人配备了许多功能,使电子邮件处理成为一项无压力的工作。它通过安全的渠道自动登录邮箱,区分有用和无用的邮件,将邮件分类为不同的标签,下载附件,创建不同的目录,并将下载的文件存储到相应的目录中。它将无用的电子邮件放入垃圾桶。此外,为了方便起见,机器人还可以被训练为在工作申请的情况下用发送者/申请者的名字重命名附加文件。机器人的设计和测试使用UiPath工具,以提高系统的性能。本文还讨论了可以添加到机器人上的其他可能功能。
2022-05-12 cs.AI cs.HC cs.LG
SAGE: Smart home Agent with Grounded Execution
针对LLM缺乏用户与家居具体知识的问题,本文提出SAGE智能体,通过动态提示词树编排离散动作以检索信息、交互和操控设备,并在50项任务基准上以75%成功率显著超过30%的基线。
2024-01-19 cs.AI cs.HC cs.RO
"Alexa doesn't have that many feelings": Children's understanding of AI through interactions with smart speakers in their homes
Centre for Research in Digital Education(数字教育研究中心);The University of Edinburgh(爱丁堡大学)
本研究通过混合方法调查苏格兰6-11岁儿童与语音对话助手的互动,发现他们高估AI智能、对隐私缺乏准确理解,为AI素养教育提供依据。
2023-05-09 cs.AI cs.HC
On the Principle of Accountability: Challenges for Smart Homes & Cybersecurity
本章介绍问责制原则及其在数据保护治理中的作用。我们专注于灵巧家庭网络安全管理背景下的问责制意味着什么,考虑到欧盟一般数据保护法对保护个人数据的要求。本次讨论的背景是数据保护法的两个关键新发展。首先,由于所谓的家庭豁免范围缩小,法律正在进入家庭。同时,家庭住户现在可能有法律责任遵守GDPR,因为他们发现自己共同负责合规,因为他们可能需要确定物联网设备供应商收集数据汇集的方式和目的。作为一个复杂的社会技术空间,我们考虑问责要求和这类新的国内数据控制者(DDC)的能力之间的相互作用。具体而言,我们考虑了基于边缘的安全分析在管理灵巧家庭网络安全风险方面的价值和局限性,并回顾了一系列原型和研究。我们还反思了家庭环境中的人际权力动态,例如设备控制;灵巧家庭中围绕隐私和安全管理的现有社会实践;以及可能阻碍DDC依赖此类解决方案的能力的可用性问题。最后,我们反思了1)家庭集体安全管理的必要性,以及2)设备用户、账户持有人、物联网设备/软件/固件供应商和第三方之间日益复杂的灵巧家庭责任分工。
2020-06-19 cs.CY cs.HC
DESAMO: A Device for Elder-Friendly Smart Homes Powered by Embedded LLM with Audio Modality
MAUM AI Inc.(MAUM人工智能公司);Korea Culture Technology Institute(韩国文化科技研究所)
DESAMO是一款由嵌入式音频大语言模型驱动的适老化智能家居设备,通过直接处理原始音频,解决传统语音助手对老年人模糊语音和非语音音频处理不佳的问题,实现稳健的用户意图与关键事件理解。
2025-08-26 cs.HC cs.SD eess.AS
Voice CMS: updating the knowledge base of a digital assistant through conversation
Orange Research(奥兰治研究)
本研究提出一种基于多智能体LLM架构和语音用户界面(VUI)的解决方案来更新数字助理知识库。对比实验表明,尽管VUI整体可用性低于图形界面,但在低复杂度任务中更受用户偏好,且输入内容质量相当,混合界面有望解决认知负荷等挑战。
2025-05-28 cs.AI cs.HC cs.MA
Vision: "What Don't I Know About User's Preferences?" How Uncertainty Estimation Improves Proactive Assistant Alignment
University of California, Merced(加州大学默塞德分校);Lehigh University(理海大学)
该研究提出不确定性估计可补充主动智能助手缺失的信息,能改进其对齐,还介绍了其在多领域的应用及未来主动助手的发展方向。
2026-10-14 cs.AI cs.HC
Clinical Assistant for Remote Engagement Link (CARE-link): A Web-Based Electronic Health Records Software for Managing Diabetes
Global One Health Research Group, Bernhard Nocht Institute of Tropical Medicine(全球健康研究组,伯恩哈德-诺克特热带医学研究所);Global Health and Infectious Diseases Research Group, Kumasi Centre for Collaborative Research in Tropical Medicine(全球健康与传染病研究组,库马西协作热带医学研究中心);Department of Computer Engineering, Kwame Nkrumah University of Science and Technology(计算机工程系,库马西大学科学与技术学院);Department of Global Health, School of Public Health, Kwame Nkrumah University of Science and Technology(全球健康系,公共卫生学院,库马西大学科学与技术学院)
CARE-link是一个开源、基于网络的临床支持平台,通过LLM介导的工作流程连接临床医生和患者,用于改善妊娠期糖尿病管理,系统汇总院外患者生成数据、提供临床决策支持,并通过WhatsApp界面为患者提供管理计划解释和生活方式指导。
2026-06-03 cs.CL cs.HC
Beyond the Chatbot: Co-Learning and Co-Teaching through a Dual-Persona Generative-AI Assistant
International Hellenic University(国际希腊大学)
该研究开发一款适配希腊教育领域的双角色生成式AI助手,可切换教学/学习角色,支持师生共学共教,构建了连接技术与课程的教学生成助手框架。
2026-08-27 cs.AI cs.HC
An ontology-based chatbot for crises management: use case coronavirus
Tunis El Manar University(突尼斯埃尔马纳尔大学);Faculty of Sciences of Tunis(突尼斯理学院)
今天是机器智能的时代。随着人工智能的进步,机器已经开始模仿不同的人类特征,聊天机器人是会话服务领域的下一件大事。聊天机器人是一个虚拟人,能够与人进行自然对话。它们可以包括使它们能够以音频,视觉或文本格式与人类交谈的技能。人工智能对话实体,也称为聊天机器人、对话代理或对话系统,是这种机器的一个很好的例子。在正确的时间和地点获得正确的信息是有效灾害管理的关键。“灾害管理”一词包括自然灾害和人为灾害。为了帮助市民,我们的项目是创建一个COVID助理,以提供24小时可用的最新信息。随着万维网的发展,用户对快速和相关正确的信息感兴趣是可以理解的。聊天机器人可以被看作是一个问答系统,在这个系统中,专家提供知识来征求用户。这篇硕士论文致力于讨论COVID Assistant聊天机器人,并详细解释每个组件。建议聊天机器人的设计介绍了它的七个组成部分:本体,网页搜罗模块,数据库,状态机,关键字提取器,训练聊天机器人,和用户界面。
2020-11-02 cs.AI cs.HC
Rewriting the Script: Adapting Text Instructions for Voice Interaction
University of Pennsylvania(宾夕法尼亚大学)
研究语音助手通过朗读书面指令引导复杂任务的局限性,提出八种“改写脚本”策略将文本转化为口语对话形式,并展望NLP技术助力智能体有效引导用户完成复杂任务。
2023-06-16 cs.CL cs.HC
"Alexa, what do you do for fun?" Characterizing playful requests with virtual assistants
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Amazon Alexa Shopping(亚马逊 Alexa 购物)
亚马逊的Alexa、苹果的Siri、谷歌Home和微软的Cortana等虚拟助手在我们的日常生活中无处不在,并成功地帮助用户完成各种日常任务,如打电话或播放音乐。然而,他们仍然与嬉戏的话语作斗争,这些话语并不意味着要按字面解释。例子包括笑话或荒谬的要求或问题,如“你怕黑吗?”、“谁把狗放出来的?或者“订购无数的小熊软糖”。如今,虚拟助理经常会对这些话语返回不相关的答案,除了通过罐头回复解决的硬编码。为了解决自动检测好玩的话语的挑战,我们首先描述了不同类型的好玩的人类虚拟助理交互。我们介绍了一种基于幽默理论的有趣请求分类法,并通过分析Alexa的真实流量进行了改进。然后,我们专注于一个节点,人格化,用户将虚拟助手称为一个人(“你做什么好玩?").我们推测,理解这些话语将改善虚拟助理的用户体验。我们进行了一项《绿野仙踪》用户研究,结果表明,赋予虚拟助手识别幽默机会的能力确实有可能提高用户满意度。我们希望这项工作将有助于理解这个问题的前景,并激发新的想法和技术,使虚拟助手具有幽默感。
2021-05-12 cs.AI cs.CL cs.HC