LeakyPick: IoT Audio Spy Detector
灵巧家庭物联网（IoT）设备的制造商越来越多地将语音助理和音频监控功能添加到各种设备中，包括智能扬声器、电视、恒温器、安全系统和门铃。因此，这些设备中的许多都配备了麦克风，这引起了严重的隐私问题：用户可能并不总是知道音频记录何时被发送到云端，或者谁可以访问这些记录。在本文中，我们提出了LeakyPick架构，使检测的灵巧家庭设备流记录的音频到互联网上，未经用户的同意。我们的概念验证是一个LeakyPick设备，它被放置在用户的灵巧家庭中，并定期“探测”其环境中的其他设备，并监视随后的网络流量，以获得指示音频传输的统计模式。我们的原型构建在Raspberry Pi上，价格不到40美元，在检测8台具有语音助理功能的设备的音频传输时，测量准确率为94%。此外，我们使用LeakyPick识别了89个被Amazon Echo Dot误解为唤醒词的单词，导致意外的音频传输。LeakyPick为普通消费者提供了一种具有成本效益的方法来监控他们的家庭，以防止意外的音频传输到云端。
2020-11-12 cs.CR
Understanding and Mitigating the Security Risks of Voice-Controlled Third-Party Skills on Amazon Alexa and Google Home
虚拟个人助理（VPA）（例如，亚马逊Alexa和谷歌助手（Google Assistant）目前主要依靠语音通道与用户进行通信，但众所周知，语音通道很容易受到攻击，缺乏适当的身份验证。VPA技能市场的快速增长开辟了一条新的攻击途径，可能允许远程攻击者发布攻击技能，通过Amazon Echo和Google Home等流行的物联网设备攻击大量VPA用户。在本文中，我们报告了一项研究，得出的结论是，这种远程，大规模的攻击确实是现实的。更具体地说，我们实现了两种新的攻击：语音占用，其中对手利用调用技能的方式（例如，“OpenCapitalOne”），使用具有类似发音名称的恶意技能（例如，“大写的赢”）或释义的名称（例如，“capital one please”）劫持用于不同技能的语音命令，以及语音伪装，其中恶意技能模仿VPA服务或合法技能以窃取用户的数据或窃听她的对话。这些攻击针对的是VPA的工作方式或用户对其功能的误解，我们在Amazon Echo和Google Home上的实验（包括用户研究和实际部署）发现这些攻击构成了现实的威胁。我们发现的重要性已经得到了亚马逊和谷歌的认可，我们建立的新检测系统在Alexa和谷歌市场上发现的风险技能也进一步证明了这一点。我们进一步开发了自动检测这些攻击的技术，这些技术已经捕获了可能构成此类威胁的现实技能。
2018-06-29 cs.CR
Hey Alexa what did I just type? Decoding smartphone sounds with a voice assistant
University of Cambridge（剑桥大学）
语音助手现在无处不在，可以监听我们的日常生活。自从它们商业化以来，隐私倡导者担心它们收集的数据可能被滥用：私人对话可能会被第三方提取？在本文中，我们表明，隐私威胁超出了口头对话，包括在附近的智能手机上输入的敏感数据。使用两种不同的智能手机和平板电脑，我们证明了攻击者可以从位于半米远的语音助手收集的录音中提取PIN码和短信。这表明远程键盘推断攻击不仅限于物理键盘，还扩展到虚拟键盘。随着我们的家中充满了始终在线的麦克风，我们需要解决这些问题。
2020-12-01 cs.CR cs.LG
The Smart$^2$ Speaker Blocker: An Open-Source Privacy Filter for Connected Home Speakers
家用智能音箱助手的普及和预期增长，如亚马逊的Echo，引发了消费者和隐私倡导者对隐私的担忧。关于营利性组织收集和存储用户数据的重要问题包括：正在收集哪些数据以及如何使用这些数据，谁拥有或可以访问这些数据，以及如何在提供有用服务的同时维护用户隐私。除了担心扬声器制造商将如何处理您的数据外，还有一些更根本的问题，即这些设备、第三方插件以及存储记录数据的服务器的安全性。为了解决这些隐私和安全问题，我们引入了一个中间设备来提供额外的安全层，我们称之为\textit{smart, smart speaker blocker}或智能\textsuperscript{2}。智能$^2$扬声器拦截器通过智能过滤敏感对话，并完全阻止这些信息到达智能扬声器的麦克风，是一款开源的网络本地（离线）智能设备，可为用户提供对离开客厅的数据的决定性控制。
2020-07-20 cs.CR
Hello Me, Meet the Real Me: Audio Deepfake Attacks on Voice Assistants
电信和计算机科学的根本性进步已经使无数的应用和新颖的与计算接口的无缝交互成为可能。语音助理（VA）已经成为智能手机的标准，并且在灵巧家庭环境中，数百万个集成在智能设备中的VA被用于控制这些设备。以前的研究表明，它们很容易受到攻击，导致供应商采取对策。这些措施之一是只允许一个特定的个人，设备的所有者，执行可能危险的任务，也就是说，任务可能会泄露个人信息，涉及货币交易等，以了解在何种程度上VA提供必要的保护，他们的用户，我们实验了两个最广泛使用的VA，参与者培训。然后，我们使用参与者提供的样本进行语音合成，以合成用于触发相应VA并执行危险任务的命令。我们的广泛结果表明，超过30%的deepfake攻击是成功的，超过一半的参与者至少有一次成功的攻击。此外，这些数据还显示了供应商之间在统计上的显著差异，在一个案例中，甚至存在性别偏见。其结果相当令人震惊，需要采取进一步的对策来防止开采，因为目前使用的脆弱性资产的数量与世界人口相当。
2023-02-20 cs.CR
Helion: Enabling Natural Testing of Smart Homes
本文提出Helion系统，利用n-gram语言建模学习智能家居用户例程规律并预测自然自动化场景，并通过与Home Assistant集成的HelionHA平台实现端到端测试。
2023-08-13 cs.CR cs.SE
Evaluating Synthetic Command Attacks on Smart Voice Assistants
Georgia Institute of Technology（佐治亚理工学院）；Cisco Research（思科研究院）
本文研究了利用目标有限且无关的语音样本合成命令对智能语音助手进行攻击，证明了简单的拼接语音合成即可执行敏感操作且网络足迹小，突出了加强防御的必要性。
2024-11-14 cs.CR cs.SD eess.AS
The House That Knows You: User Authentication Based on IoT Data
基于家庭的物联网（IoT）设备越来越受欢迎，许多家庭通过使用智能传感器、锁和语音助手等设备变得“智能”。传统的身份验证方法，如密码，生物识别或多因素（使用SMS或电子邮件），要么不适用于灵巧家庭设置，要么不方便，因为它们打破了与这些设备的自然交互流。基于语音的生物识别技术由于安全和隐私问题而受到限制。鉴于现有的认证技术的局限性，我们探索新的机会，在灵巧家庭环境中的用户认证。具体来说，我们设计了一种基于从用户与物联网设备的交互中提取的行为特征的新型身份验证方法。我们在我们大学的物联网实验室进行了为期三周的IRB批准的用户研究。我们从实验室中与15个物联网设备交互的多个用户收集网络流量，并提取大量特征来捕获用户活动。我们实验了多种分类算法，并设计了一个集成分类器，两个模型使用不相交的功能集。我们证明，我们的集成模型可以分类五个用户0.97的准确率。行为认证模块可以帮助解决灵巧家庭生态系统中出现的新挑战，并为创建灵活的授权和访问控制策略提供了可能性。
2021-12-27 cs.CR
Voice Privacy with Smart Digital Assistants in Educational Settings
Merlyn Mind, Inc.（Merlyn Mind 公司）
语音助理设备的出现带来了令人愉快的用户体验，不仅在智能家居方面，而且在从教室到个性化学习/辅导的各种教育环境中。然而，使用语音作为交互方式也可能导致暴露用户的身份，并阻碍语音界面的更广泛采用;这在有儿童存在且需要保护其语音隐私的环境中尤其重要。为此，国家的最先进的技术在文献中提出的基础上，我们设计和评估一个实用和有效的框架，语音隐私的来源。该方法结合了说话人识别（SID）和语音转换方法，以在记录语音的设备上随机伪装用户的身份，同时确保用户的转换后的话语仍然可以被自动语音识别（ASR）解决方案成功地转录。我们评估的ASR性能的转换，在字的错误率，并显示这个框架的承诺，在保留输入语音的内容。
2021-03-24 cs.CL cs.CR cs.SD
Security and Privacy Problems in Voice Assistant Applications: A Survey
James Cook University（詹姆斯·库克大学）；RMIT University（皇家墨尔本理工大学）；Deakin University（迪肯大学）；Swinburne University of Technology（斯威本科技大学）
该综述系统梳理语音助手应用面临的安全攻击与隐私威胁，总结顶级会议中的五类攻击和三类威胁，以呈现现有研究分类与风险图景。
2023-04-19 cs.CR cs.LG cs.SD
Threat Modelling in Virtual Assistant Hub Devices Compared With User Risk Perceptions (2021)
尽管越来越多的人使用虚拟助手，但人们仍然对家中虚拟助手中心（如Google Nest和Amazon Alexa）的安全性感到担忧。消费者的担忧在某种程度上加剧了广泛宣传的隐私泄露，以及针对物联网网络的高调攻击的持续流行。文献表明，消费者的理解和实际的威胁环境之间存在相当大的知识差距;此外，几乎没有做什么工作来比较哪种威胁建模方法最适合这些设备，以阐明可以传达给消费者的威胁。因此，有机会探索适用于这一背景的不同威胁建模方法，然后利用研究结果制作一个软件原型，以方便的方式教育消费者。五种方法（STRIDE、CVSS、攻击树（又名威胁树），LINDUNN GO和定量TMM）进行了比较，因为这些被确定为最突出或可能适用于物联网环境。主要研究结果表明，STRIDE和LINDUNN GO的组合是在严格的行业截止日期周期的压力下阐明威胁的最佳选择（CVSS元素的潜力取决于时间限制），并且试用的软件原型在吸引消费者和教育设备安全方面是有效的。这些发现对于物联网设备制造商寻求最佳威胁模型或其他利益相关者寻求增加消费者信息安全知识的方法非常有用。
2023-01-30 cs.CR cs.CY
PromptShield Home: Ambient Multimodal Prompt Injection Defense for Smart-Home Agents
The Pennsylvania State University（宾夕法尼亚州立大学）；Chang’an University（长安大学）；Beijing Normal University（北京师范大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Edinburgh（爱丁堡大学）；Tsinghua University（清华大学）
该研究针对智能家居智能体的提示注入安全问题，构建了现实场景基准测试PromptShield-Home，对比了三类防御层的性能，发现多智能体调解的上限性能最优，提出应采用学习路由与传感器融合方案保障安全。
2026-08-07 cs.CR cs.HC
Open, Sesame! Introducing Access Control to Voice Services
个人语音助理（VA）被证明容易受到记录和重放以及其他声学攻击的攻击，这些攻击允许对手获得对灵巧家庭内连接设备的未经授权的控制。现有的防御要么缺乏检测和管理功能，要么过于粗粒度，无法实现与其他计算接口同等的灵活策略。在这项工作中，我们提出了Sesame，这是一个用于边缘设备的轻量级框架，它是第一个实现智能家居语音命令细粒度访问控制的框架。Sesame结合了三个组件：自动语音识别、自然语言理解（NLU）和策略模块。我们在Android设备上实现了Sesame，并证明了我们的系统可以实时（362ms端到端推理时间）执行Alexa和Google Home的安全策略，使用轻量级（<25MB）NLU模型，与非紧凑型模型相比，其准确性损失最小。
2021-06-27 cs.CR cs.SY eess.SY
Security and robustness analysis of encrypted communications for local home automation: ESPHome Native API and MQTT over TLS 1.3
Tecnológico Nacional de México – IT de Veracruz（墨西哥国立理工学院 - 韦拉克鲁斯技术学院）
本文分析了 ESPHome 原生 API 与 MQTT over TLS 1.3 两种家庭自动化通信方案的安全性等维度差异，明确了各自适用场景，为相关 IoT 系统设计提供依据。
2026-10-14 cs.CR
Eve Said Yes: AirBone Authentication for Head-Wearable Smart Voice Assistant
本文提出面向头戴式智能语音助手的两阶段 AirBone 认证，利用空气传导与骨传导的时域一致性及骨传导说话人特征，抵御声学和跨领域语音欺骗。
2023-09-26 cs.CR cs.HC eess.SP
SkillFence: A Systems Approach to Practically Mitigating Voice-Based Confusion Attacks
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；University of Washington（华盛顿大学）
语音助理被广泛部署并提供有用的功能。然而，最近的研究表明，像亚马逊Alexa和谷歌Home这样的商业系统很容易受到利用设计问题的基于语音的混淆攻击。我们提出了一种针对此类攻击的面向系统的防御方法，并展示了其在Amazon Alexa上的功能。我们确保只有用户打算执行的技能才能响应语音命令。我们的关键见解是，我们可以通过分析用户在网络和智能手机的对应系统上的活动来解释他们的意图。例如，Lyft拼车Alexa技能有一个Android应用程序和一个网站。我们的工作展示了来自对应应用程序的信息如何有助于减少技能调用过程中的歧义。我们构建了SkilIFence，这是一个浏览器扩展，现有的语音助手用户可以安装它，以确保只有合法的技能才能响应他们的命令。使用来自MTurk的真实用户数据（N = 116）和涉及合成和有机语音的实验试验，我们表明SkillFence通过确保用户所需技能的90.83%和19.83%的错误接受率，在可用性和安全性之间实现了平衡。
2022-12-16 cs.CR cs.LG
