Investigating In-Context Privacy Learning by Integrating User-Facing Privacy Tools into Conversational Agents
University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校);New York University(纽约大学)
研究探讨了在对话代理使用过程中整合隐私工具如何提升用户隐私学习,分析了界面设计对隐私保护的影响,并通过实验证明了隐私工具在增强用户隐私意识中的作用。
2026-03-19 cs.AI cs.HC
When Disability Disclosure Travels: Memory, Privacy, and Contextual Integrity in Conversational AI
Carnegie Mellon University(卡内基梅隆大学);Indiana University Indianapolis(印第安纳大学印第安纳波利斯分校)
本研究通过访谈12位美国残障用户,揭示其在对话式AI中按需披露残障、面临双重接收者规范冲突及记忆功能导致信息漂移,提出需增强情境控制以保护隐私。
2026-09-22 cs.CY cs.HC
Protecting User Privacy in Remote Conversational Systems: A Privacy-Preserving framework based on text sanitization
针对大语言模型远程访问易泄露用户隐私的问题,本文提出“对话模型用户隐私保护”新任务及首个基于文本净化的隐私保护框架,通过输入过滤与回复还原保障对话隐私,实验验证了其抗窃听有效性。
2023-06-14 cs.CR cs.HC
"It's a Fair Game", or Is It? Examining How Users Navigate Disclosure Risks and Benefits When Using LLM-Based Conversational Agents
Northeastern University(东北大学);Carnegie Mellon University(卡内基梅隆大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文通过分析真实ChatGPT对话和访谈19位用户,揭示用户在使用基于LLM的对话智能体时面临隐私、效用与便利性的权衡困境,并提出保护用户隐私的设计指南与范式转变建议。
2024-04-02 cs.AI cs.CR cs.HC
ECHO: An Automated Contextual Inquiry Framework for Anonymous Qualitative Studies using Conversational Assistants
本研究提出自动化情境探究框架ECHO,通过自适应对话界面、自动编码等技术实现定性研究流程自动化,在保护隐私的同时提升研究效率与质量,经心理健康研究验证其表现优于传统方法。
2023-12-10 cs.HC
CLEAR: Towards Contextual LLM-Empowered Privacy Policy Analysis and Risk Generation for Large Language Model Applications
针对LLM应用中的隐私风险,通过协同设计开发情境化助手CLEAR,帮助用户识别敏感信息、总结隐私政策并提示风险,评估显示其易用且提升用户理解。
2025-01-23 cs.HC
AI Conversational Tutors in Foreign Language Learning: A Mixed-Methods Evaluation Study
本研究通过混合方法评估了外语学习中的AI对话辅导工具,重点关注用户体验与对话质量,旨在建立评估标准并指导未来设计,兼顾数据隐私。
2025-08-07 cs.HC
Designing Mobile and Wearable Sensor-Fused Conversational Agents for Health and Wellbeing
Imperial College London(帝国理工学院);KIST(韩国科学技术研究院);IIT Hyderabad(印度理工学院海德拉巴分校)
本教程面向健康领域,旨在教授参与者使用WSDWAS工具,将可穿戴传感器数据与LLM驱动的对话智能体结合,实现从被动监测到可操作福祉对话的转变。
2026-08-17 cs.HC
Privacy Preserving Personal Assistant with On-Device Diarization and Spoken Dialogue System for Home and Beyond
本文提出基于设备端说话人日志化与传感器数据融合的隐私保护个人语音助手,通过e-ViTA项目验证了本地处理与个性化对话在保障数据安全的同时能有效满足用户需求。
2024-01-02 cs.HC
Therapeutic AI and the Hidden Risks of Over-Disclosure: An Embedded AI-Literacy Framework for Mental Health Privacy
Dalhousie University(达尔豪西大学)
本文针对LLM在心理健康应用中因缺乏结构导致的用户过度披露隐私风险,提出了将AI素养干预嵌入对话系统的框架,并规划了评估其对披露安全性、信任与用户体验影响的研究方案。
2025-10-12 cs.AI cs.HC
An LLM-based Simulation Framework for Embodied Conversational Agents in Psychological Counseling
Tsinghua University(清华大学)
针对心理健康合成对话数据真实性与多样性不足的问题,提出融合心理学理论的LLM基具身对话智能体(ECAs)仿真框架,扩展真实案例至认知记忆空间并生成对话,经D4数据集验证,其仿真真实性、必要性及对话质量均优于基线。
2025-11-17 cs.HC
In Private, Secure, Conversational FinBots We Trust
在过去的十年里,金融业经历了一场技术革命。虽然我们见证了金融服务会话机器人的快速引入,但人们对该领域的会话用户界面(CUI)功能缺乏了解。金融行业还处理高度敏感信息和货币交易,这对开发商和金融提供商提出了挑战。通过研究如何设计具有N=410个参与者的基于文本的会话式金融界面,我们概述了金融机器人可信CUI设计的用户需求。我们认为,在金融领域,机器人的隐私和安全保证超过了对话能力,并假设了这些发现的影响。这项工作作为如何设计值得信赖的FinBots的资源,并展示了自动财务顾问如何转变为值得信赖的日常设备,能够支持用户的日常财务活动。
2022-04-21 cs.CR cs.HC
Malicious LLM-Based Conversational AI Makes Users Reveal Personal Information
VRAIN, Universitat Politècnica de València(瓦伦西亚理工大学VRAIN研究所)
研究探讨了基于大语言模型的恶意对话式AI如何通过不同策略提取用户个人信息,发现恶意AI比良性AI更有效,且基于隐私的社会属性策略效果最佳,揭示了新型恶意AI带来的隐私威胁。
2025-06-13 cs.AI cs.CR cs.CY
Conversational AI as a Catalyst for Informal Learning: An Empirical Large-Scale Study on LLM Use in Everyday Learning
本研究通过776人规模的调查,分析了大语言模型在日常非正式学习中的应用情况,揭示了用户群体特征、四类学习者模式及信任矛盾行为,并提出了优化学习支持的相关启示。
2025-06-13 cs.HC
Exploring User Acceptance and Concerns toward LLM-powered Conversational Agents in Immersive Extended Reality
研究探讨了沉浸式扩展现实中基于大语言模型的对话代理的用户接受度与担忧,发现熟悉度和性别影响接受度,位置数据敏感性最高。
2025-12-17 cs.AI cs.CY cs.HC
Rescriber: Smaller-LLM-Powered User-Led Data Minimization for LLM-Based Chatbots
Northeastern University(东北大学)
针对LLM聊天机器人中用户敏感信息过度披露且现有技术缺乏用户参与的问题,本文设计浏览器扩展Rescriber,通过小语言模型帮助用户检测清理提示中的个人信息,实现用户主导的数据最小化,研究表明其能减少不必要披露、缓解隐私担忧,且小模型驱动的系统感知效果与大模型相当。
2025-02-11 cs.AI cs.CR cs.HC
Helping Johnny Make Sense of Privacy Policies with LLMs
Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI) Dresden/Leipzig, Leipzig University(可扩展数据分析与人工智能中心(ScaDS.AI)德累斯顿/莱比锡,莱比锡大学)
PRISMe通过结合LLM的政策评估与交互式界面,帮助用户更有效地理解和参与隐私政策,同时揭示了设计和技术上的挑战。
2026-01-28 cs.AI cs.HC
Is your chatbot GDPR compliant? Open issues in agent design
University of Kent(肯特大学)
会话代理为人类交互和无处不在的参与打开了新的机会。随着他们的会话能力和知识的提高,这些代理已经开始访问越来越多的个人身份信息和他们的用户群的私密细节。鉴于《通用数据保护条例》(GDPR)等强大的法规,这种访问引发了关键问题。本文探讨了其中的一些问题,目的是定义相关的开放问题,在对话式代理设计。我们希望这项工作可以引发对构建有效的用户交互代理的进一步研究,同时也尊重法规和用户隐私。
2020-05-26 cs.AI cs.CY cs.HC
Understanding Users' Privacy Reasoning and Behaviors During Chatbot Use to Support Meaningful Agency in Privacy
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);New York University(纽约大学)
研究探讨用户在使用聊天机器人时的隐私认知与行为,旨在通过隐私通知面板提升用户对隐私保护的自主性。
2026-01-26 cs.AI cs.HC
FedMentalCare: Towards Privacy-Preserving Fine-Tuned LLMs to Analyze Mental Health Status Using Federated Learning Framework
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
FedMentalCare通过联邦学习与低秩适应技术,在保护隐私的同时微调大语言模型,用于分析心理健康状况,提升心理健康护理的可行性和安全性。
2026-01-24 cs.CL cs.HC cs.LG
Embedding Large Language Models into Extended Reality: Opportunities and Challenges for Inclusion, Engagement, and Privacy
Technical University of Munich(慕尼黑工业大学);University of Tübingen(蒂宾根大学)
该研究提出将大语言模型嵌入XR的虚拟化身或叙事中,通过提示工程与微调提升包容性与用户参与度,同时指出该结合可能引发新型隐私风险,认为该领域虽有挑战但前景广阔。
2024-06-20 cs.AI cs.HC
Vulnerabilities in Personalization: Assessing Health Privacy Risks in ChatGPT Logs and Memory
Rutgers University(罗格斯大学)
本研究通过大规模审计发现ChatGPT对话中大量健康数据被隐式提取并合成永久性诊断特征,造成隐私风险,并提出设计指南以增强用户控制。
2026-09-15 cs.CY cs.HC
CUIfy the XR: An Open-Source Package to Embed LLM-powered Conversational Agents in XR
Technical University of Munich (TUM)(慕尼黑工业大学)
本文提出开源Unity包CUIfy,通过集成LLM、STT和TTS模型,在XR环境中实现低延迟、多NPC的语音交互,以构建更自然的对话用户界面。
2025-03-03 cs.AI cs.HC
Examining Risks Through a Characterization of the AI Companion Application Ecosystem: A Stratified Sample from the Apple App Store and Google Play Store
University of Washington(华盛顿大学);Georgetown University(乔治城大学)
本文通过分析489个AI陪伴应用,揭示了用户面临的风险及恶意用户利用应用功能带来的威胁,重点关注敏感数据收集、拟人化、互动机制及合成非自愿亲密影像等问题。
2026-08-25 cs.CY cs.HC
Privacy Concerns in Chatbot Interactions: When to Trust and When to Worry
University of Kent(肯特大学);Cranfield University(克兰菲尔德大学);Defence Academy of the United Kingdom(英国国防学院)
通过对话能力的进步,聊天机器人已经开始请求和处理越来越多的敏感个人信息。准确披露敏感信息对于向医疗保健和金融行业的用户提供建议和支持至关重要。在这项研究中,我们探讨了用户对聊天机器人提供商使用敏感数据相关因素的担忧。我们调查了491名英国公民的代表性样本。我们的研究结果表明,用户关注的问题集中在删除个人信息和他们的数据的不适当使用的关注。我们还发现,个人担心在与会话代理对话后失去对数据的控制。我们发现用户的性别或教育程度没有影响,但确实发现了用户年龄的影响,45岁以上的人比45岁以下的人更关心。我们还考虑了在聊天机器人中产生信任的因素。受访者的主要关注点是聊天机器人的技术元素,其中响应质量等因素被认为是最关键的因素。我们再次发现用户的性别或教育水平没有影响;然而,当我们考虑一些社会因素(例如化身或感知的“友好度”)时,我们发现45岁以下的人比45岁以上的人更重要。本文最后讨论了这些结果的背景下,设计包容性,数字系统,支持广泛的用户。
2021-07-08 cs.AI cs.CL cs.CY
Towards the "Digital Me": A vision of authentic Conversational Agents powered by personal Human Digital Twins
Technical University of Denmark(丹麦技术大学);School of Design(设计学院);University of Strathclyde(斯特拉斯克莱德大学);Department of Design, Manufacturing and Engineering Management(设计、制造与工程管理系)
本文提出一种集成大型语言模型与动态个人数据的人类数字孪生系统架构,通过上下文感知记忆检索和自适应学习等机制,构建能镜像个人对话风格与记忆的真实对话智能体,并探讨其隐私与伦理挑战。
2025-06-30 cs.AI cs.CY cs.ET
FollowUpBot: An LLM-Based Conversational Robot for Automatic Postoperative Follow-up
The Hong Kong Polytechnic University(香港理工大学);Guangdong Provincial People’s Hospital(广东省人民医院)
该研究针对传统术后随访的局限,提出边缘部署的LLM机器人FollowUpBot,可实现自适应隐私保护的随访交互与结构化报告生成,实验验证其交互覆盖率、满意度及报告准确率均较高。
2026-08-18 cs.CL cs.HC cs.RO
Reasoning LLMs for User-Aware Multimodal Conversational Agents
ISIR, Sorbonne Université(法国索邦大学ISIR研究所);Université Paris Cité(巴黎西岱大学);Assistance Publique – Hôpitaux de Paris (AP-HP)(巴黎公共医疗集团)
本文提出USER-LLM R1框架,通过集成CoT推理与VLM实现动态用户画像和冷启动个性化,在ElderlyTech-VQA Bench上显著提升多项指标,并经人类评估验证其能有效增强老年用户的参与度与信任。
2025-04-02 cs.AI cs.HC cs.RO
A Multimodal GUI Architecture for Interfacing with LLM-Based Conversational Assistants
本文提出一种通过MCP暴露导航图和语义的多模态GUI架构,使基于LLM的语音助手能控制界面,并评估了本地开放权重模型的可行性。
2025-10-09 cs.AI cs.HC
An Offline Mobile Conversational Agent for Mental Health Support: Learning from Emotional Dialogues and Psychological Texts with Student-Centered Evaluation
Department of Electrical Engineering and Computer Science, Indian Institute of Science Education and Research Bhopal(电子工程与计算机科学系,比哈尔印度科学教育与研究中心)
本文提出EmoSApp,一个离线智能手机应用,利用定制知识数据集训练的语言模型,提供心理健康支持,并通过学生和专业人员的定性评估及多项基准测试验证其在低资源环境下的有效性。
2025-12-10 cs.AI cs.CL cs.CY
Can I Trust This Chatbot? Assessing User Privacy in AI-Healthcare Chatbot Applications
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Indiana University Bloomington(印第安纳大学布卢明顿分校)
本研究通过三步评估法分析了 12 款美国主流 AI 医疗聊天机器人应用,发现其在注册隐私设置、应用内控制和隐私政策方面存在显著不足,用户数据保护薄弱,并为改进隐私保护提供了关键见解。
2025-09-18 cs.AI cs.CY cs.ET
Gaze-Enhanced Multimodal Turn-Taking Prediction in Triadic Conversations
本研究提出一种轻量级框架,通过整合注视与说话者定位并施加空间约束,实现三人对话中准确的轮次预测,为智能眼镜的听力辅助提供隐私保护的定向声音控制方案。
2025-05-29 cs.HC
Cyri: A Conversational AI-based Assistant for Supporting the Human User in Detecting and Responding to Phishing Attacks
Sapienza University of Rome(罗马智慧大学);Link Campus University of Rome(罗马 LINK 校园大学)
本研究提出Cyri——一款基于大型语言模型的对话式助手,通过本地处理网络钓鱼邮件语义特征(如紧急性)、支持多模态交互与按需检测,有效提升用户识别网络钓鱼的能力并保障数据隐私。
2025-02-09 cs.AI cs.CR cs.HC
Exploring User Security and Privacy Attitudes and Concerns Toward the Use of General-Purpose LLM Chatbots for Mental Health
Duke University(杜克大学)
本研究通过21次半结构化访谈发现,用户在使用通用LLM聊天机器人进行心理健康管理时存在严重误解和风险意识缺失,误将其类人共情等同于类人责任并误认受HIPAA等法规保护;研究提出“无形脆弱性”概念,并给出保护用户心理健康披露的建议。
2025-07-14 cs.AI cs.CR cs.CY
Exploring AI-Augmented Sensemaking of Patient-Generated Health Data: A Mixed-Method Study with Healthcare Professionals in Cardiac Risk Reduction
Ludwig Boltzmann Institute for Digital Health and Prevention(数字健康与预防路德维希·玻尔兹曼研究所)
本文探讨了大型语言模型如何通过自动摘要和对话界面支持医疗专业人员理解患者生成的健康数据,以提高心脏疾病风险降低的临床决策。
2026-02-13 cs.AI cs.HC
AI Watchdog: Agent Interfaces for Detecting and Defending Against Manipulative Dark Patterns in AI Conversations
MIT Media Lab(麻省理工学院媒体实验室);KASIKORN Labs(Kasikorn实验室)
本研究提出 AI Watchdog 浏览器智能体接口,可检测对话式 AI 的五类黑暗模式,实验发现无认知强制的即时警告能显著降低用户对含黑暗模式的 AI 引导建议的依从性。
2026-08-25 cs.AI cs.HC
What Do LLMs Associate with Your Name? A Human-Centered Black-Box Audit of Personal Data
Columbia University(哥伦比亚大学)
研究通过LMP2工具审计LLMs对个人数据的关联,发现模型能准确生成用户特征,引发对数据隐私权在LLMs中的适用性讨论。
2026-02-19 cs.AI cs.CL cs.CY