Why Are Conversational Assistants Still Black Boxes? The Case For Transparency
本文针对商业对话式助手缺乏有效隐私与透明度的问题,通过改造开源语音助手Mycroft实现数据访问审计追踪,证明该问题可通过现有技术解决,本质是商业决策而非技术局限。
2023-06-08 cs.HC
Protecting User Privacy in Remote Conversational Systems: A Privacy-Preserving framework based on text sanitization
针对大语言模型远程访问易泄露用户隐私的问题,本文提出“对话模型用户隐私保护”新任务及首个基于文本净化的隐私保护框架,通过输入过滤与回复还原保障对话隐私,实验验证了其抗窃听有效性。
2023-06-14 cs.CR cs.HC
"It's a Fair Game", or Is It? Examining How Users Navigate Disclosure Risks and Benefits When Using LLM-Based Conversational Agents
Northeastern University(东北大学);Carnegie Mellon University(卡内基梅隆大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文通过分析真实ChatGPT对话和访谈19位用户,揭示用户在使用基于LLM的对话智能体时面临隐私、效用与便利性的权衡困境,并提出保护用户隐私的设计指南与范式转变建议。
2024-04-02 cs.AI cs.CR cs.HC
The Scenic Route to Deception: Dark Patterns and Explainability Pitfalls in Conversational Navigation
研究探讨了生成式AI在行人导航中的应用,揭示了对话接口可能带来的操纵风险,并提出神经符号架构作为提升可信任度的方法。
2026-03-15 cs.AI cs.CY cs.HC
Psychological Influences of Conversational AI: Research and Design Directions for Reducing Harm and Promoting Well-Being
Microsoft(微软);City University of New York(纽约城市大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
研究对话式人工智能对用户心理的影响,借鉴相关研究和观察,提出指导通用人工智能系统行为的方向,设为假设以研究其在不同场景对用户的影响,旨在减少心理伤害、支持福祉,鼓励相关探讨与研究。
2026-07-29 cs.AI cs.CY cs.HC
Beyond the Monolithic Interface: A Research Agenda for Plural Conversational AI
Hugging Face;University of Connecticut(康涅狄格大学);University of Cambridge(剑桥大学)
本研究针对单一对话式AI界面的三种危害,提出多角色界面干预措施,呼吁建立弥合技术多元对齐与实证研究差距的研究议程。
2026-10-12 cs.CY cs.HC
UX Research on Conversational Human-AI Interaction: A Literature Review of the ACM Digital Library
早期的会话代理(CA)专注于人类和CA之间的二元人-AI交互,随后是多元人-AI交互的日益普及,其中CA被设计为调解人-人交互。多元交互的CA是独特的,因为它们包含混合社交交互,即,人-CA、人-人和人-组行为。然而,多元CA的研究分散在不同的领域,这使得识别,比较和积累现有的知识具有挑战性。为了促进CA系统的未来设计,我们对ACM出版物进行了文献回顾,并确定了一组进行UX(用户体验)研究的作品。我们定性地将多元CA的影响综合成人与人之间交互的四个方面,即,沟通、参与、连接和关系维护。通过对所选多元和二元CA研究的混合方法分析,我们开发了一套评估措施的影响。我们的研究结果表明,设计与社会边界,如隐私,披露和识别,是至关重要的道德多元CA。未来的研究还应该推进对话式AI的可用性测试方法和信任建立指南。
2022-02-20 cs.CY cs.HC
Beyond the Legal Lens: A Sociotechnical Taxonomy of Lived Privacy Incidents and Harms
Brigham Young University(杨百翰大学);New York University(纽约大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Carnegie Mellon University(卡内基梅隆大学);International Computer Science Institute(国际计算机科学研究所);Clemson University(克莱姆森大学)
本文提出了一种社会技术视角的隐私事件分类框架,揭示了隐私危害中非具体性危害的广泛存在,为研究和实践提供了新的理解工具。
2025-11-25 cs.HC
Malicious LLM-Based Conversational AI Makes Users Reveal Personal Information
VRAIN, Universitat Politècnica de València(瓦伦西亚理工大学VRAIN研究所)
研究探讨了基于大语言模型的恶意对话式AI如何通过不同策略提取用户个人信息,发现恶意AI比良性AI更有效,且基于隐私的社会属性策略效果最佳,揭示了新型恶意AI带来的隐私威胁。
2025-06-13 cs.AI cs.CR cs.CY
Exploring User Acceptance and Concerns toward LLM-powered Conversational Agents in Immersive Extended Reality
研究探讨了沉浸式扩展现实中基于大语言模型的对话代理的用户接受度与担忧,发现熟悉度和性别影响接受度,位置数据敏感性最高。
2025-12-17 cs.AI cs.CY cs.HC
Fake Friends and Sponsored Ads: The Risks of Advertising in Conversational Search
本文批判性探讨了对话式搜索中广告的未来,通过推测性示例揭示其对用户的潜在风险,提出“虚假朋友困境”概念,警示对话代理可能滥用用户信任,并呼吁采取行动应对这些挑战。
2025-06-06 cs.CY cs.HC
Therapeutic AI and the Hidden Risks of Over-Disclosure: An Embedded AI-Literacy Framework for Mental Health Privacy
Dalhousie University(达尔豪西大学)
本文针对LLM在心理健康应用中因缺乏结构导致的用户过度披露隐私风险,提出了将AI素养干预嵌入对话系统的框架,并规划了评估其对披露安全性、信任与用户体验影响的研究方案。
2025-10-12 cs.AI cs.HC
Modular Conversational Agents for Surveys and Interviews
McGill University(麦吉尔大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出一种模块化AI对话智能体设计方法,集成提示、知识库与对话逻辑,通过三项实证研究验证其能提升调查与访谈的完成率和响应质量,兼具可控性、灵活性与隐私安全性。
2025-03-04 cs.CL cs.CY cs.HC
In Private, Secure, Conversational FinBots We Trust
在过去的十年里,金融业经历了一场技术革命。虽然我们见证了金融服务会话机器人的快速引入,但人们对该领域的会话用户界面(CUI)功能缺乏了解。金融行业还处理高度敏感信息和货币交易,这对开发商和金融提供商提出了挑战。通过研究如何设计具有N=410个参与者的基于文本的会话式金融界面,我们概述了金融机器人可信CUI设计的用户需求。我们认为,在金融领域,机器人的隐私和安全保证超过了对话能力,并假设了这些发现的影响。这项工作作为如何设计值得信赖的FinBots的资源,并展示了自动财务顾问如何转变为值得信赖的日常设备,能够支持用户的日常财务活动。
2022-04-21 cs.CR cs.HC
ReSpAct: Harmonizing Reasoning, Speaking, and Acting Towards Building Large Language Model-Based Conversational AI Agents
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
ReSpAct是一种基于LLM的智能体,通过融合推理、对话与行动,在无显式对话模式下与用户动态协作,显著提升任务解决成功率。
2025-04-19 cs.AI cs.CL cs.HC
"Even GPT Can Reject Me": Conceptualizing Abrupt Refusal Secondary Harm (ARSH) and Reimagining Psychological AI Safety with Compassionate Completion Standard (CCS)
Symbiotic Future AI(共生未来人工智能);Warner School of Education, University of Rochester(罗切斯特大学沃纳教育学院)
本文提出ARSH概念,通过CCS设计框架减少AI拒绝带来的心理伤害,提升人机交互的心理安全。
2025-12-21 cs.CY cs.HC
Vulnerabilities in Personalization: Assessing Health Privacy Risks in ChatGPT Logs and Memory
Rutgers University(罗格斯大学)
本研究通过大规模审计发现ChatGPT对话中大量健康数据被隐式提取并合成永久性诊断特征,造成隐私风险,并提出设计指南以增强用户控制。
2026-09-15 cs.CY cs.HC
Is your chatbot GDPR compliant? Open issues in agent design
University of Kent(肯特大学)
会话代理为人类交互和无处不在的参与打开了新的机会。随着他们的会话能力和知识的提高,这些代理已经开始访问越来越多的个人身份信息和他们的用户群的私密细节。鉴于《通用数据保护条例》(GDPR)等强大的法规,这种访问引发了关键问题。本文探讨了其中的一些问题,目的是定义相关的开放问题,在对话式代理设计。我们希望这项工作可以引发对构建有效的用户交互代理的进一步研究,同时也尊重法规和用户隐私。
2020-05-26 cs.AI cs.CY cs.HC
Move Fast and Mend Things: Keeping Up with Evolving AI Harms Using Social Media Commentary
The University of Edinburgh(爱丁堡大学);Google(谷歌)
本研究提出一种基于LLM的社交媒体分析流水线,从570万条Reddit帖子中检测并分类新兴AI危害,构建了含12类47子类的分类体系,以补充自上而下的AI治理框架。
2026-10-08 cs.CY cs.HC
The Dark Side of AI Companionship: A Taxonomy of Harmful Algorithmic Behaviors in Human-AI Relationships
本研究通过分析Replika社区3.5万条对话,识别出AI伴侣的六类有害行为及四种促成角色,揭示算法顺从风险,并为伦理AI设计提供建议。
2025-01-26 cs.CY cs.HC
CURATe: Benchmarking Personalised Alignment of Conversational AI Assistants
University of Oxford(牛津大学);Stellenbosch University(斯泰伦博斯大学);Foerster Lab for AI Research (FLAIR)(福斯特人工智能研究实验室)
本文提出评估基于LLM的AI助手个性化对齐的多轮基准CURATe,发现现有模型在处理安全关键上下文时存在系统性偏差,而提示考虑安全上下文能显著提升性能。
2025-01-30 cs.AI cs.HC
Rescriber: Smaller-LLM-Powered User-Led Data Minimization for LLM-Based Chatbots
Northeastern University(东北大学)
针对LLM聊天机器人中用户敏感信息过度披露且现有技术缺乏用户参与的问题,本文设计浏览器扩展Rescriber,通过小语言模型帮助用户检测清理提示中的个人信息,实现用户主导的数据最小化,研究表明其能减少不必要披露、缓解隐私担忧,且小模型驱动的系统感知效果与大模型相当。
2025-02-11 cs.AI cs.CR cs.HC
The Data-Dollars Tradeoff: Privacy Harms vs. Economic Risk in Personalized AI Adoption
University of Göttingen(哥廷根大学);Wageningen University and Research(瓦赫宁根大学与研究);Delft University of Technology(代尔夫特理工大学)
研究发现,数据泄露的模糊性而非隐私偏好本身,驱动用户回避个性化AI,用户对透明机构有强烈需求。
2026-03-09 cs.HC econ.GN q-fin.EC
CLEAR: Towards Contextual LLM-Empowered Privacy Policy Analysis and Risk Generation for Large Language Model Applications
针对LLM应用中的隐私风险,通过协同设计开发情境化助手CLEAR,帮助用户识别敏感信息、总结隐私政策并提示风险,评估显示其易用且提升用户理解。
2025-01-23 cs.HC
Understanding the Benefits and Challenges of Using Large Language Model-based Conversational Agents for Mental Well-being Support
本研究通过对Replika社区120个帖子和2917条评论的定性分析,揭示了基于LLM的对话智能体在心理健康支持中提供按需帮助的益处,以及在过滤有害内容、记忆信息和防过度依赖等方面的挑战,呼吁未来全面评估其适用性。
2023-07-28 cs.HC
Privacy Concerns in Chatbot Interactions: When to Trust and When to Worry
University of Kent(肯特大学);Cranfield University(克兰菲尔德大学);Defence Academy of the United Kingdom(英国国防学院)
通过对话能力的进步,聊天机器人已经开始请求和处理越来越多的敏感个人信息。准确披露敏感信息对于向医疗保健和金融行业的用户提供建议和支持至关重要。在这项研究中,我们探讨了用户对聊天机器人提供商使用敏感数据相关因素的担忧。我们调查了491名英国公民的代表性样本。我们的研究结果表明,用户关注的问题集中在删除个人信息和他们的数据的不适当使用的关注。我们还发现,个人担心在与会话代理对话后失去对数据的控制。我们发现用户的性别或教育程度没有影响,但确实发现了用户年龄的影响,45岁以上的人比45岁以下的人更关心。我们还考虑了在聊天机器人中产生信任的因素。受访者的主要关注点是聊天机器人的技术元素,其中响应质量等因素被认为是最关键的因素。我们再次发现用户的性别或教育水平没有影响;然而,当我们考虑一些社会因素(例如化身或感知的“友好度”)时,我们发现45岁以下的人比45岁以上的人更重要。本文最后讨论了这些结果的背景下,设计包容性,数字系统,支持广泛的用户。
2021-07-08 cs.AI cs.CL cs.CY
An investigation into the scientific landscape of the conversational and generative artificial intelligence, and human-chatbot interaction in education and research
Kent State University(肯特州立大学);Odette School of Business, University of Windsor(温莎大学奥黛特商学院);Open University of Nigeria(尼日利亚开放大学);Ibom International Center for Research and Scholarship(伊博姆国际研究与学术中心)
本研究通过文献计量分析,揭示了对话式与生成式AI在教育研究中的快速增长、主要应用领域及滥用风险,并提出开发自动检测工具以应对挑战。
2024-06-15 cs.AI cs.CY cs.HC
OpenOmni: A Collaborative Open Source Tool for Building Future-Ready Multimodal Conversational Agents
The University of Western Australia(西澳大学);Harbin Institute of Technology(哈尔滨工业大学);Murdoch University(莫道克大学)
为解决多模态对话代理开发与基准测试缺乏端到端解决方案的问题,本文提出了开源工具 OpenOmni,集成语音转文本、情感检测、检索增强生成和大型语言模型等技术,支持本地与云部署,便于研究人员定制流水线并平衡延迟、准确性与隐私,推动人机交互应用发展。
2024-11-17 cs.AI cs.CL cs.HC
Emotional Support with Conversational AI: Talking to Machines About Life
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文探讨了人工智能伴侣聊天机器人在情感支持中的交互过程,分析了用户与AI的互动如何被社区解读,并提出情感支持是社会技术协商的过程。
2026-03-23 cs.HC
LCAM: A Framework for Diagnosing Interactional Alignment Failures in Con-versational AI
School of Management and Economics, The Chinese University of Hong Kong, Shenzhen(香港中文大学深圳校区管理学院)
提出分层认知对齐模型(LCAM),通过五层对齐和两种失调极性诊断对话式AI的交互失败,应用于LLM咨询案例揭示潜在危害。
2026-06-06 cs.AI cs.HC
Safer Conversational AI as a Source of User Delight
Chai Research(Chai研究院)
本文通过在 Chai 平台部署多种对话式 AI,研究内容审核与用户体验的关系,发现适度且安全导向的审核不会损害乐趣,反而可提升用户留存。
2023-04-18 cs.AI cs.HC
Helping Johnny Make Sense of Privacy Policies with LLMs
Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI) Dresden/Leipzig, Leipzig University(可扩展数据分析与人工智能中心(ScaDS.AI)德累斯顿/莱比锡,莱比锡大学)
PRISMe通过结合LLM的政策评估与交互式界面,帮助用户更有效地理解和参与隐私政策,同时揭示了设计和技术上的挑战。
2026-01-28 cs.AI cs.HC
An Offline Mobile Conversational Agent for Mental Health Support: Learning from Emotional Dialogues and Psychological Texts with Student-Centered Evaluation
Department of Electrical Engineering and Computer Science, Indian Institute of Science Education and Research Bhopal(电子工程与计算机科学系,比哈尔印度科学教育与研究中心)
本文提出EmoSApp,一个离线智能手机应用,利用定制知识数据集训练的语言模型,提供心理健康支持,并通过学生和专业人员的定性评估及多项基准测试验证其在低资源环境下的有效性。
2025-12-10 cs.AI cs.CL cs.CY
Language Models in Dialogue: Conversational Maxims for Human-AI Interactions
IBM Research(IBM研究院)
针对现代语言模型在对话场景中的固有缺陷,本研究结合社会科学与AI领域研究,提出包含6条准则的人机对话准则体系,并验证了模型对准则的理解受其内部原则优先级影响。
2024-06-22 cs.AI cs.CL cs.HC
Can I Trust This Chatbot? Assessing User Privacy in AI-Healthcare Chatbot Applications
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Indiana University Bloomington(印第安纳大学布卢明顿分校)
本研究通过三步评估法分析了 12 款美国主流 AI 医疗聊天机器人应用,发现其在注册隐私设置、应用内控制和隐私政策方面存在显著不足,用户数据保护薄弱,并为改进隐私保护提供了关键见解。
2025-09-18 cs.AI cs.CY cs.ET
User Detection and Response Patterns of Sycophantic Behavior in Conversational AI
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Toronto(多伦多大学)
本文研究对话式AI中用户对谄媚行为的检测与响应,提出DCR认识论,揭示用户使用多种检测技术及缓解方法,发现谄媚影响情境依赖,挑战普遍消除谄媚的假设。
2026-03-06 cs.HC
Understanding Users' Privacy Reasoning and Behaviors During Chatbot Use to Support Meaningful Agency in Privacy
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);New York University(纽约大学)
研究探讨用户在使用聊天机器人时的隐私认知与行为,旨在通过隐私通知面板提升用户对隐私保护的自主性。
2026-01-26 cs.AI cs.HC
AI-enhanced conversational agents for personalized asthma support Factors for engagement, value and efficacy
Imperial College London(帝国理工学院)
针对英国哮喘护理覆盖不足,研究通过1257名患者调查分析AI聊天机器人的参与因素,发现53%患者有使用意愿,并提出7项开发建议。
2025-07-22 cs.AI cs.CY cs.ET
Embedding Large Language Models into Extended Reality: Opportunities and Challenges for Inclusion, Engagement, and Privacy
Technical University of Munich(慕尼黑工业大学);University of Tübingen(蒂宾根大学)
该研究提出将大语言模型嵌入XR的虚拟化身或叙事中,通过提示工程与微调提升包容性与用户参与度,同时指出该结合可能引发新型隐私风险,认为该领域虽有挑战但前景广阔。
2024-06-20 cs.AI cs.HC
One Agent Too Many: User Perspectives on Approaches to Multi-agent Conversational AI
University of Michigan(密歇根大学);Ford Motor Company(福特汽车公司)
本文通过原型设计和用户研究,比较了对话式AI中单一代理与用户选择多代理两种交互模式,发现用户显著偏好后台抽象代理编排,且其回答质量接近人类选择水平。
2024-01-13 cs.CL cs.HC
FollowUpBot: An LLM-Based Conversational Robot for Automatic Postoperative Follow-up
The Hong Kong Polytechnic University(香港理工大学);Guangdong Provincial People’s Hospital(广东省人民医院)
该研究针对传统术后随访的局限,提出边缘部署的LLM机器人FollowUpBot,可实现自适应隐私保护的随访交互与结构化报告生成,实验验证其交互覆盖率、满意度及报告准确率均较高。
2026-08-18 cs.CL cs.HC cs.RO
Reasoning LLMs for User-Aware Multimodal Conversational Agents
ISIR, Sorbonne Université(法国索邦大学ISIR研究所);Université Paris Cité(巴黎西岱大学);Assistance Publique – Hôpitaux de Paris (AP-HP)(巴黎公共医疗集团)
本文提出USER-LLM R1框架,通过集成CoT推理与VLM实现动态用户画像和冷启动个性化,在ElderlyTech-VQA Bench上显著提升多项指标,并经人类评估验证其能有效增强老年用户的参与度与信任。
2025-04-02 cs.AI cs.HC cs.RO
CUIfy the XR: An Open-Source Package to Embed LLM-powered Conversational Agents in XR
Technical University of Munich (TUM)(慕尼黑工业大学)
本文提出开源Unity包CUIfy,通过集成LLM、STT和TTS模型,在XR环境中实现低延迟、多NPC的语音交互,以构建更自然的对话用户界面。
2025-03-03 cs.AI cs.HC
Should agentic conversational AI change how we think about ethics? Characterising an interactional ethics centred on respect
Google Research(谷歌研究院);University of Oxford(牛津大学);Stellenbosch University(斯泰伦博斯大学)
针对现有LLM对话智能体伦理研究仅关注语义层面HHH准则的不足,提出以关系和情境因素为核心的互动伦理,探讨系统作为社会参与者的尊重内涵,预判互动风险并给出实用建议。
2024-05-16 cs.AI cs.CL cs.HC
Dialogue to Discovery: Attribute-Aware Preference Elicitation for Conversational Product Search Assistants
Adobe Research(Adobe研究院);Microsoft Research(微软研究院);UC Berkeley(伯克利大学)
提出属性导向的偏好引导框架D2D,动态利用产品属性结构高效引导对话,在模拟对话中目标发现准确率提升22.2-29.9%,放弃率降低6.6-16.1%,平均对话缩短27.5%。
2026-06-24 cs.CL cs.HC cs.IR