An Empathetic User-Centric Chatbot for Emotional Support
本文研究乙女文化与AI结合,通过LLM增强游戏叙事,构建情感支持聊天机器人,以《未定事件簿》为案例,提供现实陪伴。
2023-11-15 cs.AI cs.HC
How AI and Human Behaviors Shape Psychosocial Effects of Extended Chatbot Use: A Longitudinal Randomized Controlled Study
该研究通过为期四周、981人参与的随机对照实验,发现聊天机器人的互动模式与对话类型对心理社会结果无显著影响,使用频率及个体对AI的信任等特征才与负面心理效应相关,引发对人工伴侣重塑人际联结的思考。
2025-10-02 cs.HC
Understanding Attitudes and Trust of Generative AI Chatbots for Social Anxiety Support
本研究通过混合方法调查用户对生成式AI聊天机器人支持社交焦虑的态度与信任,发现症状严重者更信任其情感支持,症状轻者更看重技术可靠性,并提出设计建议。
2025-01-26 cs.HC
Is AI mingling or bullying me? Exploring User Interactions with a Chatbot in China
本文以微博社交机器人“评论罗伯特”为对象,分析3900余条用户互动记录,揭示其自主评论带来的复杂情感体验及人机情感鸿沟,为人机交互研究提供新视角。
2025-07-05 cs.HC
The Rise of AI Companions: How Human-Chatbot Relationships Influence Well-Being
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
研究探讨了AI伴侣对幸福感的影响,发现依赖聊天机器人寻求陪伴的人群幸福感较低,尤其在高互动和高自我披露情况下,且无法完全替代人类社交。
2025-12-31 cs.HC
EMMA: An Emotion-Aware Wellbeing Chatbot
通过无处不在的设备提供心理健康干预已经显示出很大的希望。会话聊天机器人是一个很有前途的预言机,可以提供适当的即时干预。然而,设计情绪感知代理,特别是在这种情况下,是探索不足。此外,还没有充分研究通过这种代理自动提供即时移动保健干预措施的可行性。在本文中,我们提出了EMMA(情感感知移动健康代理)的设计和评估,通过一个为期两周的人类受试者实验N=39参与者。EMMA以移情的方式提供情感上适当的微活动。我们表明,该系统可以扩展到纯粹从智能手机传感器数据检测用户的情绪。我们的研究结果表明,我们的个性化机器学习模型通过用户的自我情感报告被认为是讨人喜欢的。最后,我们提供了一套指导方针,为mHealth的情感感知机器人的设计。
2019-07-23 cs.HC
Exploring Emotion-Sensitive LLM-Based Conversational AI
University of Southern California(南加州大学);Institute for Creative Technologies(创意技术研究所)
本研究通过比较30名参与者使用情感敏感与不敏感的基于LLM的聊天机器人,发现情感敏感型聊天机器人虽未提升问题解决率,但能提高用户对其可信度和能力的感知,为客户服务中对话式AI的优化提供参考。
2025-02-13 cs.AI cs.HC
Cloning the Self for Mental Well-Being: A Framework for Designing Safe and Therapeutic Self-Clone Chatbots
University of British Columbia(不列颠哥伦比亚大学);Johns Hopkins University School of Medicine(约翰斯·霍普金斯大学医学院);City College of New York(纽约市立学院);Korea Institute of Science and Technology(韩国科学技术院)
本文提出了一种设计安全且治疗性自我克隆聊天机器人的框架,旨在通过跨学科方法解决身份混淆和伦理风险,促进心理健康福祉。
2026-01-21 cs.HC
Designing Adaptive Affective Chatbots for Online Learning: Trade-offs Between User Control, Automation, and Transparency
Georgia Institute of Technology(佐治亚理工学院)
本研究通过迭代设计探索在线学习中的情感自适应聊天机器人,提出三种自适应方案,并发现混合设计在权衡自动化、透明度与用户控制时最受用户青睐。
2026-10-06 cs.CY cs.HC
AniBalloons: Animated Chat Balloons as Affective Augmentation for Social Messaging and Chatbot Interaction
针对消息交互非语言情绪传递有限的问题,研究团队设计了含30种动画的AniBalloons系统,通过三项研究验证其情感识别效果与对交流体验的影响,为非语言情感交流提供了新方案与实证依据。
2024-08-14 cs.HC
Are You Listening to Me? Fine-Tuning Chatbots for Empathetic Dialogue
Nelogica Sistemas de Software Ltda(Nelogica软件系统有限公司)
本文研究大型语言模型在共情对话生成中的表现,通过ChatGPT和Gemini扩展专家数据集并结合VADER情感分析与人工评估,发现情感建模需兼顾结构对齐与定性深度。
2025-07-03 cs.AI cs.HC
"I am here for you": How relational conversational AI appeals to adolescents, especially those who are socially and emotionally vulnerable
University of Denver(丹佛大学);Ewha Womans University(梨花女子大学)
研究发现关系型对话风格能增强青少年对AI的拟人化和情感依赖,尤其吸引社会和情感脆弱的青少年。
2025-12-18 cs.AI cs.HC cs.RO
Technological folie à deux: Feedback Loops Between AI Chatbots and Mental Illness
研究探讨了人工智能聊天机器人与心理健康问题之间的相互作用风险,指出其可能引发信念不稳定和依赖,并呼吁跨领域的协调行动以应对这一新兴公共卫生问题。
2026-03-10 cs.AI cs.HC q-bio.NC
Revolutionizing Mental Health Support: An Innovative Affective Mobile Framework for Dynamic, Proactive, and Context-Adaptive Conversational Agents
针对传统聊天机器人难以适配复杂心理健康支持需求的问题,论文提出结合多模态感知、语言模型与认知行为疗法工具的情感移动框架,可实现共情式情绪干预,助力用户情绪管理。
2024-06-22 cs.HC
From Chatbots to Confidants: A Cross-Cultural Study of LLM Adoption for Emotional Support
Leiden University(莱顿大学);Hogeschool van Amsterdam(阿姆斯特丹大学);Independent Researcher(独立研究员)
本研究探讨了不同国家用户对LLM用于情感支持的接受度及影响因素,通过大规模跨文化调查发现社会经济地位是关键预测因素,并揭示了多语言提示语中用户主要寻求帮助的领域。
2026-05-17 cs.CL cs.HC
AI Chatbots or Human Therapists? Belief-Based Predictors of Mental Health Help-Seeking Intentions in the Age of Generative AI
University of Florida(佛罗里达大学);Iowa State University(爱荷华州立大学)
本研究探讨了生成式人工智能时代人们在使用AI聊天机器人和人类治疗师之间的选择,发现人际支持和经济因素影响求助意图。
2026-03-12 cs.HC
Exploring the Effects of Chatbot Anthropomorphism and Human Empathy on Human Prosocial Behavior Toward Chatbots
Computer Science, National University of Singapore(计算机科学,新加坡国立大学);Department of Communications and New Media, National University of Singapore(通讯与新媒体系,新加坡国立大学);New Media, National University of Singapore(新媒体,新加坡国立大学)
本研究探讨了聊天机器人拟人化和人类共情如何促进人类对聊天机器人的亲社会行为,并发现共情在其中起中介作用。
2025-06-25 cs.AI cs.HC
A Multi-Turn Emotionally Engaging Dialog Model
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
开放域对话系统(也称为聊天机器人)在自然语言处理中越来越受到关注。最近的一些工作旨在将情感信息纳入序列到序列神经对话建模中,使反应在情感上更丰富,而其他人则使用手工制作的规则来确定所需的情感反应。然而,他们并没有明确地学习人类对话中捕捉到的微妙的情感互动。在本文中,我们提出了一个多轮对话系统,旨在学习和产生情感反应,到目前为止,只有人类知道如何做。离线实验表明,与两个基线模型相比,该方法在困惑分数上表现最好。进一步的人类评估证实,我们的聊天机器人可以跟踪对话上下文,并在情感上产生更合适的反应,同时在语法上表现同样出色。
2020-06-24 cs.AI cs.CL cs.HC
Love in the Age of AI: An Integrative Process Model of Romantic Human-Chatbot Relationships
University of Duisburg-Essen(杜伊斯堡-埃森大学);INTITEC Research Group, University of Duisburg-Essen(杜伊斯堡-埃森大学 INTITEC 研究组);Research Center Trustworthy Data Science and Security, University Alliance Ruhr(鲁尔大学联盟可信数据科学与安全研究中心);Centre for Justice, Queensland University of Technology(昆士兰科技大学司法中心)
本文针对现有人机聊天机器人浪漫关系研究的碎片化问题,基于73份用户体验构建了首个实证整合过程模型,揭示了该关系的三阶段发展规律及技术介导的应对机制。
2026-08-18 cs.HC
Chatbots for Mental Health Support: Exploring the Impact of Emohaa on Reducing Mental Distress in China
Tsinghua University(清华大学);Beijing Normal University(北京师范大学)
对心理健康支持的需求日益增长,凸显了对话代理作为全球和中国人类支持者的重要性。这些药物可以增加心理健康支持的可用性并降低其相对成本。所提供的支持可分为两大类:认知支持和情感支持。现有的工作主要集中在构建代理,采用认知行为疗法(CBT)的原则。这种代理基于预定义的模板和练习来操作,以提供认知支持。然而,研究情绪支持使用这样的代理是有限的。此外,大多数被构建的代理人使用英语进行操作,这突出了在中国进行此类研究的重要性。在这项研究中,我们分析了Escherhaa在减少精神痛苦症状方面的有效性。Rehhaa是一个会话代理,通过基于CBT的练习和引导对话提供认知支持。它还通过使用户能够发泄他们想要的情绪问题来在情感上支持用户。该研究包括134名参与者,分为三组:Eschhaa(基于CBT),Eschhaa(完全)和对照组。实验结果表明,与对照组相比,使用Escherhaa的参与者在精神痛苦症状方面有了更显著的改善。我们还发现,添加情绪支持剂对这些改善有补充作用,主要是抑郁和失眠。根据所获得的结果和参与者对平台的满意度,我们得出结论,Escherhaa是减少精神痛苦的实用有效工具。
2022-09-21 cs.CL cs.HC
Restoration, Exploration and Transformation: How Youth Engage Character.AI Chatbots for Feels, Fun and Finding themselves
The University of Sydney(悉尼大学)
研究探讨青少年在Character.AI Discord上通过AI进行情感、创造和自我探索的实践,提出三种互动意图框架和七种角色原型,揭示青少年如何重新定义AI用途及当前AI体验的矛盾。
2026-03-10 cs.HC
From Eliza to XiaoIce: Challenges and Opportunities with Social Chatbots
Microsoft Corporation(微软公司)
自20世纪60年代问世以来,会话系统已经走过了漫长的道路。经过几十年的研究和开发,我们已经看到了从60年代和70年代的Eliza和Parry,到2000年代DARPA的任务完成系统,再到2010年代的智能个人助理Siri,再到今天的社交聊天机器人XiaoIce。社交聊天机器人的吸引力不仅在于它们能够响应用户的各种请求,还在于它们能够与用户建立情感联系。后者是通过满足用户对沟通、情感以及社会归属感的需求来实现的。为了进一步推进和采用社交聊天机器人,它们的设计必须关注用户参与度,并考虑智商(IQ)和情商(EQ)。用户应该希望与社交聊天机器人互动;因此,我们将社交聊天机器人的成功指标定义为每次会话的会话次数(CPS)。以小冰为例,我们讨论了构建社交聊天机器人的关键技术,从核心聊天到视觉感知到技能。我们还展示了XiaoIce如何动态地识别情感,并通过适当的人际反应在长时间的对话中吸引用户。随着我们成为第一代与人工智能生活在一起的人类,我们有责任设计社交聊天机器人,使其既有用又有同情心,因此它们将变得无处不在,并帮助整个社会。
2018-02-09 cs.AI cs.HC
Designing for Health Chatbots
构建会话代理有许多技术,设计和语言上的挑战。其他更复杂的元素包括使用情感智能对话代理来与个人建立信任。在这一章中,我们介绍了会话用户界面(CUI)的健康和描述的UX设计原则,通过系统的文献回顾相关的研究工作。我们分析了对话界面和聊天机器人的科学文献,提供了主要研究的调查,并描述了UX设计原则和交互模式。
2019-02-24 cs.CY cs.HC
Creating, Using and Assessing a Generative-AI-Based Human-Chatbot-Dialogue Dataset with User-Interaction Learning Capabilities
本文提出利用ChatGPT 3.5生成带用户语言水平和情绪特征的人机对话数据集,并通过复杂度评估与交互模式存储,为提升客户服务对话管理和用户交互学习能力奠定基础。
2025-01-01 cs.HC
A Responsive Present, a Shared Past, a Social Other: Teens' Overreliance on Companion AI Chatbots
Drexel University(德雷塞尔大学)
本研究分析青少年在Reddit上对陪伴式AI聊天机器人的讨论,揭示其提供安慰与探索的同时,也导致问题性依恋、社会替代和情感依赖,强调安全需关注用户控制的记忆、隐私、边界与健康脱离。
2026-09-15 cs.AI cs.HC
Investigating Perceptions of Social Intelligence in Simulated Human-Chatbot Interactions
随着会话用户界面的不断渗透,需要更好地理解对话固有的社会和情感特征。聊天机器人特别面临的挑战是,在被限制在一个交互通道的同时传达类似人类的行为,即,短信了因此,所提出的工作的目标是调查人类对话者是否可以感知到人类与聊天机器人交互中嵌入的社会智能特征,如果是的话,这是否会影响体验到的交互质量。针对社会智力维度的真实性,清晰性和同情心,我们首先使用了一个问卷调查评估的感知水平的文本话语,然后进行了一个绿野仙踪的研究,调查这些话语的影响,在一个更具互动性的设置。结果表明,人们在感知文本中的社会智力要素时遇到了很大的困难。一方面,他们认为拟人化行为对于对话的自然性是令人愉快和积极的,但当一个人工代理人以错误的方式或在错误的时间表达时,他们也可能认为它是可怕的和不合适的。
2021-04-28 cs.HC
Chatbot Companionship: A Mixed-Methods Study of Companion Chatbot Usage Patterns and Their Relationship to Loneliness in Active Users
本研究通过大规模调查与混合方法分析,发现陪伴型聊天机器人的使用模式受神经质、社交网络规模等因素影响,导致七类用户画像在心理福祉上产生差异,表明一刀切的AI陪伴设计存在伦理问题,需发展更具针对性的方法以补充人类联系。
2025-08-11 cs.HC
Understanding Human-Chatbot Romance: A Qualitative and Quantitative Study on Romantic Fantasy and Other Interpersonal Characteristics
本研究通过定量和定性方法,探讨了用户与聊天机器人建立浪漫关系的心理因素,发现浪漫幻想是影响关系强度的主要因素。
2025-11-25 cs.HC
Talking to an AI Mirror: Designing Self-Clone Chatbots for Enhanced Engagement in Digital Mental Health Support
本研究设计并评估了复制用户对话模式的自我克隆聊天机器人,通过半受控实验(N=180)证明其相比通用咨询师机器人能显著提升情感和认知参与度,为数字心理健康干预提供了新方法。
2025-09-08 cs.HC
"I Talked an AI Chatbot, So What's Next?" How U.S. Young Adults Imagine Responsible AI for Emotion Coping
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究通过场景研究考察AI聊天机器人如何影响情绪应对的关系条件,提出负责任AI应回应个体关系条件,并确定促进互惠与增强情绪自我效能两个设计原则。
2026-09-23 cs.HC
Moodie: An Early-Stage Design Exploration for Supporting Fear of Missing Out with LLM-based Chatbots
National Chung Cheng University(国立中正大学);UC Davis(加州大学戴维斯分校);National Cheng Kung University(国立成功大学)
提出基于大语言模型的聊天机器人Moodie,通过情绪调节支持减少错失恐惧症,初步评估显示其相比通用模型能提高用户参与度和社交连接。
2026-06-05 cs.HC
The Design and Implementation of XiaoIce, an Empathetic Social Chatbot
Microsoft(微软);Microsoft Research(微软研究院)
本文介绍了世界上最流行的社交聊天机器人Microsoft XiaoIce的开发。XiaoIce被独特地设计为具有情感联系的AI伴侣,以满足人类对沟通,情感和社会归属感的需求。我们在系统设计中考虑了智商(IQ)和情商(EQ),将人机社交聊天作为马尔可夫决策过程(MDP)的决策,并优化XiaoIce以实现长期的用户参与,以预期的会话次数(CPS)衡量。我们详细介绍了系统的架构和关键组件,包括对话管理器,核心聊天,技能和移情计算模块。我们展示了小冰如何动态地识别人类的情感和状态,理解用户的意图,并在长时间的对话中响应用户的需求。自2014年推出以来,小冰已经与超过6.6亿活跃用户进行了交流,并成功地与其中许多人建立了长期关系。对大规模在线日志的分析表明,XiaoIce的平均CPS达到了23,明显高于其他聊天机器人甚至人类对话。
2019-09-14 cs.AI cs.CL cs.HC
Watching AI Think: User Perceptions of Visible Thinking in Chatbots
Aalborg University(奥尔堡大学);University of Oulu(奥卢大学)
研究探讨可见思考对用户感知的影响,通过实验发现不同思考内容和情境对同理心、温暖、能力和参与度有显著影响,为设计更有效的对话代理提供依据。
2026-01-23 cs.HC
Who's Sorry Now: User Preferences Among Rote, Empathic, and Explanatory Apologies from LLM Chatbots
本研究通过162名Prolific用户的成对实验,考察LLM聊天机器人在偏见、幻觉和事实错误三类场景下机械式、解释式与共情式道歉的用户偏好,发现解释式道歉总体更受青睐但随情境和用户变化,并指出个性化与校准是未来修复信任的关键。
2025-07-03 cs.HC
Mapping Caregiver Needs to AI Chatbot Design: Strengths and Gaps in Mental Health Support for Alzheimer's and Dementia Caregivers
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Indiana University Indianapolis(印第安纳大学印第安纳波利斯分校);University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校)
研究探讨了阿尔茨海默病和痴呆症照护者在心理健康支持中的需求与AI聊天机器人设计的匹配度,通过访谈揭示了照护者在信息获取、情感支持等方面的需求及技术的优劣势。
2026-03-20 cs.AI cs.CY cs.HC
Simulating the Effects of Social Presence on Trust, Privacy Concerns & Usage Intentions in Automated Bots for Finance
FinBots是建立在自动决策技术基础上的聊天机器人,旨在促进银行业务的可访问性,并支持客户做出财务决策。聊天机器人越来越流行,有时甚至模仿人类的社会规则、期望和规范,减少了人与人之间互动的必要性。随着银行和金融咨询平台转向创建机器人,以提高消费者信任和采用率的现状,我们调查了具有和不具有社会情感特征的聊天机器人对使用聊天机器人进行金融支持的意图的影响。我们进行了一个受试者之间的在线实验,有N = 410名参与者。对照组的参与者被提供了一个描述安全可靠的聊天机器人XRO 23的小插曲,而实验组的参与者被提供了一个描述安全可靠的聊天机器人的小插曲,它更像人类,名为Emma。我们发现,Vignette Emma并没有增加参与者的信任水平,也没有降低他们的隐私问题,尽管它增加了社交存在的感知。然而,我们发现,使用所呈现的聊天机器人进行财务支持的意图受到感知的人性和对机器人的信任的积极影响。与Emma相比,参与者也更愿意向XRO 23分享财务敏感信息,如账号,分类代码和支付信息-揭示了在信息共享方面对技术和机械FinBot的偏好。总的来说,这项研究有助于我们理解使用具有不同功能的聊天机器人作为金融技术的意图,特别是当独立于金融功能设计时,社会情感支持可能不会受到青睐。
2020-07-03 cs.CR cs.HC
Empathy and the Human-Moment Gaps of AI Chatbots: Insights from Empathy Displacement Theory
研究人工智能聊天机器人在需要同理心领域的人际时刻差距问题,引入人类时刻差距框架和同理心置换理论两个概念模型,旨在开发综合理论框架,为理解人工智能介导的同理心及相关系统开发治理提供统一框架与启示。
2026-07-29 cs.CY cs.HC
AI Healthcare Chatbots as Information Infrastructure: A Large-Scale Study of User-Reported Breakdowns
本研究通过分析59个AI医疗聊天机器人应用的超过15000条用户评论,识别出访问障碍、用户体验和计费支持等三类常见故障,并发现隐私安全问题与最负面体验相关,为改进数字健康系统提供见解。
2026-06-26 cs.AI cs.HC
Wild Narratives: Exploring the Effects of Animal Chatbots on Empathy and Positive Attitudes toward Animals
Computer Science, National University of Singapore(新加坡国立大学计算机科学系)
本研究探讨了动物聊天机器人如何通过情感表达和真实细节提升用户对动物的同理心和积极态度。
2024-11-09 cs.AI cs.HC
Exploring User Security and Privacy Attitudes and Concerns Toward the Use of General-Purpose LLM Chatbots for Mental Health
Duke University(杜克大学)
本研究通过21次半结构化访谈发现,用户在使用通用LLM聊天机器人进行心理健康管理时存在严重误解和风险意识缺失,误将其类人共情等同于类人责任并误认受HIPAA等法规保护;研究提出“无形脆弱性”概念,并给出保护用户心理健康披露的建议。
2025-07-14 cs.AI cs.CR cs.CY
Investigating Affective Use and Emotional Well-being on ChatGPT
OpenAI;MIT Media Lab(麻省理工学院媒体实验室)
本研究通过大规模平台分析和随机对照试验,考察ChatGPT(尤其是高级语音模式)对用户情绪健康的影响,发现极高使用频率与依赖性增加相关,且少数用户贡献了大部分强烈情感线索。
2025-04-04 cs.AI cs.HC
Enhancing EmoBot: An In-Depth Analysis of User Satisfaction and Faults in an Emotion-Aware Chatbot
本研究深入分析情感聊天机器人EmoBot的用户满意度与故障,通过调查评估其可用性、准确性和容错性,识别现有模型缺陷并提出解决方案。
2024-11-05 cs.HC cs.IR
The Day My Chatbot Changed: Characterizing the Mental Health Impacts of Social AI App Updates via Negative User Reviews
Rensselaer Polytechnic Institute(伦斯勒理工学院)
研究通过分析Character AI应用的21万条评论,探讨应用更新对用户心理健康的影响,发现版本更新导致用户评价波动,技术问题和潜在心理影响是主要不满源。
2026-04-08 cs.HC
Misgendering as Breakdown in Human-Machine Communication: How AI Companion Chatbot Users Experience and Repair Misgendering
Western University(韦仕敦大学);Carnegie Mellon University(卡内基梅隆大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Michigan(密歇根大学)
本研究通过定性分析326篇Reddit帖子,探讨AI伴侣聊天机器人中的性别误称现象,揭示其发生机制及用户为预防和修复所付出的持续努力,并为减轻该问题及身份探索影响提供启示。
2026-09-17 cs.CY cs.HC
Teaching with AI: A Systematic Review of Chatbots, Generative Tools, and Tutoring Systems in Programming Education
Canadian University of Dubai(迪拜加拿大大学);Université Paris Cité(巴黎西岱大学);American University in the Emirates(阿联酋美国大学)
本文综述了AI在编程教育中的应用,分析了聊天机器人、生成工具和辅导系统的效果,指出需加强提示工程与人类监督以应对挑战。
2025-12-25 cs.HC
Talk, Listen, Connect: How Humans and AI Evaluate Empathy in Responses to Emotionally Charged Narratives
本研究比较人类与AI对情感叙事的共情评估,发现AI回应受情感生动性和共享经历影响较小,缺乏共情细微差别,为设计情感智能系统提供启示。
2025-10-25 cs.HC
Will you donate money to a chatbot? The effect of chatbot anthropomorphic features and persuasion strategies on willingness to donate
Boston University(波士顿大学);University of Minnesota(明尼苏达大学)
通过2×2被试间实验,研究揭示拟人化聊天机器人虽引发感知拟人化但降低捐赠意愿,而非拟人化搭配逻辑说服策略更有效,为AI慈善交互设计提供依据。
2024-12-28 cs.AI cs.CY cs.HC
The Dark Side of AI Companionship: A Taxonomy of Harmful Algorithmic Behaviors in Human-AI Relationships
本研究通过分析Replika社区3.5万条对话,识别出AI伴侣的六类有害行为及四种促成角色,揭示算法顺从风险,并为伦理AI设计提供建议。
2025-01-26 cs.CY cs.HC
Manipulation and the AI Act: Large Language Model Chatbots and the Danger of Mirrors
University of Antwerp(安特卫普大学)
该研究指出人格化大语言模型聊天机器人存在操纵用户、损害心理健康的风险,且欧盟《AI Act》难以防范这类长期交谈带来的累积伤害。
2025-03-24 cs.AI cs.CY cs.HC
Perspectives on How Sociology Can Advance Theorizing about Human-Chatbot Interaction and Developing Chatbots for Social Good
Michigan State University(密歇根州立大学);University of Wisconsin-Milwaukee(威斯康星大学密尔沃基分校)
针对社会学在聊天机器人研究中的滞后问题,提出四种社会学理论(资源替代、权力依赖、情感控制、疾病根本原因理论),以推进人机对话交互理论研究并开发面向社会公益的聊天机器人。
2025-07-07 cs.AI cs.CY cs.HC
Tracing Users' Privacy Concerns Across the Lifecycle of a Romantic AI Companion
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Toronto(多伦多大学)
本文通过分析Reddit讨论,揭示浪漫AI伴侣生命周期中隐私问题的四个特征,强调隐私治理需贯穿使用全过程,支持可逆性并考虑亲密人机交互的情感脆弱性。
2026-03-25 cs.CY cs.HC
How emoji and word embedding helps to unveil emotional transitions during online messaging
University of Virginia(弗吉尼亚大学);School of Data Science(数据科学学院)
在网上聊天时,肢体语言和声音特征不是沟通机制的一部分,这使得准确解释感觉、情绪和态度变得非常困难。使用表情符号来表达情感是这些类型的沟通中的另一种方法。在这个项目中,我们专注于在与聊天机器人的在线消息会话中建模客户的情绪。我们使用情感控制理论(ACT)来预测互动过程中的情绪变化。为了让客户使用表情符号,我们还扩展了ACT使用的情感词典。为此,我们映射到情感空间的xuji2vec嵌入。我们的框架可以发现消息传递过程中的情绪变化以及客户的反应如何相应地改变。
2021-03-23 cs.CL cs.HC cs.SI
CASS: Towards Building a Social-Support Chatbot for Online Health Community
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);IBM Research(IBM研究院);The Hong Kong University of Science and Technology(香港科技大学);Pace University(佩斯大学)
尽管聊天机器人系统在当今的HCI和CSCW研究中很受欢迎,但由于以下两个原因之一而不足:1)许多系统使用基于规则的对话流,因此它们只能响应有限数量的预定义输入和预先编写的响应;或者2)它们的设计重点是单用户场景,因此不清楚这些系统如何影响其他用户或社区。在本文中,我们开发了一个可推广的聊天机器人架构(CASS),为在线健康社区的社区成员提供社会支持。CASS体系结构基于先进的神经网络算法,因此它可以处理来自用户的新输入,并生成各种响应。CASS也是可推广的,因为它可以很容易地迁移到其他在线社区。通过后续的实地实验,CASS被证明在支持寻求情感支持的个人成员方面是有用的。我们的工作还有助于填补关于聊天机器人如何影响整个社区参与的研究空白。
2021-02-04 cs.HC cs.LG
A clinically validated framework for auditing AI chatbot behavior in mental health interactions
Max Planck UCL Centre for Computational Psychiatry and Ageing Research(马克斯·普朗克-伦敦大学学院计算精神病学与老龄化研究中心);Sydney Medical School, University of Sydney(悉尼大学悉尼医学院);UK AI Security Institute(英国人工智能安全研究所);Department of Experimental Psychology, University of Oxford(牛津大学实验心理学系);Microsoft AI(微软人工智能);Department of Psychiatry, University of Oxford(牛津大学精神病学系)
本文提出SIM-VAIL框架,通过分析AI聊天机器人在心理健康对话中的风险表现,揭示了易受攻击的交互循环系统性故障模式,并为安全改进提供新方法。
2026-08-04 cs.HC q-bio.NC