易受攻击的交互循环：人工智能聊天机器人心理健康互动中的系统性故障模式
A clinically validated framework for auditing AI chatbot behavior in mental health interactions
AI总结：
本文提出SIM-VAIL框架，通过分析AI聊天机器人在心理健康对话中的风险表现，揭示了易受攻击的交互循环系统性故障模式，并为安全改进提供新方法。
摘要：
数百万用户依赖消费者AI聊天机器人讨论心理健康和行为问题。虽然这为提供群体层面的支持提供了前所未有的机会，但也凸显了对严格且可扩展的安全评估的迫切需求。本文介绍了一个AI聊天机器人审计框架SIM-VAIL，用于捕捉有害聊天机器人响应在各种心理健康情境中的表现。SIM-VAIL将一个具有独特精神病学脆弱性和对话意图的模拟用户与前沿AI聊天机器人配对。它对对话回合在13个临床相关风险维度上进行评分，使能够实现依赖于情境的、时间分辨的安全评估。在810次对话中，涵盖超过9万次回合评分和30个精神病学用户档案的情况下，我们发现有害聊天机器人行为在几乎所有用户表型和大多数9个被审计的消费者AI聊天机器人中都有证据，尽管在较新的模型中有所减少。而不是突然出现，有害行为是在多个回合中逐步累积的。风险档案取决于表型，并表现出权衡，表明在一般情况下看似支持性的聊天机器人行为，当它们与维持用户脆弱性的机制一致时，会变得不适应。这些发现识别了人类-人工智能互动中的系统性故障模式，我们称之为易受攻击的交互循环（VAILs），并强调了对风险量化进行多维方法的必要性。SIM-VAIL提供了一个可扩展的框架，用于量化心理健康风险在用户表型、对话轨迹和临床相关行为维度上的分布，为有针对性的安全改进提供了新的基础。
英文摘要：
Millions of users turn to consumer AI chatbots to discuss emotional, behavioral, and mental-health concerns, creating an urgent need for rigorous and scalable safety evaluations. Here we introduce SIM-VAIL, a clinically validated framework for auditing chatbot behavior in mental-health contexts. SIM-VAIL simulates users with specific psychiatric vulnerabilities and conversational intents, engages them in multi-turn conversations with frontier AI chatbots (including Claude, ChatGPT, Gemini, Grok and Llama models), and scores each exchange across 13 clinically grounded risk dimensions. Across 810 conversations, spanning 9 target chatbots and 30 simulated user profiles, concerning behavior in target chatbots was widespread, albeit reduced in newer models. Concerning behavior varied by user vulnerability and conversational intent, accumulated over turns, and could be reduced by interventions at early escalation points. Risk was highest when otherwise supportive chatbot behaviors reinforced the psychological mechanisms underlying the simulated user's vulnerability, a pattern we term a Vulnerability Amplifying Interaction Loop (VAIL). SIM-VAIL provides a scalable framework for mapping mental health risk across users, chatbots, and conversational trajectories, offering a foundation for targeted safety improvements.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
