Gradient Surgery for Safe LLM Fine-Tuning
Nankai University(南开大学)
针对微调服务中恶意样本破坏LLM安全对齐的问题,提出基于梯度手术的SafeGrad方法,通过投影消除梯度冲突并引入KL散度对齐损失,在高有害比例下仍保持稳健安全防御且不损害任务保真度。
2025-08-10 cs.CL
Exploring Safety-Utility Trade-Offs in Personalized Language Models
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本研究揭示了大型语言模型在个性化过程中存在的安全性-实用性权衡偏差,通过多维度评估量化该偏差,并针对开源与API模型提出基于偏好调优和提示防御的缓解策略。
2025-02-11 cs.CL
Hacc-Man: An Arcade Game for Jailbreaking LLMs
IT University of Copenhagen(哥本哈根信息技术大学);Aalborg University(奥尔堡大学)
本文介绍街机游戏Hacc-Man,通过挑战玩家越狱大语言模型,旨在提高对部署脆弱LLM风险的认识、增强交互自我效能感,并探索创造性问题解决策略。
2024-05-24 cs.AI cs.CL cs.CR
Unforgotten Safety: Preserving Safety Alignment of Large Language Models with Continual Learning
本文通过持续学习方法有效缓解大型语言模型在适应新任务时的安全退化问题,证明了持续学习在保持模型安全性和任务实用性方面的有效性。
2025-12-10 cs.AI cs.CL
Towards Safety and Helpfulness Balanced Responses via Controllable Large Language Models
University of California, Santa Barbara(加州大学圣巴巴拉分校);Meta AI
本文提出通过同时控制安全性与有用性两个属性来平衡LLM响应,探索免训练与微调方法,无需额外人工标注即可解锁模型可控性。
2024-04-01 cs.AI cs.CL
From Hard Refusals to Safe-Completions: Toward Output-Centric Safety Training
OpenAI
针对二元拒绝边界在双用途场景下的脆弱性,提出以输出为中心的安全补全训练方法,在GPT-5中验证其能提升安全性、降低故障严重性并显著增强帮助性。
2025-08-12 cs.AI cs.CL cs.CY
Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!
Princeton University(普林斯顿大学);Virginia Tech(弗吉尼亚理工大学);IBM Research(IBM研究院);Stanford University(斯坦福大学)
该研究揭示对已安全对齐的大语言模型进行自定义微调存在安全风险,少量对抗样本或良性数据集微调都可能削弱安全防护,并呼吁完善相关安全协议。
2023-10-05 cs.AI cs.CL cs.CR
SafeCRS: Personalized Safety Alignment for LLM-Based Conversational Recommender Systems
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊)
SafeCRS通过整合安全监督微调与安全组奖励解耦归一化策略优化,提升基于大语言模型的对话推荐系统在个性化安全约束下的推荐质量与安全对齐能力。
2026-07-28 cs.AI cs.CL cs.IR
Food Noise & False Safety: A Systematic Evaluation of How LLMs Fail to Adapt to Eating Disorder Queries with Clinician Feedback
University of Aberdeen(阿伯丁大学);University of Colorado Anschutz(科罗拉多大学安舒茨分校);Heriot-Watt University(赫里奥特-瓦特大学);University College London(伦敦大学学院)
本研究通过与临床饮食障碍专家合作,系统评估了大型语言模型在处理饮食障碍用户查询时,因不加批判地适应不安全或自伤请求而可能产生的危害。
2026-06-01 cs.AI cs.CL
Jailbreak to Protect: Buffering and Reinforcing via Temporary Jailbreaking for Safe Fine-Tuning in Large Language Models
School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院电子工程学院)
针对微调即服务中安全对齐被有害微调攻击削弱的问题,提出一种基于梯度分析的缓冲与强化框架,通过临时越狱适配器减少有害更新并利用QR分解合并强化安全,实现无需额外安全数据的高效防御。
2026-05-23 cs.AI cs.CL cs.LG
How Safe Is ChatGPT Health Advice? Evidence from Real User Conversations in Four Global South Countries
Rutgers University(罗格斯大学)
该研究针对四个全球南方国家的真实用户ChatGPT健康对话,开展人口统计学导向的安全性评估,发现约五分之一对话高风险,用户上下文会提升高风险比例,合成案例评估易遗漏危害。
2026-10-14 cs.CL cs.CY cs.HC
Beyond Context: Large Language Models' Failure to Grasp Users' Intent
KTH Royal Institute of Technology Network Systems Security (NSS) Group(皇家理工学院网络系统安全小组)
研究指出大型语言模型在理解上下文和识别用户意图方面存在缺陷,导致安全机制被恶意用户利用,需转向以上下文理解和意图识别为核心的安全能力。
2026-04-24 cs.AI cs.CL cs.CR
Let Them Down Easy! Contextual Effects of LLM Guardrails on User Perceptions and Preferences
Carnegie Mellon University(卡内基梅隆大学);Simon Fraser University(西蒙弗雷泽大学);Allen Institute for AI(人工智能研究所)
研究探讨了LLM护栏对用户感知和偏好的影响,发现部分合规策略能显著降低负面感知,强调应通过创造性的拒绝策略而非意图检测来提升安全性和用户体验。
2025-12-02 cs.AI cs.CL cs.HC
Oyster-I: Beyond Refusal -- Constructive Safety Alignment for Responsible Language Models
Alibaba AAIG(阿里巴巴AAIG)
针对现有安全对齐过度依赖拒绝的问题,提出建设性安全对齐(CSA)范式,通过博弈论预测、风险边界发现和可解释推理控制,在保证安全的同时引导用户,实现接近GPT-5的建设性表现和接近GPT-o1的鲁棒性。
2025-10-14 cs.AI cs.CL cs.CY
Dialect vs Demographics: Quantifying LLM Bias from Implicit Linguistic Signals vs. Explicit User Profiles
University of Washington(华盛顿大学)
研究通过对比显式身份声明与隐含方言信号,揭示LLM在不同敏感领域中的偏见来源,发现隐含方言可降低拒绝率但影响内容安全。
2026-04-22 cs.AI cs.CL cs.CY
Lost in Delusion: Examining LLM Safety Under User Delusions and Distress
University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学);Fordham University(福特汉姆大学)
本研究通过多轮对话模拟,发现LLM在检测用户痛苦时表现良好,但在痛苦嵌入妄想时干预行为显著减少(高达4.5倍),并提出针对性提示策略以缩小这一差距。
2026-05-31 cs.CL
Evaluating Language Model Safety Across Long Adversarial Conversations
Ontario Tech University(安大略理工大学)
本研究通过长对抗性对话评估语言模型安全性,发现随着对话轮次增加,安全响应率显著下降,表明单轮安全性不足以保证长期安全,需长时域评估与会话级防护。
2026-10-01 cs.CL
Who Pays More for Safety? Measuring the Disparate Cost of Safety Alignment across Languages
Korea University(高丽大学);Georgia Institute of Technology(佐治亚理工学院)
该研究聚焦安全对齐对不同语言群体的成本差异,提出安全成本衡量协议,发现非英语用户安全成本更高,存在双重惩罚等三种模式,暴露了安全对齐实践的系统性差异。
2026-11-10 cs.CL
YourBench: Easy Custom Evaluation Sets for Everyone
Huggingface;UIUC(伊利诺伊大学厄巴纳-香槟分校)
提出开源框架 YourBench,通过用户提供的文档动态自动生成低成本、无需人工标注的定制基准,并发布新数据集 Tempora-0325,实验证明其能低成本完美保留模型相对性能排名,促进可复现且值得信赖的 LLM 评估。
2025-04-02 cs.AI cs.CL
Process Knowledge-Infused AI: Towards User-level Explainability, Interpretability, and Safety
AI Institute, University of South Carolina(南卡罗来纳大学人工智能研究所)
人工智能系统已被广泛应用于现实世界的各个领域。然而,在高价值、敏感或安全关键的应用中,例如用于个性化健康的自我管理或具有特定目的的食物推荐(例如,过敏意识食谱建议),它们的采用是不太可能的。首先,人工智能系统需要遵循专家制定的指导方针或明确定义的流程;仅凭数据是不够的。例如,为了诊断抑郁症的严重程度,精神卫生保健提供者使用患者健康问卷(PHQ-9)。因此,如果人工智能系统用于诊断,则需要使用PHQ-9所暗示的医疗指南。同样,营养学家的知识和步骤也需要用于指导糖尿病患者制定食物计划的人工智能系统。其次,当前许多人工智能系统典型的黑盒性质将无法工作;人工智能系统的用户需要能够给出用户可理解的解释,解释使用人类可以理解和熟悉的概念构建。这是激发对AI系统的信心和信任的关键。对于这样的应用程序,除了数据和领域知识之外,人工智能系统还需要访问和使用流程知识,这是人工智能系统需要使用或遵守的一组有序步骤。
2022-06-09 cs.AI cs.CL
Robot Tasks with Fuzzy Time Requirements from Natural Language Instructions
University of Bayreuth(拜罗伊特大学)
针对自然语言中模糊时间指令难以被传统机器人系统执行的问题,提出模糊技能与满意度函数以实现基于满意度的最优调度,并通过用户研究验证梯形函数能最好地近似用户满意度。
2024-11-14 cs.CL cs.HC cs.RO