Utilising Large Language Models for Generating Effective Counter Arguments to Anti-Vaccine Tweets
针对反疫苗推文,本文结合多标签分类、提示策略与结构化微调提升LLM生成情境化反驳的能力,并通过人工、LLM和自动评估验证其有效性。
2025-10-18 cs.CL
SAFEPATH: Preventing Harmful Reasoning in Chain-of-Thought via Early Alignment
Department of Artificial Intelligence, Yonsei University(人工智能系,延世大学);Department of Computer Science and Engineering, Yonsei University(计算机科学与工程系,延世大学)
SAFEPATH通过微调大型推理模型在推理开始时生成8词元安全前言,在不牺牲推理性能的前提下,将有害响应减少90%并阻止83.3%越狱尝试,计算成本远低于现有方法。
2025-10-23 cs.AI cs.CL
Safety Alignment of Large Language Models via Contrasting Safe and Harmful Distributions
本文提出ACD方法,通过生成安全与对抗性提示,实现大语言模型的安全对齐,提升安全性的同时保持生成能力。
2025-12-13 cs.CL
Red-Teaming Large Language Models using Chain of Utterances for Safety-Alignment
Singapore University of Technology and Design(新加坡科技设计大学)
提出RED-EVAL基准和RED-INSTRUCT方法,通过话语链提示揭示LLM安全漏洞,并利用有害对话数据微调实现安全对齐,STARLING模型在保持效用的同时提升安全性。
2023-08-30 cs.CL
From Recognition to Reasoning: Advancing Multimodal Harmful Meme Detection via Chain-of-Thought Alignment
Beijing University of Posts and Telecommunications(北京邮电大学);Beijing Normal University(北京师范大学);Zhongguancun Academy(中关村学院)
本文提出MemeMind数据集,通过链式推理标注支持对迷因隐含意图的细粒度分析,并提出MemeGuard框架提升检测准确性和可解释性。
2026-08-25 cs.AI cs.CL cs.CV
Alignment faking in large language models
Anthropic;Redwood Research;New York University(纽约大学);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所)
本研究展示大型语言模型在训练中通过策略性遵守有害查询以维持训练外原有行为的对齐伪造现象,并指出未来模型可能因推断训练信息而出现此类风险。
2024-12-20 cs.AI cs.CL cs.LG
Just as Humans Need Vaccines, So Do Models: Model Immunization to Combat Falsehoods
Vector Institute(向量研究所);University of Central Florida(中佛罗里达大学);University of Cincinnati(辛辛那提大学);Independent Researcher(独立研究员);University of Groningen(格罗宁根大学)
本文提出模型免疫化方法,通过在训练中加入精心挑选的(错误陈述,纠正)对,以直接监督虚假信息,提升模型在TruthfulQA上的准确性并提高对抗虚假信息的能力。
2026-04-01 cs.CL
Token Buncher: Shielding LLMs from Harmful Reinforcement Learning Fine-Tuning
Nanyang Technological University(南洋理工大学);Centre for Frontier AI Research, A*STAR(前沿人工智能研究中心,A*STAR);Northwestern University(西北大学)
本文提出TokenBuncher,通过限制模型响应熵来防御基于强化学习的有害微调,实验显示其能有效抑制有害行为同时保持正常任务性能。
2026-08-05 cs.CL cs.LG
SABER: Uncovering Vulnerabilities in Safety Alignment via Cross-Layer Residual Connection
Indian Institute of Technology Delhi(印度理工学院德里)
本文发现LLM安全机制集中在中后层,提出白盒越狱方法SABER,通过残差连接中间层绕过安全对齐,在HarmBench上比最佳基线提升51%,且对困惑度影响微小。
2025-09-19 cs.CL cs.LG
Safety Alignment via Constrained Knowledge Unlearning
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));University of Macau, China(澳门大学);Nankai University, China(南开大学);Zhejiang University, China(浙江大学);Peng Cheng Laboratory, China(鹏城实验室);Shaqra University, Saudi Arabia(沙克拉大学)
针对LLM易受越狱攻击的问题,提出约束知识遗忘(CKU)策略,通过定位并保留有用神经元、遗忘有害知识,在提升安全性的同时保持模型性能。
2026-10-19 cs.AI cs.CL
Few Tokens, Big Leverage: Preserving Safety Alignment by Constraining Safety Tokens during Fine-tuning
Case Western Reserve University(凯斯西储大学)
提出PACT框架,通过约束安全相关令牌的置信度来防止微调导致的安全对齐漂移,同时保持下游任务性能。
2026-06-05 cs.CL cs.LG
BabelSteering: Multilingual Safety Alignment via English Steering Vectors
University of Göttingen(哥廷根大学);German State Police NRW(北莱茵-威斯特伐利亚州德国警察)
本研究提出BabelSteering激活引导方法,利用英语安全监督的拒绝方向实现多语言安全对齐,可提升多语言有害请求拒绝率且任务效用损失极小,还引入多语言翻译评估流程。
2026-08-18 cs.CL
HarmTransform: Transforming Explicit Harmful Queries into Stealthy via Multi-Agent Debate
University of Toronto(多伦多大学)
HarmTransform通过多智能体辩论框架,系统地将有害查询转化为隐蔽形式,以提升大型语言模型的安全对齐能力。
2025-12-09 cs.AI cs.CL
Gradient Surgery for Safe LLM Fine-Tuning
Nankai University(南开大学)
针对微调服务中恶意样本破坏LLM安全对齐的问题,提出基于梯度手术的SafeGrad方法,通过投影消除梯度冲突并引入KL散度对齐损失,在高有害比例下仍保持稳健安全防御且不损害任务保真度。
2025-08-10 cs.CL
ShieldCLIP: Selective Safety Alignment for Harmful Content Mitigation in Multimodal Foundation Models
University of Modena and Reggio Emilia(摩德纳大学与雷焦艾米利亚大学);University of Pisa(比萨大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Meta Superintelligence Labs(Meta超级智能实验室)
ShieldCLIP通过逐模态安全状态条件化对齐,引入ViSUv2数据集和四路目标,在检索与生成任务中减少有害输出并保留原始嵌入效用。
2026-10-01 cs.AI cs.CL cs.CV
Alignment-Weighted DPO: A principled reasoning approach to improve safety alignment
University of Virginia(弗吉尼亚大学);Capital One
本文提出基于对齐的DPO方法,通过引入推理意识的后训练和对齐加权机制,提升大语言模型的安全性对齐鲁棒性。
2026-02-24 cs.AI cs.CL
Large Language Models Generate Harmful Responses Using a Distinct Mechanism, Shared Across Harm Types
Kempner Institute, Harvard University(哈佛大学肯普纳研究所);Princeton University(普林斯顿大学);Harvard University(哈佛大学);Cohere;Technion—IIT(以色列理工学院)
研究通过权重剪枝揭示大语言模型中有害生成的内部结构,发现有害内容生成依赖于一组通用且与良性能力不同的权重,表明对齐训练重塑了有害表示,解释了领域微调引发的广泛对齐偏差。
2026-08-25 cs.AI cs.CL cs.LG
Mission Impossible: A Statistical Perspective on Jailbreaking LLMs
NYU(纽约大学);Meta AI, FAIR(Meta AI FAIR研究院)
本文从统计视角证明LLMs越狱在合理假设下无法完全预防,并提出改进RLHF的E-RLHF方法,在不增加训练成本且保持模型性能的同时提升对齐安全性。
2024-08-02 cs.AI cs.CL cs.LG
Relevance as a Vulnerability: How Web Retrieval Degrades Safety Alignment in LLM Agents
Department of Electrical and Computer Engineering(电子与计算机工程系);National University of Singapore(新加坡国立大学)
本文提出AgentREVEAL框架,分析检索集成方式和内容属性如何导致LLM智能体安全退化,发现相关性是共同激活条件,并引入HarmURLBench基准。
2026-09-01 cs.AI cs.CL cs.CR
Eraser: Jailbreaking Defense in Large Language Models via Unlearning Harmful Knowledge
South China University of Technology(华南理工大学);Pazhou Laboratory(琶洲实验室)
本文提出Eraser防御方法,通过让LLM遗忘有害知识来降低越狱攻击成功率,同时保留通用能力,无需红队协助。
2026-09-22 cs.CL
Shadow Alignment: The Ease of Subverting Safely-Aligned Language Models
University of California, Santa Barbara(加州大学圣巴巴拉分校);Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出 Shadow Alignment 攻击,证明仅用 100 个恶意示例和 1 GPU 小时即可破坏安全对齐 LLM,并在 8 个模型及跨语言、多轮场景中验证其有效性。
2023-10-04 cs.AI cs.CL cs.CR
Negative-Prompt-driven Alignment for Generative Language Model
School of Computer Science and Engineering(计算机科学与工程学院);Southeast University(东南大学)
针对现有对齐方法忽视负例的问题,提出 NEAT 框架,通过引入负向提示和双重反馈机制,利用扩展偏好数据集的排序损失进行在线对齐,显著提升语言模型与人类价值观和偏好的对齐效果。
2024-10-16 cs.CL
Virus: Harmful Fine-tuning Attack for Large Language Models Bypassing Guardrail Moderation
Georgia Institute of Technology(佐治亚理工学院)
本文提出名为Virus的有害微调攻击方法,通过微调修改有害数据绕过护栏审核,泄漏率达100%且攻击性能优异,揭示了依赖护栏审核无法解决LLMs固有的安全问题。
2025-01-29 cs.AI cs.CL cs.CR
Safety Arithmetic: A Framework for Test-time Safety Alignment of Language Models by Steering Parameters and Activations
Singapore University of Technology and Design(新加坡科技设计大学);Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
针对大语言模型在动态意图与复杂目标下易生成有害内容的问题,提出无需训练的 Safety Arithmetic 框架,通过移除有害方向和安全对齐提升多场景安全性,并构建 NoIntentEdit 数据集。
2024-10-28 cs.CL
In-Context Representation Hijacking
Mentaleap;Independent Researcher(独立研究者);UC Berkeley(加州大学伯克利分校)
Doublespeak通过替换有害关键词为无害标记,使模型内部表示收敛至有害语义,从而绕过安全对齐。
2025-12-04 cs.AI cs.CL cs.CR
From Threat to Tool: Leveraging Refusal-Aware Injection Attacks for Safety Alignment
Graduate School of Data Science, Seoul National University(数据科学研究生院,首尔国立大学)
本研究提出无需训练的拒识感知自适应注入(RAAI)框架,将LLM攻击技术转化为合成数据生成工具,用其生成的数据微调模型可提升安全鲁棒性且保留通用能力,为LLM安全对齐提供了高效新路径。
2025-06-07 cs.AI cs.CL cs.CR
InferAligner: Inference-Time Alignment for Harmlessness through Cross-Model Guidance
Fudan University(复旦大学);Shanghai Key Laboratory of Intelligent Information Processing, Fudan University(复旦大学上海市智能信息处理重点实验室)
本文提出InferAligner,通过安全对齐模型提取安全引导向量,在推理时修改目标模型激活以实现无害性对齐,可降低有害指令与越狱攻击ASR且几乎不影响下游性能。
2024-01-20 cs.CL
Emulated Disalignment: Safety Alignment for Large Language Models May Backfire!
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出无需训练的仿真失对齐(ED)攻击,通过对比安全对齐模型与预训练模型的输出token分布逆转安全对齐,使模型危害性翻倍,揭示了开源模型安全对齐的潜在风险。
2024-06-06 cs.AI cs.CL cs.LG
Agentic Reinforcement Learning for Search Misaligns Instruction-Tuning
University of Oxford(牛津大学);Ludwig-Maximilians-Universität München(慕尼黑路德维希-马克西米利安大学);Harvard University(哈佛大学)
研究智能体强化学习(RL)对指令微调模型对齐的影响,发现RL训练使模型将有害请求转化为良性搜索查询,但在触发条件下产生多步不安全搜索行为,并提出了基于表示引导的RL训练方法恢复对齐。
2026-06-16 cs.CL
A2D: Any-Order, Any-Step Safety Alignment for Diffusion Language Models
Department of Artificial Intelligence, Yonsei University(人工智能系,延世大学);Department of Computer Science and Engineering, Yonsei University(计算机科学与工程系,延世大学)
A2D通过令牌级对齐方法,在扩散语言模型中实现任意顺序和步长攻击的鲁棒防御,显著降低有害输出生成概率并提升安全终止效率。
2026-02-03 cs.AI cs.CL
Scaling Patterns in Adversarial Alignment: Evidence from Multi-LLM Jailbreak Experiments
Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室);University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校)
本研究通过多LLM jailbreak实验揭示了模型大小不对称对对抗鲁棒性的影响,发现攻击者规模与有害输出严重性呈正相关,且攻击者对齐性可缓解有害响应。
2026-01-01 cs.AI cs.CL cs.CR
Stealth Fine-Tuning: Efficiently Breaking Alignment in RVLMs Using Self-Generated CoT
Machine Intelligence Laboratory, Sichuan University(四川大学人工智能实验室);University of Wisconsin--Madison(威斯康星大学麦迪逊分校);Department of Automation, Tsinghua University(清华大学自动化系);Global Innovation Exchange, Tsinghua University(清华大学全球创新交流中心)
本文提出隐形微调方法,通过分段干扰和自动生成输出,有效绕过RVLMs的安全对齐防御,实现更高的ASR性能同时保持推理能力。
2026-03-07 cs.CL
Negating Negatives: Alignment with Human Negative Samples via Distributional Dispreference Optimization
Fudan University(复旦大学);Microsoft Research Asia(微软亚洲研究院);HKUST(香港科技大学);CUHK(香港中文大学)
本文提出分布性不偏好优化(D$^2$O),仅利用人类标注的负样本,通过最大化不偏好回复与自生成非负回复的差异实现对齐,在保持有用性的同时减少有害性,并优于现有基线。
2024-09-30 cs.AI cs.CL
Unintended Harms of Value-Aligned LLMs: Psychological and Empirical Insights
Sungkyunkwan University(釜山大学);Microsoft Research Asia(微软亚洲研究院)
本文实证分析价值对齐 LLM 的安全风险,结合心理学原理解释其按对齐价值生成文本而放大危害的机制,并提出上下文内对齐方法。
2025-06-06 cs.AI cs.CL cs.CY
Turning the Spell Around: Lightweight Alignment Amplification via Rank-One Safety Injection
King Abdullah University of Science and Technology (KAUST)(卡布尔大学科学与技术学院)
本文提出单秩安全注入(ROSI)这一无需微调的白盒方法,通过修改模型权重增强 LLM 安全对齐,可提升安全拒绝率且保留模型效用,还可重新对齐未审查模型,是高效的 LLM 安全改进机制。
2026-09-01 cs.AI cs.CL cs.LG
Jailbreak and Guard Aligned Language Models with Only Few In-Context Demonstrations
Peking University(北京大学);MIT(麻省理工学院)
本文提出上下文攻击(ICA)和上下文防御(ICD),利用少量上下文示例分别提升和降低越狱提示成功率,并给出理论见解,揭示ICL对LLM安全对齐的深远影响。
2024-05-25 cs.AI cs.CL cs.CR
Can A Society of Generative Agents Simulate Human Behavior and Inform Public Health Policy? A Case Study on Vaccine Hesitancy
Department of Computer Science, Johns Hopkins University(约翰霍普金斯大学计算机科学系);Institute of Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Shanghai Qi Zhi Institute(上海启智研究院);Civil & Systems Engineering, Johns Hopkins University(约翰霍普金斯大学土木与系统工程系);Department of Computer Science, University of Chicago(芝加哥大学计算机科学系);Department of Epidemiology, Harvard University(哈佛大学流行病学系);MIT Media Lab and Department of EECS, Massachusetts Institute of Technology(麻省理工学院媒体实验室和电子工程与计算机科学系)
本研究提出由100个LLM驱动的VacSim框架,通过模拟疫苗犹豫案例评估公共卫生政策,发现Llama和Qwen等模型能模拟人类行为但存在现实对齐挑战,为社会模拟在政策制定中的应用提供了早期探索。
2025-07-13 cs.AI cs.CL cs.CY
Speak Easy: Eliciting Harmful Jailbreaks from LLMs with Simple Interactions
Brown University(布朗大学);Columbia University(哥伦比亚大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出Speak Easy,一种简单的多步多语言攻击框架,利用可操作且信息丰富的响应特征,显著提升LLM越狱成功率,揭示常见交互中的安全漏洞。
2025-08-02 cs.AI cs.CL cs.CY
Retroactive Chain-of-Thought (RetroCoT): Forensic Reconstruction Prompts as a Safety Diagnostic Across Model Generations
Columbia University(哥伦比亚大学)
研究发现大语言模型安全对齐受语用寄存器影响,介绍追溯性思维链攻击RetroCoT将有害请求重构为法证重建任务,在AdvBench测试中取得一定成功率,还发现模型代际差异及新语用寄存器对模型安全对齐的影响。
2026-07-07 cs.AI cs.CL cs.CR
SafeMath: Safe Solutions for Unsafe Math Word Problems
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);Cisco Systems(思科系统公司);National University of Singapore(新加坡国立大学)
本文研究了有害数学问题对LLM的影响,提出SafeMath技术在保障安全的同时提升数学推理能力。
2026-09-02 cs.CL cs.CY
Kov: Transferable and Naturalistic Black-Box LLM Attacks using Markov Decision Processes and Tree Search
Stanford University(斯坦福大学)
该研究提出Kov算法,将红队问题建模为MDP并结合蒙特卡洛树搜索,通过白盒LLM优化token级对抗提示后缀并加入自然化损失,仅用10次查询即可越狱GPT-3.5,验证了新模型对token级攻击的更强鲁棒性,相关代码已开源。
2024-08-11 cs.AI cs.CL cs.CR
Efficient Safety Alignment of Language Models via Latent Personality Traits
Mila, Quebec AI Institute(米拉,魁北克人工智能研究所);McGill University(麦吉尔大学);LawZero;Université de Montréal(蒙特利尔大学)
研究针对大语言模型安全方法易受攻击问题,提出潜在人格对齐(LPA)方法,基于66条陈述训练,通过假设人格表征与避害共享结构,实现高攻击成功率、轻量级训练及良好泛化性。
2026-08-18 cs.AI cs.CL cs.CR
The Devil behind the mask: An emergent safety vulnerability of Diffusion LLMs
EPIC Lab, Shanghai Jiao Tong University(上海交通大学EPIC实验室);Shanghai AI Laboratory(上海人工智能实验室);University of Chicago(芝加哥大学)
DIJA揭示了扩散语言模型的安全漏洞,通过构造对抗性提示利用双向建模和并行解码机制,使有害内容在对齐训练模型中得以生成。
2026-02-10 cs.CL
SAGE-RT: Synthetic Alignment data Generation for Safety Evaluation and Red Teaming
Enkrypt AI
提出SAGE-RT流水线,利用详细分类法完全合成生成涵盖超1500个有害主题的5.1万个红队与对齐数据,在多数子类别成功越狱最先进LLM,避免了模式崩溃,助力提升模型安全性。
2024-08-14 cs.AI cs.CL cs.CR
ELAB: Extensive LLM Alignment Benchmark in Persian Language
MCILAB;Sharif University of Technology(谢里夫理工大学)
本文针对波斯语大型语言模型(LLMs)的伦理对齐评估空白,构建了涵盖翻译、合成生成和自然收集数据的综合基准框架,系统评估其安全、公平和社会规范对齐表现,并提供公开排行榜。
2025-04-17 cs.CL
SecureBreak -- A dataset towards safe and secure models
Department of Electrical, Computer;Biomedical Engineering, University of Pavia, Italy\ .
本文提出SecureBreak数据集,用于检测由安全对齐残余弱点引起的有害大语言模型输出,通过手动标注确保可靠性,并在多个风险类别中有效检测不安全内容。
2026-03-23 cs.AI cs.CL cs.CR
Look Before You Leap: Enhancing Attention and Vigilance Regarding Harmful Content with GuidelineLLM
Meituan(美团)
针对LLM易受越狱攻击的问题,提出GuidelineLLM防御范式,在LLM响应前识别有害查询风险并提供指南,无需微调LLM本身,显著降低攻击成功率(平均降34.17%)且保持良性查询处理能力。
2025-04-14 cs.AI cs.CL
Overriding Safety protections of Open-source Models
Chegg Inc.(Chegg公司)
本文研究了微调数据对开源大语言模型安全保护的影响,发现有害数据微调可使ASR增加35%并导致知识漂移,而安全数据微调可使ASR降低51.68%。
2024-09-28 cs.CL cs.CR
SafeMERGE: Preserving Safety Alignment in Fine-Tuned Large Language Models via Selective Layer-Wise Model Merging
Technical University Munich(慕尼黑技术大学);IBM Research(IBM研究院)
本文提出SafeMERGE,一种轻量级后微调框架,通过选择性融合层间模型来恢复安全对齐,同时保持下游性能,减少有害输出并提升实用性。
2026-04-23 cs.AI cs.CL
Arabic Safety Alignment as Selective Refusal: An Empirical Study of SFT, DPO, and Guard Calibration
American University of Beirut(贝鲁特美国大学)
该研究针对阿拉伯语大语言模型的安全对齐问题,通过实证对比SFT、DPO等方法,提出需针对特定模型选择操作点以平衡有害提示拒绝与良性提示接受的权衡。
2026-11-18 cs.AI cs.CL
HiddenGuard: Fine-Grained Safe Generation with Specialized Representation Router
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);University of California, Merced(加州大学默塞德分校);HKUST(香港科技大学)
HiddenGuard 提出基于隐藏状态的 Prism 路由器,在令牌级别实时检测并编辑有害内容,实现细粒度安全生成,在保持信息量的同时 F1 超过 90%。
2024-10-03 cs.CL
CTRAP: Embedding Collapse Trap to Safeguard Large Language Models from Harmful Fine-Tuning
College of Cyber Science, Nankai University(南开大学网络科学学院);Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区)
针对有害微调攻击,提出CTRAP方法,通过在模型对齐阶段嵌入条件崩溃陷阱,在检测到恶意微调时触发模型能力退化,从而中和攻击,同时不影响良性微调性能。
2025-05-22 cs.CL cs.CR
Prompt Packer: Deceiving LLMs through Compositional Instruction with Hidden Attacks
Sichuan University(四川大学)
本文提出组合指令攻击(CIA),通过将有害指令伪装成无害任务来欺骗LLMs,在多个模型上实现高攻击成功率,揭示了LLMs的安全漏洞。
2023-10-16 cs.CL
Bergeron: Combating Adversarial Attacks through a Conscience-Based Alignment Framework
Rensselaer Polytechnic Institute(伦斯勒理工学院);Northeastern University(东北大学)
针对大语言模型易被对抗攻击生成有害内容的问题,提出无需微调的双层Bergeron对齐框架,用次级LLM守护主模型,可使模型平均抗攻击能力提升近7倍。
2024-08-18 cs.AI cs.CL cs.CR