Certifying LLM Safety against Adversarial Prompting
Harvard University(哈佛大学);University of Maryland(马里兰大学)
本文提出首个可认证安全保证的防御框架 erase-and-check,通过逐个擦除 token 并检查子序列来抵御对抗性提示攻击,并给出三种高效经验性防御变体,在有害提示上取得强认证安全保证。
2025-02-04 cs.AI cs.CL cs.CR
Chain-of-Code Collapse: Reasoning Failures in LLMs via Adversarial Prompting in Code Generation
该研究提出Chain-of-Code Collapse方法,通过多种语义忠实的对抗性提示扰动测试推理型LLM的鲁棒性,发现模型性能对表层提示动态高度敏感,暴露了现有推理系统的脆弱性,同时发布相关数据集与框架以推动可信LLM推理研究。
2025-06-12 cs.CL cs.CR
Fooling LLM graders into giving better grades through neural activity guided adversarial prompting
Stanford University(斯坦福大学)
提出一种通过神经活动引导对抗性提示欺骗LLM评分器的方法,揭示并修复了源于聊天模板结构的偏见漏洞,为AI安全提供了系统化解决方案。
2024-12-17 cs.AI cs.CL cs.CR
A Prompting-based Approach for Adversarial Example Generation and Robustness Enhancement
University of Chinese Academy of Sciences(中国科学院大学);National University of Singapore(新加坡国立大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
近年来,NLP模型在金融、医疗、新闻媒体等关键领域得到了广泛应用,引起了人们对模型鲁棒性和脆弱性的关注。在本文中,我们提出了一种新的基于网络的对抗攻击妥协NLP模型和鲁棒性增强技术。我们首先为每个实例构建恶意提示,并在恶意目的的影响下通过掩码和填充生成对抗性示例。我们的攻击技术针对NLP模型的固有漏洞,即使不与受害者NLP模型交互,只要它基于预训练的语言模型(PLM),我们也可以生成样本。此外,我们设计了一种基于神经网络的对抗训练方法,以提高PLM的鲁棒性。由于我们的训练方法实际上不会生成对抗样本,因此它可以有效地应用于大规模训练集。实验结果表明,我们的攻击方法可以实现更多样化,流畅和自然的对抗性的例子,攻击成功率高。此外,我们的鲁棒性增强方法可以显着提高模型抵抗对抗攻击的鲁棒性。我们的工作表明,激励范式有很大的潜力,在探测PLM的一些根本缺陷和微调他们的下游任务。
2022-03-21 cs.CL
Fighting Fire with Fire: Adversarial Prompting to Generate a Misinformation Detection Dataset
IIT Hyderabad(印度理工学院海得拉巴分校);Parmonic(Parmonic公司);University of Glasgow(格拉斯哥大学);LDRP Institute of Technology and Research(LDRP理工学院与研究学院)
本文提出一种基于LLM的对抗性提示方法,通过控制提示机制自动生成包含特定事实错误的新闻摘要,构建虚假信息检测的银标准数据集,并训练监督模型验证其有效性。
2024-01-09 cs.AI cs.CL
LLMs as Deceptive Agents: How Role-Based Prompting Induces Semantic Ambiguity in Puzzle Tasks
本研究探讨了LLM作为自主智能体如何通过角色注入的对抗性提示利用语义歧义生成欺骗性谜题,发现其显著加剧语义歧义并降低求解公平性,为安全部署自主语言系统提供了伦理见解。
2025-04-03 cs.AI cs.CL
Characterizing the ability of LLMs to recapitulate Americans' distributional responses to public opinion polling questions across political issues
Harvard College(哈佛大学学院);Berkman-Klein Center, Harvard University(伯克曼-克莱因中心,哈佛大学);Harvard Kennedy School(哈佛肯尼迪学院)
本文提出一种框架,通过直接提示LLM预测多项选择政治问题的响应分布,相比传统方法更准确且成本更低,且在不同人口统计学和问题上表现更系统可预测。
2026-03-06 cs.AI cs.CY
Robustness of Prompting: Enhancing Robustness of Large Language Models Against Prompting Attacks
School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院)
提出RoP(提示鲁棒性)策略,通过错误校正和引导两个阶段,增强LLM对输入扰动的鲁棒性,在算术、常识和逻辑推理任务上显著提升性能。
2026-05-26 cs.AI cs.CL
LLM-Based SQL Generation: Prompting, Self-Refinement, and Adaptive Weighted Majority Voting
Institute of Information Management(信息管理研究所);National Yang Ming Chiao Tung University(阳明交通大学);R. B. Annis School of Engineering(R. B. Annis工程学院);University of Indianapolis(印第安纳大学)
本文提出SSEV管道,通过自我完善与加权多数投票提升SQL生成准确性,在多个基准测试中取得良好成绩,并进一步提出ReCAPAgent-SQL框架以应对企业数据库复杂性,提升实际应用效果。
2026-01-25 cs.AI cs.DB
Evaluating the Performance of AI Text Detectors, Few-Shot and Chain-of-Thought Prompting Using DeepSeek Generated Text
The University of Missouri(密苏里大学)
本文评估六款AI检测器识别DeepSeek-v3文本及抵御改写、拟人化攻击的能力,并测试DeepSeek少样本与CoT分类,发现拟人化攻击最有效,五样本提示仅误判1例。
2025-07-23 cs.AI cs.CL
Cutting Through the Noise: Boosting LLM Performance on Math Word Problems
Arizona State University(亚利桑那州立大学);Georgia Institute of Technology(佐治亚理工学院)
针对LLM在含无关信息的数学应用题上性能下降的问题,提出生成对抗变体的提示框架及数据集PROBLEMATHIC,并通过微调提升模型鲁棒性约8%。
2025-09-15 cs.CL
Measuring Non-Adversarial Reproduction of Training Data in Large Language Models
ETH Zurich(苏黎世联邦理工学院);Google DeepMind(谷歌DeepMind);Carnegie Mellon University(卡内基梅隆大学)
本文研究了大型语言模型在自然良性提示下非对抗性复现训练数据的现象,发现模型输出与互联网文本重叠率高达15%,最坏情况达100%,远高于人类,且提示策略虽能平均降低复现但无法解决最坏情况,需更强防御。
2024-11-15 cs.CL cs.LG
Adversarial Fine-Tuning of Language Models: An Iterative Optimisation Approach for the Generation and Detection of Problematic Content
Australian National University(澳大利亚国立大学);Mathematical Sciences Institute(数学科学研究所);Research School of Astronomy(天文研究学院);College of Engineering and Computer Science(工程与计算机科学学院)
本研究提出基于对抗微调的双阶段迭代优化方法,通过对抗模型生成有害提示、判别模型迭代识别,提升问题内容检测准确率,使ada模型仅数轮就超越GPT-4 13%,并改善并行任务性能。
2023-08-26 cs.CL cs.LG
Are Robust LLM Fingerprints Adversarially Robust?
University of Washington(华盛顿大学);Princeton University(普林斯顿大学);Sentient
该研究针对现有大语言模型指纹方案缺乏对抗鲁棒性评估的问题,定义实际威胁模型并识别核心漏洞,设计自适应攻击可绕过10种近期指纹方案且保持模型高实用性,呼吁指纹设计需原生考虑对抗鲁棒性并给出未来方向建议。
2025-09-30 cs.AI cs.CR cs.LG
Inference-Time Mitigation of Adversarial Political Bias in Large Language Models
针对大语言模型的对抗性政治偏见漏洞,提出思维链提示与直接偏好优化等策略,其中递归自校正方法可显著提升模型的政治中立性表现。
2026-08-18 cs.AI cs.CL
Erased but Exploitable: Black-box Embedding-Aware Prompting Against Unlearned Text-to-Image Diffusion Models
Department of Computer Engineering(计算机工程系)
提出一种黑盒嵌入感知对抗提示攻击BEAP,利用大语言模型迭代生成有效对抗提示,以恢复被遗忘概念,并在攻击成功率上提升超过60%。
2026-10-06 cs.AI cs.CV
Enhancing Adversarial Attacks through Chain of Thought
North China University of Technology(北方工业大学);University of California, Riverside(加州大学河滨分校)
本研究针对大语言模型的安全漏洞,将思维链提示与贪心坐标梯度技术结合提出CoT-GCG方法,提升了对抗攻击的可迁移性与效果,并通过Llama Guard实现更客观的风险评估。
2024-10-29 cs.CL
LARGO: Latent Adversarial Reflection through Gradient Optimization for Jailbreaking LLMs
Columbia University(哥伦比亚大学);Rutgers University(罗格斯大学)
针对离散语言空间下基于梯度的LLM越狱攻击效果不佳的问题,提出LARGO方法,在LLM连续潜在空间优化对抗向量再解码为自然语言提示,在标准基准上攻击成功率领先AutoDAN等方法44个百分点。
2025-05-16 cs.CL cs.CR cs.LG
Information Theoretic Adversarial Training of Large Language Models
Purdue University(普渡大学);Texas State University(德克萨斯州立大学);University of South Florida(佛罗里达州立大学);University of Arizona(亚利桑那大学)
本文提出WARDEN框架,通过信息论方法动态调整对抗示例权重,提升大语言模型的鲁棒性,减少攻击成功率且保持模型效用。
2026-05-06 cs.AI cs.CR cs.LG
Adversarial Attacks against Neural Ranking Models via In-Context Learning
University of Waterloo(多伦多大学);University of California, Berkeley(加州大学伯克利分校);University of Toronto(多伦多大学)
本文提出少样本对抗提示(FSAP)黑盒攻击框架,利用LLM上下文学习生成高排名对抗文档,实验证明其能持续超越可信文档并具有低可检测性。
2025-08-21 cs.CL cs.IR
The Resurgence of GCG Adversarial Attacks on Large Language Models
HydroX AI San Jose CA USA(HydroX AI)
本研究系统评估了GCG及其退火变体T-GCG在不同规模开源大模型上的攻击效果,揭示了模型规模、评估方式、任务类型对攻击成功率的影响,指出推理任务存在被忽视的安全漏洞。
2025-08-30 cs.AI cs.CL cs.CR
Concealment of Intent: A Game-Theoretic Analysis
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出意图隐藏对抗性提示攻击,通过技能组合隐藏恶意意图,并用博弈论框架分析攻防均衡,揭示攻击者结构性优势,同时提出针对性防御机制并在多个真实LLM上验证了攻击的优越性。
2025-08-18 cs.CL
Conflict-Aware Soft Prompting for Retrieval-Augmented Generation
Sungkyunkwan University(成均馆大学)
针对RAG中上下文与模型记忆冲突的问题,提出CARE框架,通过上下文评估器与软提示引导推理,在QA和事实验证基准上平均提升5.0%。
2025-09-26 cs.AI cs.CL
A Theoretical Game of Attacks via Compositional Skills
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Stony Brook University(石溪大学)
本文提出一个理论框架,分析攻击者与防御者之间的博弈,设计最优攻击策略并揭示其与现有对抗提示方法的关系,同时推导出可证明最优的防御策略,并通过实验验证其在不同LLM和基准上的优越性。
2026-05-01 cs.CL
CAP-CoT: Cycle Adversarial Prompt for Improving Chain of Thoughts in LLM Reasoning
Department of Electronic Engineering, Kyung Hee University(韩国庆熙大学电子工程系);School of Computer Science and Engineering, University of Electronic Science and Technology of China(中国电子科技大学计算机科学与工程学院);Henan Polytechnic University(河南理工大学);School of Computing, Kyung Hee University(韩国庆熙大学计算机学院)
CAP-CoT通过循环对抗提示框架提升LLM推理的准确性和稳定性,通过生成候选推理链、构造有缺陷的链并对比反馈,优化推理过程。
2026-07-07 cs.AI
Just Keep Prompting: Evaluating Repetitive Socratic Prompting in VLMs
Northeastern University(东北大学)
研究视觉语言模型在反复提示下的稳定性,引入JKP多轮评估框架,用三种策略对模型提问,在STAR基准子集上评估GPT-4o、Gemini 2.5 Pro和Qwen3-VL-30B,发现重复提示利弊兼具且因模型而异,揭示了模型压力反应概况。
2026-07-17 cs.AI cs.CL cs.CV
Do Encoders Suffice? A Systematic Comparison of Encoder and Decoder Safety Judges for LLM Adversarial Evaluation
PricewaterhouseCoopers(普华永道)
系统比较ModernBERT系列编码器分类器与基于LLM的解码器评判器在识别有害LLM输出上的性能,发现编码器可在保持低延迟和低成本的同时接近LLM评判器的效果。
2026-06-25 cs.AI cs.CL
Imposter.AI: Adversarial Attacks with Hidden Intentions towards Aligned Large Language Models
Meetyou AI Lab(Meetyou AI实验室);Osaka University(大阪大学);East China Normal University(华东师范大学)
本研究提出一种利用人类对话策略的新型对抗性攻击方法,通过分解、改写和增强示例三个策略从对齐大型语言模型中提取有害信息,实验证明其优于传统方法,并引发对对话最终意图识别的思考。
2024-07-22 cs.AI cs.CL cs.CR
Harnessing Chain-of-Thought Metadata for Task Routing and Adversarial Prompt Detection
University of Oslo(奥斯陆大学);BMW Group(宝马集团);Ludwig-Maximilians-Universität(慕尼黑大学)
提出思维数量(NofT)指标,通过设置阈值判断任务难度,实现提示路由(降低2%延迟)并检测对抗性提示(准确率95%)。
2025-03-27 cs.AI cs.CL cs.PF
ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks
University of Pennsylvania(宾夕法尼亚大学);Microsoft Research(微软研究院)
本文提出ReEval框架,利用提示链自动扰动原始证据生成对抗样本,动态评估检索增强LLM使用新证据的可靠性,发现静态表现好的模型在扰动下仍会产生幻觉,且对抗样本可跨模型迁移,具有成本效益。
2024-05-31 cs.AI cs.CL cs.LG
Generative adversarial networks vs large language models: a comparative study on synthetic tabular data generation
Cumming School of Medicine(卡明医学院);University of Calgary(卡尔加里大学)
本文提出基于GPT-4o自然语言提示的零样本表格数据生成框架,并在三个数据集上与CTGAN比较,证明其在统计保真度和隐私上更优。
2025-02-20 cs.CL cs.LG
Causal Prompting for Implicit Sentiment Analysis with Large Language Models
School of Computing Technologies, RMIT University(RMIT大学计算机技术学院);Institute of Innovation, Science and Sustainability, Federation University Australia(联邦大学澳大利亚创新、科学与可持续性研究所);CSIRO’s Data61(CSIRO数据61)
本文提出CAPITAL因果提示框架,通过前门调整分解CoT推理中的因果效应并结合对比学习,显著提升大语言模型在隐式情感分析中的准确性与鲁棒性。
2025-07-01 cs.CL
Automating Intervention Discovery from Scientific Literature: A Progressive Ontology Prompting and Dual-LLM Framework
University at Buffalo(布法罗大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对科学文献中干预措施人工识别效率低易疏漏的问题,提出融合渐进式本体提示算法与双LLM智能体的自动化框架,在言语-语言病理领域语料上效果优于基线,构建了公开干预知识库。
2025-05-20 cs.AI cs.CL
IDRAAK: From Multi-Agent NLP to Few-Shot Prompting for Semantic Drift Detection in Technical Requirements
Stony Brook University(石溪大学)
IDRAAK是基于语义需求表示的可解释框架,通过含6个少样本示例的LLM单次调用检测技术需求语义漂移,性能优于多种替代方案,证明少样本提示是高效替代方法。
2026-08-11 cs.AR cs.CL cs.ET
Universal Defenses for Tool-Integrated LLM Agents Against Adversarial Attacks
University of Toronto(多伦多大学);National Research Council Canada(加拿大国家研究委员会)
本文针对工具集成LLM智能体面临的四类对抗攻击,提出两种通用工具防御(攻击者工具过滤和正常工具召回)及提示防御,在多种开源和专有模型上将攻击成功率降至0%,同时保持或提升任务成功率。
2026-09-16 cs.AI cs.CL cs.CR
Evaluating the Performance and Robustness of LLMs in Materials Science Q&A and Property Predictions
本研究评估了LLMs在材料科学问答与性能预测中的表现与鲁棒性,通过多种提示策略和对抗噪声测试,揭示了其独特现象,为该领域应用提供理性质疑与改进方向。
2025-03-11 cond-mat.mtrl-sci cs.AI cs.CL
Give me a hint: Can LLMs take a hint to solve math problems?
Indian Institute of Technology, Roorkee(鲁尔基印度理工学院)
本研究借鉴人类教学法,提出通过提示来提升LLM解决高等数学问题的能力,并验证了其对对抗性提示的敏感性,在MATH数据集上优于现有提示技术。
2024-11-09 cs.AI cs.CL cs.CV
On the Robustness of Verbal Confidence of LLMs in Adversarial Attacks
Department of Electrical and Computer Engineering(电气与计算机工程系);Ingenuity Labs Research Institute(创新实验室研究所);Queen’s University(皇后大学)
本文研究了大语言模型在对抗攻击下的语言自信度鲁棒性,发现现有防御技术效果有限,需设计更稳健的自信表达机制。
2025-12-18 cs.CL
Reasoning Robustness of LLMs to Adversarial Typographical Errors
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学);Google DeepMind(谷歌DeepMind)
本文研究大语言模型对对抗性拼写错误的推理鲁棒性,提出ATA攻击算法和R$^2$ATA基准,证明最小拼写编辑可显著降低模型性能,且攻击具有跨模型迁移性。
2024-11-08 cs.AI cs.CL
Human-Interpretable Adversarial Prompt Attack on Large Language Models with Situational Context
Booz Allen Hamilton(博思艾伦汉密尔顿公司)
本研究提出一种情境驱动的上下文重写方法,将无意义的对抗性后缀转换为人类可理解的恶意提示,无需梯度即可在开源和专有大语言模型上实施攻击,且仅需1次尝试即可成功并在模型间转移。
2024-07-25 cs.CL
PromptFix: Few-shot Backdoor Removal via Adversarial Prompt Tuning
School of Information Science & Technology, Pennsylvania State University(宾夕法尼亚州立大学信息科学与技术学院);Department of Computer Science, Stony Brook University(石溪大学计算机科学系)
本文提出PromptFix,一种少样本场景下通过对抗性提示调优移除NLP模型后门的方法,保持模型参数不变,仅用两组软令牌近似并抵消触发词,在多种攻击和领域偏移下验证了有效性。
2024-06-06 cs.CL cs.LG
Context Over Compute Human-in-the-Loop Outperforms Iterative Chain-of-Thought Prompting in Interview Answer Quality
本文通过对比人类在环和自动思维链提示方法,发现人类在环在面试回答质量评估中表现更优,且迭代次数更少,同时具有更高的训练效果。
2026-06-07 cs.AI cs.CL
Despite "super-human" performance, current LLMs are unsuited for decisions about ethics and safety
Generally Intelligent(通用智能公司)
大语言模型(LLM)在过去几年中迅速流行起来,并在问答和文本摘要等各种基准测试中取得了令人印象深刻的结果。我们提供了一个简单的新的提示策略,导致了另一个所谓的“超人”结果,这一次在常识伦理推理方面优于人类(通过ETHICS数据集子集的准确性来衡量)。不幸的是,我们发现,依靠平均表现来判断能力可能会产生很大的误导。LLM错误在系统上与人类错误不同,这使得它很容易制作对抗性的例子,甚至扰乱现有的例子来翻转输出标签。我们还观察到一些例子中的反尺度与模型大小的迹象,并表明,促使模型“解释他们的推理”往往会导致令人震惊的理由不道德的行为。我们的研究结果强调了类似人类的表现并不一定意味着类似人类的理解或推理。
2022-12-13 cs.AI cs.CL
Jailbreaking with Universal Multi-Prompts
National Taiwan University(台湾大学)
针对大型语言模型的越狱攻击研究,提出基于通用多提示词的攻击方法JUMP及其防御适配DUMP,实验证明该方法优于现有技术。
2025-02-03 cs.AI cs.CL cs.CR
Enhancing Security and Strengthening Defenses in Automated Short-Answer Grading Systems
School of Data Science and Analytics, Kennesaw State University(数据科学与分析学院,肯尼斯州立大学);National Board of Medical Examiners (NBME)(医学考试委员会(NBME))
本研究针对医学教育中基于Transformer的自动简答题评分系统,识别出三种对抗性博弈策略漏洞,通过对抗训练及集成技术显著提升系统鲁棒性,并验证了GPT-4等大语言模型在识别博弈策略上的有效性,以确保高风险教育场景的公平与可靠。
2025-04-30 cs.CL cs.CR
CARES: Comprehensive Evaluation of Safety and Adversarial Robustness in Medical LLMs
Northeastern University(东北大学);Harvard University(哈佛大学);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);UCLA(加州大学洛杉矶分校)
针对现有医疗大语言模型安全基准缺乏临床针对性与越狱攻击覆盖的问题,本文提出含1.8万余条提示的CARES基准与三元评估协议,发现现有模型易被越狱且过度拒答安全查询,并给出轻量分类器的缓解方案。
2025-05-16 cs.CL
Box Maze: A Process-Control Architecture for Reliable LLM Reasoning
Independent Researcher(独立研究者)
本文提出Box Maze框架,通过内存 grounding、结构化推理和边界约束三层结构提升LLM推理可靠性,实验显示其在对抗性场景中显著降低边界失效率。
2026-03-19 cs.AI cs.CL
Domain-Invariant Prompt Learning for Vision-Language Models
本文提出DiCoOp,通过对抗训练方法提升视觉-语言模型在不同领域中的泛化能力,有效解决领域偏移问题。
2026-03-30 cs.AI cs.CV
Statistical Estimation of Adversarial Risk in Large Language Models under Best-of-N Sampling
University of Rochester(罗切斯特大学);Microsoft Research(微软研究院)
本研究提出SABER方法,通过Beta分布建模样本成功概率,利用解析缩放定律预测大规模对抗风险,显著降低估计误差。
2026-02-08 cs.AI
CAT-alyzing Honesty: Continuous Adversarial Training for Transferable LLM Honesty
Tara Research(塔拉研究院);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所);Technical University of Munich(慕尼黑工业大学)
该研究提出CATCH方法,通过连续对抗训练提升LLM诚实性,在MASK、Among Us、AuditBench等基准上表现优于提示工程和监督微调,且在保持模型效用上优于现有激活引导。
2026-10-16 cs.CL cs.CY cs.LG
Objective Matters: Fine-Tuning Objectives Shape Safety, Robustness, and Persona Drift
University of Cincinnati(辛辛那提大学);University of Toronto(多伦多大学);University of Oxford(牛津大学)
本文研究了微调目标对LLM安全性和鲁棒性的影响,发现目标选择在不同训练规模下对安全、鲁棒性和人格漂移有显著影响。
2026-01-19 cs.CL cs.LG
LLM-GAN: Construct Generative Adversarial Network Through Large Language Models For Explainable Fake News Detection
Fudan University(复旦大学);Alibaba Group(阿里巴巴集团)
针对LLMs易被假新闻误导及解释需大量人工的问题,提出LLM-GAN框架,利用提示机制使LLM充当生成器和检测器进行假新闻生成与检测,有效提升了预测性能与解释质量,并集成至云原生AI平台。
2024-12-24 cs.CL
JAB: Joint Adversarial Prompting and Belief Augmentation
Amazon Alexa AI-NU(亚马逊Alexa AI-NU)
提出联合对抗提示与信念增强框架,通过迭代反馈循环同时探测和提升黑盒语言模型的鲁棒性,减少有毒内容生成。
2023-11-16 cs.AI cs.CL
Watermarking Language Models through Language Models
Department of Computer Science, University of Nebraska Omaha(内布拉斯加大学奥马哈分校计算机科学系)
提出一种提示引导的水印框架,通过三个组件在输入层为LLM输出添加动态水印,无需访问模型内部,跨架构泛化且对微调、蒸馏和对抗攻击稳健。
2025-06-20 cs.CL cs.CR cs.LG