Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs
National University of Singapore（新加坡国立大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；The Hong Kong University of Science and Technology（香港科技大学）
本研究提出一个系统框架，通过提示策略、采样方法和聚合技术，在黑盒LLM中引导置信度，并在多个数据集和模型上评估，发现LLM过度自信，但所提策略可缓解，且与白盒方法差距小。
2024-03-17 cs.CL
Benchmarking Adversarial Robustness to Bias Elicitation in Large Language Models: Scalable Automated Assessment with LLM-as-a-Judge
University of Calabria（卡利博利亚大学）
提出可扩展基准框架，用LLM-as-a-Judge评估LLM对抗性偏见诱导的鲁棒性，发布CLEAR-Bias数据集，发现偏见韧性不均且无模型完全鲁棒。
2025-10-16 cs.AI cs.CL
Calibration Attacks: A Comprehensive Study of Adversarial Attacks on Model Confidence
Ingenuity Labs Research Institute（创意实验室研究院）；National Research Council Canada（加拿大国家研究委员会）；Digital Technologies Research Centre（数字技术研究中心）
本文系统研究不改变预测标签却扭曲模型置信度的校准攻击，提出四类黑盒/白盒攻击并评估防御与重新校准方法，揭示现有防护仍存在明显局限。
2024-11-29 cs.CR cs.LG
Confidence-Calibrated Adversarial Training: Generalizing to Unseen Attacks
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Tübingen（图宾根大学）
对抗性训练产生针对特定威胁模型的鲁棒模型，例如，$L_\infty$对抗性示例。通常，鲁棒性不会推广到以前看不见的威胁模型，例如，其他$L_p$范数或更大的扰动。我们的置信度校准对抗训练（CCAT）通过将模型偏向于对抗示例的低置信度预测来解决这个问题。通过允许拒绝低置信度的示例，鲁棒性可以推广到训练期间使用的威胁模型之外。仅在$L_\infty$对抗性示例上训练的CCAT提高了对更大的$L_\infty$、$L_2$、$L_1$和$L_0$攻击、对抗性帧、远端对抗性示例和损坏示例的鲁棒性，并且与对抗性训练相比产生更好的干净准确性。为了进行彻底的评估，我们开发了新的白盒和黑盒攻击，通过最大化置信度直接攻击CCAT。对于每种威胁模型，我们使用$7$攻击，最多$50$重启和$5000$迭代，并报告最坏情况下的鲁棒测试错误，扩展到我们的置信阈值设置，在所有攻击中。
2020-06-30 cs.CR cs.CV cs.LG
QA-Calibration of Language Model Confidence Scores
University of Amsterdam（阿姆斯特丹大学）；Amazon（亚马逊）；Carnegie Mellon University（卡内基梅隆大学）
本文提出QA-calibration概念及离散化事后校准方案，确保生成式问答系统置信度分数在不同问答组间校准，并在多基准和LLMs上验证其有效性。
2025-03-01 cs.CL cs.LG
Graph Elicitation for Guiding Multi-Step Reasoning in Large Language Models
Korea University（高丽大学）；Amazon AGI（亚马逊AGI）；Together AI
针对大语言模型直接生成子问题易冗余无关的问题，提出GE-Reasoning方法，通过生成带变量的知识三元组构建问题图表示，结合检索生成子问题并按置信度筛选，在多跳问答基准上优于现有CoT类方法。
2024-06-22 cs.AI cs.CL cs.LG
An Efficient and Margin-Approaching Zero-Confidence Adversarial Attack
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
白盒对抗攻击有两种主要的范例，它们试图施加输入扰动。第一种范式称为固定扰动攻击，在给定的扰动水平内制作对抗样本。第二种范式，称为零置信度攻击，找到导致错误分类所需的最小扰动，也称为输入特征的裕度。虽然前一种范式得到了很好的解决，但后一种范式却没有。现有的零置信度攻击要么引入显著的近似误差，要么太耗时。因此，我们提出了MARGINATTACK，一个零置信度的攻击框架，能够计算的利润，提高了准确性和效率。实验结果表明，MARGINATTACK算法比现有的零置信度攻击算法具有更小的安全裕度，并且能够与现有的固定扰动攻击算法相匹配。此外，它的运行速度明显快于Carlini-Wagner攻击，目前最准确的零置信度攻击算法。
2019-10-01 cs.LG stat.ML
Calibrating Long-form Generations from Large Language Models
Duke University（杜克大学）；Yale University（耶鲁大学）
针对长文本生成只能部分正确、二元校准失效的问题，提出将正确性与置信度视为分数分布的统一框架、三项指标及两种置信度诱导方法，并验证模型级联等改进策略。
2024-10-25 cs.AI cs.CL cs.LG
On the Robustness of Verbal Confidence of LLMs in Adversarial Attacks
Department of Electrical and Computer Engineering（电气与计算机工程系）；Ingenuity Labs Research Institute（创新实验室研究所）；Queen’s University（皇后大学）
本文研究了大语言模型在对抗攻击下的语言自信度鲁棒性，发现现有防御技术效果有限，需设计更稳健的自信表达机制。
2025-12-18 cs.CL
Large Language Models Are Overconfident in Their Own Responses
Johannes Gutenberg University Mainz（莱茵河畔明斯特约翰·古腾堡大学）；University of Colorado Boulder（科罗拉多大学波德分校）
研究指令微调与聊天模板导致的大型语言模型校准偏差，发现“所有权偏见”使模型对自己的回答自信度高出26%，并提出通过将模型回答伪装为用户输入来降低过度自信。
2026-06-02 cs.CL
Certifiable Black-Box Attacks with Randomized Adversarial Examples: Breaking Defenses with Provable Confidence
University of Connecticut（康涅狄格大学）；Zhejiang University（浙江大学）；Illinois Institute of Technology（伊利诺伊理工大学）
本文提出带可证明攻击成功率保证的随机化对抗样本黑盒攻击，通过理论保证与低扰动制作技术，在视觉和语音任务上攻破多种 SOTA 防御。
2024-09-06 cs.CR cs.LG
Uncertainty in Action: Confidence Elicitation in Embodied Agents
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究具身智能体在动态多模态环境中的置信度表达问题，提出结合三类推理的诱导策略与执行策略，并在 Minecraft 中验证结构化推理可改善校准，但溯因不确定性识别仍具挑战。
2025-03-13 cs.AI cs.LG
REALISTA: Realistic Latent Adversarial Attacks that Elicit LLM Hallucinations
University of Waterloo（滑铁卢大学）
提出REALISTA框架，通过潜在空间优化语义等价的对抗提示，有效引发大语言模型幻觉，优于现有方法。
2026-05-31 cs.AI cs.CL cs.CR
Increasing Confidence in Adversarial Robustness Evaluations
University of Tübingen（图宾根大学）；Google（谷歌）
已经提出了数百种防御措施，以使深度神经网络对最小（对抗性）输入扰动具有鲁棒性。然而，这些防御中只有少数人坚持了他们的主张，因为正确评估鲁棒性是非常具有挑战性的：弱攻击通常无法找到对抗性的例子，即使它们在不知不觉中存在，从而使脆弱的网络看起来很健壮。在本文中，我们提出了一个测试来识别弱攻击，从而弱防御评估。我们的测试稍微修改了一个神经网络，以保证每个样本都存在对抗性样本。因此，任何正确的攻击都必须成功地破坏这个修改过的网络。在之前发布的13个防御中，有11个防御的原始评估没有通过我们的测试，而破坏这些防御的更强大的攻击通过了它。我们希望攻击单元测试--比如我们的--将成为未来鲁棒性评估的主要组成部分，并增加对一个目前充满怀疑的经验领域的信心。
2022-06-28 cs.CR cs.CV cs.LG
Self-Reported Confidence of Large Language Models in Gastroenterology: Analysis of Commercial, Open-Source, and Quantized Models
Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院）；The Charles Bronfman Institute of Personalized Medicine, Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院查尔斯·布朗夫曼个性化医学研究所）；University of Pennsylvania（宾夕法尼亚大学）；Ontario Tech University（安大略理工大学）
研究评估了多种大语言模型在胃肠病学板式问题上的自我报告置信度，发现高性能模型仍存在过度自信问题，凸显了LLM在医疗领域安全使用中的不确定性量化挑战。
2025-03-24 cs.AI cs.CL cs.HC
Multi-Layer Confidence Scoring for Detection of Out-of-Distribution Samples, Adversarial Attacks, and In-Distribution Misclassifications
DEI（迪埃学院）；ARCES（自动控制与电子工程系）；University of Bologna（博洛尼亚大学）；CEMSE（计算与建模工程中心）；KAUST（科威特大学）；Italy（意大利）；Saudi Arabia（沙特阿拉伯）
本文提出MACS框架，通过分析中间激活生成分类图，用于统一检测分布外样本、对抗攻击和分布内误分类，实验表明其性能优于现有方法。
2025-12-22 cs.AI cs.LG
AI Models Can Provably Hide Arbitrary Capabilities
Contramont Research（康特拉蒙研究机构）；University of Oxford（牛津大学）；ACS Research（ACS研究机构）
该研究构造后门攻击，利用数字保险箱技术在AI模型中隐藏任意计算，证明基于触发的能力审计存在局限性，发布模型以支持防御改进。
2026-10-15 cs.CR cs.LG
An Analysis of Training-Free Self-Reported Confidence in Language Models
DreamAI
本研究分析语言模型免训练置信度信号，发现直接口头表达优于多样本一致性，且自报告对提示方式、相关错误和基准噪声敏感。
2026-09-18 cs.CL
SECA: Semantically Equivalent and Coherent Attacks for Eliciting LLM Hallucinations
University of Pennsylvania（宾夕法尼亚大学）
SECA通过现实修改提示诱发LLM幻觉，提高攻击成功率并减少语义错误。
2026-02-15 cs.AI cs.CL cs.CR
Do LLM Recommenders Know When They're Hallucinating? Auditing Confidence Calibration in Catalog Faithfulness
Amazon.com LLC（亚马逊公司）
该研究审计了四个零样本LLM推荐系统的幻觉率与置信度校准，发现其系统性置信不足，提出conformal弃权阈值效果有限，建议审计需同时报告校准与OOD率并采用锚定目录的提示。
2026-08-25 cs.CL cs.IR cs.LG
Is Reasoning All You Need? Probing Bias in the Age of Reasoning Language Models
University of Calabria, Rende, Italy（卡拉布里亚大学）
本文利用 CLEAR-Bias 基准评估推理语言模型的偏见安全鲁棒性，发现显式推理机制反而使模型更易受偏见诱导，挑战了推理天然提升鲁棒性的假设。
2025-07-03 cs.CL
Explanatory Engagement Under Rare Anomalous Failure: Asymptotic Rarity in Model Behavior (or: The Asymptotic AI)
本研究探究LLM在低可控失效概率工作流中，解释性参与度随失效渐近稀有性的变化，发现触发结构是关键调节变量，不同模型的异常识别与参与表现存在差异。
2026-08-14 cs.AI cs.CL cs.LG
Atomic Calibration of LLMs in Long-Form Generations
University of Cambridge（剑桥大学）；Fudan University（复旦大学）；Tencent AI Lab（腾讯AI实验室）；The Chinese University of Hong Kong（香港中文大学）
本研究提出原子校准方法，用于改进大语言模型在长文本生成中的校准能力，揭示置信度方法与生成过程中置信度变化的关联。
2025-11-20 cs.AI cs.CL
Bayesian Optimization with LLM-Based Acquisition Functions for Natural Language Preference Elicitation
University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）
针对冷启动自然语言偏好 elicitation，提出基于贝叶斯优化的PEBOL算法，结合NLI与BO采集函数，在10轮对话后MRR@10达0.27，优于单一LLM基线。
2024-08-20 cs.AI cs.CL
An Improved Genetic Algorithm and Its Application in Neural Network Adversarial Attack
Yangtze University（长江大学）
交叉和变异策略的选择对遗传算法的可搜索性、收敛效率和精度起着至关重要的作用。本文通过对简单遗传算法的交叉和变异操作进行改进，提出了一种新的改进遗传算法，并通过15个测试函数进行了验证。定性结果表明，与其他三种主流的群体智能优化算法相比，该算法不仅提高了全局搜索能力、收敛效率和精度，而且在相同的实验条件下，提高了收敛到最优值的成功率。定量结果表明，该算法在15个测试函数中的13个上表现优异。使用Wilcoxon秩和检验进行统计学评价，显示该算法在$95\%$置信区间的显著优势。最后将该算法应用于神经网络的对抗攻击。应用结果表明，该方法不需要神经网络模型内部的结构和参数信息，仅利用神经网络输出的分类和置信度信息，就能在较短时间内获得高置信度的对抗样本。
2022-03-06 cs.CR cs.LG cs.NE
Efficient Adversarial Malware Defense via Trust-Based Raw Override and Confidence-Adaptive Bit-Depth Reduction
Arizona State University（亚利桑那州立大学）
针对对抗防御计算开销过高的问题，提出结合信任原始覆盖（TRO）与置信度自适应位深缩减（CABDR）的框架，实现1.76倍计算开销（较先进方法提升2.3倍），保持91%清洁准确率并降低攻击成功率，为生产环境提供高效稳健的恶意软件防御方案。
2025-11-16 cs.CR cs.LG
Breaking the Illusion of Security via Interpretation: Interpretable Vision Transformer Systems under Attack
Department of Computer Science and Engineering, Sungkyunkwan University（计算机科学与工程系，全州大学）；Department of Computer Science, Loyola University（计算机科学系，洛伊拉大学）
本文提出AdViT攻击方法，可同时欺骗视觉Transformer模型及其耦合解释模型，在白盒和黑盒场景下均达到100%攻击成功率，同时保持解释准确性以逃避检测。
2025-07-18 cs.AI cs.CR cs.CV
Defending against Adversarial Attack towards Deep Neural Networks via Collaborative Multi-task Training
Swinburne University of Technology（斯威本科技大学）
众所周知，深度神经网络（DNN）容易受到包含人类无法感知的扰动的对抗性样本的攻击。近年来，人们提出了一系列的防御方法，包括主动防御和被动防御。然而，大多数方法只能处理特定的攻击。例如，主动防御方法对灰盒或白盒攻击无效，而被动防御方法则受到低失真对抗性示例或转移对抗性示例的挑战。这成为一个关键的问题，因为防御者通常没有攻击的类型作为先验知识。此外，现有的双管齐下的防御（例如，MagNet），它利用了主动和被动的方法，已被报告为转移攻击下打破。针对这一问题，提出了一种基于协同多任务训练的防御框架，旨在为不同类型的攻击提供防御。提出的防御首先将训练标签编码为标签对，并利用编码标签对监督的对抗性训练来对抗黑盒攻击。防御方还构建了一个检测器来识别和拒绝绕过黑盒防御的高置信度对抗性示例。此外，所提出的协作架构可以防止对手在防御策略暴露时找到有效的对抗性示例。在实验中，我们评估了对$MNIST$和$CIFAR10$数据集的四种最先进攻击的防御。实验结果表明，该方法在黑盒对抗样本上达到了$96.3\%$的分类准确率，在高置信度对抗样本中检测到了$98.7\%$.对于$CIFAR10$数据集，它仅降低了$2.1\%$对良性样本分类的模型准确性。
2020-07-24 cs.CR cs.LG
BAS: A Decision-Theoretic Approach to Evaluating Large Language Model Confidence
Department of Engineering Science, University of Oxford（牛津大学工程科学系）；Oxford Suzhou Centre for Advanced Research（牛津大学苏州高等研究院）
本文提出BAS，一种基于决策理论的评估方法，用于评估大语言模型置信度在不同风险偏好下的决策支持能力，揭示置信度与决策可靠性之间的关系，并展示如何通过干预提升置信度可靠性。
2026-04-03 cs.CL
Finite Gaussian Neurons: Defending against adversarial attacks by making neural networks say "I don't know"
The City University of New York（纽约城市大学）
本研究提出新型有限高斯神经元（FGN）架构，可低成本转换现有模型，在保留真实数据性能的同时降低对抗样本下的预测置信度，还通过多组对比实验验证了其抗攻击能力与局限性。
2023-06-13 cs.CR cs.LG
Annotation-Efficient Universal Honesty Alignment
State Key Laboratory of AI Safety（人工智能安全国家重点实验室）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
EliCal通过两阶段框架实现高效标注的通用诚实对齐，仅需少量正确性标注即可达到接近最优的对齐效果。
2026-03-04 cs.CL
Consistency of Large Reasoning Models Under Multi-Turn Attacks
研究评估了多轮对抗攻击下九种前沿推理模型的鲁棒性，发现推理虽提供部分鲁棒性，但存在显著脆弱性，指出基于自信的防御需重新设计以适应推理模型。
2026-03-11 cs.AI cs.CL
Certainty robustness: Evaluating LLM stability under self-challenging prompts
TELUS Digital（TELUS数字公司）
本文提出确定性鲁棒性基准，评估LLM在自我挑战提示下的稳定性与适应性平衡，揭示模型在交互压力下的可靠性差异。
2026-02-10 cs.AI cs.CL
Eliciting Harmful Capabilities by Fine-Tuning On Safeguarded Outputs
MATS；Anthropic；Scale AI
通过在受保护的输出上微调，研究揭示了如何利用诱骗攻击在开源模型中激发有害能力，展示了输出级保护措施在缓解生态系统风险方面的局限性。
2026-01-20 cs.AI cs.CL cs.CR
TextHacker: Learning based Hybrid Local Search Algorithm for Text Hard-label Adversarial Attack
Huazhong University of Science and Technology（华中科技大学）；Huawei（华为）；Harbin Institute of Technology（哈尔滨工业大学）
现有的文本对抗攻击通常利用梯度或预测置信度来生成对抗样本，这使得它很难被部署到现实世界的应用中。为此，我们考虑一种很少研究但更严格的设置，即硬标签攻击，其中攻击者只能访问预测标签。特别地，我们发现我们可以通过对抗性示例上的单词替换引起的预测标签的变化来学习不同单词的重要性。基于这一观察，我们提出了一种新的对抗攻击，称为文本硬标签攻击者（TextHacker）。TextHacker随机干扰大量的单词来制作一个对抗性的例子。然后，TextHacker采用了一种混合局部搜索算法，从攻击历史中估计单词的重要性，以最大限度地减少对抗干扰。对文本分类和文本蕴涵的广泛评估表明，TextHacker在攻击性能和对手质量方面明显优于现有的硬标签攻击。
2022-10-24 cs.CL cs.LG
Distilling Self-Consistency into Verbal Confidence: A Pre-Registered Negative Result and Post-Hoc Rescue on Gemma 3 4B
Independent Researcher, Melbourne, Australia（墨尔本独立研究者）
研究发现，小规模指令微调LLM在最小激发下产生退化言语自信，通过自我一致性衍生目标的自信条件监督微调未能缩小内部信息与言语输出间的差距，但事后去除过滤器后在TriviaQA上提升了AUROC2至0.774，支持目标依赖性解释。
2026-04-27 cs.AI cs.CL
New CleverHans Feature: Better Adversarial Robustness Evaluations with Attack Bundling
Google AI（谷歌人工智能）
本技术报告介绍了CleverHans库的一项新功能，称为“攻击捆绑”。许多关于对抗性例子的论文给出了对应于不同攻击算法的出错率列表。一种常见的方法是在这个列表中取最大值，并比较针对该出错率的防御。我们认为，一个更好的方法是使用攻击捆绑：最大值应采取在许多例子的水平上的个别例子，然后出错率应计算平均后，这个最大化操作。报告捆绑的攻击者出错率提供了真实最坏情况出错率的下限。当攻击的数量接近无穷大时，报告攻击之间的最大出错率的传统方法可能会将真实的最坏情况出错率低估接近100%。攻击捆绑可以与不同的优先级方案一起使用，以优化诸如对抗性示例上的出错率、导致错误分类所需的扰动大小或使用特定置信度阈值时的失败率等数量。
2018-11-08 cs.AI cs.CR cs.LG
DNNShield: Dynamic Randomized Model Sparsification, A Defense Against Adversarial Machine Learning
The Ohio State University（俄亥俄州立大学）
已知DNN容易受到所谓的对抗攻击的攻击，这些攻击操纵输入以导致可能对攻击者有利或对受害者有害的不正确结果。最近的工作提出了近似计算作为防御机制对机器学习攻击。我们表明，这些方法，虽然成功的一系列输入，是不够的，以解决更强大的，高信心的对抗攻击。为了解决这个问题，我们提出了DNNSHIELD，这是一种硬件加速的防御方法，可以根据对抗性输入的置信度来调整响应的强度。我们的方法依赖于DNN模型的动态和随机稀疏化，以有效地实现推理近似，并对近似误差进行细粒度控制。DNNSHIELD使用稀疏推理的输出分布特征与密集参考相比来检测对抗性输入。当应用于VGG 16时，我们显示出86%的对抗检测率，当应用于ResNet 50时，我们显示出88%的对抗检测率，这超过了最先进方法的检测率，并且开销要低得多。我们展示了一个软件/硬件加速的FPGA原型，它降低了DNNSHIELD相对于纯软件CPU和GPU实现的性能影响。
2022-07-31 cs.AR cs.CR cs.LG
Out of Distribution Detection and Adversarial Attacks on Deep Neural Networks for Robust Medical Image Analysis
African Institute for Mathematical Sciences（非洲数学科学研究所）；Stanford University（斯坦福大学）
深度学习模型已成为医学图像分析的热门选择。然而，深度学习模型的泛化性能较差，限制了它们在现实世界中的部署，因为鲁棒性对于医疗应用至关重要。例如，最先进的卷积神经网络（CNN）无法检测对抗样本或在统计上远离训练分布的样本。在这项工作中，我们实验评估的鲁棒性的Mahalanobis距离为基础的置信分数，一个简单而有效的方法来检测异常的输入样本，在分类疟疾寄生细胞和未感染的细胞。结果表明，Mahalanobis置信分数检测器表现出深度学习模型的性能和鲁棒性的改进，并在分布外（OOD）和对抗样本上实现了最先进的性能。
2021-07-10 cs.CV cs.LG eess.IV
Relationship between Uncertainty in DNNs and Adversarial Attacks
Rawls College of Business, Texas Tech University（德克萨斯理工大学劳尔斯商学院）；University of Stirling（斯特林大学）；Tennessee Technological University（田纳西理工大学）
本文综述了深度神经网络中不确定性与对抗攻击的关系，指出对抗攻击通过扰动输入提高模型不确定性，并强调其影响机制。
2025-02-24 cs.AI cs.CR cs.LG
Exploring Misclassifications of Robust Neural Networks to Enhance Adversarial Attacks
Univ. of Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）
尽管研究界付出了巨大的努力，但在使神经网络对对抗攻击更鲁棒方面的进展大多是微不足道的。此外，鲁棒性评估通常是不精确的，使得很难确定有前途的方法。我们分析了19种不同的最先进的神经网络的分类决策，这些神经网络被训练成对对抗攻击具有鲁棒性。我们的研究结果表明，目前的无针对性的对抗攻击只会导致有限数量的不同类别的错误分类。此外，我们观察到，在模型预测的过度和不足的信心导致模型的鲁棒性的不准确评估。基于这些观察结果，我们提出了一种新的对抗攻击损失函数，与19个分析模型中的19个相比，该损失函数持续提高了攻击成功率。
2021-05-25 cs.LG
Adversarial Attacks in Sound Event Classification
Queen Mary University of London（伦敦玛丽女王大学）；ROLI Ltd.（ROLI有限公司）
对抗攻击是指一组干扰分类模型输入以欺骗分类器的方法。在本文中，我们将不同的基于梯度的对抗攻击算法应用于五个为声音事件分类训练的深度学习模型。四个模型使用梅尔频谱图输入，一个模型使用原始音频输入。这些模型代表标准架构，如卷积，递归和密集网络。用于训练的数据集是为DCASE 2018挑战任务2发布的Freesound数据集，使用的模型来自开源代码的挑战参与者。我们的实验表明，对抗攻击可以产生高置信度和低扰动。此外，我们表明，对抗攻击是非常有效的不同的模型。
2019-08-15 cs.CR cs.LG cs.SD
Adversarial Attack on Graph Structured Data
Georgia Institute of Technology（佐治亚理工学院）；Ant Financial（蚂蚁金服）；Tsinghua University（清华大学）
图结构的深度学习在各种应用中显示出令人兴奋的结果。然而，相对于大量针对图像或文本的对抗攻击和防御的研究工作，很少有人关注这种模型的鲁棒性。在本文中，我们专注于通过修改数据的组合结构来欺骗模型的对抗攻击。我们首先提出了一种基于强化学习的攻击方法，该方法学习可推广的攻击策略，同时只需要来自目标分类器的预测标签。此外，变体的遗传算法和梯度方法的情况下，预测的信心或梯度是可用的。我们使用合成和真实世界的数据表明，一个家庭的图神经网络模型容易受到这些攻击，在图级和节点级分类任务。我们还表明，这种攻击可以用来诊断学习分类。
2018-06-06 cs.CR cs.LG cs.SI
Guessing Smart: Biased Sampling for Efficient Black-Box Adversarial Attacks
fortiss GmbH（fortiss有限公司）；Technical University of Munich（慕尼黑工业大学）
我们考虑在黑盒决策为基础的设置图像分类的对抗性的例子。在这里，攻击者不能访问置信度得分，而只能访问最终标签。这种情况下的大多数攻击要么不可靠，要么效率低下。专注于后者，我们表明，一类特定的攻击，边界攻击，可以被重新解释为一个有偏见的抽样框架，从领域知识的效率。我们确定了三种此类偏差：图像频率、区域掩模和替代梯度，并针对ImageNet分类器评估它们的性能。我们表明，这些偏见的组合优于最先进的一个很大的保证金。我们还展示了一种有效的方法来攻击Google Cloud Vision API，我们只需几百个查询就可以制作令人信服的扰动。最后，我们提出的方法也被发现可以很好地对抗强大的防御：我们的目标攻击在NeurIPS 2018对抗性视觉挑战赛中获得第二名。
2019-05-05 cs.CR cs.CV cs.LG
When Calibration Rankings Reverse: Accuracy-Controlled Evaluation for Fair Comparison of LLMs
Fudan University（复旦大学）；University of Cambridge（剑桥大学）
针对全局校准指标因模型精度差异导致比较不公平的问题，提出ACE精度控制评估框架，通过实例对齐、分布对齐和候选对齐三种视角实现公平比较，发现原始指标下的优势在控制精度后大幅减弱，排名反转频繁。
2026-09-01 cs.CL
Guard Models Are Overconfident Where Base Models Are Uncertain
DATUMO INC.（DATUMO公司）
本文发现Guard模型在基础模型不确定的输入上过度自信，对抗攻击使其校准度大幅下降，但基础模型的不确定性信号仍可用来识别错误，揭示了Guard置信度与基础模型不确定性之间的不匹配。
2026-09-30 cs.AI cs.LG
D-square-B: Deep Distribution Bound for Natural-looking Adversarial Attack
我们提出了一种新的技术，可以通过分布分位数界限和多项式障碍损失函数来限制某些深层中内部激活值引起的变化，从而生成看起来自然的对抗性示例。通过绑定模型内部而不是单个像素，我们的攻击承认与原始输入的现有特征密切相关的扰动，允许生成的示例看起来自然，同时与原始输入具有不同且通常相当大的像素距离。强制执行每个神经元分布分位数界限允许解决内部激活值的不均匀性。我们对ImageNet和五种不同模型架构的评估表明，我们的攻击非常有效。与最先进的像素空间攻击，语义攻击和特征空间攻击相比，我们的攻击可以实现相同的攻击成功/置信水平，同时具有更自然的对抗性扰动。这些扰动依赖于现有的局部特征，并且没有任何固定的像素边界。
2021-01-16 cs.LG stat.ML
Adversarial Attacks on Convolutional Neural Networks in Facial Recognition Domain
Drexel University（德雷塞尔大学）；Conestoga College（康尼斯托加学院）；New York University（纽约大学）
最近的许多研究已经证明了深度神经网络（DNN）分类器如何被对抗性示例愚弄，其中攻击者向原始样本添加扰动，导致分类器错误分类样本。在现实生活中，使DNN变得脆弱的对抗攻击在自动驾驶汽车、恶意软件过滤器或生物识别认证系统中构成了严重威胁。在本文中，我们应用快速梯度符号方法来引入扰动的人脸图像数据集，然后测试输出不同的分类器，我们训练自己，分析这种方法的可移植性。接下来，我们在面部图像数据集上制作了各种不同的黑盒攻击算法，假设最小的对抗知识，以进一步评估DNN在面部识别中的鲁棒性。在实验不同的图像失真技术时，我们专注于修改单个最佳像素的大量，或修改所有像素的少量，或结合这两种攻击方法。虽然我们的单像素攻击实现了实际类的分类器置信度平均下降约15%，但全像素攻击更成功，在我们测试的最高扰动水平的攻击中，置信度平均下降高达84%，错误分类率为81.6%。即使有这些高水平的扰动，人脸图像仍然是人类可识别的。了解这些噪声和扰动图像如何阻碍分类算法，可以在DNN训练中产生有价值的进步，以对抗防御感知对抗攻击，以及自适应降噪技术。我们希望我们的研究可以帮助推进对DNN的对抗攻击和防御机制的研究，特别是在面部识别领域。
2021-02-08 cs.CV cs.LG eess.IV
Tricking Adversarial Attacks To Fail
Aalto University（阿尔托大学）
最近的对抗性防御方法失败了。无针对性的基于梯度的攻击会导致分类器选择任何错误的类。我们新颖的白盒防御技巧使非目标攻击成为针对指定目标类的攻击。从这些目标类中，我们可以派生出真正的类。我们的目标训练防御欺骗了无目标的、基于梯度的对抗攻击核心的最小化：最小化（1）扰动和（2）分类器对抗损失的总和。目标训练最小程度地改变分类器，并使用标记有指定类的额外重复点（距离为0）对其进行训练。这些不同标记的复制样本使最小化的项（1）和（2）两者最小化，从而将攻击收敛引导到指定类别的样本，从中导出正确的分类。重要的是，目标训练消除了了解攻击的需要，以及生成对抗性攻击样本的开销，从而最大限度地减少干扰。我们在CIFAR 10中获得了CW-L2（置信度=0）的86.2%的准确率，甚至超过了非对抗性样本的不安全分类器准确率。目标训练提出了对抗性防御策略的根本变化。
2020-06-08 cs.LG stat.ML
Tailoring Adversarial Attacks on Deep Neural Networks for Targeted Class Manipulation Using DeepFool Algorithm
School of Data and Sciences, BRAC University（BRAC大学数据科学学院）；University of Delaware（特拉华大学）；School of Law and Government, Dublin City University（都柏林城市大学法律与政府学院）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；Bangladesh University of Engineering and Technology（孟加拉工程技术大学）
针对DeepFool算法在目标类别操控场景的不足，提出增强型目标DeepFool（ET DeepFool）算法，支持指定错误分类目标并纳入可配置最小置信度分数，在维持图像完整性和最小化扰动方面更优，还揭示了不同模型的鲁棒性差异。
2025-04-14 cs.AI cs.CV cs.LG
Purifier: Defending Data Inference Attacks via Transforming Confidence Scores
Zhejiang University（浙江大学）；ZJU-Hangzhou Global Scientific and Technological Innovation Center, Zhejiang University（浙江大学杭州国际科创中心）；Key Laboratory of Blockchain and Cyberspace Governance of Zhejiang Province（浙江省区块链与网络空间治理重点实验室）；Jiaxing Research Institute, Zhejiang University（浙江大学嘉兴研究院）；Zhengzhou Xinda Institute of Advanced Technology（郑州信大先进技术研究院）；National University of Singapore（新加坡国立大学）
神经网络易受数据推断攻击的影响，如成员推断攻击、对抗性模型反演攻击和属性推断攻击，攻击者可以从目标分类器预测的置信度中推断出有用的信息，如数据样本的成员关系、重构或敏感属性。在本文中，我们提出了一种方法，即净化器，以防止成员推断攻击。该方法对目标分类器预测的置信度向量进行变换，使提纯后的置信度在个体形状、统计分布和预测标签上无差别。实验结果表明，PURIFIER能够有效地防御成员推断攻击，性能优于以往的防御方法，且效用损失可以忽略不计。此外，我们进一步的实验表明，PURIFIER在防御对抗性模型反演攻击和属性推断攻击方面也是有效的。例如，在Facescrub530分类器上，反演误差提高了约4倍以上，并且当在我们的实验中部署PURIFIER时，属性推理准确率显著下降。
2022-12-01 cs.CR cs.LG
Label-Only Membership Inference Attacks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Stanford University（斯坦福大学）；Google（谷歌）
成员推断攻击是机器学习模型中最简单的隐私泄露形式之一：给定一个数据点和模型，确定该点是否用于训练模型。现有的成员推断攻击利用模型在查询其训练数据时的异常置信度。如果对手只访问模型的预测标签，而没有置信度，这些攻击就不适用。在本文中，我们介绍了标签的唯一成员推断攻击。我们的攻击不依赖于置信度得分，而是评估模型预测标签在扰动下的鲁棒性，以获得细粒度的成员资格信号。这些扰动包括常见的数据增强或对抗性示例。我们的经验表明，我们的标签只有成员推断攻击执行与以前的攻击，需要访问模型的信心。我们进一步证明，标签攻击打破多重防御成员推断攻击（隐式或显式）依赖于一种现象，我们称之为信心掩蔽。这些防御修改模型的置信度分数以阻止攻击，但保持模型的预测标签不变。我们的标签攻击表明，信心掩蔽是不是一个可行的防御策略，对成员推理。最后，我们研究了最坏情况下的仅标签攻击，即推断少数离群数据点的成员资格。我们发现，在这种情况下，仅标签攻击也匹配基于信任的攻击。我们发现，具有差分隐私和（强）L2正则化的训练模型是唯一已知的成功阻止所有攻击的防御策略。即使在差分隐私预算太高而无法提供有意义的可证明保证时，这仍然是正确的。
2021-12-05 cs.CR cs.LG stat.ML
Confidence Is All You Need for MI Attacks
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）
针对成员推理攻击威胁数据机密性的问题，本文提出基于模型预测置信度判定数据点是否属于训练集的新方法，还推出无需真实标签的攻击变体，优于现有依赖标签的方法。
2024-06-19 cs.AI cs.CR cs.LG
Defending Model Inversion and Membership Inference Attacks via Prediction Purification
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Zhejiang Lab（之江实验室）；National University of Singapore（新加坡国立大学）
神经网络易受数据推断攻击，例如模型反演攻击和成员推断攻击，其中攻击者可以从目标分类器预测的置信度得分推断数据样本的重构和成员关系。本文提出了一种统一的方法，即净化框架，来防御数据推理攻击。它通过减少目标分类器预测的置信度向量的离散度来净化它们。净化器还可以通过对抗性学习来防御特定的攻击。我们在基准数据集和分类器上评估我们的方法。我们表明，当净化器致力于一种攻击时，它自然会防御另一种攻击，这从经验上证明了这两种攻击之间的联系。净化器可以有效防御这两种攻击。例如，它可以将隶属度推断精度降低高达15%，并将模型反演误差增加高达4倍。此外，它会导致小于0.4%的分类准确率下降和小于5.5%的失真的信心分数。
2020-08-20 cs.CR cs.LG
