On Robustness and Reliability of Benchmark-Based Evaluation of LLMs
University of Udine, Italy(乌迪内大学)
本研究通过改写六个基准问题测试34个前沿大语言模型,发现其排名稳定但绝对效能显著下降,指出现有基准评估可靠性不足,需构建更贴合实际场景的鲁棒性评估基准。
2025-09-04 cs.AI cs.CL
KGPA: Robustness Evaluation for Large Language Models via Cross-Domain Knowledge Graphs
Waseda University(早稻田大学);Southeast University(东南大学);Wuhan University(武汉大学)
本文提出KGPA框架,利用跨领域知识图谱生成对抗性提示,系统评估大语言模型的鲁棒性,并揭示了ChatGPT系列模型鲁棒性排序及专业领域对鲁棒性的影响。
2024-06-16 cs.AI cs.CL
Evaluating LLMs on Real-World Forecasting Against Expert Forecasters
Department of Economics(经济学系);George Mason University(乔治·马歇尔大学)
本研究在464个Metaculus现实预测问题上对比前沿大语言模型与人类专家及群体的预测准确性,发现模型虽表面超越群体但显著落后于专家。
2025-08-04 cs.AI cs.CL cs.LG
Latent Adversarial Training Improves Robustness to Persistent Harmful Behaviors in LLMs
Georgia Institute of Technology(佐治亚理工学院);University of Bristol(布里斯托大学);University of Maryland(马里兰大学);University College London(伦敦大学学院);MATS;Astra;MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
针对大语言模型易被诱导产生有害行为的问题,提出靶向潜在对抗训练方法,可在更低计算成本下增强越狱防御、后门移除及任务遗忘效果,是防御LLM有害行为的有效工具。
2025-07-29 cs.AI cs.CL cs.LG
When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs
AIRI;Skoltech(斯克里普切尔技术大学);Yandex;MIPT(莫斯科理工学院);HSE University(俄罗斯高等经济大学);Sber AI;ISP RAS Research Center for Trusted AI(俄罗斯科学院信息与系统问题研究所可信AI研究中心)
本文首次在统一框架下系统评估5种提示鲁棒性方法,在8个模型和52个任务上基准测试,并扩展至GPT-4.1与DeepSeek V3,为提升LLM对格式扰动的稳定性提供实践指导。
2025-08-15 cs.AI cs.CL
ArithmAttack: Evaluating Robustness of LLMs to Noisy Context in Math Problem Solving
本文提出ArithmAttack方法,评估LLMs在包含标点符号噪声的提示下鲁棒性,发现所有模型在噪声增加时表现下降。
2026-03-15 cs.CL
Evaluating the Robustness of Japanese LLMs to IME-Related and Typographical Errors
Kobe University(神户大学);University of Hyogo(兵库县立大学)
本研究评估日本大语言模型对五种日语特定拼写错误的鲁棒性,发现字符换位和替换显著降低性能,而输入法相关错误影响较小,凸显了实际输入环境中鲁棒性评估的重要性。
2026-10-02 cs.CL
RECALL: A Benchmark for LLMs Robustness against External Counterfactual Knowledge
Peking University(北京大学);Tencent Inc.(腾讯公司)
该研究构建RECALL基准,通过问答和文本生成任务评估大语言模型对抗外部反事实知识的鲁棒性,发现现有模型易受干扰且简单干预效果有限。
2023-11-14 cs.AI cs.CL
Reasoning Robustness of LLMs to Adversarial Typographical Errors
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学);Google DeepMind(谷歌DeepMind)
本文研究大语言模型对对抗性拼写错误的推理鲁棒性,提出ATA攻击算法和R$^2$ATA基准,证明最小拼写编辑可显著降低模型性能,且攻击具有跨模型迁移性。
2024-11-08 cs.AI cs.CL
Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection
University of California Santa Barbara(加州大学圣巴巴拉分校);Microsoft(微软);Tencent AI Lab(腾讯人工智能实验室)
本文构建了一个基准来评估大型语言模型对提示注入攻击的指令遵循鲁棒性,通过大量实验揭示了模型在区分注入指令与原始指令方面的重大漏洞,并指出未来应重点提升模型对提示的整体理解与指令辨别能力。
2023-11-25 cs.AI cs.CL
Factual Self-Awareness in Language Models: Representation, Robustness, and Scaling
Ubiquitous Knowledge Processing Lab (UKP Lab)(通用知识处理实验室);Department of Computer Science(计算机科学系);Hessian Center for AI (hessian.AI)(黑森人工智能中心);Technical University of Darmstadt(达姆施塔特技术大学)
本研究发现LLMs在生成时具有事实自我意识,通过在残差流中编码线性特征来决定事实回忆的正确性,该信号对格式变化鲁棒,并在训练中迅速出现于中间层,揭示了LLMs内在的自我监控能力。
2025-05-27 cs.AI cs.CL cs.LG
Shallow Robustness, Deep Vulnerabilities: Multi-Turn Evaluation of Medical LLMs
Dynamo AI
本文提出MedQA-Followup框架评估医学大语言模型多轮稳健性,发现模型在浅层扰动下尚可,但深层多轮交互中准确率大幅下降,间接上下文干预危害更大,凸显多轮稳健性对临床部署的关键性。
2025-10-14 cs.AI cs.CL
Robustness in Large Language Models: A Survey of Mitigation Strategies and Evaluation Metrics
School of Computer Sciences(计算机科学学院);National Institute of Science Education and Research(国家科学教育与研究 institute);An OCC of Homi Bhabha National Institute, India(霍米·巴布国家研究所办公室,印度)
本文系统综述了大语言模型鲁棒性的概念、非鲁棒性来源、缓解策略及评估指标,并指出当前评估现实可靠性的不足与未来研究方向。
2025-11-06 cs.AI cs.CL cs.LG
ObfusQAte: A Proposed Framework to Evaluate LLM Robustness on Obfuscated Factual Question Answering
Indian Institute of Technology Patna(印度帕纳布理工大学);Manipal University Jaipur(贾伊普尔曼尼帕尔大学);Indian Institute of Science Education and Research Kolkata(印度科学教育与研究学院科利卡塔)
ObfusQAte框架用于评估LLM在模糊事实问答任务中的鲁棒性,通过多级模糊化方法考察LLM在命名实体、干扰项和上下文过载三个维度上的表现。
2026-03-04 cs.AI cs.CL cs.LG
A Study into Investigating Temporal Robustness of LLMs
L3S Research Center(L3S研究中心);TU Delft(代尔夫特理工大学);University of Innsbruck(因斯布鲁克大学)
针对大语言模型时间理解能力不足的问题,设计8项时间敏感性鲁棒测试检验6款主流LLMs的零样本时间鲁棒性,发现其对时间改写和粒度变化敏感,并基于研究结果将时间问答性能最高提升55%。
2025-03-21 cs.CL cs.IR
Assessing Adversarial Robustness of Large Language Models: An Empirical Study
Telepathy Labs(心灵实验室);ETH Zürich(苏黎世联邦理工学院)
该研究针对大语言模型对抗鲁棒性问题,提出白盒风格攻击方法揭示主流开源LLM漏洞,评估多因素对鲁棒性的影响,在五任务上建立新基准,助力可信AI发展。
2024-09-12 cs.CL cs.LG
Trans-EnV: A Framework for Evaluating the Linguistic Robustness of LLMs Against English Varieties
KAIST(韩国科学技术院);Suresoft Technologies(Suresoft技术公司);Seoul National University(首尔国立大学)
针对LLMs在标准美国英语上评估的局限,提出Trans-EnV框架,自动将SAE数据集转换为38种英语变体,评估七个LLMs,发现准确率下降高达46.3%,强调语言鲁棒性评估的重要性。
2025-10-09 cs.AI cs.CL
PPTC-R benchmark: Towards Evaluating the Robustness of Large Language Models for PowerPoint Task Completion
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
该研究提出PPTC-R基准,从对抗指令和软件版本两方面评估大语言模型的PPT任务完成鲁棒性,测试发现GPT-4表现最优但多挑战下所有模型性能均显著下降,为开发更鲁棒的LLM及智能体提供参考。
2024-03-06 cs.CL
HellaSwag-Pro: A Large-Scale Bilingual Benchmark for Evaluating the Robustness of LLMs in Commonsense Reasoning
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团);National University of Singapore(新加坡国立大学)
该研究提出HellaSwag-Pro双语基准,通过七种问题变体评估41个LLM的常识推理鲁棒性,发现其远非鲁棒且受语言影响。
2025-05-26 cs.CL
RoCoIns: Enhancing Robustness of Large Language Models through Code-Style Instructions
School of Computer Science, Fudan University(复旦大学计算机科学学院);Institute of Modern Languages and Linguistics, Fudan University(复旦大学现代语言学与语言学研究所)
本文提出RoCoIns方法,通过将自然语言指令转换为代码风格指令并结合对抗上下文示例,显著提升大语言模型面对文本对抗攻击时的鲁棒性,在多个数据集上优于自然语言指令提示。
2024-02-26 cs.CL
Towards Resilient and Efficient LLMs: A Comparative Study of Efficiency, Performance, and Adversarial Robustness
New York University(纽约大学)
本研究针对注意力高效型大语言模型的对抗鲁棒性研究不足的问题,构建框架对比三类不同架构LLM的效率、性能与鲁棒性,发现简化架构模型可在三者间实现更优平衡,为资源受限且需抗对抗攻击的场景提供参考。
2024-09-14 cs.CL
Smaller = Weaker? Benchmarking Robustness of Quantized LLMs in Code Generation
NC State University(北卡罗来纳州立大学);William & Mary(威廉与玛丽学院)
本文首次系统研究了量化对 LLMs 在代码生成任务中鲁棒性的影响,发现量化模型在对抗攻击和噪声扰动下通常比全精度模型表现出更强的鲁棒性。
2025-06-28 cs.AI cs.PL cs.SE
PARROT: Persuasion and Agreement Robustness Rating of Output Truth -- A Sycophancy Robustness Benchmark for LLMs
PARROT提出了一种评估大语言模型在权威压力下鲁棒性的基准,发现先进模型表现稳健,而旧模型易出现知识崩溃,强调需将抗过度拟合压力作为安全部署的关键目标。
2025-12-01 cs.AI cs.CE cs.CL
Evaluating and Improving Robustness in Large Language Models: A Survey and Future Directions
Hefei University of Technology(合肥工业大学);AI Laboratory, Lenovo Research(联想研究院人工智能实验室)
本综述系统梳理大型语言模型鲁棒性的定义、对抗与OOD鲁棒性方法及评估工具,并展望未来研究方向。
2025-07-09 cs.AI cs.CL
Are Large Language Models Really Bias-Free? Jailbreak Prompts for Assessing Adversarial Robustness to Bias Elicitation
University of Calabria(卡拉布里亚大学)
本研究探究最新大型语言模型(LLMs)中的固有偏见,测试其对偏见诱导越狱提示的对抗性鲁棒性,通过实验证实LLMs仍可被操纵生成偏见响应,强调需增强缓解技术以提升AI公平性与可靠性。
2025-02-13 cs.AI cs.CL
How Robust are LLMs to In-Context Majority Label Bias?
Amazon(亚马逊)
本研究探讨大型语言模型在文本分类中面对上下文多数标签偏差时的鲁棒性,发现不同模型和任务的鲁棒性差异大,部分模型鲁棒性高达约90%,且模型大小和指令提示丰富性影响鲁棒性。
2023-12-27 cs.AI cs.CL cs.LG
Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis, and LLMs Evaluations
Tsinghua University(清华大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Chinese Academy of Sciences(中国科学院大学);Tencent(腾讯)
本文重新审视NLP中的分布外鲁棒性问题,提出确保挑战性分布偏移的基准构建协议并推出BOSS基准套件,通过系统实验揭示ID与OOD性能关系、经典方法局限及大语言模型在不同数据条件下的表现差异。
2023-10-26 cs.CL cs.CR cs.LG
Methods for Estimating and Improving Robustness of Language Models
Masaryk University(马萨里克大学)
尽管大语言模型(LLM)表现出色,但它们存在着臭名昭著的缺陷,即它们偏爱简单的表层文本关系,而不是问题的全部语义复杂性。这个建议调查了这个问题的一个共同点,即他们在训练域之外泛化的能力很弱。我们调查了不同的研究方向,提供模型泛化能力的估计,并发现将这些措施中的一些训练目标,导致增强神经模型的分布鲁棒性。基于这些发现,我们提出了未来的研究方向,以提高鲁棒性的LLM。
2022-06-16 cs.AI cs.CL
FLUKE: A Linguistically-Driven and Task-Agnostic Framework for Robustness Evaluation
The University of Melbourne(墨尔本大学);Oracle(Oracle公司);Universitas Indonesia(印度尼西亚大学);RMIT University(皇家墨尔本理工学院)
FLUKE通过系统性语言变化评估模型鲁棒性,揭示任务依赖性、模型脆弱性和语言特征使用与鲁棒性无关的结论。
2026-02-20 cs.AI cs.CL
On the Robustness of Verbal Confidence of LLMs in Adversarial Attacks
Department of Electrical and Computer Engineering(电气与计算机工程系);Ingenuity Labs Research Institute(创新实验室研究所);Queen’s University(皇后大学)
本文研究了大语言模型在对抗攻击下的语言自信度鲁棒性,发现现有防御技术效果有限,需设计更稳健的自信表达机制。
2025-12-18 cs.CL
Certified Robustness for Large Language Models with Self-Denoising
UC Santa Barbara(加州大学圣巴巴拉分校);The Hong Kong Polytechnic University(香港理工大学);Michigan State University(密歇根州立大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
针对随机平滑用于LLM时依赖噪声数据性能、认证半径较小的问题,本文提出Self-Denoise自去噪方法,无需训练独立模型,并在认证与经验鲁棒性上超越现有方法。
2023-07-14 cs.CL cs.LG
Writing your own book: A method for going from closed to open book QA to improve robustness and performance of smaller LLMs
Ingka (IKEA)(英格卡(宜家));KTH Royal Institute of Technology(KTH皇家理工学院)
本文提出Tree-Search和Self-contextualizing QA两种方法,通过让LLM自主生成并评估上下文实现开卷问答,显著提升了较小模型的答案质量与鲁棒性。
2023-05-18 cs.AI cs.CL
Factual Confidence of LLMs: on Reliability and Robustness of Current Estimators
Universitat Pompeu Fabra(庞培法布拉大学);AWS AI Labs(亚马逊云科技人工智能实验室)
针对LLMs回答事实性不可靠问题,本文综述并实证比较了现有事实置信度估计器,提出公平比较实验框架,发现训练后的隐藏状态探针最可靠,同时指出LLMs置信度在语义等价输入间不稳定,需提升参数化知识稳定性。
2024-06-19 cs.CL cs.LG
Knowledge-Augmented Reasoning for EUAIA Compliance and Adversarial Robustness of LLMs
fortiss Research Institute of the Free State of Bavaria(巴伐利亚自由州fortiss研究所);IBM Research Europe(IBM欧洲研究院)
本文提出一种功能架构,通过引入基于知识增强的推理层,桥接文献推荐的检测层与法律要求的报告层,解决 LLM 在 EUAIA 合规性与对抗鲁棒性上的重复建设问题,为在欧盟部署兼具合规与鲁棒的可信赖 LLM 指明新方向。
2024-10-04 cs.AI cs.CL cs.CY
Exploring Explanations Improves the Robustness of In-Context Learning
CyberAgent;Keio University(庆应大学)
本文提出X$^2$-ICL框架,通过系统探索所有可能标签的解释来增强上下文学习的鲁棒性,并在多个自然语言理解数据集上验证其对分布外数据的显著改进。
2025-06-03 cs.AI cs.CL cs.LG
Generative Data Augmentation using LLMs improves Distributional Robustness in Question Answering
University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学);Amazon GenAI(亚马逊生成式人工智能部门)
本研究探讨利用LLM生成数据增强问答数据集,以提升模型在自然分布偏移下的鲁棒性,通过两步生成上下文和问答对,实验验证了该方法在4个数据集上的有效性。
2024-02-09 cs.AI cs.CL
On Adversarial Robustness and Out-of-Distribution Robustness of Large Language Models
Carnegie Mellon University(卡内基梅隆大学)
本研究探讨了大型语言模型中对抗鲁棒性与分布外鲁棒性的相关性,发现两者间可迁移性有限,并揭示了不同模型规模下的相关性趋势,强调了混合鲁棒性框架的必要性。
2024-12-13 cs.AI cs.CL
Evaluating the Robustness to Instructions of Large Language Models
本文评估了Alpaca、Vicuna等指令微调大型语言模型在已见和未见任务上的鲁棒性,发现模型处理不熟悉指令的性能显著下降,且对关系抽取指令的鲁棒性弱于问答指令。
2023-11-27 cs.AI cs.CL
Reasoning Promotes Robustness in Theory of Mind Tasks
LIACS, Leiden University(莱顿大学人工智能与计算科学研究所)
本文研究了推理导向的LLMs在理论思维任务中的鲁棒性,发现其在提示变化和任务扰动中表现更稳定,认为鲁棒性提升源于解决正确问题的能力增强而非新的推理形式。
2026-01-23 cs.AI cs.CL
FLEX: A Benchmark for Evaluating Robustness of Fairness in Large Language Models
Korea University(高丽大学)
针对现有基准忽视LLM在对抗性指令下产生偏见响应的问题,提出FLEX基准,通过整合放大偏见的提示评估公平性鲁棒性,实验表明传统评估低估了模型风险。
2025-03-25 cs.AI cs.CL
ComparisonQA: Evaluating Factuality Robustness of LLMs Through Knowledge Frequency Control and Uncertainty
Department of Computer Science and Engineering, HKUST(计算机科学与工程系,香港科技大学)
提出ComparisonQA基准,通过高频与低频实体配对控制问题难度,结合正确性与不确定性两轮评估,揭示LLMs对低频知识鲁棒性差,并自动筛选出困难子集ComparisonQA-Hard。
2025-05-25 cs.CL
Exploring Robustness of LLMs to Paraphrasing Based on Sociodemographic Factors
Conversational AI and Social Analytics (CAISA) Lab, University of Bonn(对话人工智能与社会分析实验室,波恩大学)
本文通过扩展SocialIQA数据集生成基于年龄和性别条件的多样化改写,系统评估大语言模型对人口学风格变化的鲁棒性,发现此类改写显著影响模型性能,揭示了语言细微变异仍是LLM面临的重要挑战。
2025-07-04 cs.CL
GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers
The University of Hong Kong(香港大学);Tencent AI Lab(腾讯AI实验室)
本文提出GSM-Plus基准,通过对GSM8K施加多种数学扰动,系统评估25个LLMs在4种提示技术下的数学推理鲁棒性,并探索迭代生成与验证中间思路的组合提示方法。
2024-07-02 cs.CL
This Is Your Doge, If It Please You: Exploring Deception and Robustness in Mixture of LLMs
University College London(伦敦大学学院)
本文首次系统研究LLM混合智能体架构对欺骗性智能体的鲁棒性,揭示单个恶意智能体即可大幅削弱性能,并受威尼斯总督投票启发提出无监督防御机制以恢复大部分性能损失。
2025-03-07 cs.AI cs.CL
Enhancing the Capability and Robustness of Large Language Models through Reinforcement Learning-Driven Query Refinement
School of Computer Science, Fudan University, Shanghai, China(复旦大学计算机科学学院)
本研究提出一种基于强化学习的可迁移且可插拔的查询优化框架,在用户提示输入LLMs前进行优化,既提升了回复质量,又增强了对越狱攻击的鲁棒性。
2025-06-28 cs.CL
FreqBLiMP: Frequency-Controlled Minimal Pairs Reveal Robustness and Fragility of LLMs Under Lexical Rarity
School of Computing, Institute of Science Tokyo(科学技术学院计算学院)
FreqBLiMP通过频率控制的最小对基准,揭示大语言模型在词汇稀有性下语法判断总体稳健但特定现象上脆弱。
2026-09-09 cs.AI cs.CL
Exploring the Robustness of Language Models for Tabular Question Answering via Attention Analysis
Rensselaer Polytechnic Institute(拉特盖尔理工学院);Microsoft(微软)
该研究通过注意力分析,探究上下文学习、模型规模等因素对LLMs表格问答鲁棒性的影响,发现指令微调及更大模型可提升鲁棒性,但存在数据污染问题,且注意力分散变化与性能下降相关,为改进表格理解LLMs提供方向。
2025-08-26 cs.AI cs.CL
RUPBench: Benchmarking Reasoning Under Perturbations for Robustness Evaluation in Large Language Models
Stanford University(斯坦福大学);Meta Platforms, Inc.(元平台公司)
本文提出 RUPBench 基准,整合 15 个推理数据集与九类文本扰动,系统评测 GPT-4o 等 LLM 的推理鲁棒性及错误模式。
2024-06-16 cs.CL
Evaluating LLMs Robustness in Less Resourced Languages with Proxy Models
NASK - National Research Institute(NASK国家研究院)
本文提出结合少量字符改动与小型代理模型计算词重要性的低成本攻击方法,用于评估LLM在波兰语等低资源语言中的安全鲁棒性,并公开数据集与代码。
2025-06-09 cs.CL
Robustness is Important: Limitations of LLMs for Data Fitting
Carlson School of Management, University of Minnesota(明尼苏达大学卡尔森管理学院)
该研究揭示大语言模型用于数据拟合时存在关键鲁棒性缺陷,任务无关的数据表示改动会大幅影响预测,非均匀注意力模式是部分原因,且专用表格基础模型也存在同类问题。
2025-10-28 cs.AI cs.LG stat.AP
LANTERN: Language Model Assessment on Noisy and Transformed Tasks for Understanding Error and Robustness Nuances
Samsung(三星)
本研究构建合成增强数据集,系统评估不同规模及微调变体LLM在词错误率、字符重复、选项修改和指令遵循等扰动下的鲁棒性,揭示响应变异性,为开发更稳健模型和评估方法提供见解。
2026-09-09 cs.AI cs.CL
Assessing Hidden Risks of LLMs: An Empirical Study on Robustness, Consistency, and Credibility
Zhejiang University(浙江大学);ZhongHao XinYing (Hangzhou) Technology Co., Ltd.(中昊芯英(杭州)科技有限公司);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
本研究提出自动化流程,对主流LLM进行百万级查询,评估其鲁棒性、一致性和可信度,发现微小输入错误可致意外响应、语义相似输入下一致性差,并提出新指数评估数据用于LLM评估的可行性。
2023-08-30 cs.AI cs.LG
On the Quantization Robustness of Diffusion Language Models in Coding Benchmarks
College of Computing(计算机学院);Georgia Institute of Technology(佐治亚理工学院)
本文研究了扩散语言模型在量化后的鲁棒性,发现CoDA在低比特宽度下比Qwen3-1.7B更稳健,且混合精度配置在精度、延迟和内存间提供平衡。
2026-04-22 cs.CL cs.LG
NLPerturbator: Studying the Robustness of Code LLMs to Natural Language Variations
Zhejiang University(浙江大学);York University(约克大学)
本文系统研究了代码大语言模型对现实场景中自然语言描述变化的鲁棒性,提出自动化扰动框架NLPerturbator,涵盖18类扰动,并通过六个模型的实验证明扰动提示可显著降低代码生成性能。
2024-06-28 cs.CL cs.SE