EasyARC: Evaluating Vision Language Models on True Visual Reasoning
ETH Zurich(苏黎世联邦理工学院)
针对现有多模态基准缺乏真实视觉推理的问题,本文提出程序化生成的EasyARC视觉语言基准,支持多步推理与渐进难度,测试前沿模型并分析失效模式,为视觉语言推理评估设立新标准。
2025-06-13 cs.CV cs.LG
Evaluating the Effectiveness of Large Language Models in Representing Textual Descriptions of Geometry and Spatial Relations
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本研究通过GPT-2和BERT编码WKT几何文本并评估其嵌入,发现LLM可保留几何类型和部分空间关系但数值估计与空间检索仍不足,强调需融合领域知识以改进GeoAI基础模型。
2023-07-05 cs.AI cs.CL cs.LG
CodeGolf Bench: A Multi-Language Benchmark for Evaluating Concise Code Generation Capabilities of Large Language Models
Independent(独立)
提出CodeGolf Bench基准,基于代码高尔夫竞赛,在60种编程语言中评估LLM生成简洁高效代码的能力,实验表明推理模型显著优于非推理模型。
2026-05-28 cs.AI cs.SE
PPE-Bench: A Benchmark for Evaluating MLLM Unlearning under Private-Public Entanglement
The Pennsylvania State University(宾夕法尼亚州立大学);University of Sheffield(谢菲尔德大学)
研究针对现有MLLM遗忘基准测试的局限性,提出PPE-Bench基准测试,包含公私纠缠图像,引入两种方法在遗忘中保护公共信息,实验发现现有方法能减少隐私泄露,但常损害相邻公共信息。
2026-08-28 cs.AI cs.CR cs.CV
Beyond Accuracy: Evaluating Grounded Visual Evidence in Thinking with Images
ZGCA(中钢集团自动化研究院);NTU(国立.ntu);HKUST(香港科技大学);HKU(香港大学);ZGCI(中钢集团信息院)
ViEBench 是一个用于评估视觉语言模型图像推理能力的基准,通过细粒度视觉证据和双轴矩阵评估模型在不同任务复杂度下的推理表现。
2026-01-14 cs.CV
MVI-Bench: A Comprehensive Benchmark for Evaluating Robustness to Misleading Visual Inputs in LVLMs
Department of Computer Science, University of Illinois Chicago, Chicago, USA;School of Computer Science \& Engineering, Southeast University, Nanjing, China;Guohao School, Tongji University, Shanghai, China
针对现有鲁棒性基准忽视误导性视觉输入的问题,提出MVI-Bench基准,基于视觉基元的三级层次(视觉概念、视觉属性、视觉关系)构建6个类别1248个VQA实例,并引入MVI-Sensitivity指标进行细粒度评估,揭示18个LVLM的显著脆弱性。
2026-07-20 cs.CV
CSR-Bench: A Benchmark for Evaluating the Cross-modal Safety and Reliability of MLLMs
Zhejiang University(浙江大学);Fudan University(复旦大学);Nanyang Technological University(南洋理工大学)
CSR-Bench通过四个压力测试模式评估多模态大语言模型的跨模态安全性和可靠性,发现模型在多模态输入下表现下降,且安全提升可能源于拒绝导向的启发式方法。
2026-02-03 cs.AI
RxScribe Bench: A Multi-Axis Benchmark for Evaluating Vision-Language Models on Indian Outpatient Prescriptions
Zstate AI
针对处方转录错误不可互换的问题,提出多轴基准RxScribe Bench,按临床严重性分解性能,评估发现无单一视觉语言模型在所有轴上占优。
2026-09-15 cs.CV
ProMoral-Bench: Evaluating Prompting Strategies for Moral Reasoning and Safety in LLMs
ProMoral-Bench通过统一道德安全评分评估多种提示策略,发现紧凑示例引导框架在道德和安全方面表现更优。
2026-11-06 cs.AI cs.CL
Beyond Output Correctness: Benchmarking and Evaluating Large Language Model Reasoning in Coding Tasks
University of California, Irvine(加州大学尔湾分校)
本文提出CodeRQ-Bench,首个评估LLM在生成、摘要和分类等编码任务中推理质量的基准,通过分析现有评估器的1069个不匹配案例,提出VERA评估器,实验表明其在四个数据集上均优于基线,提升AUCROC和AUPRC最高达0.26和0.21。
2026-08-31 cs.AI cs.LG cs.SE
ReForm-Eval: Evaluating Large Vision Language Models via Unified Re-Formulation of Task-Oriented Benchmarks
Northeastern University(东北大学);Alibaba Group(阿里巴巴集团);Hong Kong University of Science and Technology(香港科技大学);Fudan University(复旦大学)
针对LVLMs能力评估不足及现有基准格式不兼容的问题,提出ReForm-Eval基准,通过统一重构任务格式,系统评估LVLMs能力并开源框架。
2023-10-17 cs.CV
CTIBench: A Benchmark for Evaluating LLMs in Cyber Threat Intelligence
Rochester Institute of Technology(罗切斯特理工学院)
针对现有基准无法评估大型语言模型在网络威胁情报特定任务中应用能力的不足,本文提出了CTIBench基准,通过多个数据集评估LLMs在CTI领域的知识掌握与应用表现,揭示了先进模型的优劣势。
2024-11-11 cs.AI cs.CR
AgentHPOBench: A Benchmark For Evaluating LLM Agents as Sequential Hyperparameter Optimizers
AgentHPOBench是含30个任务的序列基准,用于评估LLM智能体的超参数优化能力,实验显示其在多领域有优化能力,但在迭代优化等方面存在局限。
2026-08-03 cs.AI
AraLingBench A Human-Annotated Benchmark for Evaluating Arabic Linguistic Capabilities of Large Language Models
King Abdullah University of Science and Technology (KAUST)(卡斯泰克大学);American University of Beirut (AUB)(贝鲁特美国大学)
AraLingBench通过150道人工标注的多项选择题评估阿拉伯语LLM的语言能力,揭示模型在语法和句法推理上的不足,强调了记忆与模式识别对模型性能的影响。
2025-12-09 cs.AI cs.CL cs.LG
MCA-Bench: A Multimodal Benchmark for Evaluating CAPTCHA Robustness Against VLM-based Attacks
针对现有CAPTCHA缺乏统一多模态安全评估基准的问题,提出MCA-Bench多模态基准套件,基于微调的VLM破解智能体开展跨模态评估,定量分析CAPTCHA漏洞关联因素并提出设计原则。
2025-11-17 cs.CV
The Moral Turing Test: Evaluating Human-LLM Alignment in Moral Decision-Making
University of Geneva(日内瓦大学);Google DeepMind(谷歌DeepMind);École Normale Supérieure(巴黎高等师范学院)
该研究通过构建道德情境回应语料库和230人用户研究,发现人类与LLM道德评估存在不一致,LLM对个人框架更敏感,且人类虽偏好LLM评估但存在系统性反AI偏见,揭示了道德决策中人类-AI感知的复杂性。
2024-10-09 cs.AI cs.HC
BenchBench-Protocol: Evaluating Real-World Wet-Lab Protocol Reasoning and Modification
Benchling(本奇林公司)
本研究推出BenchBench-Protocol基准测试,包含149个源自真实实验修改的湿实验室方案推理与修改任务,评估9个模型后发现Claude Opus 5得分最高,该基准测试可用于评估模型在生命科学常规任务中的表现。
2026-08-26 cs.AI
WXImpactBench: A Disruptive Weather Impact Understanding Benchmark for Evaluating Large Language Models
McGill University(麦吉尔大学);University of Waterloo(滑铁卢大学);Tsinghua University(清华大学);University of Montreal(蒙特利尔大学)
本研究构建了破坏性天气影响数据集,提出首个评估大语言模型相关理解能力的基准WXImpactBench,通过多标签分类和排序问答任务开展实验,为气候适应系统开发提供参考,相关资源已公开。
2025-10-28 cs.AI cs.CL
Open Ko-LLM Leaderboard: Evaluating Large Language Models in Korean with Ko-H5 Benchmark
Upstage AI(上 stage 人工智能公司)
本研究推出Open Ko-LLM Leaderboard与Ko-H5 Benchmark用于韩语大模型评估,通过私有测试集、泄露分析等验证框架有效性,为拓展多语言LLM评估提供先例。
2024-08-17 cs.AI cs.CL
PARAPHRASUS : A Comprehensive Benchmark for Evaluating Paraphrase Detection Models
University of Zurich(苏黎世大学)
针对现有释义检测评估过于简化的问题,构建了多维基准PARAPHRASUS,涵盖10多个数据集,实现细粒度评估与提示校准,以全面衡量模型语义理解能力。
2024-12-16 cs.AI cs.CL
Heron-Bench: A Benchmark for Evaluating Vision Language Models in Japanese
Turing Inc.(图灵公司);Keio Research Institute at SFC(庆应义塾大学SFC研究所);University of Tsukuba(筑波大学);National Institute of Technology, Kisarazu College(木更津工业高等专门学校);Tokyo Institute of Technology(东京工业大学)
针对日语视觉语言模型评估基准缺失的问题,提出适配日语语境的Heron-Bench基准与基线模型,揭示模型能力差异并开源资源以推动相关研究。
2024-04-11 cs.CL cs.CV
Evaluating RAG for French immigration law: a benchmark and baseline study
Talan(塔兰公司)
研究法国国际招聘的法律框架,通过公开基准比较参数化语言模型基线与密集检索增强在两种模型规模下对52个合成档案的效果,发现检索能改进行政指导,凸显检索基础的重要性,推动混合检索策略研究。
2026-07-28 cs.AI cs.IR
EffiVLM-BENCH: A Comprehensive Benchmark for Evaluating Training-Free Acceleration in Large Vision-Language Models
Harbin Institute of Technology(哈尔滨工业大学);Pengcheng Laboratory(鹏城实验室);Du Xiaoman Science Technology Co., Ltd(杜祥曼科技有限公司)
本文提出EffiVLM-Bench统一基准,系统评估大型视觉语言模型的token压缩与参数压缩等免训练加速技术,兼顾性能、泛化性与忠诚度,并开源代码以指导最优加速策略选择。
2025-05-31 cs.CL cs.CV cs.LG
CALRK-Bench: Evaluating Context-Aware Legal Reasoning in Korean Law
KAIST AI(韩国科学技术院人工智能学院);Law School, Ajou University(亚洲大学法学院);Department of Artificial Intelligence, Ajou University(亚洲大学人工智能系)
本文提出CALRK-Bench,一个基于韩国法律体系的情境感知法律推理基准,评估模型对法律规范时效性、案件法律信息充分性及法律判断变化原因的理解能力,实验表明大语言模型在这些任务上表现不佳。
2026-03-27 cs.AI cs.CL
SIR-Bench: Evaluating Investigation Depth in Security Incident Response Agents
Amazon Web Services(亚马逊网络服务)
本文提出SIR-Bench基准,通过794个测试用例评估自主安全事件响应代理的调查能力,包含三类指标:分诊准确率、新证据发现率和工具使用恰当性。
2026-04-13 cs.AI cs.CR cs.SE
Persona-Augmented Benchmarking: Evaluating LLMs Across Diverse Writing Styles
Carnegie Mellon University(卡内基梅隆大学);Amazon AWS(亚马逊AWS)
本研究通过人物角色提示重写评估提示,发现写作风格显著影响LLM性能,并提出可扩展的基准增强方法以提升评估外部有效性。
2025-09-25 cs.AI cs.CL
KoALa-Bench: Evaluating Large Audio Language Models on Korean Speech Understanding and Faithfulness
Department of Artificial Intelligence, Chung-Ang University(Chung-Ang 大学人工智能系);Upstage AI
本文提出KoALa-Bench,一个用于评估大型音频语言模型在韩语语音理解和忠实性方面的基准,包含六个任务,涵盖语音识别、翻译、问答和指令跟随等核心能力,并包含韩国特定知识内容。
2026-09-01 cs.AI cs.CL cs.SD
SECQUE: A Benchmark for Evaluating Real-World Financial Analysis Capabilities
Microsoft Industry AI(微软产业人工智能)
本文提出SECQUE基准,包含565道专家编写的SEC文件分析问题,并开发SECQUE-Judge评估机制,用于系统衡量大语言模型的金融分析能力。
2025-04-06 cs.AI cs.CE cs.CL
GeoBenchLLM: A Comprehensive Benchmark for Evaluating LLMs on Geo-Related Tasks
University of Toulouse(图卢兹大学);IRIT(信息与电信科学研究所)
该研究提出GeoBenchLLM综合基准,选取12个地理相关公开数据集评估LLMs的地理空间与时间理解能力,发现推理能力与模型规模对性能影响显著,基准可公开获取。
2026-08-10 cs.AI cs.CL cs.IR
NC-Bench: An LLM Benchmark for Evaluating Conversational Competence
Independent Researcher(独立研究者);IBM Research(IBM研究院)
NC-Bench提出了一种评估大型语言模型对话能力的基准,通过三种不同集合测试模型在不同对话任务中的表现,发现模型在基础回答任务表现较好,但在复杂多轮请求上面临挑战。
2026-09-29 cs.AI cs.CL
Evaluating the Effectiveness of Large Language Models in Representing and Understanding Movement Trajectories
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本研究通过GPT-J编码轨迹字符串并评估其嵌入表示,发现LLM虽能保留部分轨迹距离度量、理解时空依赖并较好完成位置预测,但在数值恢复和空间邻近检索上仍存在不足,需结合领域知识改进以支持GeoAI应用。
2024-08-31 cs.AI cs.CL cs.LG
IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis
Peking University(北京大学);UC Berkeley(加州大学伯克利分校)
本文提出 IDA-Bench 基准,通过 LLM 模拟用户的多轮交互场景评估数据分析智能体,发现现有顶尖编码智能体成功率不足 50%,揭示了提升多轮指令遵循与推理平衡能力的必要性。
2025-06-06 cs.AI cs.CL
FIN-bench-v2: A Unified and Robust Benchmark Suite for Evaluating Finnish Large Language Models
University of Turku(图尔库大学)
FIN-bench-v2通过整合芬兰语言任务和评估方法,提供统一且稳健的基准测试集,用于评估芬兰大型语言模型的性能。
2025-12-15 cs.AI cs.CL
AraSTEM: A Native Arabic Multiple Choice Question Benchmark for Evaluating LLMs Knowledge In STEM Subjects
American University of Beirut(贝鲁特美国大学)
本文提出AraSTEM阿拉伯语STEM多项选择基准,用于评估大语言模型在非英语科学知识上的表现,实验表明现有公开模型普遍表现不佳,凸显本地化语言模型的必要性。
2024-12-31 cs.AI cs.CL
FLEX: A Benchmark for Evaluating Robustness of Fairness in Large Language Models
Korea University(高丽大学)
针对现有基准忽视LLM在对抗性指令下产生偏见响应的问题,提出FLEX基准,通过整合放大偏见的提示评估公平性鲁棒性,实验表明传统评估低估了模型风险。
2025-03-25 cs.AI cs.CL
ClinDet-Bench: Beyond Abstention, Evaluating Judgment Determinability of LLMs in Clinical Decision-Making
Kyoto University, Department of Biomedical Data Intelligence(京都大学生物医学数据智能系);Kyoto University, Department of Cardiovascular Medicine(京都大学心血管医学系);The University of Tokyo(东京大学)
ClinDet-Bench通过评估大语言模型在临床决策中判断可确定性的能力,揭示其在不完整信息下的局限性,并提供评估框架以提高医疗决策的安全性。
2026-02-26 cs.AI cs.DB
MTRAG: A Multi-Turn Conversational Benchmark for Evaluating Retrieval-Augmented Generation Systems
IBM Research(IBM研究院)
本文提出人工构建的多轮RAG基准MTRAG,覆盖四领域842个任务,并结合合成数据与LLM-as-a-Judge评估,揭示先进系统在复杂多轮场景中的不足。
2025-01-07 cs.AI cs.CL
On Evaluating LLM Alignment by Evaluating LLMs as Judges
Yale University(耶鲁大学);Shanghai Jiao Tong University(上海交通大学)
本文提出AlignEval基准,通过评估LLM作为裁判的能力来衡量其对齐人类偏好的效果,结果优于现有自动评估基准。
2025-11-25 cs.AI cs.CL cs.LG
100-LongBench: Are de facto Long-Context Benchmarks Literally Evaluating Long-Context Ability?
Case Western Reserve University(凯斯西储大学);Texas A&M University(德克萨斯A&M大学);Rice University(里德大学);University of California, Los Angeles(加州大学洛杉矶分校);Meta
针对现有长上下文基准无法分离基线能力与真实长上下文能力、且输入长度固定等问题,提出长度可控的长上下文基准和新指标,以有效评估大语言模型的长上下文能力。
2026-06-02 cs.AI cs.CL cs.LG
TurkBench: A Benchmark for Evaluating Turkish Large Language Models
Computer Sci. Dpt., Bilkent Uni.(计算机科学系,比尔肯特大学);Mathematics Dpt., Middle East Technical University(数学系,中东部技术大学);Turkcell AI(Turkcell人工智能);Sociology Dpt., Hacettepe University(社会学系,哈恰塔尔佩大学);Computer Engineering Dpt., Bogazici University(计算机工程系,博资基大学);Linguistics Dpt., Istanbul University(语言学系,伊斯坦布尔大学);Turkish Lang. Dpt., Middle East Technical University(土耳其语言系,中东部技术大学)
TurkBench是一个用于评估土耳其大型语言模型能力的综合基准测试,包含21个子任务和6大类别,旨在帮助研究人员改进模型性能。
2026-02-03 cs.AI cs.CL
LTLBench: Towards Benchmarks for Evaluating Temporal Reasoning in Large Language Models
University of Edinburgh(爱丁堡大学)
LTLBench通过线性时序逻辑评估大语言模型的时间推理能力,构建包含2000个挑战的数据集并测试12个模型,揭示时间推理中的主要问题及复杂性影响。
2026-01-05 cs.AI cs.CL
PLANET: A Collection of Benchmarks for Evaluating LLMs' Planning Capabilities
Computer Science Department, Emory University(埃默里大学计算机科学系)
本文系统考察并分类了规划基准,识别测试平台与空白,为不同算法推荐合适基准,以指导未来开发。
2025-04-21 cs.AI cs.CL cs.LG
Adversarial VQA: A New Benchmark for Evaluating the Robustness of VQA Models
Microsoft(微软公司);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Tsinghua University(清华大学)
受益于大规模的预训练,我们已经见证了流行的视觉问答(VQA)任务的显着性能提升。尽管进展迅速,但目前仍不清楚这些最先进的(SOTA)模型在遇到野外样本时是否稳健。为了研究这一点,我们引入了对抗VQA,这是一个新的大规模VQA基准测试,通过对抗人类和模型在环过程迭代收集。通过这个新的基准,我们发现了一些有趣的发现。(i)令人惊讶的是,我们发现在数据集收集过程中,非专家注释者可以轻松地成功攻击SOTA VQA模型。(ii)大规模预训练模型和对抗性训练方法在新基准测试中的性能远低于标准VQA v2数据集,揭示了这些模型的脆弱性,同时证明了我们对抗性数据集的有效性。(iii)当用于数据增强时,我们的数据集可以有效地提高模型在其他强大的VQA基准测试中的性能。我们希望我们的对抗性VQA数据集可以为社区中的鲁棒性研究提供新的启发,并为未来的工作提供有价值的基准。
2021-08-13 cs.CL cs.CV
Evaluating Large Language Models with Human Feedback: Establishing a Swedish Benchmark
KTH(瑞典皇家理工学院)
本研究针对瑞典语等低资源语言,通过人类反馈和强制选择排序建立基准,评估十一个主流及定制LLM的瑞典语理解与生成能力,并发布chatbotarena.se基准以促进后续研究。
2024-05-22 cs.AI cs.CL
TIER: Threat Implicitness Benchmark for Evaluating LLM Safety Behaviors
Faculty of Information Technology, University of Science, Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学理学院信息技术系)
该研究针对现有LLM安全基准忽略威胁隐式程度的问题,提出TIER基准,经6个开源LLM实验发现安全行为随威胁级别渐变,且相似攻击成功率模型响应分布不同,凸显行为感知评估的必要。
2026-09-07 cs.AI cs.CR
FarsEval-PKBETS: A new diverse benchmark for evaluating Persian large language models
Shahid Beheshti University(沙希德·贝赫什提大学);Amirkabir University of Technology(阿米尔卡比尔理工大学);Qom University(库姆大学);Islamic Azad University(伊斯兰阿扎德大学);Sharif University of Technology(谢里夫理工大学)
本文提出波斯语大语言模型评估基准FarsEval-PKBETS,含4000道多领域题目,测试三个模型平均准确率低于50%,表明现有模型仍难以解决该基准。
2025-04-20 cs.AI cs.CL
Disce aut Deficere: Evaluating LLMs Proficiency on the INVALSI Italian Benchmark
University of Milano Bicocca(米兰比可卡大学);CRISP Research Centre(CRISP研究中心)
本研究引入基于 INVALSI 测试的意大利语结构化基准,评估 LLMs 在非英语环境下的语言能力,通过适配测试格式、详细评估现有模型并与人类表现对比,为学术界提供关键参考。
2024-06-25 cs.AI cs.CL
UA-Code-Bench: A Competitive Programming Benchmark for Evaluating LLM Code Generation in Ukrainian
本文提出乌克兰语竞争编程基准 UA-Code-Bench,包含500道Eolymp题目,评估13个模型后发现顶尖模型也仅能解决一半问题,揭示了低资源语言代码生成的挑战。
2025-11-07 cs.AI cs.CL cs.SE
Line Goes Up? Inherent Limitations of Benchmarks for Evaluating Large Language Models
The University of Melbourne(墨尔本大学)
本文从理论与实证角度论证基准范式及现有基准的局限,指出基准成绩不能可靠衡量LLM的一般认知与可泛化能力,并强调对抗性刺激和可解释性评估的重要性。
2025-02-20 cs.AI cs.CL cs.LG
ACE-Bench: A Lightweight Benchmark for Evaluating Azure SDK Usage Correctness
Microsoft(微软)
ACE-Bench通过将官方文档示例转化为自包含编码任务,提供快速可重复的通过或失败信号,评估基于LLM的编码代理是否正确使用Azure SDK,同时减少评估成本并提高可重复性。
2026-02-14 cs.AI cs.DC cs.SE
K-Bench: a clinically calibrated benchmark for evaluating large language models in high-risk mental health conversations
University of Roehampton(罗汉普顿大学);Kivira Health;University of Hertfordshire(赫特福德大学);University of Surrey(萨里大学);University of Bedfordshire(贝德福德大学);Tavistock Relationships(塔维斯托克关系中心);InsideOut
K-Bench是一个临床校准的基准,通过200个多轮高风险心理健康情景评估125种LLM配置,发现领先模型综合风险评分超95,且治疗性提示仅对较弱模型有效。
2026-09-29 cs.AI cs.CL cs.LG
ALBA: A European Portuguese Benchmark for Evaluating Language and Linguistic Dimensions in Generative LLMs
NOVA University of Lisbon(新里斯本大学);NOVA LINCS(新里斯本大学计算机科学与系统研究实验室)
ALBA是首个针对欧洲葡萄牙语的语言学评估基准,通过八个维度评估生成模型在语言多样性、文化绑定语义等任务中的表现,揭示了模型在不同语言学维度上的性能差异。
2026-03-27 cs.AI cs.CL cs.LG
RelationalFactQA: A Benchmark for Evaluating Tabular Fact Retrieval from Large Language Models
University of Basilicata(巴西利卡塔大学);EURECOM
本文提出RelationalFactQA基准,用于评估LLMs从参数化知识生成结构化表格输出的能力,发现现有模型在关系型事实检索上准确率低于25%且随输出维度增加而下降。
2025-05-27 cs.AI cs.CL cs.DB
FEM-Bench: A Structured Scientific Reasoning Benchmark for Evaluating Code-Generating LLMs
Boston University(波士顿大学);Move37 Labs(Move37实验室);Department of Mechanical Engineering(机械工程系)
提出FEM-Bench基准,通过有限元方法相关编程任务评估大语言模型在科学计算中的结构化推理能力,实验表明现有模型尚不能稳定解决所有任务。
2026-05-29 cs.AI cs.LG cs.SE