I Think, Therefore I Am Under-Qualified? A Benchmark for Evaluating Linguistic Shibboleth Detection in LLM Hiring Evaluations
University of Washington(华盛顿大学);UC Berkeley(伯克利大学);Stanford University(斯坦福大学)
本文提出一个评估LLM招聘评估中语言Shibboleth检测的综合基准,通过100个问答对模拟面试生成受控语言变体,发现模糊限制性回答评分平均低25.6%,为检测AI系统语言歧视提供基础框架。
2025-08-06 cs.CL
CRAB-Bench: Evaluating LLM Agents under Complex Task Dependencies and Human-aligned User Simulation
Carnegie Mellon University(卡内基梅隆大学)
提出CRAB-Bench和RUSE框架,通过约束图生成复杂任务依赖和基于人类行为研究的用户模拟,评估LLM智能体在真实服务场景中的表现,发现最佳模型仅达61%通过率,用户模拟导致性能下降高达57%。
2026-06-01 cs.CL
YallaMorph: A Benchmark for Evaluating Arabic Morphological Generation in Large Language Models
New York University Abu Dhabi(纽约大学阿布扎比分校);Stony Brook University(石溪大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对大语言模型在阿拉伯语形态生成上的不足,提出大规模基准YallaMorph,涵盖多种词类与配置,评估发现附着词及罕见形式生成尤为困难。
2026-09-10 cs.CL
CxMP: A Linguistic Minimal-Pair Benchmark for Evaluating Constructional Understanding in Language Models
Nara Institute of Science and Technology(奈良科学技術研究院);National Institute of Informatics(国家信息研究院);The University of Tokyo(东京大学)
CxMP基准通过最小对设计评估语言模型对构式语义关系的理解能力,揭示了大型语言模型在整合形式与意义方面的局限性。
2026-02-25 cs.CL
MLLM-Bench: Evaluating Multimodal LLMs with Per-sample Criteria
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对现有MLLM评估方法难以适配开放主观类多模态任务的问题,提出基于逐样本准则、用强MLLM做评判的评估范式,构建了覆盖六个认知层级的MLLM-Bench基准,测试21个模型且与人类评估一致性达88.02%。
2024-09-14 cs.CL
WebMall -- A Multi-Shop Benchmark for Evaluating Web Agents
Data and Web Science Group(数据与网络科学组);University of Mannheim(曼海姆大学)
WebMall是首个多店铺离线基准,用于评估网络代理在复杂比较购物任务中的性能,包含四个模拟店铺和复杂检索任务。
2026-04-30 cs.CL
JMedBench: A Benchmark for Evaluating Japanese Biomedical Large Language Models
The University of Tokyo(东京大学);National Institute of Informatics(信息学研究所)
针对日语生物医学LLM缺乏大规模评估基准的问题,提出包含8个模型和20个数据集的JMedBench基准,实验揭示了模型表现差异与改进空间,并公开评估工具及数据集以促进研究。
2024-09-20 cs.CL
Compound-QA: A Benchmark for Evaluating LLMs on Compound Questions
Shanghai University of Finance and Economics(上海财经大学);University of Edinburgh(爱丁堡大学);Southern University of Science and Technology(南方科技大学);Fudan University(复旦大学)
Compound-QA基准通过评估LLM在复合问题上的表现,揭示其在理解和推理方面的不足,并提出改进策略。
2026-09-22 cs.CL
Auto-SLURP: A Benchmark Dataset for Evaluating Multi-Agent Frameworks in Smart Personal Assistant
GEB Tech(GEB科技);Ningbo Institute of Digital Twin, EIT, Ningbo(宁波数字孪生研究院)
为填补多智能体框架评估基准的空白,本文提出Auto-SLURP基准数据集,通过扩展SLURP并集成模拟服务器实现端到端评估,实验表明当前最先进框架仍面临重大挑战。
2025-04-25 cs.CL
Pluto: A Benchmark for Evaluating Efficiency of LLM-generated Hardware Code
Department of Electrical and Computer Engineering(电气与计算机工程系)
针对现有基准忽视硬件设计效率的问题,提出Pluto基准与评估框架,含114个问题及帕累托最优参考,实验显示LLM功能正确性高但综合效率落后,需效率感知评估推动研究。
2025-10-16 cs.CL
Domain Mastery Benchmark: An Ever-Updating Benchmark for Evaluating Holistic Domain Knowledge of Large Language Model--A Preliminary Release
本文提出DomMa基准,基于中国112个一级学科构建10万道中英文题目,用于持续、全面地评估大语言模型的领域知识理解能力。
2023-08-10 cs.CL
Evaluating MT Systems: A Theoretical Framework
IIIT Hyderabad(海得拉巴国际信息技术学院)
本文概述了一个理论框架,使用不同的自动度量可以设计用于评估机器翻译系统。它引入了{ \em认知容易度}的概念,它取决于{ \em充分度}和{ \em缺乏流畅度}。因此,认知容易性成为衡量的主要参数,而不是可理解性。该框架允许的组成部分的认知容易被打破和计算的基础上不同的语言水平等维度的独立性和线性组合它们提供了一个高度模块化的方法。本文将现有的自动化方法放在一个整体框架中,以便更好地理解它们,并在未来对其进行改进。它也可以用来评估新类型的机器翻译系统,如语音到语音翻译和话语翻译。
2022-02-11 cs.CL
VCIFBench: Evaluating Complex Instruction Following for Video Understanding
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, Jilin University(知识驱动人机智能工程研究中心,吉林大学);International Center of Future Science, Jilin University(未来科学国际中心,吉林大学)
提出VCIFBench基准,通过混合验证流水线评估多模态大模型在视频理解中遵循内容、格式、风格和结构约束的复杂指令能力,实验表明联合约束满足仍具挑战,DPO训练可提升性能。
2026-08-25 cs.CL
IslamicMMLU: A Benchmark for Evaluating LLMs on Islamic Knowledge
The University of Edinburgh(爱丁堡大学)
伊斯兰MMLU基准通过10,013道题评估大语言模型在伊斯兰知识上的表现,涵盖《古兰经》、圣训和教法三个领域,测试模型在不同方面的能力,初步评估26个模型,准确率差异显著。
2026-07-14 cs.CL
ProMoral-Bench: Evaluating Prompting Strategies for Moral Reasoning and Safety in LLMs
ProMoral-Bench通过统一道德安全评分评估多种提示策略,发现紧凑示例引导框架在道德和安全方面表现更优。
2026-11-06 cs.AI cs.CL
WXImpactBench: A Disruptive Weather Impact Understanding Benchmark for Evaluating Large Language Models
McGill University(麦吉尔大学);University of Waterloo(滑铁卢大学);Tsinghua University(清华大学);University of Montreal(蒙特利尔大学)
本研究构建了破坏性天气影响数据集,提出首个评估大语言模型相关理解能力的基准WXImpactBench,通过多标签分类和排序问答任务开展实验,为气候适应系统开发提供参考,相关资源已公开。
2025-10-28 cs.AI cs.CL
Open Ko-LLM Leaderboard: Evaluating Large Language Models in Korean with Ko-H5 Benchmark
Upstage AI(上 stage 人工智能公司)
本研究推出Open Ko-LLM Leaderboard与Ko-H5 Benchmark用于韩语大模型评估,通过私有测试集、泄露分析等验证框架有效性,为拓展多语言LLM评估提供先例。
2024-08-17 cs.AI cs.CL
CALRK-Bench: Evaluating Context-Aware Legal Reasoning in Korean Law
KAIST AI(韩国科学技术院人工智能学院);Law School, Ajou University(亚洲大学法学院);Department of Artificial Intelligence, Ajou University(亚洲大学人工智能系)
本文提出CALRK-Bench,一个基于韩国法律体系的情境感知法律推理基准,评估模型对法律规范时效性、案件法律信息充分性及法律判断变化原因的理解能力,实验表明大语言模型在这些任务上表现不佳。
2026-03-27 cs.AI cs.CL
Persona-Augmented Benchmarking: Evaluating LLMs Across Diverse Writing Styles
Carnegie Mellon University(卡内基梅隆大学);Amazon AWS(亚马逊AWS)
本研究通过人物角色提示重写评估提示,发现写作风格显著影响LLM性能,并提出可扩展的基准增强方法以提升评估外部有效性。
2025-09-25 cs.AI cs.CL
NC-Bench: An LLM Benchmark for Evaluating Conversational Competence
Independent Researcher(独立研究者);IBM Research(IBM研究院)
NC-Bench提出了一种评估大型语言模型对话能力的基准,通过三种不同集合测试模型在不同对话任务中的表现,发现模型在基础回答任务表现较好,但在复杂多轮请求上面临挑战。
2026-09-29 cs.AI cs.CL
AraLingBench A Human-Annotated Benchmark for Evaluating Arabic Linguistic Capabilities of Large Language Models
King Abdullah University of Science and Technology (KAUST)(卡斯泰克大学);American University of Beirut (AUB)(贝鲁特美国大学)
AraLingBench通过150道人工标注的多项选择题评估阿拉伯语LLM的语言能力,揭示模型在语法和句法推理上的不足,强调了记忆与模式识别对模型性能的影响。
2025-12-09 cs.AI cs.CL cs.LG
IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis
Peking University(北京大学);UC Berkeley(加州大学伯克利分校)
本文提出 IDA-Bench 基准,通过 LLM 模拟用户的多轮交互场景评估数据分析智能体,发现现有顶尖编码智能体成功率不足 50%,揭示了提升多轮指令遵循与推理平衡能力的必要性。
2025-06-06 cs.AI cs.CL
FIN-bench-v2: A Unified and Robust Benchmark Suite for Evaluating Finnish Large Language Models
University of Turku(图尔库大学)
FIN-bench-v2通过整合芬兰语言任务和评估方法,提供统一且稳健的基准测试集,用于评估芬兰大型语言模型的性能。
2025-12-15 cs.AI cs.CL
ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents
Upstage;Opentutorials;Indiana University Bloomington(印第安纳大学布卢明顿分校);Korea University Sejong Campus(韩国大学世宗校区)
ISD-Agent-Bench通过结合经典ISD理论与现代推理方法,为评估基于LLM的教学系统设计代理提供了全面的基准。
2026-02-11 cs.CL cs.SE
IndicContextEval: A Benchmark for Evaluating Context Utilisation in Audio Large Language Models Across 8 Indic Languages
AI4Bharat, Indian Institute of Technology Madras, India(AI4Bharat,印度理工学院马德拉斯分校);Sarvam AI, India(Sarvam AI,印度)
提出IndicContextEval基准,包含8种印度语言555位说话人的56小时自然语音,通过7级提示框架评估音频大语言模型是否真正利用上下文而非依赖参数化知识。
2026-06-25 cs.CL eess.AS
AraSTEM: A Native Arabic Multiple Choice Question Benchmark for Evaluating LLMs Knowledge In STEM Subjects
American University of Beirut(贝鲁特美国大学)
本文提出AraSTEM阿拉伯语STEM多项选择基准,用于评估大语言模型在非英语科学知识上的表现,实验表明现有公开模型普遍表现不佳,凸显本地化语言模型的必要性。
2024-12-31 cs.AI cs.CL
FLEX: A Benchmark for Evaluating Robustness of Fairness in Large Language Models
Korea University(高丽大学)
针对现有基准忽视LLM在对抗性指令下产生偏见响应的问题,提出FLEX基准,通过整合放大偏见的提示评估公平性鲁棒性,实验表明传统评估低估了模型风险。
2025-03-25 cs.AI cs.CL
TurkBench: A Benchmark for Evaluating Turkish Large Language Models
Computer Sci. Dpt., Bilkent Uni.(计算机科学系,比尔肯特大学);Mathematics Dpt., Middle East Technical University(数学系,中东部技术大学);Turkcell AI(Turkcell人工智能);Sociology Dpt., Hacettepe University(社会学系,哈恰塔尔佩大学);Computer Engineering Dpt., Bogazici University(计算机工程系,博资基大学);Linguistics Dpt., Istanbul University(语言学系,伊斯坦布尔大学);Turkish Lang. Dpt., Middle East Technical University(土耳其语言系,中东部技术大学)
TurkBench是一个用于评估土耳其大型语言模型能力的综合基准测试,包含21个子任务和6大类别,旨在帮助研究人员改进模型性能。
2026-02-03 cs.AI cs.CL
LTLBench: Towards Benchmarks for Evaluating Temporal Reasoning in Large Language Models
University of Edinburgh(爱丁堡大学)
LTLBench通过线性时序逻辑评估大语言模型的时间推理能力,构建包含2000个挑战的数据集并测试12个模型,揭示时间推理中的主要问题及复杂性影响。
2026-01-05 cs.AI cs.CL
KG-LLM-Bench: A Scalable Benchmark for Evaluating LLM Reasoning on Textualized Knowledge Graphs
University of Southern California(南加州大学);University of California, Riverside(加州大学河滨分校)
本文提出KG-LLM-Bench基准,系统评估五种知识图谱文本化策略在七种语言模型上的表现,为优化LLM知识图谱推理提供指导。
2025-04-09 cs.AI cs.CL cs.IR
Evaluating Large Language Models with Human Feedback: Establishing a Swedish Benchmark
KTH(瑞典皇家理工学院)
本研究针对瑞典语等低资源语言,通过人类反馈和强制选择排序建立基准,评估十一个主流及定制LLM的瑞典语理解与生成能力,并发布chatbotarena.se基准以促进后续研究。
2024-05-22 cs.AI cs.CL
FarsEval-PKBETS: A new diverse benchmark for evaluating Persian large language models
Shahid Beheshti University(沙希德·贝赫什提大学);Amirkabir University of Technology(阿米尔卡比尔理工大学);Qom University(库姆大学);Islamic Azad University(伊斯兰阿扎德大学);Sharif University of Technology(谢里夫理工大学)
本文提出波斯语大语言模型评估基准FarsEval-PKBETS,含4000道多领域题目,测试三个模型平均准确率低于50%,表明现有模型仍难以解决该基准。
2025-04-20 cs.AI cs.CL
SECQUE: A Benchmark for Evaluating Real-World Financial Analysis Capabilities
Microsoft Industry AI(微软产业人工智能)
本文提出SECQUE基准,包含565道专家编写的SEC文件分析问题,并开发SECQUE-Judge评估机制,用于系统衡量大语言模型的金融分析能力。
2025-04-06 cs.AI cs.CE cs.CL
GeoBenchLLM: A Comprehensive Benchmark for Evaluating LLMs on Geo-Related Tasks
University of Toulouse(图卢兹大学);IRIT(信息与电信科学研究所)
该研究提出GeoBenchLLM综合基准,选取12个地理相关公开数据集评估LLMs的地理空间与时间理解能力,发现推理能力与模型规模对性能影响显著,基准可公开获取。
2026-08-10 cs.AI cs.CL cs.IR
On Evaluating LLM Alignment by Evaluating LLMs as Judges
Yale University(耶鲁大学);Shanghai Jiao Tong University(上海交通大学)
本文提出AlignEval基准,通过评估LLM作为裁判的能力来衡量其对齐人类偏好的效果,结果优于现有自动评估基准。
2025-11-25 cs.AI cs.CL cs.LG
100-LongBench: Are de facto Long-Context Benchmarks Literally Evaluating Long-Context Ability?
Case Western Reserve University(凯斯西储大学);Texas A&M University(德克萨斯A&M大学);Rice University(里德大学);University of California, Los Angeles(加州大学洛杉矶分校);Meta
针对现有长上下文基准无法分离基线能力与真实长上下文能力、且输入长度固定等问题,提出长度可控的长上下文基准和新指标,以有效评估大语言模型的长上下文能力。
2026-06-02 cs.AI cs.CL cs.LG
CR-Bench: Evaluating the Real-World Utility of AI Code Review Agents
Nutanix, Inc.(Nutanix公司)
CR-Bench通过引入基准数据集和细粒度评估流程,评估AI代码审查代理在现实世界中的效用,揭示了问题解决与假发现之间的权衡,为LLM驱动的代码审查代理发展提供基础。
2026-03-10 cs.AI cs.CL cs.SE
UA-Code-Bench: A Competitive Programming Benchmark for Evaluating LLM Code Generation in Ukrainian
本文提出乌克兰语竞争编程基准 UA-Code-Bench,包含500道Eolymp题目,评估13个模型后发现顶尖模型也仅能解决一半问题,揭示了低资源语言代码生成的挑战。
2025-11-07 cs.AI cs.CL cs.SE
Line Goes Up? Inherent Limitations of Benchmarks for Evaluating Large Language Models
The University of Melbourne(墨尔本大学)
本文从理论与实证角度论证基准范式及现有基准的局限,指出基准成绩不能可靠衡量LLM的一般认知与可泛化能力,并强调对抗性刺激和可解释性评估的重要性。
2025-02-20 cs.AI cs.CL cs.LG
PLANET: A Collection of Benchmarks for Evaluating LLMs' Planning Capabilities
Computer Science Department, Emory University(埃默里大学计算机科学系)
本文系统考察并分类了规划基准,识别测试平台与空白,为不同算法推荐合适基准,以指导未来开发。
2025-04-21 cs.AI cs.CL cs.LG
K-Bench: a clinically calibrated benchmark for evaluating large language models in high-risk mental health conversations
University of Roehampton(罗汉普顿大学);Kivira Health;University of Hertfordshire(赫特福德大学);University of Surrey(萨里大学);University of Bedfordshire(贝德福德大学);Tavistock Relationships(塔维斯托克关系中心);InsideOut
K-Bench是一个临床校准的基准,通过200个多轮高风险心理健康情景评估125种LLM配置,发现领先模型综合风险评分超95,且治疗性提示仅对较弱模型有效。
2026-09-29 cs.AI cs.CL cs.LG
ALBA: A European Portuguese Benchmark for Evaluating Language and Linguistic Dimensions in Generative LLMs
NOVA University of Lisbon(新里斯本大学);NOVA LINCS(新里斯本大学计算机科学与系统研究实验室)
ALBA是首个针对欧洲葡萄牙语的语言学评估基准,通过八个维度评估生成模型在语言多样性、文化绑定语义等任务中的表现,揭示了模型在不同语言学维度上的性能差异。
2026-03-27 cs.AI cs.CL cs.LG
Sudoku-Bench: Evaluating creative reasoning with Sudoku variants
Sakana AI
Sudoku-Bench通过非常规数独变体评估大语言模型的创造性多步推理,基线显示最先进模型无辅助解题率不足15%,凸显长时程推理能力的提升空间。
2025-05-22 cs.AI cs.CL cs.LG
UI-Bench: A Benchmark for Evaluating Design Capabilities of AI Text-to-App Tools
University of Pennsylvania(宾夕法尼亚大学);AfterQuery
针对AI文本转应用工具的设计能力缺乏公开严格评估的问题,研究团队推出大规模基准UI-Bench,通过专家两两比较结合TrueSkill衍生模型评估10款工具的视觉表现,并发布相关资源与排行榜,为AI网页设计领域建立可复现的评估标准。
2025-09-03 cs.CL
FairLex: A Multilingual Benchmark for Evaluating Fairness in Legal Text Processing
University of Copenhagen(哥本哈根大学);National University of Defense Technology(国防科技大学)
我们提出了一个由四个数据集组成的基准套件,用于评估预训练的语言模型的公平性,以及用于对下游任务进行微调的技术。我们的基准涵盖四个司法管辖区(欧洲理事会、美国、瑞士和中国)、五种语言(英语、德语、法语、意大利语和中文)以及五个属性(性别、年龄、地区、语言和法律领域)的公平性。在我们的实验中,我们使用几种组鲁棒微调技术来评估预训练的语言模型,并表明在许多情况下,表现组差异是充满活力的,而这些技术都不能保证公平性,也不能始终如一地减轻组差异。此外,我们提供了一个定量和定性分析我们的结果,突出了开放的挑战,在法律NLP的鲁棒性方法的发展。
2022-03-14 cs.CL
BanglaNLG and BanglaT5: Benchmarks and Resources for Evaluating Low-Resource Natural Language Generation in Bangla
Bangladesh University of Engineering Technology (BUET)(孟加拉国工程技术大学(BUET));University of California Los Angeles(加州大学洛杉矶分校)
这项工作提出了BanglaNLG,一个全面的基准评估自然语言生成(NLG)模型在孟加拉国,一个广泛使用但资源不足的语言。我们在BanglaNLG基准下汇总了六个具有挑战性的条件文本生成任务,并在此过程中引入了一个新的对话生成数据集。此外,使用27.5 GB的孟加拉语数据的干净语料库,我们预训练BanglaT5,这是孟加拉语的序列到序列Transformer语言模型。BanglaT5在所有这些任务中都实现了最先进的性能,超过了几个多语言模型,绝对增益高达9%,相对增益高达32%。我们将在https://github.com/csebuetnlp/BanglaNLG上公开发布新的对话数据集和BanglaT5模型,希望能推动未来对Bangla NLG的研究。
2023-02-12 cs.CL
APE-Bench: Evaluating Automated Proof Engineering for Formal Math Libraries
University of Edinburgh(爱丁堡大学)
APE-Bench提出了一种系统性评估仓库级证明工程的框架,通过双验证机制评估语法编译和语义要求满足,并提供开源工具进行标准化评估和公平比较。
2026-02-02 cs.CL
AdTEC: A Unified Benchmark for Evaluating Text Quality in Search Engine Advertising
CyberAgent;Nara Institute of Science and Technology(奈良科学技術研究所)
提出首个搜索引擎广告文本质量评估公开基准AdTEC,定义五项任务并构建日语数据集,验证预训练语言模型与人类评估者表现,发现模型在部分任务已达实用水平但人类在特定领域仍具优势。
2025-04-27 cs.CL
IndoNLU: Benchmark and Resources for Evaluating Indonesian Natural Language Understanding
Institut Teknologi Bandung(万隆理工学院);Gojek;Universitas Indonesia(印度尼西亚大学);The Hong Kong University of Science and Technology(香港科技大学);Universitas Multimedia Nusantara(多媒体 nusantara 大学)
虽然印尼语被认为是互联网上第四大最常用的语言,但由于缺乏可用资源,自然语言处理(NLP)对印尼语的研究进展缓慢。作为回应,我们介绍了有史以来第一个用于印度尼西亚自然语言理解(IndoNLU)任务的培训,评估和基准测试的庞大资源。IndoNLU包括12个任务,从单句分类到不同复杂程度的成对句子序列标记。任务的数据集位于不同的领域和风格,以确保任务的多样性。我们还提供了一组印度尼西亚预训练模型(IndoBERT),这些模型是从一个大型而干净的印度尼西亚数据集Indo4B中训练出来的,这些数据集是从社交媒体文本、博客、新闻和网站等公开来源收集的。我们发布了所有12个任务的基准模型,以及基准评估框架,因此它使每个人都能够对他们的系统性能进行基准测试。
2020-10-08 cs.CL
OpenMEVA: A Benchmark for Evaluating Open-ended Story Generation Metrics
Tsinghua University(清华大学);TAL Education Group(好未来教育集团);Netease Fuxi AI Lab(网易伏羲人工智能实验室)
自动度量对于开发自然语言生成(NLG)模型至关重要,特别是对于开放式语言生成任务,如故事生成。然而,现有的自动度量被观察到与人类评估的相关性很差。缺乏标准化的基准数据集使得很难充分评估一个指标的能力,并公平地比较不同的指标。因此,我们提出了OpenMEVA,一个评估开放式故事生成指标的基准。OpenMEVA提供了一个全面的测试套件来评估指标的能力,包括(a)与人类判断的相关性,(b)对不同模型输出和数据集的泛化,(c)判断故事连贯性的能力,以及(d)对扰动的鲁棒性。为此,OpenMEVA包括手动注释的故事和自动构建的测试示例。我们评估了OpenMEVA上的现有指标,并观察到它们与人类判断的相关性很差,无法识别话语级别的不连贯性,并且缺乏推理知识(例如,事件之间的因果顺序),泛化能力和鲁棒性。我们的研究为进一步研究开发NLG模型和指标提供了见解。
2021-05-19 cs.CL
Spider4SPARQL: A Complex Benchmark for Evaluating Knowledge Graph Question Answering Systems
Zurich University of Applied Sciences(苏黎世应用科技大学);University of Fribourg(弗里堡大学)
本文提出Spider4SPARQL,一个包含9,693个自然语言问题和4,721个复杂SPARQL查询的新基准,覆盖138个领域,用于评估知识图谱问答系统,现有系统最高仅达45%执行准确率。
2023-12-08 cs.CL
XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization
Carnegie Mellon University(卡内基梅隆大学);DeepMind;Google Research(谷歌研究院)
机器学习模型应用于NLP的最新进展是由评估各种任务模型的基准驱动的。然而,这些覆盖面广的基准大多仅限于英语,尽管对多语种模式的兴趣越来越大,但仍然缺乏一个能够对各种语言和任务的这种方法进行全面评价的基准。为此,我们引入了多语言编码器XTREME基准的跨语言迁移评估,这是一个多任务基准,用于评估跨40种语言和9个任务的多语言表示的跨语言泛化能力。我们证明,虽然英语测试模型在许多任务上达到了人类的表现,但跨语言迁移模型的表现仍然存在相当大的差距,特别是在句法和句子检索任务上。结果也广泛分布在不同语言之间。我们发布该基准是为了鼓励对跨语言学习方法的研究,这些方法可以在多种具有代表性的语言和任务中转移语言知识。
2020-09-04 cs.CL cs.LG
Heron-Bench: A Benchmark for Evaluating Vision Language Models in Japanese
Turing Inc.(图灵公司);Keio Research Institute at SFC(庆应义塾大学SFC研究所);University of Tsukuba(筑波大学);National Institute of Technology, Kisarazu College(木更津工业高等专门学校);Tokyo Institute of Technology(东京工业大学)
针对日语视觉语言模型评估基准缺失的问题,提出适配日语语境的Heron-Bench基准与基线模型,揭示模型能力差异并开源资源以推动相关研究。
2024-04-11 cs.CL cs.CV
VULCA-Bench: A Multicultural Vision-Language Benchmark for Evaluating Cultural Understanding
DJCAD, University of Dundee, United Kingdom(邓迪大学DJCAD部门);University of California, Santa Cruz, USA(加州大学圣克ruz分校);Analogy AI;East China Normal University, China(华东师范大学);Nanjing University, China(南京大学);Department of Mechanical Engineering, School of Engineering, University of Birmingham(伯明翰大学工程学院机械工程系)
VULCA-Bench通过多文化艺术批评基准评估视觉-语言模型在文化理解上的能力,包含7,410对图像-批评对,涵盖八个文化传统,通过五层框架评估文化理解,揭示更高阶推理更具挑战性。
2026-02-24 cs.CL cs.CV