DevBench: A multimodal developmental benchmark for language learning
Stanford University(斯坦福大学)
本研究推出多模态语言发展基准DevBench,覆盖三类语言能力并含人类行为数据,评估发现视觉-语言模型表现越好响应模式越接近人类,训练量提升会让模型更贴近成人响应,为改进语言模型提供方向。
2024-12-06 cs.CL cs.LG
Adversarial NLI: A New Benchmark for Natural Language Understanding
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Facebook AI Research(脸书人工智能研究院)
我们引入了一个新的大规模NLI基准数据集,通过迭代,对抗性的人和模型在环过程收集。我们表明,在这个新数据集上的训练模型在各种流行的NLI基准测试中具有最先进的性能,同时对其新的测试集提出了更困难的挑战。我们的分析揭示了当前最先进模型的缺点,并表明非专家注释者成功地找到了它们的弱点。数据汇集方法可以应用于永无止境的学习场景中,成为NLU的移动目标,而不是会很快饱和的静态基准。
2020-05-06 cs.CL cs.LG
LMentry: A Language Model Benchmark of Elementary Language Tasks
Tel Aviv University(特拉维夫大学);Meta AI
随着大语言模型性能的快速提高,基准测试也变得越来越大、越来越复杂。我们提出了LMentry,一个基准,避免这种“军备竞赛”,专注于一组紧凑的任务,是微不足道的人类,例如写一个句子包含一个特定的词,确定哪些词在列表中属于一个特定的类别,或选择两个词中的哪一个更长。LMentry专门设计用于提供对大语言模型的功能和健壮性的快速和可解释的见解。我们的实验揭示了各种各样的失败案例,虽然对人类来说是显而易见的,但对大语言模型构成了相当大的挑战,包括OpenAI最新的175 B参数优化模型TextDavinci002。LMentry补充了大语言模型的当代评估方法,提供了一个快速,自动和易于运行的“单元测试“,而无需求助于复杂任务的大型基准测试套件。
2022-12-19 cs.AI cs.CL cs.LG
Benchmarking Large Language Model Uncertainty for Prompt Optimization
National Taiwan University(台湾大学)
本文针对LLM提示词优化中不确定性估计的缺失,构建基准数据集评估多种不确定性指标,发现现有指标偏向答案不确定性而非正确性不确定性,强调需开发具备优化目标感知能力的新指标。
2024-12-25 cs.CL cs.LG
WHEN FLUE MEETS FLANG: Benchmarks and Large Pre-trained Language Model for Financial Domain
Georgia Institute of Technology(佐治亚理工学院);JPMorgan AI Research(摩根大通人工智能研究院);Stanford University(斯坦福大学)
预训练的语言模型在各种任务和领域中表现出令人印象深刻的性能。以往的金融语言模型研究通常采用通用的训练方案来训练标准模型架构,而没有完全利用金融数据的丰富性。提出了一种新的领域特定金融语言模型(FLANG),该模型利用金融关键词和短语进行更好的掩蔽,并结合跨边界目标和填充目标。此外,外地的评价基准有限。为此,我们贡献了金融语言理解评估(FLUE),这是一套针对金融领域的开源综合基准。其中包括金融领域5个NLP任务的新基准以及以前研究中使用的常见基准。在这些基准上的实验表明,我们的模型在各种NLP任务上的性能优于先前文献中的模型。我们的模型、代码和基准测试数据在Github和Huggingface上公开。
2022-10-31 cs.AI cs.CL cs.LG
INDIC QA BENCHMARK: A Multilingual Benchmark to Evaluate Question Answering capability of LLMs for Indic Languages
Indian Institute of Technology Bombay(印度理工学院孟买分校);IBM Research(IBM研究院)
该论文提出Indic QA Benchmark,一个覆盖11种印度语言的多语言问答基准,发现多语言LLMs因英语偏见在低资源语言中表现弱,而Translate Test范式表现更优。
2025-02-24 cs.LG
Line Goes Up? Inherent Limitations of Benchmarks for Evaluating Large Language Models
The University of Melbourne(墨尔本大学)
本文从理论与实证角度论证基准范式及现有基准的局限,指出基准成绩不能可靠衡量LLM的一般认知与可泛化能力,并强调对抗性刺激和可解释性评估的重要性。
2025-02-20 cs.AI cs.CL cs.LG
Benchmarking Neural Machine Translation for Southern African Languages
Explore Data Science Academy(探索数据科学学院);Retro Rabbit(Retro Rabbit公司)
与主要的西方语言不同,大多数非洲语言的资源都非常少。此外,确实存在的资源往往是分散的,难以获得和发现。因此,现有研究的数据和代码很少共享。这导致了复制报告结果的斗争,并且几乎没有公开的非洲机器翻译模型基准。为了开始解决这些问题,我们在公开的数据集上为5种南部非洲语言训练了神经机器翻译模型。提供了用于训练模型并在新发布的评估集上评估模型的代码,目的是促进南部非洲语言领域的未来研究。
2019-06-17 cs.CL cs.LG stat.ML
SugarCrepe: Fixing Hackable Benchmarks for Vision-Language Compositionality
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
针对视觉-语言模型组合理解基准测试存在可被黑客攻击的偏差问题,研究提出SugarCrepe基准测试,利用大语言模型生成硬负样本并通过对抗性细化机制减少偏差,发现现有模型的改进被高估。
2023-06-26 cs.CL cs.CV cs.LG
MultiPL-E: A Scalable and Extensible Approach to Benchmarking Neural Code Generation
大语言模型已经展示了生成自然语言和程序设计语言文本的能力。这样的模型为多语言代码生成提供了可能性:代码生成模型能将知识从一种语言推广到另一种语言吗?虽然当代的代码生成模型可以生成语义正确的Python代码,但对它们在其他语言中的能力知之甚少。我们提出了MultiPL-E,一个将单元测试驱动的代码生成基准转换为新语言的系统。我们通过使用MultiPL-E将两个流行的Python代码生成基准转换为18种额外的程序设计语言,创建了第一个大规模多语言代码生成基准。我们使用MultiPL-E将HumanEval基准测试和MBPP基准测试扩展到18种语言,包括一系列编程范式和流行程度。使用这些新的并行基准测试,我们评估了三种最先进的代码生成模型:Codex,CodeGen和InCoder的多语言性能。我们发现Codex在其他几种语言的Python上的性能相当甚至超过了它。MultiPL-E中表示的程序设计语言的范围使我们能够探索语言频率和语言特征对模型性能的影响。最后,将代码生成基准编译为新的程序设计语言的MultiPL-E方法是可伸缩和可扩展的,使得评估新的模型、基准和语言变得简单。
2022-12-19 cs.LG cs.PL
ChiKhaPo: A Large-Scale Multilingual Benchmark for Evaluating Lexical Comprehension and Generation in Large Language Models
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Johns Hopkins University, Center for Language and Speech Processing(约翰霍普金斯大学语言与语音处理中心)
针对现有基准语言覆盖不足且侧重高阶任务的问题,提出ChiKhaPo基准,包含8个子任务,覆盖2700+种语言,评估LLM的词汇理解与生成能力,发现6个SOTA模型表现不佳。
2026-06-12 cs.CL
mHumanEval -- A Multilingual Benchmark to Evaluate Large Language Models for Code Generation
George Mason University(乔治梅森大学)
针对现有代码生成基准语言覆盖范围有限、低资源语言提示代码生成研究不足的问题,本文提出支持200多种自然语言提示的多语言基准mHumanEval,并分析了SOTA代码大模型的跨语言代码生成能力。
2025-01-26 cs.CL
BBT-Fin: Comprehensive Construction of Chinese Financial Domain Pre-trained Language Model, Corpus and Benchmark
Fudan University(复旦大学);SuperSymmetry Technologies(超对称科技)
为了提高中文金融自然语言处理的效率,在T5语言模型的基础上提出了一种新的中文金融预训练语言模型BBT-FinT 5。为了支持这一努力,我们建立了BBT-FinCorpus,这是一个大规模的金融语料库,拥有来自四个不同来源的大约300 GB的原始文本。在一般领域的NLP中,像GLUE和SuperGLUE这样的综合基准测试通过在模型之间进行头对头比较,推动了语言模型预训练的重大进步。在此基础上,我们提出了一个中文金融语言理解与生成评估基准BBT-CFLEB,该基准包括六个数据集,涵盖理解和生成任务。我们的目标是促进中国金融领域NLP发展的研究。我们的模型、语料库和基准测试发布在https://github.com/ssymmetry/BBT-FinCUGE-Applications。我们的工作属于Big Bang Transformer(BBT),这是一个大规模的预训练语言模型项目。
2023-02-26 cs.CL
ALBA: A European Portuguese Benchmark for Evaluating Language and Linguistic Dimensions in Generative LLMs
NOVA University of Lisbon(新里斯本大学);NOVA LINCS(新里斯本大学计算机科学与系统研究实验室)
ALBA是首个针对欧洲葡萄牙语的语言学评估基准,通过八个维度评估生成模型在语言多样性、文化绑定语义等任务中的表现,揭示了模型在不同语言学维度上的性能差异。
2026-03-27 cs.AI cs.CL cs.LG
CORI: CJKV Benchmark with Romanization Integration -- A step towards Cross-lingual Transfer Beyond Textual Scripts
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Amazon(亚马逊);Salesforce Research(Salesforce 研究院);Harrisburg University of Science and Technology(哈里斯堡科技大学)
本研究探讨源语言选择对跨语言迁移的影响,构建CJKV基准数据集,并提出融合罗马化转写与对比学习的方法,以增强跨语言表示并实现零样本迁移。
2024-04-19 cs.AI cs.CL cs.LG
BanglaBERT: Language Model Pretraining and Benchmarks for Low-Resource Language Understanding Evaluation in Bangla
Bangladesh University of Engineering Technology (BUET)(孟加拉国工程技术大学);AWS AI Labs(亚马逊云科技人工智能实验室);University of Rochester(罗切斯特大学)
在这项工作中,我们介绍了BanglaBERT,一个基于BERT的自然语言理解(NLU)模型,在孟加拉语中进行了预训练,孟加拉语是NLP文献中广泛使用但资源较少的语言。为了预训练BanglaBERT,我们通过抓取110个流行的孟加拉网站收集了27.5 GB的孟加拉预训练数据(称为“Bangla2B+”)。我们介绍了自然语言推理和问答的两个下游任务数据集,并对四个不同的NLU任务进行了基准测试,包括文本分类,序列标记和跨度预测。在这个过程中,我们将他们纳入有史以来第一个孟加拉语语言理解基准(BLUB)。BanglaBERT实现了最先进的结果,优于多语言和单语言模型。我们正在https://github.com/csebuetnlp/banglabert上公开发布模型,数据集和排行榜,以推进Bangla NLP。
2022-05-10 cs.CL
DivLogicEval: A Framework for Benchmarking Logical Reasoning Evaluation in Large Language Models
The Hong Kong University of Science and Technology(香港科技大学);Fudan University(复旦大学);WeChat AI, Tencent(腾讯微信AI)
本文提出DivLogicEval基准,以反直觉自然句子评估LLM逻辑推理,并引入新指标减少偏差,实验比较了多种流行LLM的性能。
2025-09-26 cs.AI cs.CL cs.LG
CLUES: A Benchmark for Learning Classifiers using Natural Language Explanations
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
传统上,监督学习通过观察任务的标记示例来关注归纳学习。相比之下,人类有能力从语言中学习新概念。在这里,我们探索纯粹从语言中训练结构化数据的zero-shot分类器。为此,我们介绍了CLUES,一个使用自然语言解释的分类器学习基准,包括一系列结构化数据的分类任务以及解释形式的自然语言监督。CLUES由36个真实世界和144个合成分类任务组成。它包含众包解释,描述来自多个教师的真实任务,以及为合成任务编程生成的解释。为了对解释在分类示例中的影响进行建模,我们开发了ExEnt,这是一种基于蕴涵的模型,可以使用解释来学习分类器。ExEnt在新任务上的泛化能力(相对)比不使用解释的基线高出18%。我们从解释中描述了自动学习的关键挑战,解决这些挑战可以在未来推动CLUES的发展。代码和数据集可在https://clues-benchmark.github.io上获得。
2022-04-14 cs.AI cs.CL cs.LG
The Vulnerability of Language Model Benchmarks: Do They Accurately Reflect True LLM Performance?
DataLabs, United We Care(DataLabs,United We Care)
本文系统剖析 NLP 评估框架在基准钻营、数据污染和偏差方面的脆弱性,并提出构建抗操纵、低污染、面向领域任务的动态评估框架。
2024-12-02 cs.CL cs.LG stat.ML
BenchmarkCards: Standardized Documentation for Large Language Model Benchmarks
University of Notre Dame(诺特尔大学);IBM Research Ireland(IBM爱尔兰研究院);IBM Research NY, USA(IBM纽约研究院)
针对大语言模型基准难以选择且易被误用的问题,本文提出BenchmarkCards文档框架,通过标准化基准的目标、方法、数据来源和局限性等属性,简化基准选择并提升评估透明度。
2025-06-02 cs.CL
BELL: Benchmarking the Explainability of Large Language Models
Infosys Limited(印孚瑟斯有限公司);Responsible AI Office(负责任人工智能办公室)
本文针对大型语言模型决策过程缺乏透明度的问题,提出了一种名为BELL的标准化基准测试技术,用于评估大型语言模型的可解释性。
2025-04-22 cs.AI cs.CL
AraLingBench A Human-Annotated Benchmark for Evaluating Arabic Linguistic Capabilities of Large Language Models
King Abdullah University of Science and Technology (KAUST)(卡斯泰克大学);American University of Beirut (AUB)(贝鲁特美国大学)
AraLingBench通过150道人工标注的多项选择题评估阿拉伯语LLM的语言能力,揭示模型在语法和句法推理上的不足,强调了记忆与模式识别对模型性能的影响。
2025-12-09 cs.AI cs.CL cs.LG
CxMP: A Linguistic Minimal-Pair Benchmark for Evaluating Constructional Understanding in Language Models
Nara Institute of Science and Technology(奈良科学技術研究院);National Institute of Informatics(国家信息研究院);The University of Tokyo(东京大学)
CxMP基准通过最小对设计评估语言模型对构式语义关系的理解能力,揭示了大型语言模型在整合形式与意义方面的局限性。
2026-02-25 cs.CL
Structured, flexible, and robust: benchmarking and improving large language models towards more human-like behavior in out-of-distribution reasoning tasks
University of Cambridge(剑桥大学);MIT(麻省理工学院)
人类语言为我们的思想提供了一个强大的窗口-我们讲故事,给出解释,并通过文字表达我们的信仰和目标。大量的证据也表明,语言在构建我们的学习中起着发展性的作用。在这里,我们要问:有多少类似人类的思维可以通过学习语言中的统计模式来捕捉?我们首先贡献了一个新的挑战基准比较人类和分布式大语言模型(LLM)。我们的基准测试包含两个问题解决领域(规划和解释生成),并被设计为需要泛化到新的,用语言表达的分布问题。我们发现,在这个基准上,人类比LLM更强大。接下来,我们提出了一个混合解析和求解模型,它增加了分布式LLM与结构化的符号推理模块。我们发现,该模型显示出对分布外规划问题的更强大的适应性,证明了混合人工智能模型对更人性化推理的承诺。
2022-05-11 cs.AI cs.CL cs.LG
Benchmark Data Contamination of Large Language Models: A Survey
University College Dublin(都柏林大学学院)
本文综述了大型语言模型评估中的基准数据污染问题,分析了其成因与影响,并探讨了替代评估方法及未来缓解方向,以提升评估可靠性。
2024-06-06 cs.CL
IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP
The University of Melbourne(墨尔本大学);The University of Queensland(昆士兰大学)
尽管印度尼西亚语有近2亿人使用,是世界上使用人数第10多的语言,但它在NLP研究中的代表性不足。以前的印尼语工作受到缺乏注释数据集,语言资源稀少和缺乏资源标准化的阻碍。在这项工作中,我们发布了IndoLEM数据集,包括印度尼西亚语的七个任务,涵盖形态语法,语义和话语。我们还发布了IndoBERT,这是一种针对印度尼西亚语的新的预训练语言模型,并通过IndoLEM对其进行评估,此外还根据现有资源对其进行基准测试。我们的实验表明,IndoBERT在IndoLEM中的大多数任务上都达到了最先进的性能。
2020-11-02 cs.CL
TLUE: A Tibetan Language Understanding Evaluation Benchmark
University of Electronic Science and Technology of China(电子科技大学);Tibet University(西藏大学);University of Texas Southwestern Medical Center(德克萨斯西南医学中心);Southern Methodist University(南方 Methodist 大学);The State Key Laboratory of Tibetan Intelligence(藏语智能国家重点实验室);University of Connecticut(康涅狄格大学)
针对藏语在大语言模型评估中被忽视的问题,该研究提出首个大规模藏语理解评估基准TLUE,含多任务与安全基准,实验显示多数前沿大模型藏语表现低于随机基线,为藏语理解研究和大模型包容性发展奠定基础。
2025-10-02 cs.CL
The Case for Repeatable, Open, and Expert-Grounded Hallucination Benchmarks in Large Language Models
本文主张构建可重复、开放且领域情境化的幻觉基准,并通过分类法和案例研究证明专家早期参与对幻觉度量有效性的关键作用。
2025-11-04 cs.CL
IndicMMLU-Pro: Benchmarking Indic Large Language Models on Multi-Task Language Understanding
Artificial Intelligence Institute, University of South Carolina(南卡罗来纳大学人工智能学院);Rochester Institute of Technology(罗切斯特理工学院);Meta AI;Amazon Gen AI(亚马逊生成式人工智能部门)
本文提出了IndicMMLU-Pro基准,基于MMLU Pro框架评估大语言模型在9种印度次大陆主要语言的多任务理解能力,涵盖语言理解、推理与生成任务,并提供了最先进多语言模型的基线结果。
2025-01-28 cs.AI cs.CL
MILU: A Multi-task Indic Language Understanding Benchmark
Nilekani Centre at AI4Bharat(尼罗卡尼中心(AI4Bharat));Indian Institute of Technology, Madras(印度马德拉斯理工学院);IBM Research, India(IBM印度研究院)
本文提出首个面向11种印度语言、覆盖8个领域和41个学科的多任务理解基准MILU,评估42余个LLM后发现现有模型在文化相关领域和低资源语言上表现不足,GPT-4o准确率最高为74%。
2025-02-04 cs.CL
MiLiC-Eval: Benchmarking Multilingual LLMs for China's Minority Languages
Wangxuan Institute of Computer Technology, Peking University(北京大学计算机科学技术研究院)
本文提出MiLiC-Eval基准,包含9个任务的24K实例,用于评估多语言LLMs在中国少数民族低资源语言上的表现,发现开源模型在语法密集型任务和多文字语言上表现不佳,并展示了该基准对推进低资源语言研究的价值。
2025-06-02 cs.CL
Domain Mastery Benchmark: An Ever-Updating Benchmark for Evaluating Holistic Domain Knowledge of Large Language Model--A Preliminary Release
本文提出DomMa基准,基于中国112个一级学科构建10万道中英文题目,用于持续、全面地评估大语言模型的领域知识理解能力。
2023-08-10 cs.CL
Lost in Benchmarks? Rethinking Large Language Model Benchmarking with Item Response Theory
本文提出PSN-IRT框架,用于评估大语言模型基准的有效性,揭示现有基准的测量缺陷,并展示如何构建更符合人类偏好的小型基准。
2026-01-16 cs.CL
The AI Language Proficiency Monitor -- Tracking the Progress of LLMs on Multilingual Benchmarks
Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)(经济合作与发展部);Gesellschaft für Internationale Zusammenarbeit (GIZ)(国际发展合作署);Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)(德国人工智能研究中心)
本文提出AI Language Proficiency Monitor,一个评估多达200种语言(含低资源语言)的多语言基准,整合翻译、问答等任务,提供开源自动更新的排行榜和仪表板,促进多语言AI的透明与包容。
2025-07-11 cs.CL
Beyond Benchmarking: A New Paradigm for Evaluation and Assessment of Large Language Models
针对现有大语言模型基准存在的内容受限、更新滞后、缺优化指导等问题,提出Benchmarking-Evaluation-Assessment新范式,将评估从“考场”模式转为“体检”模式,可深度归因问题并提供优化建议。
2024-07-10 cs.CL
Language models are not naysayers: An analysis of language models on negation benchmarks
University of Melbourne(墨尔本大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Google DeepMind(谷歌DeepMind);RMIT University(皇家墨尔本理工大学)
针对大语言模型处理否定的能力尚不明确的问题,研究在多种否定基准上测试不同规模的GPT-neo、GPT-3等LLM,发现其对否定不敏感、难捕捉其语义且无法在否定下推理。
2023-06-14 cs.CL
Towards Leaving No Indic Language Behind: Building Monolingual Corpora, Benchmark and Models for Indic Languages
Indian Institute of Technology, Madras(印度理工学院马德拉斯分校);AI4Bharat;Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);Microsoft(微软)
本文通过构建覆盖24种语言、209亿token的单语语料库IndicCorp、多任务基准IndicXTREME以及多语言模型IndicBERT v2,系统提升印度语言的NLU能力,并相较强基线平均提升2个百分点。
2023-05-24 cs.CL
GeoBuildBench: A Benchmark for Interactive and Executable Geometry Construction from Natural Language
Peking University(北京大学);Wangxuan Institute of Computer Technology(王璇计算机技术研究院)
GeoBuildBench评估大语言模型能否将自然语言几何问题转化为可执行构造,包含489道中文教材问题,验证了多模态模型在交互构造任务中的局限性。
2026-05-13 cs.CL
BaziQA-Benchmark: Evaluating Symbolic and Temporally Compositional Reasoning in Large Language Models
Shanghai Jiao Tong University(上海交通大学)
BaziQA-Benchmark通过结构化推理协议评估大语言模型在符号性和时间组合推理中的表现,揭示其在时间难度和推理顺序上的敏感性及系统性缺陷。
2026-02-13 cs.CL
CRASS: A Novel Data Set and Benchmark to Test Counterfactual Reasoning of Large Language Models
Institute for Applied Informatics at Leipzig University (InfAI)(莱比锡大学应用信息学研究所(InfAI))
我们介绍了CRASS(反事实推理评估)数据集和基准,利用质疑反事实条件作为一种新的和强大的工具来评估大语言模型。我们提出的数据集设计和基准,支持对人群验证的人类基线评分。我们测试六个国家的最先进的模型对我们的基准。我们的研究结果表明,它对这些模型提出了有效的挑战,并为其改进开辟了相当大的空间。
2022-10-04 cs.CL
FormosanBench: Benchmarking Low-Resource Austronesian Languages in the Era of Large Language Models
Institute of Linguistics, Academia Sinica(台湾“中央研究院”语言学研究所);ALOHA Lab, University of Hawaii at Manoa(夏威夷大学马诺а分校ALOHA实验室)
本文提出首个针对低资源南岛语系语言的基准FORMOSANBENCH,涵盖三种濒危语言及翻译、ASR和摘要任务,实验表明现有LLM表现不佳,凸显了开发包容性NLP技术的迫切需求。
2025-06-12 cs.CL
MEGAVERSE: Benchmarking Large Language Models Across Languages, Modalities, Models and Tasks
Microsoft Corporation(微软公司)
本文提出MEGAVERSE基准,利用22个覆盖83种语言的数据集及2个多模态数据集,系统评估多款SoTA LLM和视觉模型,并揭示模型性能差异及多语言基准污染问题。
2024-04-02 cs.CL
Construction of a Japanese Financial Benchmark for Large Language Models
Preferred Networks, Inc.(Preferred Networks公司)
本研究构建了包含日语和金融领域特定任务的基准,对部分模型进行测量,证实GPT-4表现卓越,且该基准能有效区分各性能范围内模型的得分。
2024-03-22 cs.CL q-fin.CP
SwiftEval: Developing a Language-Specific Benchmark for LLM-generated Code Evaluation
MacPaw
针对现有基准难以高质量评估Swift代码生成的问题,提出首个手工制作的Swift基准SwiftEval,评估44个模型并发现需语言特定特性的问题得分显著下降。
2025-05-30 cs.CL cs.LG cs.PL
TransClean: A Benchmark for Detecting and Extracting Clean Translations from Large Language Model Outputs
University of Oslo(奥斯陆大学)
针对LLM翻译输出中的噪声问题,构建了包含9900对噪声/干净翻译的基准TransClean,并评估了两种提取方法,为评估和改进翻译清洁度提供了首个系统框架。
2026-09-11 cs.CL
CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark
Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Pingan Health Technology(平安健康科技);Ping An Health Cloud Company Limited(平安健康云有限公司);Ping An International Smart City Technology Co., Ltd(平安国际智慧城市科技股份有限公司);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);Tongji University(同济大学);Philips Research China(飞利浦中国研究院);Tsinghua University(清华大学)
人工智能(AI),随着生物医学语言理解的最新进展,正在逐渐改变医疗实践。随着生物医学语言理解基准的发展,AI应用在医学领域得到了广泛的应用。然而,大多数基准仅限于英语,这使得在其他语言中复制英语的许多成功成为一项挑战。为了促进这一方向的研究,我们收集了真实世界的生物医学数据,并提出了第一个中文生物医学语言理解评估(CBLUE)基准:自然语言理解任务的集合,包括命名实体识别,信息抽取,临床诊断规范化,单句/句子对分类,以及相关的在线平台模型评估,比较和分析。为了建立对这些任务的评估,我们报告了当前11个预训练的中国模型的实证结果,实验结果表明,最先进的神经模型的表现远远不如人类的天花板。我们的基准测试在\url{https://tianchi.aliyun.com/dataset/dataDetail?dataId=95414&lang=en-us}上发布。
2022-03-07 cs.AI cs.CL cs.IR
IndiBias: A Benchmark Dataset to Measure Social Biases in Language Models for Indian Context
IIT Bombay(印度理工学院孟买分校);Google(谷歌);Adobe Research(奥多比研究院)
本文构建英语—印地语双语基准 IndiBias,覆盖印度多类社会与交叉性偏见,并据此评估十个语言模型,发现其在多数交叉群体中偏见更明显。
2024-04-03 cs.CL
YallaMorph: A Benchmark for Evaluating Arabic Morphological Generation in Large Language Models
New York University Abu Dhabi(纽约大学阿布扎比分校);Stony Brook University(石溪大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对大语言模型在阿拉伯语形态生成上的不足,提出大规模基准YallaMorph,涵盖多种词类与配置,评估发现附着词及罕见形式生成尤为困难。
2026-09-10 cs.CL
Evaluating Large Language Models with Human Feedback: Establishing a Swedish Benchmark
KTH(瑞典皇家理工学院)
本研究针对瑞典语等低资源语言,通过人类反馈和强制选择排序建立基准,评估十一个主流及定制LLM的瑞典语理解与生成能力,并发布chatbotarena.se基准以促进后续研究。
2024-05-22 cs.AI cs.CL
EQ-Bench: An Emotional Intelligence Benchmark for Large Language Models
本文提出EQ-Bench基准,通过让大型语言模型预测对话中角色情绪状态强度来评估其情感智能,发现其与MMLU等多领域综合基准高度相关,并提供了开源代码和排行榜。
2024-01-03 cs.AI cs.CL
CALVIN: A Benchmark for Language-Conditioned Policy Learning for Long-Horizon Robot Manipulation Tasks
University of Freiburg(弗赖堡大学);University of Technology Nuremberg(纽伦堡工业大学)
在环境中与人类共存的通用机器人必须学会将人类语言与其感知和行动联系起来,以便在一系列日常任务中发挥作用。此外,他们还需要掌握各种通用技能,以便通过遵循不受约束的语言指令来完成长期任务。在本文中,我们提出了CALVIN(从语言和视觉组合动作),一个开源的模拟基准学习长期的语言条件任务。我们的目标是开发能够在很长一段时间内解决许多机器人操作任务的代理,从机载传感器,并仅通过人类语言指定。CALVIN任务在序列长度、动作空间和语言方面比现有的视觉和语言任务数据集更复杂,并支持传感器套件的灵活规范。我们评估代理在zero-shot到新的语言指令和新的环境和对象。我们发现,基于多上下文模仿学习的基线模型在CALVIN上表现不佳,这表明开发创新代理人有很大的空间,这些代理人学习将人类语言与他们的世界模型联系起来。
2022-07-13 cs.AI cs.CL cs.CV
Measuring and Benchmarking Large Language Models' Capabilities to Generate Persuasive Language
Aarhus University(奥胡斯大学);University of Copenhagen(哥本哈根大学)
该研究构建Persuasive-Pairs数据集并训练回归评分模型,跨领域基准测试大语言模型在说服性改写和释义场景下的说服性语言生成能力,还发现LLaMA3的角色设定会显著影响其说服性语言输出。
2025-02-20 cs.AI cs.CL
LRWR: Large-Scale Benchmark for Lip Reading in Russian language
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
唇读,也称为视觉语音识别,旨在通过分析嘴唇及其附近区域的视觉变形来识别视频中的语音内容。这一领域研究的一个重大障碍是缺乏适用于各种语言的适当数据集:到目前为止,这些方法仅限于英语或汉语。在本文中,我们介绍了一个自然分布的大规模基准唇读在俄罗斯的语言,命名为LRWR,它包含235类和135扬声器。我们提供了数据集收集管道和数据集统计的详细描述。我们还提出了一个全面的比较目前流行的唇读方法LRWR和进行详细的性能分析。实验结果显示了基准语言之间的差异,并为唇读模型的微调提供了几个有前途的方向。由于我们的发现,我们还在LRW基准上取得了新的最先进的结果。
2021-09-14 cs.CV cs.LG
Isolating Language-Coding from Problem-Solving: Benchmarking LLMs with PseudoEval
The Hong Kong University of Science and Technology(香港科技大学)
针对现有代码生成基准无法区分问题求解与语言编码瓶颈的问题,构建多语言基准 PseudoEval,以伪代码为输入隔离瓶颈,发现 Python 瓶颈在问题求解、Rust 在语言编码,且问题求解可跨语言迁移。
2025-02-26 cs.CL cs.SE