Benchmarking Foundation Models with Language-Model-as-an-Examiner
Singapore Management University（新加坡管理大学）；Tsinghua University（清华大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对现有基础模型开放式问答基准存在的测试泄露、评估自动化不足问题，提出“语言模型作为考官”的基准框架，通过多领域出题、追问、打分排序结合及同侪考核策略，实现可扩展、更公平可靠的无参考评估。
2023-11-04 cs.CL cs.LG
MMSciBench: Benchmarking Language Models on Chinese Multimodal Scientific Problems
Department of Computer Science, Yale University（耶鲁大学计算机科学系）；Department of Computer Science, Brown University（布朗大学计算机科学系）；School of Data Science, Fudan University（复旦大学数据科学学院）；Shanghai Key Laboratory of Data Science（上海数据科学关键实验室）；Datawiz LLC
本文提出MMSciBench基准，通过纯文本和文本-图像格式评估语言模型在中文数学与物理问题上的多模态科学推理能力，揭示现有最先进模型在复杂推理和视觉-文本整合方面的关键局限。
2025-06-01 cs.CL cs.LG
Fluid Language Model Benchmarking
Allen Institute for AI（阿尔伦人工智能研究所）；University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
针对语言模型基准测试成本高、易饱和等问题，提出基于项目响应理论动态选择评估项目的 Fluid Benchmarking 方法，在效率、有效性、方差和饱和度四个维度上均取得更优表现。
2025-09-14 cs.AI cs.CL cs.LG
Benchmarking Large Language Models for News Summarization
大语言模型（LLM）已经显示出自动摘要的前景，但其成功背后的原因却知之甚少。通过对不同预训练方法、提示和模型尺度的10个LLM进行人工评估，我们得出了两个重要的观察结果。首先，我们发现指令微调，而不是模型大小，是LLM的zero-shot总结能力的关键。其次，现有的研究受到低质量参考文献的限制，导致低估了人类的表现，以及较低的Few-Shot和微调性能。为了更好地评估LLM，我们对我们从自由撰稿人那里收集的高质量摘要进行了人工评估。尽管主要的文体差异，如释义量，我们发现，LMM摘要被判断为与人类的书面摘要。
2023-01-31 cs.AI cs.CL cs.LG
Beyond Static Models and Test Sets: Benchmarking the Potential of Pre-trained Models Across Tasks and Languages
Microsoft Research（微软研究院）；Microsoft R&D（微软研发部门）
虽然最近的大规模多语言语言模型（MMLM），如mBERT和XLMR支持大约100种语言，但大多数现有的多语言NLP基准测试仅提供少数语言的评估数据，语言多样性很小。我们认为，这使得现有的多语言评估的做法不可靠，并没有提供整个语言景观的MMLM的性能的全貌。我们建议，最近在NLP任务的性能预测中所做的工作可以作为一个潜在的解决方案，通过利用与数据和语言类型相关的功能来估计不同语言的MMLM的性能，从而在多语言NLP中固定基准测试。我们比较了性能预测与翻译测试数据与四个不同的多语言数据集的案例研究，并观察到，这些方法可以提供可靠的性能估计，往往与基于翻译的方法，而不需要任何额外的翻译以及评估成本。
2022-11-14 cs.CL
LLM-Inference-Bench: Inference Benchmarking of Large Language Models on AI Accelerators
Argonne National Laboratory（阿贡国家实验室）
该研究推出综合基准测试套件LLM-Inference-Bench，在多类GPU与专用AI加速器上，测试不同推理框架和7B、70B参数的主流LLM的推理性能，还提供交互式仪表板辅助最优配置选型。
2024-10-31 cs.LG
Transfer Learning in Biomedical Natural Language Processing: An Evaluation of BERT and ELMo on Ten Benchmarking Datasets
National Center for Biotechnology Information（国家生物技术信息中心）；National Library of Medicine, National Institutes of Health（美国国立卫生研究院国家医学图书馆）
受通用语言理解评估基准成功的启发，我们引入了生物医学语言理解评估（BLUE）基准，以促进生物医学领域中预训练语言表征开发的研究。该基准测试由五个任务和十个数据集组成，涵盖了不同数据集大小和难度的生物医学和临床文本。我们还评估了基于BERT和ELMo的几个基线，发现在PubMed摘要和MIMIC-III临床笔记上预训练的BERT模型达到了最佳结果。我们在https://github.com/ncbi-nlp/BLUE_Benchmark上公开提供数据集、预训练模型和代码。
2019-06-18 cs.CL
Benchmarking Multilabel Topic Classification in the Kyrgyz Language
Steklov Mathematical Institute at St. Petersburg（圣彼得堡斯捷克洛夫数学研究所）；St. Petersburg State University（圣彼得堡国立大学）；Kazan (Volga Region) Federal University（喀山（伏尔加河沿岸）联邦大学）；Kyrgyz State Technical University n. a. I. Razzakov（以I·拉扎科夫命名的吉尔吉斯国立技术大学）
针对吉尔吉斯语资源匮乏问题，构建了基于24.KG新闻数据集的公共基准，提出多标签主题分类基线模型，并评估了统计与神经方法。
2023-08-30 cs.CL
MLonMCU: TinyML Benchmarking with Fast Retargeting
Technical University of Munich（慕尼黑工业大学）
本文提出MLonMCU工具，用于自动化端到端TinyML基准测试，支持快速重定向，并通过对TFLite for Microcontrollers和TVM的大量配置测试验证其高效性。
2023-06-15 cs.LG
$\mathbf{(N,K)}$-Puzzle: A Cost-Efficient Testbed for Benchmarking Reinforcement Learning Algorithms in Generative Language Model
ByteDance, Inc.（字节跳动公司）；University of Washington（华盛顿大学）
针对生成式语言模型强化学习算法缺乏低成本标准化测试基准的问题，研究者提出泛化的$(N,K)$-Puzzle测试平台，并验证了PPO、IPO、DPO等多种强化学习算法的效果。
2024-03-11 cs.AI cs.CL cs.LG
Benchmarking Language Models for Code Syntax Understanding
University of Maryland, College Park（马里兰大学帕克分校）；Google Research（谷歌研究院）；Washington University in St. Louis（圣路易斯华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）
预训练的语言模型在自然语言处理和程序理解方面都表现出了令人印象深刻的性能，它将输入表示为令牌序列，而不显式地对其结构进行建模。一些先前的工作表明，预先训练的语言模型可以捕获自然语言的语法规则，而无需对语法理解任务进行微调。然而，到目前为止，对预训练模型如何理解代码结构的理解有限。在这项工作中，我们对最先进的预训练模型进行了第一次彻底的基准测试，用于识别程序的语法结构。具体来说，我们介绍Codebooks，一个大规模的数据集的程序注释的语法关系，在其相应的抽象语法树。我们的主要观察是，现有的代码预训练的语言模型仍然缺乏对代码语法的理解。事实上，这些预先训练的程序设计语言模型无法匹配基于位置偏移和关键字的简单基线的性能。我们还提出了一个自然语言的基准突出自然语言和程序设计语言的语法结构理解方面的差异。我们的研究结果指出了现有的程序设计语言的预训练方法的主要局限性，并提出了建模代码语法结构的重要性。
2022-10-26 cs.CL
FinNLI: Novel Dataset for Multi-Genre Financial Natural Language Inference Benchmarking
University of Oxford（牛津大学）；JPMorgan AI Research（摩根大通人工智能研究院）
本文提出金融自然语言推理基准数据集FinNLI，含21,304对样本，评估显示领域迁移降低性能，LLMs最高宏F1为78.62%，暴露金融推理弱点。
2025-04-22 cs.AI cs.CL cs.LG
Benchmarking Optimizers for Large Language Model Pretraining
EPFL（瑞士联邦理工学院）
针对大语言模型预训练优化方法缺乏统一对比标准的问题，该研究在标准化场景下系统调控变量开展全面评估，给出优化器选择指导，指明研究方向并公开可复现代码以支撑领域发展。
2025-09-01 cs.LG
PhySense: Principle-Based Physics Reasoning Benchmarking for Large Language Models
UCLA（加州大学洛杉矶分校）；Caltech（加州理工学院）；UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
本文提出基于原理的物理推理基准PhySense，发现当前大语言模型缺乏简洁的原理优先推理能力，为开发高效、稳健且可解释的科学推理AI系统提供了见解。
2025-05-30 cs.AI cs.CL cs.LG
DivLogicEval: A Framework for Benchmarking Logical Reasoning Evaluation in Large Language Models
The Hong Kong University of Science and Technology（香港科技大学）；Fudan University（复旦大学）；WeChat AI, Tencent（腾讯微信AI）
本文提出DivLogicEval基准，以反直觉自然句子评估LLM逻辑推理，并引入新指标减少偏差，实验比较了多种流行LLM的性能。
2025-09-26 cs.AI cs.CL cs.LG
ReadMe++: Benchmarking Multilingual Language Models for Multi-Domain Readability Assessment
College of Computing（计算机学院）；Georgia Institute of Technology（佐治亚理工学院）
本文提出了多语言多领域可读性评估基准ReadMe++，包含9757个句子的人工标注，用于全面评估大型语言模型在有监督、无监督和少样本提示设置下的表现，并发现其具有出色的领域泛化和跨语言迁移能力。
2024-10-16 cs.AI cs.CL cs.LG
Bangla Sign Language Translation: Dataset Creation Challenges, Benchmarking and Prospects
Islamic University of Technology（伊斯兰技术大学）
本文提出孟加拉手语翻译数据集IsharaKhobor，探讨数据集创建挑战，并通过基准测试和消融实验展示其改进版本。
2025-11-26 cs.CL cs.CV
Bridging the Bosphorus: Advancing Turkish Large Language Models through Strategies for Low-Resource Language Adaptation and Benchmarking
Koç University（科克大学）；KUIS AI Center（KUIS人工智能中心）
本文针对土耳其语低资源困境，对比英文预训练模型适配与土耳其语从零预训练，并结合新型指令微调和基准排行榜，系统评估数据、模型规模及跨语言迁移效果。
2024-05-07 cs.AI cs.CL cs.LG
Benchmarking down-scaled (not so large) pre-trained language models
Ludwig-Maximilians-Universität（路德维希-马克西米利安大学）
基于transformer的大型语言模型在不同大小的语料库上进行预训练，步骤数量不同，批量大小也不同。与此同时，更基本的组件，如预训练目标或架构超参数，被修改。因此，总体而言，很难将业绩变化归因于具体因素。由于在整个系统上搜索超参数空间的成本太高，因此我们在公共预训练语料库上预训练几种流行的基于Transformer的架构的缩小版本，并在GLUE任务的子集上对它们进行基准测试（Wang等人，2018年）。具体来说，我们系统地比较了不同形状参数和模型大小的三个预训练目标，同时还改变了预训练步骤的数量和批量大小。在我们的实验中，MLM + NSP（BERT风格）始终优于MLM（Roberta风格）以及标准LM目标。此外，我们发现额外的计算应该主要分配给增加的模型大小，而训练更多的步骤是低效的。基于这些观察结果，作为最后一步，我们尝试使用适合基于transformer的语言模型的复合缩放（Tan和Le，2019）来扩展几个系统。
2021-05-11 cs.CL cs.LG stat.ML
KINNEWS and KIRNEWS: Benchmarking Cross-Lingual Text Classification for Kinyarwanda and Kirundi
University of Electronic Science and Technology of China（电子科技大学）；Masakhane
文本分类的最新进展集中在高资源语言，如英语和中文。对于低资源语言，其中包括大多数非洲语言，缺乏注释良好的数据和有效的预处理，阻碍了成功方法的进步和转让。在本文中，我们介绍了两个新闻数据集（KINNEWS和KIRNEWS）的Kinyarwanda和基隆迪，两个低资源的非洲语言的新闻文章的多类分类。这两种语言是相互理解的，但尽管基尼亚卢旺达语在一定程度上已经在自然语言处理（NLP）中进行了研究，但这项工作构成了基隆迪语的第一项研究。除了数据集，我们还提供了统计数据、预处理指南以及单语和跨语言基线模型。我们的实验表明，在资源相对较高的基尼亚卢旺达语的训练嵌入产生成功的跨语言迁移基隆迪。此外，创建的数据集的设计允许在未来的研究中更广泛地使用NLP，而不仅仅是文本分类，例如表示学习，更远语言的跨语言学习，或者作为解析，POS标记和NER等任务的新注释的基础。数据集、停用词和预训练的嵌入可在https://github.com/Andrews2017/KINNEWS-and-KIRNEWS-Corpus上公开获得。
2020-10-23 cs.CL cs.IR cs.LG
CausalVLBench: Benchmarking Visual Causal Reasoning in Large Vision-Language Models
Department of Electrical Engineering and Computer Science University of Arkansas（电气工程与计算机科学系 奎萨克大学）
本文提出CausalVLBench基准，包含因果结构推断、干预目标预测和反事实预测三个任务，评估开源LVLMs在视觉因果推理上的能力，揭示其优缺点并指引改进方向。
2025-10-10 cs.AI cs.CL cs.LG
Social Bias Probing: Fairness Benchmarking for Language Models
University of Pisa（比萨大学）；University of Copenhagen（哥本哈根大学）
本文提出SoFa大规模基准框架，通过评估差别对待来探测语言模型的社会偏见，发现偏见比已知更微妙，且宗教身份导致最显著差别对待，模型行为反映了现实困境。
2024-10-07 cs.CL
Is Your Benchmark Still Useful? Dynamic Benchmarking for Code Language Models
The Chinese University of Hong Kong（香港中文大学）；Huazhong University of Science and Technology（华中科技大学）；ETH Zurich（苏黎世联邦理工学院）
研究模型评估中如何在模型训练可能已见过基准的情况下保持其有用性，提出动态基准测试框架，通过语义保留突变变换输入构建新基准，评估发现模型性能变差、排名变化及能抵抗数据污染问题。
2026-07-07 cs.CL cs.SE
RxRx3-core: Benchmarking drug-target interactions in High-Content Microscopy
Recursion；Valence Labs
本文提出RxRx3-core数据集及零样本药物-靶点相互作用预测基准，通过提供仅18GB的精选高内涵显微镜图像数据与代码，降低了研究门槛，旨在加速HCS数据表示学习创新与生物学发现。
2025-05-30 cs.LG q-bio.CB q-bio.QM
What Will it Take to Fix Benchmarking in Natural Language Understanding?
New York University（纽约大学）；Google Research（谷歌研究院）
许多自然语言理解（NLU）任务的评估都被打破了：不可靠和有偏见的系统在标准基准测试中得分如此之高，以至于开发更好系统的研究人员几乎没有空间来展示他们的改进。最近的趋势是放弃IID基准测试，而采用逆向构造的、分布外的测试集，这确保了当前模型的性能很差，但最终只会掩盖我们希望基准测试测量的能力。在这份立场文件中，我们列出了我们认为NLU基准应该满足的四个标准。我们认为，目前大多数基准测试都未能达到这些标准，而对抗性的数据汇集并不能有意义地解决这些失败的原因。相反，恢复健康的评估生态系统将需要在基准数据集的设计、注释的可靠性、规模以及处理社会偏见的方式方面取得重大进展。
2021-10-15 cs.CL
Multilingual European Language Models: Benchmarking Approaches and Challenges
DFKI GmbH（德国人工智能研究中心）；Humboldt-Universität zu Berlin（柏林洪堡大学）
本文分析了七个多语言欧洲基准，指出了四个主要挑战，并提出人在回路验证与迭代翻译排名等方案，强调需构建具文化意识且严格验证的基准以准确评估多语言LLMs。
2025-04-02 cs.CL
Dialogue Games for Benchmarking Language Understanding: Motivation, Taxonomy, Strategy
University of Potsdam（波茨坦大学）
本文提出用对话博弈补充传统语言理解测试，通过构建情境化语言使用活动并建立与底层能力模型关联的分类体系，以更全面评估人工语言理解能力。
2023-04-14 cs.CL
Same model, better performance: the impact of shuffling on DNA Language Models benchmarking
Baillie Gifford Pandemic Science Hub（巴利尔·吉福德流行病科学中心）；University of Edinburgh（爱丁堡大学）
本研究发现数据洗牌对DNA语言模型基准测试性能有显著影响，提出预洗牌解决方案以提高基准可靠性。
2025-12-10 cs.LG q-bio.GN
EvoGPT-f: An Evolutionary GPT Framework for Benchmarking Formal Math Languages
本文提出进化框架EvoGPT-f，首次系统定量分析五种形式化数学语言在四种分词方法下的机器可学习性差异，为跨语言比较研究奠定基础。
2024-02-12 cs.AI cs.CL cs.LG
Benchmarking Compositionality with Formal Languages
University of Cambridge（剑桥大学）；New York University（纽约大学）；San José State University（圣何塞州立大学）；FAIR（FAIR（脸书人工智能研究院））；ETH Zürich（苏黎世联邦理工学院）
本文从形式语言角度研究NLP大模型的组合性学习能力，利用确定性有限状态转换器生成可控数据集，发现模型能否学会组合关系取决于转移覆盖率，并在每转移400个示例处设定软学习界限。
2023-08-01 cs.CL
RESPONSE: Benchmarking the Ability of Language Models to Undertake Commonsense Reasoning in Crisis Situation
University College London（伦敦大学学院）
本文构建人工标注数据集RESPONSE，从多时间阶段评估LLM的灾害常识推理，发现GPT-4等模型在即时行动上的正确率仅37%。
2025-03-14 cs.CL
I-RAVEN-X: Benchmarking Generalization and Robustness of Analogical and Mathematical Reasoning in Large Language and Reasoning Models
IBM Research – Zurich（IBM瑞士研究中心）；ETH Zurich（苏黎世联邦理工学院）
本文提出符号基准I-RAVEN-X，通过增加操作数复杂度、属性范围和感知不确定性，评估大语言模型与大推理模型在类比与数学推理上的泛化与鲁棒性，发现LRMs表现更优但仍难以应对不确定性推理。
2025-10-31 cs.AI cs.LG
Consolidating and Developing Benchmarking Datasets for the Nepali Natural Language Understanding Tasks
Information and Language Processing Research Lab (ILPRL)（信息与语言处理研究实验室）；Kathmandu University（加德满都大学）；Institute for Research and Innovation in Intelligent Systems (IRIIS)（智能系统研究与创新研究院）
本文针对现有尼泊尔语NLU基准覆盖任务不足的问题，新增12个数据集构建NLUE基准，通过实验验证现有模型的性能局限，为低资源尼泊尔语NLP研究提供更全面的评估标准。
2025-11-14 cs.CL
Traveling Across Languages: Benchmarking Cross-Lingual Consistency in Multimodal LLMs
针对多模态大语言模型（MLLMs）跨语言性能不一致问题，本文提出KnowRecall和VisRecall两个基准，分别评估15种语言的事实知识一致性与9种语言的视觉记忆一致性，实验表明现有MLLMs仍存在挑战，为相关研究提供评估工具。
2025-08-24 cs.AI cs.CL cs.CV
Benchmarking Multimodal Models for Ukrainian Language Understanding Across Academic and Cultural Domains
Ukrainian Catholic University（乌克兰天主教大学）；OpenBabylon；Minerva University（密涅瓦大学）
本文构建了基于乌克兰大学入学考试的4300余题多模态基准ZNO-Vision，评估多模型在12个学科上的表现，并首次开展乌克兰语多模态文本生成评估及文化知识测试，以推动低资源语言多模态能力发展。
2024-11-22 cs.CL
Dynamic Benchmarking of Masked Language Models on Temporal Concept Drift with Multiple Views
University of Sheffield（谢菲尔德大学）；AWS AI Labs（亚马逊云科技人工智能实验室）
时间概念漂移是指数据随时间变化的问题。在NLP中，这意味着语言（例如新的表达方式，意义转变）和事实知识（例如新概念，更新的事实）随着时间的推移而演变。针对后者，我们在一系列旨在评估时间概念漂移影响的测试上对$11$预训练掩蔽语言模型（MLMs）进行了基准测试，因为广泛使用的语言模型必须与现实世界不断发展的事实更新保持同步。具体来说，我们提供了一个整体框架，（1）动态创建任何时间粒度（例如月，季度，年）的事实数据的时间测试集，（2）构建细粒度的测试分割（例如更新，新的，未更改的事实）以确保全面的分析，以及（3）以三种不同的方式评估MLM（单令牌探测，多令牌生成，MLM评分）。与以前的工作相比，我们的框架旨在揭示传销随着时间的推移有多强大，从而通过利用多个评估视图来提供信号，以防它已经过时。
2023-02-23 cs.CL
Binary Code Summarization: Benchmarking ChatGPT/GPT-4 and Other Large Language Models
The Ohio State University（俄亥俄州立大学）；Microsoft Research（微软研究院）
本研究针对二进制代码摘要的难点，构建含55.7万+函数的BinSum基准，提出提示词优化方法与新语义相似度指标，经多LLM大规模评估得出10项关键洞见，明确了LLM的潜力与待解挑战。
2023-12-15 cs.CL cs.CR cs.LG
Mind the Motions: Benchmarking Theory-of-Mind in Everyday Body Language
本文提出Motion2Mind框架，通过专家编纂的肢体语言参考库评估机器解读非言语线索的能力，发现现有AI在非言语解读上存在显著差距。
2026-05-15 cs.CL
UVLM: A Universal Vision-Language Model Loader for Reproducible Multimodal Benchmarking
UVLM提供统一接口加载和基准测试多种视觉-语言模型架构，支持LLaVA-NeXT和Qwen2.5-VL，通过抽象差异实现一致评估，具备多任务提示构建、共识验证和灵活token预算等功能。
2026-03-14 cs.AI cs.CV cs.LG
Can Humans Dream of Electric Sheep? Human-Written Samples for Fine-Grained Vision-and-Language Hallucination Benchmarking
University of Helsinki（赫尔辛基大学）；Politecnico di Torino（都灵理工大学）；Universiteit Utrecht（乌得勒支大学）；Université Bretagne Sud（南布列塔尼大学）；University of Copenhagen（哥本哈根大学）；University Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；University of Lorraine（洛林大学）
该研究针对模型迭代快导致幻觉评估普适性不足的问题，构建多语言人类编写幻觉样本数据集，证实其可替代模型生成样本用于细粒度视觉语言幻觉基准测试。
2026-08-04 cs.AI cs.CL cs.CV
MultiPL-E: A Scalable and Extensible Approach to Benchmarking Neural Code Generation
大语言模型已经展示了生成自然语言和程序设计语言文本的能力。这样的模型为多语言代码生成提供了可能性：代码生成模型能将知识从一种语言推广到另一种语言吗？虽然当代的代码生成模型可以生成语义正确的Python代码，但对它们在其他语言中的能力知之甚少。我们提出了MultiPL-E，一个将单元测试驱动的代码生成基准转换为新语言的系统。我们通过使用MultiPL-E将两个流行的Python代码生成基准转换为18种额外的程序设计语言，创建了第一个大规模多语言代码生成基准。我们使用MultiPL-E将HumanEval基准测试和MBPP基准测试扩展到18种语言，包括一系列编程范式和流行程度。使用这些新的并行基准测试，我们评估了三种最先进的代码生成模型：Codex，CodeGen和InCoder的多语言性能。我们发现Codex在其他几种语言的Python上的性能相当甚至超过了它。MultiPL-E中表示的程序设计语言的范围使我们能够探索语言频率和语言特征对模型性能的影响。最后，将代码生成基准编译为新的程序设计语言的MultiPL-E方法是可伸缩和可扩展的，使得评估新的模型、基准和语言变得简单。
2022-12-19 cs.LG cs.PL
TinyML Platforms Benchmarking
University of Trento（特伦托大学）
用于机器学习（ML）的最先进超低功耗嵌入式设备的最新进展已经允许一类新的产品，其关键特性使微控制器上的ML功能具有小于1 mW的功耗（TinyML）。TinyML通过在低功耗嵌入式设备的边缘聚合和分析数据提供了一个独特的解决方案。然而，我们直到最近才能够在微控制器上运行ML，而且该领域仍处于起步阶段，这意味着硬件、软件和研究都在迅速变化。因此，已经为不同的平台开发了许多TinyML框架，以促进ML模型的部署和标准化过程。因此，在本文中，我们专注于对两种流行的框架进行基准测试：Arduino Nano BLE上的Tensorflow Lite Micro（TFLM）和STM32-NucleoF 401 RE上的CUBE AI，为特定应用提供标准化的框架选择标准。
2021-11-30 cs.LG cs.NE
Simulation Code Generation for Fluid Systems using Large Language Models: Benchmarking Models and Prompting Strategies
German Aerospace Centre (DLR)（德国航空航天中心）；Technische Hochschule Würzburg-Schweinfurt（维尔茨堡-施韦因富特应用技术大学）
本研究通过系统比较10种大语言模型与6种提示策略，评估其将流体系统模型图表示转换为WNTR、Modelica代码的能力，为相关设计流程提供指导，同时指出仿真保真度仍存差距。
2026-08-03 cs.LG cs.SE
Building a Multivariate Time Series Benchmarking Datasets Inspired by Natural Language Processing (NLP)
Technical University of Munich（慕尼黑工业大学）；Fraunhofer Institute for Electronic Microsystems and Solid State Technologies EMFT（弗劳恩霍夫电子微系统与固态技术研究所EMFT）
受NLP基准数据集成功启发，提出创建多变量时间序列基准数据集的新方法，并利用多任务学习策略提升模型性能，推动时间序列建模发展。
2024-10-14 cs.AI cs.CL
LLM Benchmarking with LLaMA2: Evaluating Code Development Performance Across Multiple Programming Languages
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Louisiana State University（路易斯安那州立大学）
本文评估Llama 2-70B在科学计算中生成代码、文档、单元测试及翻译代码的能力，发现其处理简单任务尚可，但复杂并行计算需大量人工修正。
2025-05-30 cs.AI cs.LG cs.SE
Benchmarking Large Language Models for Automated Verilog RTL Code Generation
New York University（纽约大学）；University of Calgary（卡尔加里大学）
自动化硬件设计可以消除工程过程中的大量人为错误，从而减少错误。Verilog是一种流行的硬件描述语言，用于建模和设计数字系统，因此生成Verilog代码是关键的第一步。新兴的大语言模型（LLM）能够用其他程序设计语言编写高质量的代码。在本文中，我们的LLM生成有用的Verilog的能力的特点。为此，我们在从GitHub和Verilog教科书收集的Verilog数据集上微调了预训练的LLM。我们构建了一个评估框架，包括功能分析测试台和测试Verilog代码的语法生成的不同难度的问题的流程。我们的研究结果表明，在我们的问题场景中，微调导致LLM更能够生成语法正确的代码（总体为25.9%）。此外，在分析功能正确性时，经过微调的开源CodeGen LLM可以超越最先进的商业Codex LLM（总体为6.5%）。培训/评估脚本和LLM检查点可在https://github.com/shailja-thakur/VGen上找到。
2022-12-13 cs.LG cs.PL cs.SE
$τ$-Multilingual: Benchmarking Voice Agents Across Languages
Sierra；Mercor；Princeton University（普林斯顿大学）
提出τ-Multilingual多语言语音代理基准，扩展至五种语言，发现韩语和普通话任务完成度显著下降，并发布语言包与评估工具。
2026-09-30 cs.AI cs.CL cs.SD
Comprehensive benchmarking of large language models for RNA secondary structure prediction
Research Institute for Signals, Systems and Computational Intelligence（信号、系统与计算智能研究所）
本研究在统一深度学习框架下对多种预训练RNA-LLM进行综合基准测试，发现两个模型在RNA二级结构预测任务中表现更优，并揭示了低同源场景下泛化的重大挑战。
2025-01-31 cs.AI cs.LG q-bio.BM
MLPerf Power: Benchmarking the Energy Efficiency of Machine Learning Systems from Microwatts to Megawatts for Sustainable AI
Harvard University（哈佛大学）；Meta；NVIDIA（英伟达公司）；UNC Charlotte（北卡罗来纳大学夏洛特分校）；Syntiant（Syntiant公司）；Codex（Codex公司）；Dell（戴尔公司）；Intel（英特尔公司）；SMC（SMC公司）；FlexAI（FlexAI公司）；AMD（超威半导体公司）；KRAI（KRAI公司）；Google（谷歌公司）；Decompute（Decompute公司）；GATE Overflow（GATE Overflow公司）；MLCommons（MLCommons组织）
本文提出MLPerf Power基准测试方法，覆盖从微瓦到兆瓦的ML系统能效评估，基于60个系统的1841项测量揭示性能、复杂性与能效的权衡，为可持续AI设计提供依据。
2025-02-06 cs.AR cs.DC cs.LG
Risk Aware Benchmarking of Large Language Models
IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本文提出基于一阶和二阶随机占优的风险感知基准评测框架，通过指标组合与自助法方差估计量化统计显著性，用于比较不同大语言模型在偏离指令和输出有毒内容方面的风险。
2024-06-09 cs.LG math.ST q-fin.RM
SpokeN-100: A Cross-Lingual Benchmarking Dataset for The Classification of Spoken Numbers in Different Languages
Department Artificial Intelligence in Biomedical Engineering（生物医学工程人工智能系）
该研究提出SpokeN-100，一个包含四种语言、32位说话者、12,800个音频样本的跨语言口语数字基准数据集，并设计了语言和数字分类任务，通过进化神经架构搜索在微控制器上实现了首个基准结果。
2024-03-14 cs.AI cs.SD eess.AS
BELL: Benchmarking the Explainability of Large Language Models
Infosys Limited（印孚瑟斯有限公司）；Responsible AI Office（负责任人工智能办公室）
本文针对大型语言模型决策过程缺乏透明度的问题，提出了一种名为BELL的标准化基准测试技术，用于评估大型语言模型的可解释性。
2025-04-22 cs.AI cs.CL
Benchmarking Distilled Language Models: Performance and Efficiency in Resource-Constrained Settings
Lenovo（联想）
本文通过对比蒸馏模型与原始模型，验证了蒸馏在资源受限环境下提升性能与效率的优越性。
2026-01-28 cs.CL cs.LG
Beyond Benchmarking: A New Paradigm for Evaluation and Assessment of Large Language Models
针对现有大语言模型基准存在的内容受限、更新滞后、缺优化指导等问题，提出Benchmarking-Evaluation-Assessment新范式，将评估从“考场”模式转为“体检”模式，可深度归因问题并提供优化建议。
2024-07-10 cs.CL
