Towards Benchmarking Foundation Models for Tabular Data With Text
Department of Computer Science, University of Freiburg, Freiburg, Germany（弗赖堡大学计算机科学系）；Prior Labs, Freiburg, Germany（Prior实验室）；ELLIS Institute, Tubingen, Germany（图宾根ELLIS研究所）
针对现有表格数据基准缺乏文本列的问题，提出消融式策略将文本纳入传统表格流程，并手动整理真实数据集对最先进的表格基础模型处理文本的能力进行基准测试。
2025-07-10 cs.LG
MDBench: Benchmarking Data-Driven Methods for Model Discovery
MDBench 提出了一种开源基准测试框架，用于评估模型发现方法在不同噪声水平下的性能，揭示了线性方法和遗传编程方法在 PDE 和 ODE 上的优越性。
2026-01-24 cs.LG
FairX: A comprehensive benchmarking tool for model analysis using fairness, utility, and explainability
Institute for Experiential AI, Northeastern University（东北大学体验式人工智能研究院）
FairX是一个开源Python基准测试工具，统一支持公平性、效用和可解释性分析，并新增公平生成模型训练与合成数据质量评估能力，支持表格和图像数据集。
2024-09-03 cs.AI cs.LG
Benchmarking of Clustering Validity Measures Revisited
School of Information and Physical Sciences, The University of Newcastle（信息与物理科学学院，新castle大学）；Department of Mathematics and Computer Science, University of Southern Denmark（数学与计算机科学系，南部丹麦大学）
本文重新审视了26种聚类有效性度量的基准评估，通过改进的方法和新数据集，全面评估了不同指数的表现。
2025-11-08 cs.LG stat.ML
CityDeploy-Bench: Benchmarking Physics-Grounded Spatial Set Planning for Multi-Transmitter Network Deployment
University of Sheffield（谢菲尔德大学）；University College London（伦敦大学学院）
CityDeploy-Bench将多发射机部署转化为物理基础空间集规划，分离效用表示与规划动态，实验发现物理耦合增强时部署质量依赖发射机集体交互，发布相关数据与框架作为研究测试平台。
2026-10-14 cs.LG
Challenges and Pitfalls of Machine Learning Evaluation and Benchmarking
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
越来越复杂和多样化的机器学习（ML）模型以及硬件/软件堆栈（统称为“ML工件”）正在被提出-导致ML的多样化景观。提出的这些ML创新已经超过了研究人员分析，研究和适应它们的能力。这是加剧了复杂的，有时不可重现的ML评估程序。共享ML工件的一个常见做法是通过存储库，工件作者在存储库中发布临时代码和一些文档，但通常无法为其他人提供关键信息以重现其结果。这导致用户无法与工件作者的声明进行比较，或者使模型适应他/她自己的使用。本文讨论了ML评估和基准测试的常见挑战和陷阱，可用作ML模型作者共享ML工件时的指南，以及系统开发人员在基准测试或设计ML系统时的指南。
2019-06-25 cs.AI cs.LG cs.SE
PLANETALIGN: A Comprehensive Python Library for Benchmarking Network Alignment
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Texas A&M University（德克萨斯大学农工学院）
PLANETALIGN是一个用于网络对齐基准测试的综合Python库，提供丰富的数据集、方法和评估流程，旨在促进更有效、可扩展和鲁棒的NA方法开发。
2026-03-01 cs.LG
A Theory of Dynamic Benchmarks
University of California, Berkeley（加州大学伯克利分校）；Harvard Society of Fellows（哈佛大学学者协会）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
动态基准交织模型拟合和数据汇集，试图减轻静态基准的局限性。相对于静态环境的广泛的理论和实证研究，动态对应滞后，由于有限的实证研究，并没有明显的理论基础。针对这一不足，我们开始了动态基准的理论研究。我们将研究两种实现，一种是捕获当前实践，另一种是对更复杂的设置进行建模。在第一个模型中，数据汇集和模型拟合依次交替，我们证明了模型性能最初会提高，但仅在三轮后就会停滞。例如，由注释者不一致引起的标签噪音会导致更强烈的负面结果。我们的第二个模型将第一个模型推广到数据汇集和模型拟合具有分层依赖结构的情况。我们表明，这种设计保证严格比第一个更多的进展，虽然在一个显着增加的复杂性。我们通过在两个流行的数据集上模拟动态基准来支持我们的理论分析。这些结果阐明了动态基准的好处和实际局限性，为实证工作中观察到的瓶颈提供了理论基础和因果解释。
2023-03-01 cs.LG stat.ML
The ArtBench Dataset: Benchmarking Generative Models with Artworks
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）
我们介绍ArtBench-10，这是第一个用于基准艺术品生成的类平衡，高质量，干净注释和标准化数据集。它包含来自10种不同艺术风格的60，000幅艺术作品图像，每种风格有5，000幅训练图像和1，000幅测试图像。ArtBench-10比以前的艺术品数据集有几个优点。首先，它是类平衡的，而大多数以前的艺术品数据集遭受长尾类分布。其次，图像质量高，注释清晰。第三，ArtBench-10是用标准化的数据汇集、注释、过滤和预处理程序创建的。我们提供了三个版本的数据集，具有不同的分辨率（$32\times32$，$256\times256$和原始图像大小），以易于被流行的机器学习框架合并的方式进行格式化。我们还使用ArtBench-10的代表性图像合成模型进行了广泛的基准测试实验，并进行了深入的分析。该数据集可在合理使用许可下在https://github.com/liaopeiyuan/artbench上获得。
2022-06-22 cs.AI cs.CV cs.LG
Benchmarking In-context Experiential Learning Through Repeated Product Recommendations
本文提出BELA基准，通过重复产品推荐场景评估智能体在动态环境中的经验学习与主动探索能力。
2026-08-11 cs.LG
Training and Benchmarking Code Generation for Physics-Inspired Animations
SimuScene通过训练和基准测试代码生成模型，旨在提高模拟物理场景的能力，实验显示即使最强模型也仅达21.5%的通过率，表明该任务具有挑战性。
2026-08-14 cs.LG
Towards a Taxonomy of Graph Learning Datasets
Michigan State University（密歇根州立大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；University of Utah（犹他大学）；ETH Zürich（苏黎世联邦理工学院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Helmholtz Zentrum München（慕尼黑亥姆霍兹中心）
图神经网络（GNN）由于其利用底层数据的内在几何结构的能力而引起了人们的广泛关注。虽然已经开发了许多不同类型的GNN模型，并通过许多基准测试程序来证明一个GNN模型优于其他模型，但对底层基准测试数据集缺乏系统的了解，以及模型的哪些方面正在进行测试。在这里，我们提供了一种原则性的方法，通过仔细设计一组图扰动来对图基准数据集进行分类，以探测GNN模型用来执行预测的基本数据特征。我们对图数据集的数据驱动分类提供了对关键数据集特征的新理解，这将有助于更好的模型评估和更专业的GNN模型的开发。
2021-10-27 cs.LG
PerturBench: Benchmarking Machine Learning Models for Cellular Perturbation Analysis
Altos Labs（Altos实验室）；University College London（伦敦大学学院）
本文提出PerturBench框架，用于标准化单细胞扰动响应模型的基准测试，通过多数据集和指标评估发现简单架构更具竞争力，并强调排名指标的重要性。
2025-10-24 cs.LG q-bio.GN stat.ML
Recall Before Rerank: Benchmarking Deep Learning Models for Large-Scale Code-to-Code Retrieval
Sant’Anna School of Advanced Studies（圣安娜高级研究院）
本文评估了当代深度学习模型在大规模代码到代码搜索引擎中第一阶段召回的有效性、效率和可扩展性，并提出了基于LLM的代码标准化和查询重写方案，以提升低性能模型的精度。
2026-09-21 cs.CL cs.IR cs.LG
Forecast-Dojo: Replayable Environments for Benchmarking and Training LLM Forecasting Agents
Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊）；University of Florida（佛罗里达大学）
Forecast-Dojo是一个可重放环境，用于基准测试和训练LLM预测智能体，包含1,568个Polymarket事件和1,880万篇新闻文章，研究工具降低所有12个模型的Brier分数，但模型仍落后于市场预测。
2026-10-27 cs.AI cs.LG
fable.intermittent: benchmarking probabilistic forecasting methods for intermittent time series
SUPSI, Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)（瑞士南部应用科学与艺术大学，达勒莫勒人工智能研究所）
本文介绍 R 包 fable.intermittent，统一实现多种间歇性时间序列概率预测方法，提出 TWEES 模型及加速的 tweedieDistr 包，并在四个数据集上评估。
2026-10-02 cs.LG
CorporateBench: Large-Scale Q&A Benchmarking with Temporal Knowledge Bases
Epiq AI Labs（Epiq AI实验室）；Cornell University（康奈尔大学）
研究针对企业级LLM评估的数据集难题，构建了含23万+文档的CorporateBench基准，从信息提取与知识库查询维度评估5种LLM，发现输入规模接近实际时性能下降，填补了相关评估指标空白。
2026-08-28 cs.AI cs.CL cs.IR
Does imputation matter? Benchmark for predictive models
Warsaw University of Technology（华沙理工大学）；University of Warsaw（华沙大学）
不完整数据在实际应用中很常见。大多数预测性机器学习模型不处理缺失值，因此需要进行一些预处理。虽然许多算法用于数据填补，我们不了解不同的方法对预测模型的性能的影响。本文首次系统地评价了预测模型数据填补算法的经验有效性。主要贡献是（1）基于现实生活分类任务的经验基准测试的一般方法的建议和（2）对数据集和ML算法集合的不同插补方法的比较分析。
2020-07-06 cs.LG stat.ML
A framework for benchmarking clustering algorithms
Warsaw University of Technology（华沙理工大学）；Deakin University（迪肯大学）
本文提出了一个统一的聚类算法基准测试框架，整合并标准化了多个不同维度、规模和类型的聚类基准数据集，并提供交互式浏览器和 Python API 等工具，以解决现有评估中数据集少、忽略多种有效聚类方式的问题。
2023-10-25 cs.LG stat.ML
FedMABench: Benchmarking Mobile Agents on Decentralized Heterogeneous User Data
Zhejiang University（浙江大学）；Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）
本文提出首个面向异构场景的移动智能体联邦训练与评估基准FedMABench，涵盖多数据集、多算法、多模型和多应用，并通过实验揭示了联邦算法优于本地训练等关键发现。
2025-03-07 cs.AI cs.LG
GlucoTune: A Unified Framework for Blood Glucose Preprocessing, Forecasting, and Benchmarking in Diabetes
Department of Informatics, Systems and Communication, University of Milano-Bicocca（米兰比可卡大学信息、系统与通信系）
GlucoTune框架解决糖尿病血糖数据预处理等缺乏标准流程与评估协议问题，通过可配置管道实现可重复预处理，提供统一接口和基准测试排行榜，集成数据集，经实验验证有效。
2026-07-24 cs.AI cs.LG
Risk Aware Benchmarking of Large Language Models
IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本文提出基于一阶和二阶随机占优的风险感知基准评测框架，通过指标组合与自助法方差估计量化统计显著性，用于比较不同大语言模型在偏离指令和输出有毒内容方面的风险。
2024-06-09 cs.LG math.ST q-fin.RM
Deriving Benchmarking Datasets from Long-Form Recordings: Challenges and Opportunities
LAAC, LSCP, DEC, ENS, EHESS, CNRS, PSL University, Paris, France（法国巴黎PSL大学、CNRS、EHESS、ENS、DEC、LSCP、LAAC）；Laboratoire d'Informatique et Systèmes, Université Aix-Marseille, CNRS, France（法国国家科学研究中心、艾克斯-马赛大学信息与系统实验室）；Signal Processing Research Centre, Tampere University, Finland（芬兰塔尔库大学信号处理研究中心）
针对儿童长时长录音用于早期语言研究的跨库复用难、缺标准基准、隐私合规差问题，提出含标准化数据集、可复现流水线、伦理生态系统的综合框架。
2026-07-07 cs.LG cs.SD eess.AS
HomID: Benchmarking Intrinsic Dimension Estimators on Homogenous Manifolds with Anisotropic Embeddings
Joint Center for Quantum Information and Computer Science (QuICS), NIST & UMD College Park（联合量子信息与计算机科学中心（QuICS）、国家标准与技术研究院（NIST）及马里兰大学 College Park 分校）；Joint Quantum Institute (JQI), NIST & UMD College Park（联合量子研究所（JQI）、国家标准与技术研究院（NIST）及马里兰大学 College Park 分校）
针对现有本征维度估计（IDE）方法结果差异大、基准流形复杂度不足的问题，提出量子启发的QuIIEst基准，含已知ID的拓扑非平凡流形族，实验显示IDE方法在该基准上准确率更低，还验证了部分方法可提取分形霍夫施塔特蝴蝶的有效维度。
2026-11-06 cond-mat.dis-nn cs.LG math.MG
EBES: Easy Benchmarking for Event Sequences
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Vega Institute Foundation（维加研究所基金会）；HSE University（高等经济大学）；Artificial Intelligence Research Institute（人工智能研究院）
针对事件序列分类缺乏标准化基准的问题，提出EBES基准，含标准化评估协议、开源库及10个数据集，实验显示GRU模型性能最佳，旨在促进可重复研究。
2025-02-25 cs.AI cs.LG
Benchmarking MedMNIST dataset on real quantum hardware
Lerner Research Institute（勒纳研究所）；Cleveland Clinic（克利夫兰诊所）
本研究首次在127量子比特IBM真实量子硬件上对MedMNIST医学影像数据集开展QML基准测试，结合器件感知电路、误差抑制缓解等技术，验证了纯量子模型用于医学图像分类的可行性，为医疗领域QML发展建立了基准。
2025-03-19 cs.LG quant-ph
Chakra: Advancing Performance Benchmarking and Co-design using Standardized Execution Traces
Meta；Georgia Institute of Technology（佐治亚理工学院）；Hewlett Packard Enterprise（慧与科技）
本文提出Chakra开放图模式及其配套工具，通过标准化执行轨迹的采集、生成与合成，并利用生成式AI学习轨迹统计特性，为未来AI系统协同设计提供敏捷基准测试生态。
2023-05-26 cs.DC cs.LG
Benchmarking Vision, Language, & Action Models on Robotic Learning Tasks
Manifold Research（曼尼福尔德研究院）；Georgia Tech（佐治亚理工学院）；MIT（麻省理工学院）
该研究提出VLA模型综合评估框架与基准套件，测试三款先进模型在20个数据集操作任务上的表现，揭示性能差异、多步规划短板及环境敏感性等结论，助力通用机器人研发。
2024-12-08 cs.CV cs.LG cs.RO
Olympus: a benchmarking framework for noisy optimization and experiment planning
Harvard University（哈佛大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）；University of Toronto（多伦多大学）；Atinary Technologies Sàrl（阿蒂纳里技术有限公司）
在科学、工程和经济学领域遇到的研究挑战通常可以被表述为优化任务。在化学和材料科学领域，近年来实验室数字化和自动化的发展引发了人们对优化引导的自主发现和闭环实验的兴趣。基于现成的优化算法的实验规划策略可以在完全自主的研究平台中使用，以最少的试验次数实现所需的实验目标。然而，最适合于科学发现任务的实验规划策略是先验未知的，而不同策略的严格比较是高度时间和资源要求的。由于优化算法通常以低维合成函数为基准，因此尚不清楚它们的性能如何转化为化学和材料科学中遇到的嘈杂的高维实验任务。我们介绍Olympus，这是一个软件包，它提供了一个一致且易于使用的框架，用于将优化算法与通过概率深度学习模型模拟的现实实验进行基准测试。Olympus包括一系列来自化学和材料科学的实验衍生基准集，以及一套可以通过用户友好的Python界面轻松访问的实验规划策略。此外，奥林巴斯还促进了自定义算法和用户定义数据集的集成、测试和共享。简而言之，奥林巴斯减轻了与在现实实验场景中对优化算法进行基准测试相关的障碍，促进了数据共享，并创建了用于评估实验规划策略性能的标准框架。
2021-03-30 cs.LG physics.chem-ph stat.ML
Audio Turing Test: Benchmarking the Human-likeness of Large Language Model-based Text-to-Speech Systems in Chinese
Shanghai Jiao Tong University（上海交通大学）；Meituan（美团）
针对现有中文TTS评估方法的缺陷，研究提出多维度的Audio Turing Test评估框架及语料库，还微调得到自动评估工具Auto-ATT，经实验验证二者评估效果可靠。
2025-05-16 cs.AI cs.CL cs.HC
SDiaReward: Modeling and Benchmarking Spoken Dialogue Rewards with Modality and Colloquialness
Zhejiang University（浙江大学）
本文提出SDiaReward，一种端到端的多轮奖励模型，通过SDiaReward-Dataset数据集解决模态和口语性差距问题，实现对语音对话中模态和口语性的联合评估，实验表明其在配对偏好准确率上优于通用音频大语言模型。
2026-05-11 cs.CL cs.LG eess.AS
BEND: Benchmarking DNA Language Models on biologically meaningful tasks
Novozymes A/S（诺维信公司）；University of Copenhagen（哥本哈根大学）；Novo Nordisk A/S（诺和诺德公司）；Helmholtz Center Munich（慕尼黑亥姆霍兹中心）；Technical University of Denmark（丹麦技术大学）
本文提出 BEND 基准，通过人类基因组上多项现实且具生物学意义的下游任务评估 DNA 语言模型，发现其可接近专家方法但长程特征建模仍有限。
2024-04-09 cs.LG q-bio.GN
Benchmarking missing-values approaches for predictive models on health databases
McGill University（麦吉尔大学）；Inria（法国国家信息与自动化研究所）；Mila（米拉人工智能研究所）；IDESP（IDESP研究所）
背景技术背景：随着数据库变得越来越大，完全控制它们的集合变得越来越困难，并且它们经常带有缺失值：不完整的观察结果。这些大型数据库非常适合训练机器学习模型，例如用于预测或提取生物医学环境中的生物标志物。这种预测方法可以使用判别式而不是生成式建模，从而为新的缺失值策略打开大门。然而，现有的经验评估策略，以处理缺失值的重点是推理统计。研究结果：在这里，我们对预测模型中的缺失值策略进行了系统的基准测试，重点是大型健康数据库：四个电子健康记录数据集，一个人口脑成像数据集，一个健康调查数据集和两个重症监护数据集。使用梯度提升树，我们在学习之前将缺失值的本地支持与简单和最先进的插补进行比较。我们调查预测精度和计算时间。对于插补后的预测，我们发现添加一个指标来表示哪些值已被插补是很重要的，这表明数据不是随机缺失的。与简单的策略相比，精心设计的缺失值插补可以提高预测，但在大数据上需要更长的计算时间。对缺失值建模的学习树（包含缺失的合并属性）可实现稳健、快速且性能良好的预测建模。结论：在监督机器学习中对缺失值的原生支持比最先进的插补预测更好，计算成本更低。使用插补时，重要的是要添加表示已插补的值的指示列。
2022-02-17 cs.AI cs.LG
IBB Traffic Graph Data: Benchmarking and Road Traffic Prediction Model
Istanbul Technical University（伊斯坦布尔技术大学）；ITU AI Research and Application Center（ITU人工智能研究与应用中心）；BTS Group（BTS集团）；Gazi University（加齐大学）
本文提出IBB Traffic图数据集以弥补现有交通数据集在地理特征和规模上的不足，并设计结合特征工程、GLEE节点嵌入和ExtraTrees的道路交通预测模型，平均准确率较基线提升4%。
2024-08-02 cs.AI cs.IT cs.LG
MLCommons Chakra: Advancing Performance Benchmarking and Co-design using Standardized Execution Traces
Anonymous Institution, Anonymous City, Anonymous Region, Anonymous Country（匿名机构，匿名城市，匿名地区，匿名国家）
本文提出Chakra，一个用于性能基准测试和联合设计的开放生态系统，通过标准化执行轨迹来提升分布式机器学习工作负载在生产AI系统中的观察、重现和优化能力，并通过实际案例展示其价值。
2026-05-19 cs.DC cs.LG cs.PF
InnoGym: Benchmarking the Innovation Potential of AI Agents
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；National University of Singapore（新加坡国立大学）；Zhejiang University - Ant Group Joint Laboratory of Knowledge Graph（知识图谱联合实验室）
InnoGym通过引入性能提升和新颖性两个指标，首次系统评估AI智能体的创新潜力，揭示了创造力与有效性的平衡问题。
2026-02-28 cs.AI cs.CL cs.CV
ExEBench: Benchmarking Foundation Models on Extreme Earth Events
Technical University of Munich (TUM)（慕尼黑技术大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出ExEBench基准，涵盖七类全球极端事件及检测、监测、预报任务，用于评估基础模型在极端数值与跨领域场景下的可靠性。
2025-05-13 cs.AI cs.LG
Towards Explainability and Fairness in Swiss Judgement Prediction: Benchmarking on a Multilingual Dataset
Technical University of Munich（慕尼黑工业大学）；University of Bern（伯尔尼大学）；Bern University of Applied Sciences（伯尔尼应用科学大学）；Stanford University（斯坦福大学）
本文利用瑞士多语言判决预测数据集，通过专家标注理由和遮挡法评估BERT类LJP模型的可解释性，发现预测性能提升不等于可解释性提升，并提出下级法院插入（LCI）框架量化模型偏见。
2024-02-26 cs.AI cs.CL cs.LG
On the Role of Calibration in Benchmarking Algorithmic Fairness for Skin Cancer Detection
Northeastern University（东北大学）；Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）
为解决AI皮肤癌检测模型在人口亚组间的性能差异问题，本文将校准作为AUROC公平性指标的补充基准，通过评估ISIC 2020挑战赛领先模型在两个数据集的亚组表现，揭示现有模型的校准缺陷，强调全面审计策略对公平医疗AI的必要性。
2025-11-10 cs.CV cs.LG eess.IV
uTHCD: A New Benchmarking for Tamil Handwritten OCR
University of Technology and Applied Science（技术与应用科学大学）
手写体字符识别是文档图像分析领域几十年来一项具有挑战性的研究，这是由于许多原因，例如书写风格变化大，数据中固有的噪声，它提供的广泛应用，非基准数据库的可用性等。文献中报道了大量关于为几种印度文字创建数据库的工作，但泰米尔文字仍处于起步阶段，仅在一个数据库中报告[5]。在本文中，我们提出了一个详尽的和大的无约束的泰米尔手写字符数据库（uTHCD）的创建所做的工作。数据库由大约91000个样本组成，156个类中每个类近600个样本。该数据库是在线和离线样本的统一集合。通过要求志愿者在指定网格内的表格上写下样本来收集离线样本。对于在线样本，我们让志愿者使用数字书写板在类似的网格中书写。所收集的样本包括各种各样的书写风格，固有的失真所产生的离线扫描过程中，即中风不连续性，可变厚度的中风，失真等算法，这是弹性的，这样的数据可以实际部署为实时的应用。这些样本来自大约650名泰米尔本地志愿者，包括上学的孩子、家庭主妇、大学生和教职员工。孤立的字符数据库将作为原始图像和分层数据文件（HDF）压缩文件公开提供。有了这个数据库，我们希望在泰米尔手写字符识别中建立一个新的基准，并作为一个发射台，在文档图像分析领域的许多途径。论文还提出了一个理想的实验设置，使用数据库的卷积神经网络（CNN）与基线准确率为88%的测试数据。
2021-03-13 cs.CV cs.LG
TritonBench: Benchmarking Large Language Model Capabilities for Generating Triton Operators
Tianjin University（天津大学）；Harbin Institute of Technology（哈尔滨工业大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Tsinghua University（清华大学）
本文提出首个 Triton 算子生成综合基准 TritonBench，通过 GitHub 真实算子与 PyTorch 对齐算子双通道，评估代码 LLM 的正确性和 GPU 性能。
2025-02-20 cs.CL cs.LG
Benchmarking the Robustness of Instance Segmentation Models
Virginia Tech（弗吉尼亚理工大学）；Bilkent University（比尔肯特大学）
本文基准测试实例分割模型在图像损坏和域外数据上的鲁棒性与泛化性，发现组归一化提升鲁棒性、批量归一化提升泛化性，且多阶段检测器适应不同图像尺寸。
2025-03-28 cs.AI cs.CV cs.LG
MOS-Bench: Benchmarking Generalization Abilities of Subjective Speech Quality Assessment Models
Graduate School of Informatics, Nagoya University, Japan（名古屋大学信息科学研究生院，日本）；National Institute of Information and Communications Technology (NICT), Japan（日本信息通信技术研究所）；Information Technology Center, Nagoya University, Japan（名古屋大学信息技术中心，日本）
本文研究了主观语音质量评估任务，指出当前模型在域外泛化能力不足的问题，提出MOS-Bench数据集，通过实验对比多数据集训练方法，验证数据多样性对模型泛化能力的重要性。
2026-04-24 cs.SD eess.AS
DISL: Fueling Research with A Large Dataset of Solidity Smart Contracts
KTH Royal Institute of Technology（KTH皇家理工学院）
本文提出DISL数据集，包含514,506个部署在以太坊主网的Solidity文件，为开发机器学习系统和基准测试智能合约软件工程工具提供大规模、多样化的真实世界数据资源。
2024-03-26 cs.DC cs.LG cs.SE
Benchmarking unsupervised near-duplicate image detection
Politecnico di Torino（都灵理工大学）
无监督近似重复检测具有许多实际应用，从社交媒体分析和网络规模检索到数字图像取证。它需要对从图像中提取的一组描述符运行阈值限制查询，目标是识别所有可能的近似重复，同时限制由于视觉相似图像而导致的误报。由于误报率随着数据集大小而增长，因此需要非常高的特异性，对于实际用例高达$1 - 10^{-9}$;然而，这一重要要求在文献中经常被忽视。近年来，在基于内容的图像检索任务中，基于深度卷积神经网络的描述符已经匹配或超过了传统的特征提取方法。据我们所知，我们是第一次尝试建立基于深度学习的描述符的性能范围，用于在一系列数据集上进行无监督近似重复检测，包括广泛的近似重复定义。我们利用现有的和新的基准，如Mir-Flick Near-Duplicate（MFND）数据集，其中为一般大规模图像集合中所有可能的对提供已知的地面实况。为了比较不同描述符的特异性，我们将无监督检测的问题简化为近似重复图像与非近似重复图像的二进制分类问题。后者可以方便地使用受试者工作曲线（ROC）进行表征。我们的研究结果总体上倾向于选择微调深度卷积网络，而不是使用现成的特征，但在高特异性设置下的差异取决于数据集，并且通常很小。在MFND基准上观察到最佳性能，在假阳性率为$1.43 \times 10^{-6}$时达到96%的灵敏度。
2019-07-03 cs.CR cs.CV cs.LG
WelQrate: Defining the Gold Standard in Small Molecule Drug Discovery Benchmarking
Vanderbilt University（范德堡大学）；Amherst College（阿默斯特学院）；University of Oregon（俄勒冈大学）；MD Anderson Cancer Center（MD安德森癌症中心）；Leipzig University（莱比锡大学）
针对深度学习驱动的药物发现中基准测试实践不足的问题，本文提出小分子药物发现基准测试黄金标准WelQrate，涵盖精心策划的9个数据集、标准化评估框架及多维度模型性能评估，推动领域创新转化。
2024-11-14 cs.AI cs.LG q-bio.BM
A Collection of Quality Diversity Optimization Problems Derived from Hyperparameter Optimization of Machine Learning Models
LMU Munich（慕尼黑大学）
质量多样性优化的目标是为手头的给定问题生成一系列多样但高性能的解决方案。典型的基准问题是，例如，找到机器人手臂配置的曲目或游戏策略的集合。在本文中，我们提出了一组质量多样性优化问题，解决了机器学习模型的超参数优化-质量多样性优化的一个迄今为止尚未探索的应用。我们的基准问题涉及新的功能，如模型的可解释性或资源使用。为了实现快速有效的基准测试，我们建立在YAHPO Gym，最近提出的开源基准测试套件超参数优化，利用高性能的代理模型，并返回这些代理模型预测，而不是评估真正昂贵的黑盒功能。我们目前的初步实验研究结果比较不同的质量多样性优化我们的基准问题。此外，我们讨论了未来的方向和挑战的质量多样性优化的背景下，超参数优化。
2022-07-30 cs.LG
EMGBench: Benchmarking Out-of-Distribution Generalization and Adaptation for Electromyography
Carnegie Mellon University（卡内基梅隆大学）
本文提出首个EMG分布外泛化与自适应基准，涵盖跨受试者分类与时间序列自适应任务，整合九个数据集并引入新可穿戴数据，为评估EMG分类器实际性能提供资源。
2024-11-04 cs.LG
Conformal Prediction Algorithms for Time Series Forecasting: Methods and Benchmarking
本文提出了一种多步分割置信预测方法，用于时间序列预测，通过基准测试验证其在覆盖率和效率上的优势。
2026-01-30 cs.LG
POPGym: Benchmarking Partially Observable Reinforcement Learning
强化学习（RL）的现实应用通常是部分可观察的，因此需要记忆。尽管如此，部分可观察性仍然在很大程度上被当代RL基准和库所忽视。我们介绍了部分可观察过程Gym（POPGym），这是一个由两部分组成的库，包含（1）15个部分可观察环境的不同集合，每个环境都有多个困难，以及（2）13个内存模型基线的实现-在单个RL库中最多。现有的部分可观察基准往往专注于3D视觉导航，这是计算昂贵，只有一种类型的POMDP。相比之下，POPGym环境是多样化的，产生更小的观察结果，使用更少的内存，并且通常在消费级GPU上训练两小时内收敛。我们在流行的RLlib框架之上实现了高级内存API和内存基线，为各种训练算法、探索策略和分布式训练范式提供了即插即用的兼容性。使用POPGym，我们执行了迄今为止最大的RL内存模型比较。POPGym可在https://github.com/proroklab/popgym上获得。
2023-03-03 cs.AI cs.LG cs.RO
Taxonomy of Benchmarks in Graph Representation Learning
Michigan State University（密歇根州立大学）；Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；University of Utah（犹他大学）；ETH Zürich（苏黎世联邦理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；TU Munich（慕尼黑工业大学）
图神经网络（GNN）通过考虑其内在几何结构将神经网络的成功扩展到图结构数据。虽然已经根据一系列图表示学习基准对开发具有优异性能的GNN模型进行了广泛的研究，但目前还不清楚它们探索了给定模型的哪些方面。例如，他们在多大程度上测试模型利用图结构与节点特征的能力？在这里，我们开发了一种原则性的方法，根据$\textit{sensitivity profile}$对基准测试数据集进行分类，该方法基于GNN性能由于图形扰动的集合而发生的变化。我们的数据驱动分析提供了对GNN利用哪些基准数据特征的更深入理解。因此，我们的分类法可以帮助选择和开发足够的图形基准，以及更好地评估未来的GNN方法。最后，我们的方法和实现在$\texttt{GTaxoGym}$包可扩展到多个图预测任务类型和未来的数据集。
2022-11-30 cs.LG
Benchmarking Model-Based Reinforcement Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；UC Berkeley（加州大学伯克利分校）
基于模型的强化学习（MBRL）被广泛认为具有比无模型RL更有效的样本效率。然而，基于模型的强化学习的研究还不是很标准化。作者在自行设计的环境中进行实验是相当常见的，并且有几个独立的研究路线，有时是封闭源代码或不可复制的。因此，这是一个悬而未决的问题，这些各种现有的MBRL算法如何执行相对于彼此。为了方便MBRL的研究，在本文中，我们收集了广泛的MBRL算法，并提出了超过18个专门为MBRL设计的基准测试环境。我们基准这些算法与统一的问题设置，包括嘈杂的环境。除了编目性能之外，我们还探索和统一了MBRL算法之间的基本算法差异。我们描述了未来MBRL研究的三个关键研究挑战：动力学瓶颈，规划视野困境和提前终止困境。最后，为了最大限度地促进未来对MBRL的研究，我们在http://www.cs.toronto.edu/~tingwuwang/mbrl.html上开源了我们的基准。
2019-07-03 cs.AI cs.LG cs.RO
Benchmarking Collaborative Learning Methods Cost-Effectiveness for Prostate Segmentation
Inria（法国国家信息与自动化研究所）；King’s College London（伦敦国王学院）
针对医疗数据分散且隐私受限导致模型训练数据不足的问题，本文首次将基于共识的方法（CBM）用于协作学习场景下的MRI前列腺分割任务，对比发现其性能与联邦学习相当甚至更优且成本效益更高，为医学影像训练任务提供了联邦学习的有效替代方案。
2023-10-02 cs.LG
Benchmarking Offline Reinforcement Learning on Real-Robot Hardware
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Harvard University（哈佛大学）；KTH Stockholm（斯德哥尔摩皇家理工学院）
针对真实机器人离线强化学习，提出包含灵巧操作数据和真机执行选项的基准，评估开源算法并提供可复现实验设置。
2023-07-28 cs.LG cs.RO
