Optimizer Benchmarking Needs to Account for Hyperparameter Tuning
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）；University of Geneva（日内瓦大学）
优化器的性能，特别是在深度学习中，在很大程度上取决于它们所选择的超参数配置。优化器的有效性通常是在接近最优的问题特定的超参数下研究的，并且对于从业者来说，找到这些设置可能代价高昂。在这项工作中，我们认为，一个公平的评估优化器的性能必须考虑超参数调整的计算成本，即，使用自动超参数搜索找到好的超参数配置是多么容易。在一组广泛的标准数据集和架构上评估各种优化器，我们的结果表明Adam是最实用的解决方案，特别是在低预算的情况下。
2020-08-15 cs.LG stat.ML
Revisiting, Benchmarking and Understanding Unsupervised Graph Domain Adaptation
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）
本文提出了首个无监督图领域自适应综合基准GDABench，涵盖5个数据集上的16种算法和74项自适应任务，并开发了易用库PyGDA，发现通过适当的邻域聚合机制，简单GNN变体可超越最先进的UGDA基线。
2024-11-11 cs.AI cs.LG
PathBench: A Benchmarking Platform for Classical and Learned Path Planning Algorithms
Imperial College London（伦敦帝国理工学院）；Ryerson University（瑞尔森大学）
路径规划是移动机器人技术中的一个重要组成部分。存在各种各样的路径规划算法，但很少有人尝试对算法进行整体基准测试或统一它们的接口。此外，随着深度神经网络的最新进展，迫切需要促进这种基于学习的规划算法的开发和基准测试。本文介绍了PathBench，一个平台，用于开发，可视化，培训，测试和基准测试现有和未来的，经典的和学习的2D和3D路径规划算法，同时提供支持机器人操作系统（ROS）。支持许多现有的路径规划算法;例如A*，波前，快速探索随机树，值迭代网络，门控路径规划网络;并且集成新算法很容易并且明确指定。我们通过比较实现的经典和学习算法的指标，如路径长度，成功率，计算时间和路径偏差的基准测试能力的PathBench。这些评估是在内置的PathBench地图和来自视频游戏和现实世界数据库的外部路径规划环境中完成的。PathBench是开源的。
2021-05-04 cs.LG cs.RO
CATBench: A Compiler Autotuning Benchmarking Suite for Black-box Optimization
Norwegian University of Science and Technology (NTNU)（挪威科技大学）；Lund University（隆德大学）
CATBench 是一个面向编译器自动调优的标准化基准测试套件，涵盖离散、条件、排列参数及多保真度、多目标等复杂场景，旨在促进贝叶斯优化算法的可复现评估与创新。
2025-04-08 cs.AI cs.LG cs.NE
CLoG: Benchmarking Continual Learning of Image Generation Models
Peking University（北京大学）
本文提出将持续学习研究从分类任务转向生成模型持续学习（CLoG），系统分析其独特挑战，适配三类现有CL方法并构建多样化基准，为终身学习范式下的AIGC发展提供支撑。
2024-06-07 cs.AI cs.CV cs.LG
IMGTB: A Framework for Machine-Generated Text Detection Benchmarking
Kempelen Institute of Intelligent Technologies（肯佩伦智能技术研究所）；Faculty of Informatics, Masaryk University（马萨里克大学信息学院）
IMGTB框架简化了机器生成文本检测方法的基准测试，支持轻松集成新方法与数据集，提供默认分析、指标和可视化，便于与现有最先进检测器比较。
2023-11-21 cs.AI cs.CL
AFABench: A Generic Framework for Benchmarking Active Feature Acquisition
Chalmers University of Technology \& University of Gothenburg Sweden；Chalmers University of Technology Sweden；Chalmers University of Technology \& University of Gothenburg；Chalmers University of Technology
AFABench提供首个主动特征获取的标准化基准框架，通过多样化数据集和模块化设计评估不同AFA方法的性能与局限性。
2026-02-22 cs.AI cs.LG
Benchmarking the Robustness of Deep Neural Networks to Common Corruptions in Digital Pathology
Zhejiang University（浙江大学）；Westlake University（西湖大学）
在设计用于临床应用的诊断模型时，保证模型对于各种图像损坏的鲁棒性是至关重要的。在此，建立了一个易于使用的基准来评估神经网络在损坏的病理图像上的深度。具体而言，损坏的图像是通过将九种常见的损坏注入到验证图像中来生成的。此外，设计了两个分类和一个排序指标来评估腐败下的预测和置信度性能。在两个基准数据集上进行评估，我们发现：（1）各种深度神经网络模型的准确性显著下降（干净图像上的误差加倍），并且对损坏图像的置信度估计不可靠;（2）当用我们的基准替换验证集时，验证和测试误差之间的相关性较低，可以增加相关性。我们的代码可在https://github.com/superjamessyx/robustness_benchmark上获得。
2022-06-30 cs.AI cs.CV
Benchmarking Robustness in Object Detection: Autonomous Driving when Winter is Coming
University of Tübingen（图宾根大学）
无论图像失真或天气条件如何，检测物体的能力对于自动驾驶等深度学习的现实应用至关重要。我们在这里提供了一个易于使用的基准来评估图像质量下降时目标检测模型的性能。这三个基准数据集，称为Pascal-C，Coco-C和Cityscapes-C，包含各种各样的图像损坏。我们表明，一系列标准的目标检测模型遭受严重的性能损失损坏的图像（下降到30- 60\ %的原始性能）。然而，一个简单的数据增强技巧-风格化训练图像-导致跨损坏类型、严重程度和数据集的鲁棒性大幅增加。我们设想我们的综合基准来跟踪构建强大的目标检测模型的未来进展。基准、代码和数据是公开的。
2020-03-31 cs.CV cs.LG stat.ML
OpenML Benchmarking Suites
LMU Munich（慕尼黑大学）；University of Freiburg（弗莱堡大学）；Eindhoven University of Technology（埃因霍温理工大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；TU Dortmund University（多特蒙德工业大学）；Federal Technology University Paraná (UTFPR)（巴拉那联邦科技大学）；Leiden University（莱顿大学）
本文提出可标准化、共享和复用机器学习算法评测的 OpenML 基准测试套件，并发布面向分类任务的 OpenML-CC18。
2021-11-22 cs.LG stat.ML
GraphGallery: A Platform for Fast Benchmarking and Easy Development of Graph Neural Networks Based Intelligent Software
Sun Yat-sen University（中山大学）；Deakin University（迪肯大学）
图神经网络（GNN）最近被证明是表示和分析图数据的强大工具。到目前为止，GNN在软件工程中扮演着越来越重要的角色，包括程序分析、类型推断和代码表示。在本文中，我们介绍了GraphGallery，这是一个用于快速基准测试和轻松开发基于GNNs的软件的平台。GraphGallery是一个易于使用的平台，允许开发人员自动部署GNN，即使对特定领域的知识较少。它提供了一组基于主流深度学习框架的通用GNN模型的实现。此外，PyG和DGL等现有GNNs工具箱可以轻松集成到平台中。实验证明了算法的可靠性和快速编码的优越性。GraphGallery的官方源代码可以在https://github.com/EdisonLeeeee/GraphGallery上找到，演示视频可以在https://youtu.be/mv7Zs1YeaYo上找到。
2021-02-16 cs.AI cs.LG cs.SE
CEBench: A Benchmarking Toolkit for the Cost-Effectiveness of LLM Pipelines
Delft University of Technology（代尔夫特理工大学）；Texas A&M University - Corpus Christi（德克萨斯A&M大学-科罗萨多）
CEBench是一个开源多目标基准测试工具包，通过配置文件评估和优化LLM部署中支出与效能的关键权衡，帮助决策者在最大化效能的同时最小化成本。
2025-09-21 cs.LG cs.PF
MEDFAIR: Benchmarking Fairness for Medical Imaging
University of Edinburgh（爱丁堡大学）；Samsung AI Centre, Cambridge（三星剑桥人工智能中心）
大量的工作表明，基于机器学习的医疗诊断系统可能对某些人群有偏见。这促使越来越多的偏见缓解算法，旨在解决机器学习中的公平性问题。然而，由于两个原因，很难比较它们在医学成像中的有效性。首先，在评估公平性的标准上几乎没有共识。其次，现有的偏差减轻算法是在不同的设置下开发的，例如，数据集、模型选择策略、主干和公平性指标，使得基于现有结果的直接比较和评估成为不可能。在这项工作中，我们介绍MEDFAIR，一个框架，以基准的公平性机器学习模型的医学成像。MEDFAIR涵盖了来自不同类别的11种算法，来自不同成像模式的9个数据集和3个模型选择标准。通过大量的实验，我们发现，模型选择标准的研究不足的问题可以有一个显着的影响公平的结果，而相比之下，国家的最先进的偏见缓解算法并没有显着改善公平的结果超过经验风险最小化（ERM）在分布和分布设置。我们从多个角度对公平性进行评估，并针对不同的医疗应用场景，需要不同的伦理原则提出建议。我们的框架为深度学习中未来偏差缓解算法的开发和评估提供了一个可重复且易于使用的入口点。代码可在https://github.com/ys-zong/MEDFAIR上获得。
2023-02-17 cs.AI cs.LG eess.IV
CLEAR: Error Analysis via LLM-as-a-Judge Made Easy
IBM Research（IBM研究院）；The Hebrew University of Jerusalem（特拉维夫大学）
本文提出开源交互式工具 CLEAR，通过逐实例反馈、系统级错误归类与量化及可视化仪表板，弥补 LLM-as-a-Judge 评估只给分数、不解释原因的不足。
2025-07-24 cs.AI cs.CL cs.LG
DNR Bench: Benchmarking Over-Reasoning in Reasoning LLMs
ServiceNow（ServiceNow公司）
针对推理型大语言模型（RLMs）存在的过度推理问题，本文提出DNR Bench基准测试，通过150个对抗性提示评估模型避免不必要生成的能力，实验发现RLMs令牌生成量超必要值70倍，表现不及非推理模型，凸显优化RLMs训练与推理策略的重要性。
2025-04-18 cs.LG
LiveClawBench: Benchmarking LLM Agents on Complex, Real-World Assistant Tasks
Samsung Research（三星研究院）；HKUST (Guangzhou)（香港科技大学（广州））；Peking University（北京大学）；City University of Hong Kong（香港城市大学）
本文提出LiveClawBench基准，通过三轴复杂性框架评估LLM代理在真实世界助理任务中的表现，涵盖环境复杂性、认知需求和运行时适应性，为未来扩展提供基础。
2026-06-29 cs.AI cs.CL cs.LG
Benchmarking learned algorithms for computed tomography image reconstruction tasks
Centrum Wiskunde & Informatica（数学和计算机科学中心）；University of Cambridge（剑桥大学）；Leiden University（莱顿大学）
针对CT图像重建学习算法缺乏统一对比基准的问题，研究基于2DeteCT数据集构建四类学习型重建算法基准测试框架，评估了多类算法在不同重建任务上的性能，并开源可复现工具箱助力后续方法拓展。
2024-12-11 cs.CV cs.LG eess.IV
Enhancing Classifier Evaluation: A Fairer Benchmarking Strategy Based on Ability and Robustness
Federal University of Pará - UFPA（帕拉联邦大学）；Vale Technological Institute - ITV（淡水河谷技术研究所）；Federal Institute of Pará - IFPA（帕拉联邦学院）；Federal University of Pernambuco - UFPE（伯南布哥联邦大学）
针对传统分类器基准测试忽略数据集复杂性与算法泛化能力联合考量的局限，本研究结合项目反应理论（IRT）与Glicko-2评分系统提出新评估方法，在OpenML-CC18基准验证其公平性与细致性，为分类器评估提供更可靠策略。
2025-04-13 cs.LG
MLHarness: A Scalable Benchmarking System for MLCommons
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University at Buffalo（布法罗大学）
针对MLCommons Inference基准测试模型数量有限的问题，提出可扩展的MLHarness系统，支持多种输入输出模态的模型，并实现声明式贡献与跨平台基准测试，实验验证其灵活性与可扩展性。
2021-11-09 cs.LG
IDToolkit: A Toolkit for Benchmarking and Developing Inverse Design Algorithms in Nanophotonics
Nanjing University（南京大学）；Nanjing University of Science and Technology（南京理工大学）
本文提出IDToolkit基准工具包，涵盖辐射冷却器等三类纳米光子逆向设计问题，并公平比较10种算法，为科学设计研究提供可复现平台并揭示未来改进方向。
2023-05-31 cs.AI cs.LG physics.optics
Descending through a Crowded Valley - Benchmarking Deep Learning Optimizers
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
选择优化器被认为是深度学习中最关键的设计决策之一，这并不容易。越来越多的文献现在列出了数百种优化方法。在缺乏明确的理论指导和确凿的经验证据的情况下，决策往往是基于轶事。在这项工作中，我们的目标是取代这些轶事，如果没有一个结论性的排名，那么至少有证据支持的证据。为此，我们对15种特别流行的深度学习优化器进行了广泛的标准化基准测试，同时简要概述了各种可能的选择。分析多个$50,000$单独运行，我们贡献了以下三点：（i）优化器性能在不同任务之间差异很大。(ii)我们观察到，使用默认参数评估多个优化器的效果与调整单个固定优化器的超参数大致相同。(iii)虽然我们无法辨别出在所有测试任务中明显占主导地位的优化方法，但我们确定了一个显着减少的特定优化器和参数选择的子集，这些优化器和参数选择通常会在我们的实验中产生竞争性结果：亚当仍然是一个强有力的竞争者，新的方法未能显著和持续地优于它。我们的开源结果具有挑战性，调整基线，对新型优化方法进行更有意义的评估，而无需任何进一步的计算工作。
2021-08-10 cs.LG stat.ML
Benchmarking Large Language Models with Integer Sequence Generation Tasks
Earth and Environmental Sciences Division Los Alamos National Laboratory（地球与环境科学 division 洛斯阿拉莫斯国家实验室）；Theoretical Division Los Alamos National Laboratory（理论 division 洛斯阿拉莫斯国家实验室）；Computational Sciences Division Los Alamos National Laboratory（计算科学 division 洛斯阿拉莫斯国家实验室）
该研究构建了一个基于OEIS整数序列生成任务的基准，通过自动作弊检测评估多个前沿LLM的数学推理与代码合成能力，发现推理专用模型在困难序列上仍表现不佳，揭示了算法推理的持续挑战。
2025-11-08 cs.AI cs.LG cs.SE
Benchmarking and Understanding Compositional Relational Reasoning of LLMs
ColorfulClouds Tech（彩星云科技）
本文提出广义联想记忆（GAR）基准，评估并揭示大语言模型在组合关系推理上的缺陷，并通过归因修补发现关键注意力头及其真/假抽象表征，为理解CRR机制提供新视角。
2024-12-17 cs.CL cs.LG
Olympus: a benchmarking framework for noisy optimization and experiment planning
Harvard University（哈佛大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）；University of Toronto（多伦多大学）；Atinary Technologies Sàrl（阿蒂纳里技术有限公司）
在科学、工程和经济学领域遇到的研究挑战通常可以被表述为优化任务。在化学和材料科学领域，近年来实验室数字化和自动化的发展引发了人们对优化引导的自主发现和闭环实验的兴趣。基于现成的优化算法的实验规划策略可以在完全自主的研究平台中使用，以最少的试验次数实现所需的实验目标。然而，最适合于科学发现任务的实验规划策略是先验未知的，而不同策略的严格比较是高度时间和资源要求的。由于优化算法通常以低维合成函数为基准，因此尚不清楚它们的性能如何转化为化学和材料科学中遇到的嘈杂的高维实验任务。我们介绍Olympus，这是一个软件包，它提供了一个一致且易于使用的框架，用于将优化算法与通过概率深度学习模型模拟的现实实验进行基准测试。Olympus包括一系列来自化学和材料科学的实验衍生基准集，以及一套可以通过用户友好的Python界面轻松访问的实验规划策略。此外，奥林巴斯还促进了自定义算法和用户定义数据集的集成、测试和共享。简而言之，奥林巴斯减轻了与在现实实验场景中对优化算法进行基准测试相关的障碍，促进了数据共享，并创建了用于评估实验规划策略性能的标准框架。
2021-03-30 cs.LG physics.chem-ph stat.ML
BlenderGym: Benchmarking Foundational Model Systems for Graphics Editing
Stanford University（斯坦福大学）
提出首个面向3D图形编辑的视觉语言模型综合基准BlenderGym，通过基于代码的3D重建任务评估VLM系统，并研究推理缩放技术对生成与验证性能的影响。
2025-04-02 cs.GR cs.LG
Challenges in Benchmarking Stream Learning Algorithms with Real-world Data
Universidade de São Paulo（圣保罗大学）；University of New Mexico（新墨西哥大学）；University of New South Wales（新南威尔士大学）
流数据越来越多地出现在现实世界的应用中，例如传感器测量、卫星数据馈送、股票市场和金融数据。这些应用程序的主要特点是在线到达的数据观测高速和敏感性的变化，由于真实环境的动态性质的数据分布。数据流挖掘社区仍然面临着一些主要的挑战和困难的比较和评估新的建议，主要是由于缺乏公开的非静态现实世界的数据集。对文献中提出的流算法进行比较并不是一件容易的事情，因为作者并不总是遵循相同的建议，实验评估程序，数据集和假设。在本文中，我们减轻了流分类器和漂移检测器的实验评估中与数据集选择相关的问题。为此，我们提出了一个新的公共数据存储库，用于使用真实数据对流算法进行基准测试。该存储库包含文献中最流行的数据集和与高度相关的公共卫生问题相关的新数据集，该问题涉及使用光学传感器识别病媒昆虫。这些新数据集的主要优点是其特征和变化模式的先验知识，以充分评估新的自适应算法提案。我们还提出了一个深入的讨论的特点，原因和问题，导致不同类型的数据分布的变化，以及有关文献中现有的基准数据集的常见问题的批判性审查。
2020-06-30 cs.LG stat.ML
NAVSIM: Data-Driven Non-Reactive Autonomous Vehicle Simulation and Benchmarking
University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）；Robert Bosch GmbH（罗伯特·博世有限公司）；OpenDriveLab at Shanghai AI Lab（上海人工智能实验室OpenDriveLab）；NVIDIA Research（英伟达研究院）；Nanyang Technological University（南洋理工大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究院）；Stanford University（斯坦福大学）
针对自动驾驶开环评估与闭环仿真评估的各自局限，提出非反应式仿真基准NAVSIM，结合数据集与鸟瞰图短时域仿真实现高效真实的策略评估，在CVPR 2024竞赛中验证了其有效性与可扩展性。
2024-10-31 cs.AI cs.CV cs.LG
Good at captioning, bad at counting: Benchmarking GPT-4V on Earth observation data
Institute for Data, Systems, and Society（数据、系统与社会研究所）；Massachusetts Institute of Technology（麻省理工学院）
本研究针对大视觉语言模型在地球观测数据上的能力迁移问题，构建涵盖多应用场景的综合基准测试，发现GPT-4V等模型开放式任务表现好但空间推理弱，且将公开基准助力相关评估。
2024-01-31 cs.AI cs.CL cs.CV
AccidentBench: Benchmarking Multimodal Understanding and Reasoning in Vehicle Accidents and Beyond
UC Berkeley（伯克利大学）；Stanford（斯坦福大学）；UCL（伦敦大学学院）；Virginia Tech（弗吉尼亚理工学院）；Nvidia（英伟达公司）
.本研究提出大规模多模态基准AccidentBench，覆盖车辆事故及空、水安全场景的时空与意图推理任务，测试发现前沿模型在高难长视频任务上准确率仅约18%，可推动模型适配真实安全挑战。
2025-09-30 cs.LG
EnergyStar++: Towards more accurate and explanatory building energy benchmarking
Berkeley Education Alliance for Research in Singapore（新加坡伯克利教育研究联盟）；University of California, Berkeley（加州大学伯克利分校）；National University of Singapore（新加坡国立大学）
美国和加拿大通过能源之星投资组合管理平台广泛采用建筑能源性能基准。长期以来，建筑运营和能源管理专业人士一直使用简单的1-100分来了解他们的建筑与同行的比较情况。这个单一的数字很容易使用，但它是由不准确的线性回归（MLR）模型创建的。本文提出了一种方法，通过提高准确性和提供额外的模型输出处理来增强现有的能源之星计算方法，以帮助解释为什么建筑物会获得一定的分数。我们提出并测试了两个新的预测模型：具有特征交互作用的多元线性回归（MLRi）和梯度提升树（GBT）。这两个模型的平均准确度都高于基准能源之星模型。三阶MLRi和GBT模型实现调整后的R2分别增加4.9%和24.9%，归一化根均方误差（NRMSE）分别减少7.0%和13.7%，平均比MLR模型为6种建筑类型。更重要的是，开发了一套技术来帮助确定哪些因素对使用SHAP值的分数影响最大。特别是SHAP力可视化提供了一个可访问的概述，影响非技术用户可以很容易地解释的分数的建设方面。该方法在2012年商业建筑能耗调查（CBECS）（1，812栋建筑）以及纽约市（11，131栋建筑）和西雅图（2，073栋建筑）能源披露计划的公共数据集上进行了测试。
2020-06-17 cs.LG cs.SY eess.SY
AsEP: Benchmarking Deep Learning Methods for Antibody-specific Epitope Prediction
University College London（伦敦大学学院）；Structural Molecular Biology（结构分子生物学）；Computer Science（计算机科学）
针对抗体表位预测缺乏统一基准的问题，提出最大数据集AsEP并基准测试现有方法，发现性能不足，进而提出结合语言模型与图神经网络的WALLE方法，实现3-10倍性能提升。
2024-11-07 cs.LG
Ineq-Comp: Benchmarking Human-Intuitive Compositional Reasoning in Automated Theorem Proving on Inequalities
Princeton Language and Intelligence（普林斯顿语言与智能）；Princeton University（普林斯顿大学）；Peking University（北京大学）；Tsinghua University（清华大学）；Amazon（亚马逊）
本文提出 Ineq-Comp 不等式组合推理基准，通过变量复制、代数重写和多步组合测试 LLM 证明器，发现主流模型即使获得子证明仍存在显著组合推理缺陷。
2025-10-20 cs.AI cs.CL cs.LG
Benchmarking OCR Pipelines with Adaptive Enhancement for Multi-Domain Retail Bill Digitization
Data Analytics Team Lead, JP Research India Pvt. Ltd.（JP Research India Pvt. Ltd. 数据分析团队负责人）；PhD Scholar, Business Analytics and Information Technology（Business Analytics and Information Technology 博士学者）
本文提出并评估了针对多领域零售票据数字化的智能、质量感知自适应OCR流水线，通过自监督去噪训练CNN图像增强模块，结合三层路由的图像质量分析和自信驱动的反馈循环，实现字符识别错误率降低26.4%、词错误率降低31.2%。
2026-04-28 cs.CV cs.LG
REPLAB: A Reproducible Low-Cost Arm Benchmark Platform for Robotic Learning
UC Berkeley（加州大学伯克利分校）
标准化的评估措施有助于机器学习方法在计算机视觉和机器翻译等学科中的进步。在本文中，我们提出了机器人学习也将受益于基准测试的情况，并提出了“REPLAB”平台，用于基准测试基于视觉的操作任务。REPLAB是一个可复制和自包含的硬件堆栈（机器人手臂，摄像头和工作空间），成本约为2000美元，占地面积为70x40x60 cm的长方体，并允许在几个小时内完全组装。通过这种低成本、紧凑的设计，REPLAB旨在通过降低进入机器人领域的门槛来推动广泛的参与，并使许多机器人能够轻松扩展。我们设想REPLAB作为跨操作任务的可重复研究的框架，并作为在这个方向上的一步，我们定义了一个模板，包括任务定义，评估协议，性能指标，和92k抓取尝试的数据集的把握基准。我们实施，评估和分析几个以前提出的抓方法，建立基准。最后，我们还在REPLAB平台上实现并评估了一种用于3D到达任务的深度强化学习方法。包含汇编说明、代码和视频的项目页面：https://goo.gl/5F9dP4。
2019-05-17 cs.CV cs.LG cs.RO
MMInA: Benchmarking Multihop Multimodal Internet Agents
S-Lab, Nanyang Technological University（南洋理工大学S实验室）
提出多跳多模态基准测试 MMInA，评估具身智能体在真实演变网站上的组合性互联网任务表现，并发现现有智能体在多跳任务早期易失败，进而提出记忆增强方法显著提升其单跳与多跳网页浏览能力。
2025-06-29 cs.AI cs.CL cs.CV
Benchmarking End-To-End Performance of AI-Based Chip Placement Algorithms
University of Science and Technology of China（中国科学技术大学）；Tianjin University（天津大学）
本文提出ChiPBench基准，基于20个跨领域电路和六种AI布局算法，接入完整物理实现流程评估最终PPA，揭示中间代理指标与端到端性能的显著错位。
2024-12-06 cs.AI cs.AR
InterCode: Standardizing and Benchmarking Interactive Coding with Execution Feedback
Princeton University（普林斯顿大学）
本文提出 InterCode 框架，将交互式编程标准化为强化学习环境，以代码为动作、执行反馈为观测，并在 Bash、SQL 和 Python 三个环境中验证其能有效提升 LLM 的代码生成能力。
2023-10-30 cs.CL cs.LG cs.SE
Laughing Heads: Can Transformers Detect What Makes a Sentence Funny?
EPFL（洛桑联邦理工学院）
幽默的自动检测对自然语言处理提出了巨大的挑战。基于transformer的系统最近在这项任务上取得了显着的成果，但它们通常（1）~在严肃与幽默文本来自完全不同来源的设置中进行评估，（2）~专注于基准性能，而不提供对模型如何工作的见解。我们在这两个方面都取得了进展，通过训练和分析基于transformer的幽默识别模型，最近推出的数据集由最小对对齐的句子组成，一个严重，另一个幽默。我们发现，尽管我们的对齐数据集比以前的数据集要难得多，但基于transformer的模型以高准确率（78%）识别对齐对中的幽默句子。在仔细的错误分析中，我们描述了简单与困难的实例。最后，通过分析注意力权重，我们获得了重要的见解的机制，Transformers识别幽默。最值得注意的是，我们发现了明确的证据，表明一个单一的注意头学会识别使测试句子幽默的单词，即使在训练时没有获得这些信息。
2021-08-25 cs.AI cs.CL cs.LG
OpenDataVal: a Unified Benchmark for Data Valuation
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）
本文提出OpenDataVal，一个统一的数据估值基准框架，集成了多种数据集、算法和模型API，并通过四个下游任务评估发现无单一算法全面最优，需按任务选择合适算法。
2023-10-13 cs.LG stat.ML
FAIRification of MLC data
Jožef Stefan Institute（约瑟夫·斯特凡研究所）；Technical University Berlin（柏林工业大学）
多标签分类（MLC）任务越来越受到机器学习（ML）社区的关注，正如文献中出现的越来越多的论文和方法所证明的那样。因此，确保适当、正确、稳健和值得信赖的基准对该领域的进一步发展至关重要。我们相信，这可以通过遵守最近出现的数据管理标准来实现，例如FAIR（可查找、可扩展、可互操作和可重用）和TRUST（透明、责任、用户关注、可持续性和技术）原则。为了公平的MLC数据集，我们引入了一个基于本体的MLC数据集的在线目录，遵循这些原则。该目录广泛描述了许多MLC数据集，具有可理解的元特征，MLC特定的语义描述和不同的数据来源信息。MLC数据目录在我们最近的出版物Nature Scientific Reports，Kostovska & Bogatinovski et al.，并可在http://semantichub.ijs.si/MLCdatasets上获得。此外，我们提供了一个基于本体的系统，方便地访问和查询的性能/基准数据从一个全面的MLC基准研究。该系统可在以下网址获得：http://semantichub.ijs.si/MLCbenchmark。
2022-11-23 cs.AI cs.CY cs.LG
Attention versus Contrastive Learning of Tabular Data -- A Data-centric Benchmarking
Tennessee State University（田纳西州立大学）
本文在28个表格数据集上对最先进的注意力与对比学习方法进行基准测试，发现结合样本间与特征间注意力可显著超越传统ML，混合策略在难分类数据上占优，而传统方法在易分类数据上更佳。
2024-01-08 cs.LG
Structured Prediction Problem Archive
Heinrich-Heine University Düsseldorf（海因里希·海涅杜塞尔多夫大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；TU Munich（慕尼黑工业大学）；University of Bonn（波恩大学）；Heidelberg University（海德堡大学）；TU Dresden（德累斯顿工业大学）
本文构建结构化预测问题档案库，汇集多类数据集、格式描述与特征总结，并提供算法参考，旨在促进算法开发与基准测试。
2023-11-17 cs.CV cs.LG
A Dynamic Points Removal Benchmark in Point Cloud Maps
KTH Royal Institute of Technology（瑞典皇家理工学院）；The Hong Kong University of Science and Technology（香港科技大学）
针对点云地图中动态点损害定位与路径规划、现有方法缺乏统一评估的问题，本文提出可扩展的统一基准框架，整合重构方法与新指标并基于多传感器数据集开展全面分析。
2023-07-14 cs.AI cs.RO
Easy Data Unlearning Bench
epfl（苏黎世联邦理工学院）；harvard（哈佛大学）
本文提出了一种统一的基准测试套件，通过KLoM度量简化机器删除算法的评估，促进研究和最佳实践。
2026-02-18 cs.LG
EMGBench: Benchmarking Out-of-Distribution Generalization and Adaptation for Electromyography
Carnegie Mellon University（卡内基梅隆大学）
本文提出首个EMG分布外泛化与自适应基准，涵盖跨受试者分类与时间序列自适应任务，整合九个数据集并引入新可穿戴数据，为评估EMG分类器实际性能提供资源。
2024-11-04 cs.LG
CausalTime: Realistically Generated Time-series for Benchmarking of Causal Discovery
Tsinghua University（清华大学）；Chinese PLA General Hospital（中国人民解放军总医院）
针对现有合成数据集难以真实评估时间序列因果发现算法性能的问题，本研究提出CausalTime流水线，基于真实数据生成带真值因果图的高保真时间序列，用于算法基准测试，可推广至多领域。
2023-10-03 cs.LG stat.ML
TAB: Unified Benchmarking of Time Series Anomaly Detection Methods
East China Normal University, China（华东师范大学）；Huawei Cloud Availability Engineering Lab, China（华为云可用性工程实验室）；Aalborg University, Denmark（奥尔堡大学）
针对时间序列异常检测评估的缺陷，提出统一基准TAB，涵盖多领域数据集与多种方法，通过自动化流程公平评估现有方法并提供性能洞察。
2025-07-15 cs.LG
Evaluating Graph Neural Networks for Link Prediction: Current Pitfalls and New Benchmarking
Michigan State University（密歇根州立大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Snap Inc.（Snap公司）；Baidu Inc.（百度公司）
针对图神经网络链接预测评估中的基线偏低、缺乏统一划分及负样本简单等陷阱，本文在统一设置下公平比较现有方法，并提出基于HeaRT的困难负样本评估新基准以贴近现实场景。
2023-11-18 cs.LG cs.SI
Machine Learning Automation Toolbox (MLaut)
University College London（伦敦大学学院）；European Bank for Reconstruction and Development（欧洲复兴开发银行）；The Alan Turing Institute（艾伦·图灵研究所）
在本文中，我们介绍了Python数据科学生态系统的MLaut（机器学习自动化学习）。MLaut在大量数据集上自动进行机器学习算法的大规模评估和基准测试。MLaut为机器算法算法提供了一个高级工作流接口，为数据集、训练算法和实验结果的数据库实现了一个本地后端，并为scikit-learn和keras建模库提供了易于使用的接口。只需几行代码即可轻松设置实验的默认设置，同时保持完全可定制到超参数调优、流水线组合或深度学习架构的级别。作为MLaut的主要测试案例，我们进行了一项大规模监督分类研究，以衡量许多机器学习算法的性能-据我们所知，这也是第一次对标准监督学习数据集进行大规模研究，以包括深度学习算法。虽然证实了文献中的许多先前发现，但我们发现（在我们研究的限制范围内）深度神经网络在基本的监督学习上表现不佳，即，在更专业的、基于图像、音频或文本的任务之外。
2019-01-11 cs.AI cs.LG stat.ML
ELKI: A large open-source library for data analysis - ELKI Release 0.7.5 "Heidelberg"
Technische Universität Dortmund（多特蒙德工业大学）；University of Southern Denmark（南丹麦大学）；Heidelberg University（海德堡大学）
本文记录了ELKI数据采掘框架0.7.5版的发布。ELKI是一个用Java编写的开源（AGPLv 3）数据采掘软件。ELKI的重点是算法研究，重点是聚类分析和离群点检测中的无监督方法。为了实现高性能和可伸缩性，ELKI提供了数据索引结构，如R* 树，可以提供主要的性能增益。ELKI的设计是为了便于研究人员和学生在这一领域的扩展，并欢迎其他方法的贡献。ELKI旨在提供大量高度可参数化的算法，以便对算法进行简单而公平的评估和基准测试。我们将首先概述此版本的动机，未来的计划，然后简要概述此版本中的新功能。我们还包括一个附录，概述了整体实现的功能。
2019-02-10 cs.LG stat.ML
