FedML: A Research Library and Benchmark for Federated Machine Learning
Tencent（腾讯）；WeBank（微众银行）
联邦学习是机器学习中一个快速发展的研究领域。然而，现有的FL库不能充分支持不同的算法开发;不一致的数据集和模型使用使得公平的算法比较具有挑战性。在这项工作中，我们引入FedML，一个开放的研究库和基准，以促进FL算法的开发和公平的性能比较。FedML支持三种计算范例：边缘设备的设备上训练、分布式计算和单机仿真。FedML还通过灵活和通用的API设计以及全面的参考基线实现（优化器、模型和数据集）促进了多样化的算法研究。我们希望FedML能够为FL算法的开发和评估提供一种高效且可重复的方法，从而使FL研究社区受益。我们在https://fedml.ai上维护源代码、文档和用户社区。
2020-11-08 cs.LG stat.ML
Decoding machine learning benchmarks
Faculdade de Computação, Universidade Federal do Pará（帕拉联邦大学计算机学院）；Centro de Informática, Universidade Federal de Pernambuco（伯南布哥联邦大学信息中心）；Instituto Tecnológico Vale（淡水河谷技术研究所）
尽管基准机器学习（ML）存储库（例如，UCI，OpenML），目前还没有标准的评估策略能够指出哪一组数据集是测试不同ML算法的最佳黄金标准。在最近的研究中，项目反应理论（IRT）已经成为一种新的方法来阐明什么应该是一个好的ML基准。本文应用项目反应理论（IRT）对著名的OpenML-CC 18基准进行了探索，以确定它在分类器评估中的适用性。使用IRT模型评估了从经典分类器到集成分类器的几种分类器，该模型可以同时估计数据集难度和分类器的能力。在项目反应理论的基础上，采用Glicko-2评分系统，对分类者的内在能力和倾向性进行了总结。据观察，并非所有来自OpenML-CC 18的数据集都对评估分类器非常有用。在这项工作中评估的大多数数据集（84%）通常包含简单的实例（例如，只有10%的困难情况）。此外，在这个基准测试的一半中，80%的实例都是非常有区别的实例，这对于成对算法比较非常有用，但对于推动分类器的能力没有帮助。本文介绍了这种新的评价方法的基础上IRT以及工具decodIRT，开发来指导IRT估计ML基准。
2020-08-19 cs.LG stat.ML
Introducing CausalBench: A Flexible Benchmark Framework for Causal Analysis and Machine Learning
Arizona State University（亚利桑那州立大学）
针对因果学习缺乏统一基准的问题，本文提出了透明易用的评估平台 CausalBench，提供数据、算法、模型和指标的基准服务，以推动该领域研究的进步、公平性与可重复性。
2024-09-24 cs.LG stat.ML
Benchmark and Survey of Automated Machine Learning Frameworks
USU Software AG（USU软件股份公司）；Institute of Industrial Manufacturing and Management IFF（工业制造与管理研究所（IFF））；University of Stuttgart（斯图加特大学）；Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所（IPA））
机器学习（ML）已经成为我们日常生活中许多方面的重要组成部分。然而，构建性能良好的机器学习应用程序需要高度专业化的数据科学家和领域专家。自动化机器学习（AutoML）旨在通过使领域专家能够自动构建机器学习应用程序来减少对数据科学家的需求，而无需广泛的统计学和机器学习知识。本文结合了当前AutoML方法的调查和真实数据集上流行的AutoML框架的基准测试。在所选评估框架的驱动下，我们总结并回顾了与构建ML管道的每一步相关的重要AutoML技术和方法。所选AutoML框架在来自已建立的AutoML基准套件的137个数据集上进行了评估。
2021-01-26 cs.AI cs.LG stat.ML
MoleculeNet: A Benchmark for Molecular Machine Learning
Stanford University（斯坦福大学）；Stanford School of Medicine（斯坦福大学医学院）；Schrodinger Inc.（薛定谔公司）
分子机器学习在过去几年中迅速成熟。改进的方法和更大数据集的存在使机器学习算法能够对分子特性做出越来越准确的预测。然而，由于缺乏一个标准的基准来比较所提出的方法的有效性，算法的进展受到了限制;大多数新算法都是在不同的数据集上进行基准测试的，这使得衡量所提出的方法的质量具有挑战性。本文介绍了分子机器学习的一个大规模的基准程序MoleculeNet。MoleculeNet管理多个公共数据集，建立评估指标，并提供多个先前提出的分子特征化和学习算法（作为DeepChem开源库的一部分发布）的高质量开源实现。MoleculeNet基准测试表明，可学习的表示是分子机器学习的强大工具，并广泛提供最佳性能。然而，这一结果带来了警告。可学习表示仍然难以在数据稀缺和高度不平衡的分类下处理复杂任务。对于量子力学和生物物理数据集，使用物理感知特征化可能比选择特定的学习算法更重要。
2018-10-26 cs.LG physics.chem-ph stat.ML
Benchmarking Automatic Machine Learning Frameworks
Georgian Partners
AutoML在设计机器学习系统时充当不同专业水平之间的桥梁，并加快数据科学过程。为了解决这一问题，采取了各种各样的技术，但并没有对这些技术进行客观的比较。我们提出了一个使用开源数据集的当前开源AutoML解决方案的基准。我们测试了auto-sklearn、TPOT、auto_ml和H2O的AutoML解决方案，并对一组来自OpenML的回归和分类数据集进行了编译，发现auto-sklearn在分类数据集上表现最好，TPOT在回归数据集上表现最好。
2018-08-17 cs.AI cs.LG stat.ML
Benchmarking Neural Machine Translation for Southern African Languages
Explore Data Science Academy（探索数据科学学院）；Retro Rabbit（Retro Rabbit公司）
与主要的西方语言不同，大多数非洲语言的资源都非常少。此外，确实存在的资源往往是分散的，难以获得和发现。因此，现有研究的数据和代码很少共享。这导致了复制报告结果的斗争，并且几乎没有公开的非洲机器翻译模型基准。为了开始解决这些问题，我们在公开的数据集上为5种南部非洲语言训练了神经机器翻译模型。提供了用于训练模型并在新发布的评估集上评估模型的代码，目的是促进南部非洲语言领域的未来研究。
2019-06-17 cs.CL cs.LG stat.ML
Benchmarking Machine Learning: How Fast Can Your Algorithms Go?
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
本文着重于评估一些不同技术在机器学习加速方面的效果，包括向量缓存、并行执行等。下面的内容将包括对以前方法的一些回顾和我们自己的实验结果。
2021-01-08 cs.LG
Fashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning Algorithms
Zalando Research（Zalando 研究院）
Fashion-MNIST是一个新的数据集，包含来自10个类别的70，000种时尚产品的28 x28灰度图像，每个类别7，000张图像。训练集有60，000张图像，测试集有10，000张图像。Fashion-MNIST旨在作为原始MNIST数据集的直接替代品，用于基准测试机器学习算法，因为它共享相同的图像大小，数据格式以及训练和测试分割的结构。该数据集可在https://github.com/zalandoresearch/fashion-mnist上免费获得
2017-09-15 cs.CV cs.LG stat.ML
A method to benchmark high-dimensional process drift detection
University of Applied Sciences Kempten（肯普滕应用科学大学）
本文提出高维过程漂移检测的基准测试方法，构建受控合成过程曲线的理论框架与时间曲线下面积评估指标，并通过实验发现现有算法在多漂移片段场景下表现不佳。
2024-12-05 cs.AI cs.LG stat.ML
HiRID-ICU-Benchmark -- A Comprehensive Machine Learning Benchmark on High-resolution ICU Data
ETH Zürich（苏黎世联邦理工学院）；University Hospital, and University of Bern（伯尔尼大学医院与伯尔尼大学）
应用于从重症监护病房（ICU）收集的时间序列的机器学习方法的最近成功暴露了用于开发和比较这种方法的标准化机器学习基准的缺乏。虽然原始数据集，如MIMIC-IV或eICU，可以在Physionet上自由访问，但任务和预处理的选择通常是为每个出版物选择的，限制了出版物之间的可比性。在这项工作中，我们的目标是改善这种情况，提供一个基准涵盖了大范围的ICU相关的任务。使用HiRID数据集，我们与临床医生合作定义了多个临床相关任务。此外，我们提供了一个可复制的端到端管道来构建数据和标签。最后，我们对当前最先进的序列建模方法进行了深入分析，强调了深度学习方法对此类数据的一些限制。有了这个基准，我们希望给研究界一个公平比较他们工作的可能性。
2022-01-17 cs.LG
Benchmark Problems and Benchmark Datasets for the evaluation of Machine and Deep Learning methods on Photoplethysmography signals: the D4 report from the QUMPHY project
Technische Hochschule Mittelhessen - University of Applied Sciences（米特黑森应用技术大学）；National Physical Laboratory（国家物理实验室）；University of Cambridge（剑桥大学）；Physikalisch-Technische Bundesanstalt（德国联邦物理技术研究院）；Kaunas University of Technology（考纳斯理工大学）；Carl von Ossietzky Universität Oldenburg（奥尔登堡大学）
QUMPHY项目D4报告提出六个与PPG信号相关的基准问题，并描述了适合的基准数据集及其使用方法，旨在评估机器和深度学习方法在医疗领域的性能。
2026-04-01 cs.LG
Seizure Type Classification using EEG signals and Machine Learning: Setting a benchmark
IBM Research Australia（IBM澳大利亚研究院）；Google Health（谷歌健康）
癫痫发作类型的准确分类在癫痫患者的治疗和疾病管理中起着至关重要的作用。癫痫发作类型不仅影响药物的选择，而且影响患者可以安全从事的活动范围。随着人工智能使能的自动癫痫发作检测的最新进展，下一个前沿是癫痫发作类型的自动分类。在这一点上，在本文中，我们探讨了应用机器学习算法的多类癫痫发作类型分类。我们使用了最近发布的TUH EEG癫痫发作语料库（V1.4.0和V1.5.2），并进行了彻底的搜索空间探索，以评估各种预处理技术，机器学习算法和相应的超参数组合在此任务上的性能。我们表明，我们的算法可以达到加权的$F1$得分高达0.901的逐例交叉验证和0.561的逐例交叉验证，从而为头皮EEG为基础的多类癫痫发作类型分类的基准。
2020-08-12 cs.LG q-bio.QM stat.ML
Open Graph Benchmark: Datasets for Machine Learning on Graphs
Stanford University（斯坦福大学）；TU Dortmund University（多特蒙德工业大学）；Harvard University（哈佛大学）；Microsoft Research（微软研究院）
我们提出了开放图基准（OGB），一组具有挑战性和现实性的基准数据集，以促进可扩展的，鲁棒的和可重复的图机器学习（ML）研究。OGB数据集是大规模的，包含多个重要的图ML任务，并涵盖了各种领域，从社会和信息网络到生物网络，分子图，源代码AST和知识图谱。对于每个数据集，我们使用有意义的特定于应用程序的数据分割和评估指标提供统一的评估协议。除了构建数据集外，我们还对每个数据集进行了广泛的基准测试实验。我们的实验表明，OGB数据集提出了重大挑战的可扩展性，大规模的图形和分布外泛化下现实的数据分裂，为未来的研究成果的机会。最后，OGB提供了一个自动化的端到端图形ML管道，可以简化和标准化图形数据加载、实验设置和模型评估的过程。OGB将定期更新，并欢迎社区的投入。OGB数据集以及数据加载器、评估脚本、基线代码和排行榜可在https://ogb.stanford.edu上公开获取。
2021-02-25 cs.LG cs.SI stat.ML
Benchmarking Econometric and Machine Learning Methodologies in Nowcasting
即时预报可以发挥关键作用，使决策者能够更及时地了解有很大时滞的数据，如最终国内生产总值数字。目前，有大量的方法和做法供从业人员选择。然而，缺乏这些不同的方法在预测性能和特征方面的全面比较。本文通过研究12种不同方法在预测美国季度GDP增长方面的表现来解决这一缺陷，包括预测中最常用的所有方法，以及一些最流行的传统机器学习方法。在美国经济历史上的三个不同动荡时期评估了表现：20世纪80年代初的经济衰退，2008年的金融危机和COVID危机。分析中表现最好的两种方法是长短期记忆人工神经网络（LSTM）和贝叶斯向量自回归（BVAR）。为了便于进一步应用和测试每一种研究的方法，一个包含可应用于不同数据集的样板代码的开源存储库与论文一起发布，可在github.com/dhopp1/nowcasting_benchmark上获得。
2022-05-06 cs.LG econ.EM stat.ML
PMLB: A Large Benchmark Suite for Machine Learning Evaluation and Comparison
Institute for Biomedical Informatics（生物医学信息学研究所）；University of Pennsylvania（宾夕法尼亚大学）
基于特定研究的目标问题和目标，在数据采掘中选择、开发或比较机器学习方法可能是一项困难的任务。许多公开的真实世界和模拟基准数据集来自不同的来源，但它们的组织和作为标准的采用一直不一致。因此，选择和策划特定的基准仍然是机器学习从业者和数据科学家不必要的负担。本研究介绍了一个可访问的，策划和发展的公共基准资源，以促进识别不同的机器学习方法的优点和缺点。我们比较了该资源中当前一组基准数据集的元特征，以表征可用数据的多样性。最后，我们将一些已建立的机器学习方法应用于整个基准测试套件，并分析数据集和算法如何在性能方面聚类。这项工作是了解流行的基准测试套件的局限性，并开发一种资源，将现有的基准测试标准与未来更多样化和更有效的标准联系起来的重要的第一步。
2017-03-01 cs.AI cs.LG
Machine Learning for removing EEG artifacts: Setting the benchmark
脑电图（EEG）经常被伪影污染，这使得解释它们对临床医生更具挑战性。因此，自动伪影识别系统有可能帮助临床工作流程。在这篇摘要中，我们分享了将各种机器学习算法应用于最近发布的世界上最大的开源工件识别数据集的第一批结果。我们设想这些结果将作为未来可能使用该数据集的研究人员的基准。
2019-03-19 eess.SP stat.ML
Synthetic Benchmarks for Scientific Research in Explainable Machine Learning
Stanford University（斯坦福大学）
随着机器学习模型变得越来越复杂，其应用变得越来越高风险，解释模型预测的工具变得越来越重要。这激发了对模型可解释性的一系列研究，并产生了LIME和SHAP等特征属性方法。尽管它们被广泛使用，但评估和比较不同的特征归因方法仍然具有挑战性：理想情况下，评估需要人类研究，而经验评估指标通常是数据密集型的，或者在现实世界的数据集上计算量过大。在这项工作中，我们通过发布XAI-Bench来解决这个问题：一套合成数据集以及用于基准特征属性算法的库。与真实世界的数据集不同，合成数据集允许有效计算评估地面真实Shapley值和其他指标所需的条件期望值。我们发布的合成数据集提供了各种各样的参数，可以配置这些参数来模拟真实世界的数据。我们展示了我们的图书馆的力量，通过基准测试流行的可解释性技术在几个评估指标和各种设置。我们库的多功能性和效率将帮助研究人员将他们的可解释性方法从开发到部署。我们的代码可在https://github.com/abacusai/xai-bench上获得。
2021-11-04 cs.AI cs.LG stat.ML
Generative and reproducible benchmarks for comprehensive evaluation of machine learning classifiers
Institute for Biomedical Informatics, University of Pennsylvania（宾夕法尼亚大学生物医学信息学研究所）；AGH University of Science and Technology（AGH科技大学）
了解机器学习（ML）算法的优点和缺点对于确定其应用范围至关重要。在这里，我们介绍了DIverse和GENerative ML Benchmark（DIGEN）-一个综合数据集的集合，用于对二进制结果分类的机器学习算法进行全面，可重复和可解释的基准测试。DIGEN资源由40个数学函数组成，这些函数将连续特征映射到离散端点，以创建合成数据集。这40个函数是使用启发式算法发现的，该算法旨在最大限度地提高多个流行的机器学习算法之间的性能差异，从而为评估和比较新方法提供了有用的测试套件。访问生成函数有助于理解为什么一种方法与其他算法相比表现不佳，从而提供改进的想法。包含大量文档和分析的资源是开源的，可在GitHub上获得。
2021-07-14 cs.AI cs.CV cs.LG
Mislabeled examples detection viewed as probing machine learning models: concepts, survey and extensive benchmark
Orange Innovation（奥兰治创新公司）
本文提出将误标注检测统一为对已训练模型的探测，构建了仅含4个构建块的模块化框架与Python库，并在NCAR和NNAR噪声上广泛基准测试现有方法，揭示其优势与局限。
2024-10-21 cs.LG
Filter Methods for Feature Selection in Supervised Machine Learning Applications -- Review and Benchmark
University of Bamberg（班贝格大学）
机器学习（ML）应用程序的数据量正在不断增长。随着数字化的不断进行，不仅观测的数量，特别是测量变量（特征）的数量也在增加。为预测建模选择最合适的特征是ML应用在商业和研究中取得成功的重要杠杆。独立于某个ML算法的特征选择方法（FSM）-所谓的过滤方法-已经被大量提出，但是对于研究人员和定量建模者来说，对于典型的ML问题选择适当的方法几乎没有指导。本文综合了大量的文献特征选择基准测试和广泛使用的R环境中的58种方法的性能进行评估。对于具体的指导，我们考虑了ML模型具有挑战性的四种典型数据集场景（噪声，冗余，不平衡数据和特征多于观察值的情况）。借鉴早期基准测试的经验，这些基准测试考虑了更少的FSM，我们根据四个标准（预测性能，选择的相关功能的数量，功能集的稳定性和运行时间）比较了方法的性能。我们发现依赖于随机森林方法的方法，双输入对称相关过滤器（DISR）和联合杂质过滤器（JIM）是给定数据集场景的性能良好的候选方法。
2021-11-23 cs.DB cs.LG stat.ML
LakeMLB: Data Lake Machine Learning Benchmark
Shanghai Jiao Tong University（上海交通大学）；Beijing Institute of Technology（北京理工大学）；Nankai University（南开大学）
LakeMLB提出一个数据湖机器学习基准，针对多源多表场景，提供真实数据集和三种整合策略，评估机器学习方法在复杂数据湖环境中的性能。
2026-08-04 cs.AI cs.LG
Benchmark of structured machine learning methods for microbial identification from mass-spectrometry data
bioMérieux（生物梅里埃）；MINES ParisTech（巴黎高科矿业学校）；PSL Research University（巴黎文理研究大学）；Institut Curie（居里研究所）；INSERM（法国国家健康与医学研究院）
微生物鉴定是微生物学的核心问题，特别是在传染病诊断和工业质量控制领域。物种的概念与生物学和临床分类的概念密切相关，其中物种之间的接近程度通常以进化距离和/或临床表型来衡量。令人惊讶的是，这种众所周知的分层结构提供的信息很少被基于机器学习的自动微生物鉴定系统使用。最近提出了结构化机器学习方法，用于考虑嵌入在层级中的结构并将其用作附加的先验信息，并且因此可以允许改进微生物鉴定系统。我们在一个新的基质辅助激光解吸/电离飞行时间质谱（MALDI-TOF MS）数据集上测试和比较了几种用于微生物鉴定的最先进的机器学习方法。我们在基准标准和结构化方法中包括了在学习过程中利用底层层次结构知识的方法。我们的研究结果表明，虽然有些方法比其他方法表现更好，结构化的方法并不总是比他们的“平面”同行表现更好。我们假设，这部分是由于这样一个事实，即标准的方法已经达到了很高的准确性，在这种情况下，他们主要混淆物种接近对方的树，使用已知的层次结构是没有帮助的情况下。
2015-06-24 cs.LG q-bio.QM stat.ML
Statistical Uncertainty Quantification for Aggregate Performance Metrics in Machine Learning Benchmarks
University of California Irvine（加州大学欧文分校）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本文针对机器学习基准中跨任务聚合性能指标，提出用自助法、贝叶斯分层建模和考虑标准误差的任务权重可视化来量化不确定性，并在VTAB上验证，揭示了模型在特定任务上的主导性。
2026-09-14 cs.LG stat.AP stat.ML
The Game of Hidden Rules: A New Kind of Benchmark Challenge for Machine Learning
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；Rutgers University（罗格斯大学）
随着机器学习（ML）与社会的联系越来越紧密，如果我们要负责任地使用它，我们必须更好地描述ML的优势和局限性。现有的机器学习基准环境，如棋盘游戏和视频游戏，提供了定义良好的进度基准，但组成任务通常很复杂，并且通常不清楚任务特征如何影响机器学习器的整体难度。同样，如果没有对任务特征如何影响难度进行系统评估，那么在不同基准环境中的表现之间建立有意义的联系是具有挑战性的。我们引入了一个新的基准测试环境，提供了大量的ML挑战，并能够精确检查任务元素如何影响实际难度。该工具将学习任务框架为“棋盘清除游戏”，我们称之为隐藏规则游戏（GOHR）。该环境包括一个表达性规则语言和一个可以在本地安装的强制服务器环境。我们提出了一套基准规则学习任务，并计划支持有兴趣尝试学习我们的规则的研究人员的性能排行榜。GOHR通过允许对任务进行精细、可控的修改来补充现有环境，使实验者能够更好地理解给定学习任务的每个方面如何影响任意ML算法的实际难度。
2022-07-20 cs.LG
GlycanML: A Multi-Task and Multi-Structure Benchmark for Glycan Machine Learning
Peking University（北京大学）；Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；BioGeometry（生物几何机构）；HEC Montréal（蒙特利尔高等商学院）；CIFAR AI Research Chair（加拿大高级研究所人工智能研究主席）
本文构建了GlycanML基准，涵盖聚糖分类、免疫原性、糖基化类型和蛋白质-聚糖相互作用预测任务，并通过多任务学习测试平台验证了多关系GNN与合适MTL方法的性能优势。
2024-10-01 cs.LG
NADBenchmarks -- a compilation of Benchmark Datasets for Machine Learning Tasks related to Natural Disasters
University of Rochester（罗切斯特大学）
气候变化增加了世界各地极端天气事件和自然灾害的强度、频率和持续时间。虽然自然灾害数据的增加提高了机器学习（ML）在该领域的应用范围，但进展相对缓慢。一个瓶颈是缺乏基准数据集，这将使ML研究人员能够根据标准指标量化他们的进展。这篇简短论文的目的是探索与自然灾害相关的机器学习任务的基准数据集的状态，并根据灾害管理周期对其进行分类。我们编制了过去五年中引入的现有基准数据集的列表。我们提出了一个网络平台- NADBenchmarks -研究人员可以搜索自然灾害的基准数据集，我们使用我们的汇编列表开发了这样一个平台的初步版本。本文旨在帮助研究人员寻找基准数据集来训练他们的ML模型，并为他们可以贡献新基准数据集的主题提供一般方向。
2022-12-21 cs.CV cs.LG
HardML: A Benchmark For Evaluating Data Science And Machine Learning knowledge and reasoning in AI
Independent Machine Learning Engineer（独立机器学习工程师）
本文提出HardML基准，包含100道手工制作的高难度数据科学与机器学习多选题，用于严格评估顶级AI模型的知识与推理能力，当前最先进模型错误率达30%，约为MMLU ML的三倍。
2025-05-06 cs.AI cs.LG
Benchmarking Quantum Machine Learning for Power-System Attack Detection: Evaluation Choices Decide the Outcome Before the Models Do
该研究针对电力系统攻击检测，将量子机器学习模型与经典模型在多类攻击下对比，发现评估选择会影响结果，发布了设种子的基准测试。
2026-08-21 cs.CR cs.LG quant-ph
PMLB v1.0: An open source dataset collection for benchmarking machine learning methods
University of Pennsylvania（宾夕法尼亚大学）；Washington University in St. Louis（圣路易斯华盛顿大学）；Princeton Day School（普林斯顿走读学校）
动机：新的机器学习和统计建模研究依赖于使用经过充分研究的基准数据集与现有方法进行标准化比较。很少有工具可以通过标准化的、用户友好的界面快速访问这些数据集，该界面与流行的数据科学工作流集成良好。结果如下：此版本的PMLB提供了最大的多样化公共基准数据集集合，用于评估聚合在一个位置的新机器学习和数据科学方法。v1.0引入了在与开放源代码社区讨论后开发的一些关键改进。可用性：PMLB可在https://github.com/EpistasisLab/pmlb上获得。PMLB的Python和R接口可以分别通过Python包索引和Comprehensive R Archive Network安装。
2021-04-06 cs.DB cs.LG
Benchmarking Machine Learning Models to Predict Corporate Bankruptcy
McCoy College of Business at Texas State University（德克萨斯州立大学麦考伊商学院）；Scheller College of Business at Georgia Institute of Technology（佐治亚理工学院谢勒商学院）；College of Computing at Georgia Institute of Technology（佐治亚理工学院计算学院）
使用1990年至2019年的2，585起破产案的综合样本，我们对各种机器学习模型在预测美国上市公司财务困境方面的表现进行了基准测试。我们发现，梯度提升树优于其他模型在一年前的预测。变量排列检验表明，超额股票收益率，特质风险和相对大小是更重要的预测变量。源自公司文件的文本特征不会实质性地改善业绩。在信贷竞争模型中，考虑到违约错误分类的非对称成本，生存随机森林能够获得大量的美元利润。
2022-12-22 cs.LG q-fin.CP
A Comprehensive Benchmark of Machine and Deep Learning Across Diverse Tabular Datasets
Bar Ilan University（巴伊兰大学）；Ariel University（阿里埃尔大学）
本研究构建了一个包含111个数据集和20个模型的综合基准，全面对比了表格数据上的深度学习与传统方法，并训练出准确率达86.1%的模型来预测深度学习的优势场景。
2024-08-27 cs.AI cs.LG
Machine Learning-Based Prediction of Dengue Infection Using Clinical and Hematological Data from Bangladesh: A Comparative Analysis of Benchmark and Extended Prediction Models
School of Engineering, Computer and Mathematical Sciences（工程、计算机与数学学院）；Auckland University of Technology (AUT)（奥克兰理工大学）
针对孟加拉国登革热早期诊断难的问题，本研究对比逻辑回归、随机森林、XGBoost三种模型，结合SMOTE技术，利用临床与血液学数据预测登革热，发现2024年扩展模型表现优于基准模型，RDW-CV是关键新增预测因子，2025年基准模型表现更高或与数据质量有关，需外部验证。
2026-10-14 cs.LG
AIPerf: Automated machine learning as an AI-HPC benchmark
Peng Cheng Laboratory（鹏城实验室）；Tsinghua University（清华大学）；Institute of Computing Technology Chinese Academy of Sciences（中国科学院计算技术研究所）
大量复杂的人工智能（AI）算法和可用的高性能计算（HPC）能力刺激了具有异构设计的AI组件的快速开发。因此，对AI-HPC系统的跨堆栈性能基准测试的需求迅速出现。事实上的HPC基准测试LINPACK无法反映AI计算能力和I/O性能，没有代表性的工作负载。目前流行的AI基准测试（如MLPerf）具有固定的问题大小，因此可扩展性有限。为了解决这些问题，我们提出了一个利用自动机器学习（AutoML）的端到端基准测试套件，它不仅代表了真实的AI场景，而且可以自动适应各种规模的机器。我们以高度并行和灵活的方式实现算法，以确保在具有可定制配置的各种系统上的效率和优化潜力。我们利用每秒操作数（OPS）作为量化AI性能的主要指标，OPS是以分析和系统的方法测量的。为了保证基准测试的稳定性和可扩展性，我们对不同的系统进行了评估，从4个节点的32台NVIDIA Tesla T4（实测56.1 Tera-OPS），到512个节点的4096台华为Ascend 910（实测194.53 Peta-OPS），结果显示出近似线性的弱可扩展性。凭借灵活的工作负载和单一指标，我们的基准测试可以轻松扩展和排名AI-HPC。
2021-03-15 cs.DC cs.LG
Benchmarking machine learning models for quantum state classification
Università degli Studi di Milano（米兰大学）；INFN Sezione di Milano（意大利国家核物理研究所米兰分部）；Technology Innovation Institute（技术创新研究所）；CERN（欧洲核子研究组织）
针对量子比特因噪声和退相干需仔细校准的问题，本文对应用于真实量子器件的多种分类技术进行了基准测试，以区分基态与激发态。
2023-09-14 cs.LG quant-ph
ABOUT ML: Annotation and Benchmarking on Understanding and Transparency of Machine Learning Lifecycles
我们提出了“关于机器学习生命周期的理解和透明度的注释和基准测试”（ABOUT ML）项目，作为实现ML透明度并致力于标准ML文档实践的倡议。我们证明了该项目在整合各种利益相关者的不同努力方面的相关性和有效性，并引入了目前缺失的声音的观点，这对塑造未来的对话很有价值。我们描述了该计划的细节以及我们希望该项目有助于解决的差距。
2020-01-08 cs.CY stat.ML
Neurai-VN Benchmark: Standardized Machine Learning Models for Multimodal Digital Phenotyping in Mental Health Classification
College of Engineering and Computer Science, VinUni-Illinois Smart Health Center, VinUniversity（工程与计算机科学学院，VinUni - 伊利诺伊智能健康中心，Vin大学）；School of Biomedical Engineering, International University, Vietnam National University HCMC（生物医学工程学院，胡志明市越南国立大学国际大学）
该研究基于Neurai-VN数据集构建可重复基准，定义四个临床相关二元分类任务，用标准化受试者交叉验证评估，在预定义特征配置下评估多种基线模型，给出各任务F1分数，为心理健康分类任务的多模态DP研究提供可重复基线。
2026-08-18 cs.LG
The Catechol Benchmark: Time-series Solvent Selection Data for Few-shot Machine Learning
Department of Computing, Imperial College London（计算系，帝国理工学院伦敦分校）；Department of Chemistry, Imperial College London（化学系，帝国理工学院伦敦分校）；SOLVE Chemistry（SOLVE化学）
本文提出了一种用于少样本机器学习的时序溶剂选择数据集，通过大规模连续工艺条件样本，挑战机器学习模型，应用于溶剂替代和可持续制造。
2025-11-27 cs.LG q-bio.QM
Benchmarking Traditional Machine Learning and Deep Learning Models for Fault Detection in Power Transformers
National Institute of Technology, Tiruchirappalli, TamilNadu, India（印度坦米尔纳德邦特里奇里帕利国家理工学院）
该研究基于10个月状态监测数据，基准比较五种传统机器学习与四种深度学习模型在电力变压器故障分类中的表现，发现RF以86.82%准确率略优于1D-CNN的86.30%。
2025-05-07 cs.LG
Better than classical? The subtle art of benchmarking quantum machine learning models
Xanadu；Chalmers University of Technology（查尔姆斯理工大学）
本研究通过大规模基准测试发现，经典模型在小型任务上优于量子模型，且纠缠并非关键，为量子机器学习设计提出五个重要问题。
2024-03-14 cs.LG quant-ph
Benchmark Performance of Machine And Deep Learning Based Methodologies for Urdu Text Document Classification
为了提供基准性能的乌尔都语文本文档分类，本文的贡献是多方面的。首先，它提供了一个公开可用的基准数据集，手动标记为6个类。其次，它研究了传统的基于机器学习的乌尔都语文本文档分类方法的性能影响，嵌入10个过滤器为基础的特征选择算法，已被广泛用于其他语言。第三，第一次评估了各种基于深度学习的乌尔都语文本文档分类方法的性能。在这方面，为了进行实验，我们采用了10种深度学习分类方法，这些方法为英语文本分类提供了最佳性能数据。第四，它还研究了迁移学习的性能影响，利用双向编码器表示Transformers方法乌尔都语。第五，它评估了一种混合方法的完整性，该方法结合了传统的基于机器学习的特征工程和基于深度学习的自动特征工程。实验结果表明，在两个闭源基准数据集CLE Urdu Digest 1000 k和CLE Urdu Digest 1Million上，归一化差异度量和支持向量机的特征选择方法分别以32%和13%的显著性裕度表现出最先进的性能。在所有三个数据集上，归一化差异度量优于其他基于过滤器的特征选择算法，因为它显著提升了所有采用的机器学习，深度学习和混合方法的性能。源代码和呈现的数据集可在Github存储库中获得。
2020-03-03 cs.CL cs.LG
SustainBench: Benchmarks for Monitoring the Sustainable Development Goals with Machine Learning
Caltech（加州理工学院）；Stanford（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
联合国可持续发展目标（SDG）的进展一直受到缺乏关键环境和社会经济指标数据的阻碍，这些指标历史上来自时间和空间覆盖范围稀疏的地面调查。机器学习的最新进展使得利用丰富、频繁更新和全球可用的数据（例如来自卫星或社交媒体的数据）成为可能，以提供对可持续发展目标进展的见解。尽管早期的结果很有希望，但到目前为止，使用这些数据进行可持续发展目标测量的方法在很大程度上是在不同的数据集上进行评估，或者使用不一致的评估指标，这使得很难理解性能是否在改善，以及在哪里进行额外的研究将最有成效。此外，处理卫星和地面调查数据需要机器学习社区中许多人缺乏的领域知识。在本文中，我们介绍了SustainBench，这是一个涵盖7个可持续发展目标的15个基准任务的集合，包括与经济发展、农业、健康、教育、水和卫生、气候行动和陆地生命相关的任务。15项任务中有11项的数据集是首次公开发布。我们对SustainBench的目标是（1）降低机器学习社区的准入门槛，以促进衡量和实现可持续发展目标;（2）提供标准基准，用于评估各种可持续发展目标任务上的机器学习模型;（3）鼓励开发新型机器学习方法，其中改进的模型性能有助于实现可持续发展目标。
2021-11-08 cs.CV cs.LG
A Machine Learning Surrogate Modeling Benchmark for Temperature Field Reconstruction of Heat-Source Systems
Defense Innovation Institute, Academy of Military Sciences（军事科学院国防科技创新研究院）
热管理中的有限监测传感器热源系统温度场重构是工程中电子设备实时的健康检测系统的重要组成部分。然而，具有普通插值的现有方法通常不能提供所需的精确重建性能。此外，目前还没有公开的数据集可供广泛研究重建方法，以进一步提高重建性能和工程应用。为了克服这个问题，这项工作开发了一个机器学习建模基准TFR-HSS任务。首先，TFR-HSS任务的数学建模从现实世界的工程问题和四种类型的数值建模已被构造成离散映射形式的问题。然后，提出了一套机器学习建模方法，包括一般的机器学习方法和深度学习方法，以推进温度场重建的最新方法。更重要的是，这项工作开发了一个新的基准数据集，即温度场重建数据集（TFRD），以评估这些机器学习建模方法的TFR-HSS任务。最后，在TFRD上对典型方法进行了性能分析，作为该基准测试的基准测试结果。
2023-01-03 cs.AI cs.LG cs.SY
Benchmark Data Repositories for Better Benchmarking
University of California, Irvine（加州大学欧文分校）
针对机器学习基准测试研究中对数据存储库关注不足的问题，本文分析了基准数据存储库的格局与作用，梳理了其设计使用的考量因素，以优化机器学习基准测试实践。
2024-10-31 cs.DL cs.LG
CausalProfiler: Generating Synthetic Benchmarks for Rigorous and Transparent Evaluation of Causal Machine Learning
Department of Computer Science, University of Bath, UK（英国巴斯大学计算机科学系）；Ekimetrics, Paris, France（法国巴黎Ekimetrics公司）；TAU, LISN, Inria Saclay, France（法国萨克雷Inria研究所）；INSA Rouen Normandie, Normandie University, LITIS, Rouen, France（法国鲁昂Normandie大学）
CausalProfiler是一种生成合成因果基准的工具，用于严格和透明评估因果机器学习方法，通过随机采样不同条件下的因果模型、数据和查询，提供覆盖保证和透明假设。
2026-08-20 cs.AI cs.LG
Benchmarking Processor Performance by Multi-Threaded Machine Learning Algorithms
National University of Computer and Emerging Sciences（国家计算机与新兴科学大学）
机器学习算法使计算机能够通过从以前的数据中学习来预测事物。数据存储和处理能力正在快速增长，从而增加了机器学习和人工智能的应用。大部分工作都是为了提高过去内置的的模型的准确性，很少有研究确定机器学习采集的计算成本。在本文中，我将继续这一后期的研究工作，并将多线程机器学习聚类算法的性能比较。我将研究线性回归、随机森林和K-最近邻，以确定算法的性能特征以及获得结果的计算成本。我将通过运行这些多线程算法来对系统硬件性能进行基准测试，以在数据集上训练和测试模型，从而注意算法性能矩阵的差异。最后，我将陈述关于这些算法在我的系统上的性能效率的最佳性能算法。
2021-09-11 cs.AI cs.AR cs.DC
Where are we now? A large benchmark study of recent symbolic regression methods
University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们提供了一个广泛的基准最近的遗传编程方法的背景下，最先进的机器学习方法的符号回归。我们使用了一组近100个回归基准测试问题，这些问题是从网络上的开源存储库中挑选出来的。我们对最近的四种符号回归方法以及scikit-learn的九种机器学习方法进行了严格的基准测试。结果表明，符号回归表现强劲相比，国家的最先进的梯度提升算法，虽然在运行时间是最慢的可用方法。我们详细讨论了结果，并指出未来的研究方向，可能会让符号回归获得更广泛的采用在机器学习社区。
2018-06-07 cs.LG cs.NE
Challenges and Pitfalls of Machine Learning Evaluation and Benchmarking
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
越来越复杂和多样化的机器学习（ML）模型以及硬件/软件堆栈（统称为“ML工件”）正在被提出-导致ML的多样化景观。提出的这些ML创新已经超过了研究人员分析，研究和适应它们的能力。这是加剧了复杂的，有时不可重现的ML评估程序。共享ML工件的一个常见做法是通过存储库，工件作者在存储库中发布临时代码和一些文档，但通常无法为其他人提供关键信息以重现其结果。这导致用户无法与工件作者的声明进行比较，或者使模型适应他/她自己的使用。本文讨论了ML评估和基准测试的常见挑战和陷阱，可用作ML模型作者共享ML工件时的指南，以及系统开发人员在基准测试或设计ML系统时的指南。
2019-06-25 cs.AI cs.LG cs.SE
Reduced, Reused and Recycled: The Life of a Dataset in Machine Learning Research
University of California, Los Angeles（加州大学洛杉矶分校）；Google Research（谷歌研究院）
基准数据集在机器学习研究的组织中发挥着核心作用。它们协调研究人员围绕共同的研究问题，并作为衡量共同目标进展的标准。尽管基准测试实践在这一领域的基础性作用，相对较少的关注已经支付基准数据集的使用和重用的动态，内部或跨机器学习子社区。在本文中，我们将深入研究这些动态。我们研究了2015-2020年机器学习子社区和时间段内数据集使用模式的差异。我们发现越来越多的集中在任务社区内越来越少的数据集，从其他任务的数据集的显着采用，并集中在整个领域的数据集，已介绍了位于少数精英机构的研究人员。我们的研究结果对科学评估，人工智能伦理和该领域内的公平/准入具有影响。
2021-12-03 cs.CL cs.CV cs.CY
A Customer Level Fraudulent Activity Detection Benchmark for Enhancing Machine Learning Model Research and Evaluation
针对客户级欺诈检测数据稀缺问题，研究提出了一个符合隐私保护且包含客户中心特征的结构化数据集基准，以全面评估机器学习模型并推动下一代反欺诈技术的发展。
2024-04-23 cs.AI cs.CR cs.LG
Does AI for science need another ImageNet Or totally different benchmarks? A case study of machine learning force fields
Institute of Computing Technology Chinese Academy of Science（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research（微软研究院）
本文以机器学习力场为案例，指出传统 AI 基准测试无法应对 AI4S 的分布外挑战，并提出涵盖样本效率、时域敏感性和跨数据集泛化的新基准方法，作为 SAIBench 项目的一部分。
2023-08-11 cs.LG physics.comp-ph
MS-MLB: An Open Machine Learning Benchmark for Blood-Based MS Classification
该研究提出首个开源MS分类基准MS-MLB，基于GSE17048全血RNA数据，用控制数据泄露的流程评估算法，梯度提升在留存集表现最优，内置外部模型提交路径，仅用于研究比较。
2026-08-07 cs.LG q-bio.QM
Hydrogen under Pressure as a Benchmark for Machine-Learning Interatomic Potentials
University of Konstanz（康斯坦茨大学）；Luxembourg Institute of Science and Technology (LIST)（卢森堡科学技术研究院）
本文提出一个自动基准，用于评估机器学习原子间势在压力下氢液-液相变分子动力学模拟中的性能，并发现多个最先进模型无法重现该相变。
2024-09-20 cond-mat.mtrl-sci cs.LG
An open benchmark for machine learning-based polymer property prediction
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；FAIR at Meta（Meta人工智能研究院）
PolyBench26是一个开放基准，包含近25万个聚合物性能数据点，支持四项评估任务，发现基于图的模型在性能预测中误差最低且稳健，为复杂聚合物设计提供可复现基础。
2026-09-24 cond-mat.mtrl-sci cs.AI cs.LG
