Fashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning Algorithms
Zalando Research（Zalando 研究院）
Fashion-MNIST是一个新的数据集，包含来自10个类别的70，000种时尚产品的28 x28灰度图像，每个类别7，000张图像。训练集有60，000张图像，测试集有10，000张图像。Fashion-MNIST旨在作为原始MNIST数据集的直接替代品，用于基准测试机器学习算法，因为它共享相同的图像大小，数据格式以及训练和测试分割的结构。该数据集可在https://github.com/zalandoresearch/fashion-mnist上免费获得
2017-09-15 cs.CV cs.LG stat.ML
Benchmarking Machine Learning Models to Predict Corporate Bankruptcy
McCoy College of Business at Texas State University（德克萨斯州立大学麦考伊商学院）；Scheller College of Business at Georgia Institute of Technology（佐治亚理工学院谢勒商学院）；College of Computing at Georgia Institute of Technology（佐治亚理工学院计算学院）
使用1990年至2019年的2，585起破产案的综合样本，我们对各种机器学习模型在预测美国上市公司财务困境方面的表现进行了基准测试。我们发现，梯度提升树优于其他模型在一年前的预测。变量排列检验表明，超额股票收益率，特质风险和相对大小是更重要的预测变量。源自公司文件的文本特征不会实质性地改善业绩。在信贷竞争模型中，考虑到违约错误分类的非对称成本，生存随机森林能够获得大量的美元利润。
2022-12-22 cs.LG q-fin.CP
Benchmarking machine learning models for quantum state classification
Università degli Studi di Milano（米兰大学）；INFN Sezione di Milano（意大利国家核物理研究所米兰分部）；Technology Innovation Institute（技术创新研究所）；CERN（欧洲核子研究组织）
针对量子比特因噪声和退相干需仔细校准的问题，本文对应用于真实量子器件的多种分类技术进行了基准测试，以区分基态与激发态。
2023-09-14 cs.LG quant-ph
Benchmarking Automatic Machine Learning Frameworks
Georgian Partners
AutoML在设计机器学习系统时充当不同专业水平之间的桥梁，并加快数据科学过程。为了解决这一问题，采取了各种各样的技术，但并没有对这些技术进行客观的比较。我们提出了一个使用开源数据集的当前开源AutoML解决方案的基准。我们测试了auto-sklearn、TPOT、auto_ml和H2O的AutoML解决方案，并对一组来自OpenML的回归和分类数据集进行了编译，发现auto-sklearn在分类数据集上表现最好，TPOT在回归数据集上表现最好。
2018-08-17 cs.AI cs.LG stat.ML
STRABLE: Benchmarking Tabular Machine Learning with Strings
SODA Team, INRIA Saclay（SODA团队，INRIA萨克莱实验室）；Probabl；University of Freiburg（弗赖堡大学）；Prior Labs；ELLIS Institute Tübingen（图宾根ELLIS研究所）；Technion – Israel Institute of Technology（技术ion-以色列理工学院）
本文提出STRABLE基准数据集，通过评估445种表格学习管道，探讨字符串和数字混合数据的处理方法，发现基于字符串嵌入的模型在低计算成本下表现优异，而大语言模型在文本主导数据中更具竞争力。
2026-10-21 cs.LG
Challenges and Pitfalls of Machine Learning Evaluation and Benchmarking
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
越来越复杂和多样化的机器学习（ML）模型以及硬件/软件堆栈（统称为“ML工件”）正在被提出-导致ML的多样化景观。提出的这些ML创新已经超过了研究人员分析，研究和适应它们的能力。这是加剧了复杂的，有时不可重现的ML评估程序。共享ML工件的一个常见做法是通过存储库，工件作者在存储库中发布临时代码和一些文档，但通常无法为其他人提供关键信息以重现其结果。这导致用户无法与工件作者的声明进行比较，或者使模型适应他/她自己的使用。本文讨论了ML评估和基准测试的常见挑战和陷阱，可用作ML模型作者共享ML工件时的指南，以及系统开发人员在基准测试或设计ML系统时的指南。
2019-06-25 cs.AI cs.LG cs.SE
Benchmarking Machine Learning Architectures for Antimicrobial Stewardship in Pediatric ICUs
Department of Intensive Care and Neonatology and Children’s Research Center University of Zurich University Children’s Hospital Zurich（重症护理与新生儿科及儿童研究中心，苏黎世大学苏黎世儿童医院）；Department of Health Sciences and Technology ETH Zurich（健康科学与技术系，苏黎世联邦理工学院）；Department of Computer Science ETH Zurich（计算机科学系，苏黎世联邦理工学院）
本研究针对儿科ICU中抗菌药物使用管理的机器学习模型进行基准测试，通过公共数据集和私人机构队列系统评估了四种临床相关的目标，发现预测性能主要由目标流行率和数据集特征决定，而非模型复杂度，序列模型在粗粒度下提升了精度-召回权衡，但细粒度建模带来的收益有限，且校准效果较差。
2026-09-16 cs.LG
Better than classical? The subtle art of benchmarking quantum machine learning models
Xanadu；Chalmers University of Technology（查尔姆斯理工大学）
本研究通过大规模基准测试发现，经典模型在小型任务上优于量子模型，且纠缠并非关键，为量子机器学习设计提出五个重要问题。
2024-03-14 cs.LG quant-ph
Benchmarking Neural Machine Translation for Southern African Languages
Explore Data Science Academy（探索数据科学学院）；Retro Rabbit（Retro Rabbit公司）
与主要的西方语言不同，大多数非洲语言的资源都非常少。此外，确实存在的资源往往是分散的，难以获得和发现。因此，现有研究的数据和代码很少共享。这导致了复制报告结果的斗争，并且几乎没有公开的非洲机器翻译模型基准。为了开始解决这些问题，我们在公开的数据集上为5种南部非洲语言训练了神经机器翻译模型。提供了用于训练模型并在新发布的评估集上评估模型的代码，目的是促进南部非洲语言领域的未来研究。
2019-06-17 cs.CL cs.LG stat.ML
Benchmark Data Repositories for Better Benchmarking
University of California, Irvine（加州大学欧文分校）
针对机器学习基准测试研究中对数据存储库关注不足的问题，本文分析了基准数据存储库的格局与作用，梳理了其设计使用的考量因素，以优化机器学习基准测试实践。
2024-10-31 cs.DL cs.LG
PMLB v1.0: An open source dataset collection for benchmarking machine learning methods
University of Pennsylvania（宾夕法尼亚大学）；Washington University in St. Louis（圣路易斯华盛顿大学）；Princeton Day School（普林斯顿走读学校）
动机：新的机器学习和统计建模研究依赖于使用经过充分研究的基准数据集与现有方法进行标准化比较。很少有工具可以通过标准化的、用户友好的界面快速访问这些数据集，该界面与流行的数据科学工作流集成良好。结果如下：此版本的PMLB提供了最大的多样化公共基准数据集集合，用于评估聚合在一个位置的新机器学习和数据科学方法。v1.0引入了在与开放源代码社区讨论后开发的一些关键改进。可用性：PMLB可在https://github.com/EpistasisLab/pmlb上获得。PMLB的Python和R接口可以分别通过Python包索引和Comprehensive R Archive Network安装。
2021-04-06 cs.DB cs.LG
Benchmarking the Discovery Engine
Leap Laboratories（Leap实验室）
本文对发现引擎进行基准评测，在医学、材料科学、社会科学和环境科学五个任务中达到或超过已有机器学习方法，并借助可解释性产物提供更深入且可操作的洞察，展示了其作为自动化可解释科学建模新标准的潜力。
2025-07-01 cs.LG
Benchmarking Processor Performance by Multi-Threaded Machine Learning Algorithms
National University of Computer and Emerging Sciences（国家计算机与新兴科学大学）
机器学习算法使计算机能够通过从以前的数据中学习来预测事物。数据存储和处理能力正在快速增长，从而增加了机器学习和人工智能的应用。大部分工作都是为了提高过去内置的的模型的准确性，很少有研究确定机器学习采集的计算成本。在本文中，我将继续这一后期的研究工作，并将多线程机器学习聚类算法的性能比较。我将研究线性回归、随机森林和K-最近邻，以确定算法的性能特征以及获得结果的计算成本。我将通过运行这些多线程算法来对系统硬件性能进行基准测试，以在数据集上训练和测试模型，从而注意算法性能矩阵的差异。最后，我将陈述关于这些算法在我的系统上的性能效率的最佳性能算法。
2021-09-11 cs.AI cs.AR cs.DC
Benchmarking time series classification -- Functional data vs machine learning approaches
Ludwig-Maximilians-Universität München（慕尼黑大学）
时间序列分类问题在机器学习和统计学界引起了越来越多的关注。与之密切相关的是功能数据分析（FDA）领域：它指的是处理在某个域上连续索引的数据分析的一系列问题。虽然经常采用不同的方法，这两个领域都致力于回答类似的问题，一个常见的例子是分类或回归问题的功能协变量。我们研究函数数据分析的方法，如函数广义可加模型，以及将（函数）特征提取或基础表示与传统机器学习算法（如支持向量机或分类树）连接起来的功能。为了评估的方法和实施，我们运行一个基准上的各种各样的代表性（时间序列）的数据集，深入分析的实证结果，并努力提供一个参考排名的方法（S）使用非专家从业人员。此外，我们还提供了一个R软件框架，用于监督学习的函数数据分析，包括机器学习和统计学中的更多线性方法。这就允许了方便的访问，并且与机器学习工具箱mlr相结合，这些方法现在也可以被调优和基准测试。
2021-02-24 cs.LG stat.ML
EXACT: Towards a platform for empirically benchmarking Machine Learning model explanation methods
Physikalisch-Technische Bundesanstalt（德国联邦物理技术研究院）；Technische Universität Berlin（柏林工业大学）；Charité – Universitätsmedizin Berlin（柏林夏里特医学院）
针对可解释人工智能（XAI）缺乏标准化实证验证的问题，研究者搭建了整合带真值解释的基准数据集与新型量化指标的EXACT平台，用于评估事后XAI方法质量，发现主流方法常弱于随机基线且同性能架构解释存在差异，为XAI方法验证提供标准化基础。
2024-05-20 cs.AI cs.LG
Review and experimental benchmarking of machine learning algorithms for efficient optimization of cold atom experiments
Ferdinand-Braun-Institut (FBH)（费迪南德-布劳恩研究所（FBH））
本文针对冷原子实验高维参数优化难题，对九种机器学习优化技术进行了基准测试，并在不同噪声条件下比较了最优算法的性能。
2023-12-20 cs.LG physics.atom-ph
Benchmarking Machine Learning Models for Multi-Omics-Based Breast Cancer Prediction
研究针对基于多组学数据预测乳腺癌雌激素受体（ER）状态，对随机森林等经典机器学习模型进行基准测试，采用严格实验框架，结果显示RNA表达预测信号最强，多组学整合有改进，随机森林性能最佳，还选出相关基因支持模型有效性。
2026-07-21 cs.AI cs.LG
Scalable and Secure AI Inference in Healthcare: A Comparative Benchmarking of FastAPI and Triton Inference Server on Kubernetes
Institute of Information Technology (IIT)（信息科技研究所）；Jahangirnagar University (JU)（贾汗吉尔纳加尔大学）
本文比较了FastAPI和Triton推理服务器在Kubernetes上的性能，发现Triton在可扩展性和吞吐量上优于FastAPI，提出混合架构用于医疗AI的安全部署。
2026-01-19 cs.AI cs.LG
Robust Benchmarking for Machine Learning of Clinical Entity Extraction
Massachusetts Institute of Technology（麻省理工学院）；Massachusetts General Hospital（麻省总医院）
临床研究通常需要理解仅存在于自由文本临床笔记中的患者叙述的元素。为了将注释转换为结构化数据以供下游使用，通常提取这些元素并将其规范化为医学词汇表。在这项工作中，我们审计的性能，并指出国家的最先进的系统的改进领域。我们发现，2019年n2c2共享任务中临床实体标准化系统的高任务准确性具有误导性，并且潜在性能仍然脆弱。对于常见概念，归一化准确率很高（95.3%），但对于训练数据中看不到的概念，归一化准确率要低得多（69.3%）。我们证明，目前的方法是阻碍部分医学词汇的不一致，现有的标签模式的限制，和狭窄的评估技术。我们重新制定了临床实体提取的注释框架，以考虑这些问题，从而实现强大的端到端系统基准测试。我们从我们的新框架之间的两个注释器的注释一致性进行评估，并实现了0.73的Jaccard相似性实体识别和0.83的协议实体规范化。我们提出了一条前进的道路，以解决证明需要创建一个参考标准，以刺激实体识别和规范化的方法开发。
2020-07-31 cs.CL cs.LG
PerturBench: Benchmarking Machine Learning Models for Cellular Perturbation Analysis
Altos Labs（Altos实验室）；University College London（伦敦大学学院）
本文提出PerturBench框架，用于标准化单细胞扰动响应模型的基准测试，通过多数据集和指标评估发现简单架构更具竞争力，并强调排名指标的重要性。
2025-10-24 cs.LG q-bio.GN stat.ML
Benchmarking Econometric and Machine Learning Methodologies in Nowcasting
即时预报可以发挥关键作用，使决策者能够更及时地了解有很大时滞的数据，如最终国内生产总值数字。目前，有大量的方法和做法供从业人员选择。然而，缺乏这些不同的方法在预测性能和特征方面的全面比较。本文通过研究12种不同方法在预测美国季度GDP增长方面的表现来解决这一缺陷，包括预测中最常用的所有方法，以及一些最流行的传统机器学习方法。在美国经济历史上的三个不同动荡时期评估了表现：20世纪80年代初的经济衰退，2008年的金融危机和COVID危机。分析中表现最好的两种方法是长短期记忆人工神经网络（LSTM）和贝叶斯向量自回归（BVAR）。为了便于进一步应用和测试每一种研究的方法，一个包含可应用于不同数据集的样板代码的开源存储库与论文一起发布，可在github.com/dhopp1/nowcasting_benchmark上获得。
2022-05-06 cs.LG econ.EM stat.ML
Machine-learning for photoplethysmography analysis: Benchmarking feature, image, and signal-based approaches
Carl von Ossietzky Universität Oldenburg（奥尔登堡卡尔·冯·奥西特齐大学）；Laboratoire national de métrologie et d’essais（国家计量与测试实验室）；Biomedical Engineering Institute, Kaunas University of Technology（克莱萨斯理工大学生物医学工程研究所）；Physikalisch-Technische Bundesanstalt（德国物理技术部）；National Physical Laboratory（国家物理实验室）；King’s College London（伦敦国王学院）；University of Surrey（萨里大学）；Department of Public Health and Primary Care, University of Cambridge（剑桥大学公共卫生与初级保健系）
本文通过对比特征、图像和信号三种方法，发现深度神经网络在PPG数据分析中表现最佳，尤其在血压预测和心房颤动预测任务中。
2026-03-01 cs.LG eess.SP
Benchmarking Automated Machine Learning Methods for Price Forecasting Applications
Zeppelin GmbH（齐柏林有限公司）；USU Software AG（USU软件股份公司）；Fraunhofer IAO（弗劳恩霍夫工业工程与组织研究所）
本文面向二手建筑设备价格预测，提出结合企业领域知识与AutoML的CRISP-DM流水线，并通过方法评估分数验证其可降低中小企业对ML专家的依赖。
2023-04-28 cs.AI cs.LG
Fast Benchmarking of Asynchronous Multi-Fidelity Optimization on Zero-Cost Benchmarks
Preferred Networks Inc.（Preferred Networks公司）；University of Freiburg（弗莱堡大学）；ELLIS Institute Tübingen（图宾根ELLIS研究所）
针对并行设置下零成本基准超参数优化效率低的问题，提出基于文件系统计算返回顺序的方法，配套Python包可适配多类HPO库，实现超千倍加速。
2024-08-19 cs.AI cs.LG
Benchmarking machine learning models on multi-centre eICU critical care dataset
University of Trento（特伦托大学）；Fondazione Bruno Kessler Research Institute（布鲁诺·凯塞勒基金会研究所）
本研究针对重症监护领域缺乏公开基准的问题，基于含约7.3万名患者的多中心eICU数据集，构建了覆盖四大重症任务的公开基准套件，对比多类模型性能并探究变量处理的影响，同时开源代码以支持后续研究。
2021-08-05 cs.LG stat.ML
Curb Your Carbon Emissions: Benchmarking Carbon Emissions in Machine Translation
近年来，NLP领域取得了决定性的进展，随着语言模型的实用性随着其性能的提高而增加，其应用也在增长。然而，这些模型需要大量的计算能力和数据来进行训练，从而导致大量的碳足迹。因此，我们必须研究碳效率并寻找替代方案来减少训练模型，特别是大语言模型的整体环境影响。在我们的工作中，我们评估了机器翻译模型的性能，跨多个语言对，以评估为这些语言对中的每一个训练这些模型所需的计算能力的差异，并检查这些模型的各个组件，以分析我们的管道可以优化以减少这些碳排放的方面。
2022-04-01 cs.AI cs.CL cs.LG
ImageNet-Patch: A Dataset for Benchmarking Machine Learning Robustness against Adversarial Patches
University of Cagliari（卡利亚里大学）；University of Genova（热那亚大学）；Pluribus One（普里布斯一号公司）
针对对抗补丁优化成本高、鲁棒性评估易不理想的问题，提出可跨模型泛化的ImageNet-Patch数据集，经仿射变换后可快速评估鲁棒性，已在127个模型上验证有效性并开源。
2025-01-15 cs.CR cs.CV cs.LG
Benchmarking Machine Learning Models for IoT Malware Detection under Data Scarcity and Drift
Department of Computer Science, The College of Wooster, Wooster, USA（沃斯特学院计算机科学系）；Department of Computer Science and Engineering, University of Nevada-Reno, Reno, USA（内华达大学雷诺分校计算机科学与工程系）
本研究评估了四种机器学习模型在数据稀缺和漂移情况下对物联网恶意软件检测的效果，发现基于树的模型在有限数据下表现优异，但随时间推移性能下降。
2026-01-26 cs.LG cs.NI
Deep Learning vs. Gradient Boosting: Benchmarking state-of-the-art machine learning algorithms for credit scoring
University of Oxford（牛津大学）；University of Strathclyde（思克莱德大学）
人工智能（AI）和机器学习（ML）对于全球金融服务公司保持竞争力至关重要。目前在信用风险管理中争夺杆位的两个模型是深度学习（DL）和梯度提升机器（GBM）。本文使用三个具有不同特征的不同数据集在信用评分的背景下对这两种算法进行了基准测试，以说明模型选择/功率通常取决于数据集的基本特征的现实。实验表明，GBM往往比DL更强大，并且由于计算需求较低而具有速度优势。这使得GBM成为信用评分的赢家和选择。然而，它也表明，GBM的性能并不总是得到保证，最终的具体问题场景或数据集将决定最终的模型选择。总的来说，基于这项研究，这两种算法都可以被认为是结构化数据集上的二进制分类任务的最新技术，而GBM应该是大多数问题场景的首选解决方案，因为它更容易使用，训练时间更快，准确性更高。
2022-05-21 cs.AI cs.CE cs.LG
OpenML Benchmarking Suites
LMU Munich（慕尼黑大学）；University of Freiburg（弗莱堡大学）；Eindhoven University of Technology（埃因霍温理工大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；TU Dortmund University（多特蒙德工业大学）；Federal Technology University Paraná (UTFPR)（巴拉那联邦科技大学）；Leiden University（莱顿大学）
本文提出可标准化、共享和复用机器学习算法评测的 OpenML 基准测试套件，并发布面向分类任务的 OpenML-CC18。
2021-11-22 cs.LG stat.ML
MLPerf Power: Benchmarking the Energy Efficiency of Machine Learning Systems from Microwatts to Megawatts for Sustainable AI
Harvard University（哈佛大学）；Meta；NVIDIA（英伟达公司）；UNC Charlotte（北卡罗来纳大学夏洛特分校）；Syntiant（Syntiant公司）；Codex（Codex公司）；Dell（戴尔公司）；Intel（英特尔公司）；SMC（SMC公司）；FlexAI（FlexAI公司）；AMD（超威半导体公司）；KRAI（KRAI公司）；Google（谷歌公司）；Decompute（Decompute公司）；GATE Overflow（GATE Overflow公司）；MLCommons（MLCommons组织）
本文提出MLPerf Power基准测试方法，覆盖从微瓦到兆瓦的ML系统能效评估，基于60个系统的1841项测量揭示性能、复杂性与能效的权衡，为可持续AI设计提供依据。
2025-02-06 cs.AR cs.DC cs.LG
Benchmarking quantum machine learning kernel training for classification tasks
CITIC Research Center（CITIC研究中心）；Universidade da Coruña（拉科鲁尼亚大学）
该研究在人工与标准参考数据集上基准测试 QKE、QKT 及两种量子特征映射的分类性能，发现 QKT 的额外开销未必带来提升，特征映射与超参数选择更关键。
2025-01-16 cs.LG quant-ph
A Machine Learning Benchmarking Framework for Lipid Nanoparticle Transfection Efficiency Prediction
Department of Electrical and Computer Engineering, University of Southern California（电气与计算机工程系，南加州大学）；University of Cambridge（剑桥大学）；School of Pharmacy, University of Wisconsin-Madison（威斯康星大学麦迪逊分校药学院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；East Tennessee State University（东田纳西州立大学）
研究针对脂质纳米颗粒转染效率预测，提出机器学习基准框架，系统测试不同分子表示与机器学习架构，用特定数据集评估模型，显示利用显式分子子结构编码的模型准确性最高，为相关预测模型发展建立基线。
2026-07-17 cs.CE cs.LG q-bio.MN
Benchmarking Machine Learning Methods for Distributed Acoustic Sensing
School of Physics Nanjing University Nanjing, China；School of Physics Nanjing University Nanjing, China corresponding author
该研究基准测试了经典机器学习与深度学习模型在分布式声学传感数据识别中的性能，揭示了智能传感技术的演进方向。
2025-03-26 cs.CV cs.LG cs.SD
Benchmarking machine learning for bowel sound pattern classification from tabular features to pretrained models
University of Oldenburg（奥尔登堡大学）；Fraunhofer IDMT（弗劳恩霍夫集成电路与微系统技术研究所）
本研究利用16名健康受试者的肠鸣音数据集，对比表格特征、CNN及预训练模型，发现预训练模型（HuBERT和Wav2Vec 2.0）在检测和分类肠鸣音模式上表现最优，AUC均达0.89，为胃肠诊断应用奠定基础。
2025-02-21 cs.LG cs.SD eess.AS
Hyperparameter optimization, quantum-assisted model performance prediction, and benchmarking of AI-based High Energy Physics workloads using HPC
CERN（欧洲核子研究组织）
基于深度学习的人工智能模型的训练和超参数优化（HPO）通常是计算资源密集型的，需要使用大规模分布式资源以及可扩展且资源高效的超参数搜索算法。这项工作研究了使用模型性能预测，以帮助高性能计算系统上进行的HPO过程的潜力。此外，量子退火是用来训练的性能预测器和方法，提出了克服一些问题，来自量子系统的电流限制，以及增加解决方案的稳定性。这允许在量子机器上实现与经典机器上获得的结果相当的结果，显示量子计算机如何集成在经典机器学习调优管道中。此外，基于用于碰撞事件重建的AI模型开发容器化基准测试的结果，使我们能够比较和评估不同硬件加速器用于训练深度神经网络的适用性。
2023-03-27 cs.LG physics.data-an
Top Score on the Wrong Exam: On Benchmarking in Machine Learning for Vulnerability Detection
MPI-SP Bochum（波恩大学马克斯·普朗克研究所）
本研究揭示机器学习漏洞检测领域主流基准测试存在缺陷：多数函数级分类任务在缺乏调用上下文时无法判定，高分源于虚假相关性，并提出改进基准测试方法以评估真实能力。
2025-04-23 cs.CR cs.LG
Leakage-Safe Empirical Benchmarking of EEG-Based Machine Learning Pipelines for Dementia Classification
Curtin University（科廷大学）
本文提出防泄漏基准测试，评估EEG痴呆分类流程，确定最佳实践为ASR+ICA、10秒时段、多域特征及线性SVM，在AD vs CN分类中达到87.69%准确率。
2026-09-22 cs.LG eess.SP
Towards Benchmarking Explainable Artificial Intelligence Methods
Malmö University（马尔默大学）
当前占主导地位的人工智能和机器学习技术，即神经网络，建立在归纳统计学习的基础上。今天的神经网络是缺乏理解和推理能力的信息处理系统，因此，它们不能以人类有效的形式解释促进决策。在这项工作中，我们重新审视并使用科学理论的基本哲学作为分析镜头，目的是揭示，什么是可以预期的，更重要的是，没有预期的，从旨在解释由神经网络促进决策的方法。通过一个案例研究，我们调查了两个平凡的领域，动物和头饰的可解释性方法的性能选择。通过我们的研究，我们揭示了这些方法的有用性依赖于人类的领域知识和我们的理解，概括和推理能力。当目标是进一步深入了解经过训练的神经网络的优点和缺点时，可解释性方法可能很有用。相反，如果我们的目标是使用这些可解释性方法来促进可操作的决策或建立对ML模型的信任，那么它们需要比现在更不模糊。在这项工作中，我们从我们的研究中得出结论，基准可解释性方法，是对值得信赖的人工智能和机器学习的核心追求。
2022-08-25 cs.AI cs.LG
Benchmarking Contemporary Deep Learning Hardware and Frameworks:A Survey of Qualitative Metrics
Southeast Missouri State University（东南密苏里州立大学）；University of Arkansas at Little Rock（阿肯色大学小石城分校）
本文概述了基准测试原则、机器学习设备（包括GPU、FPGA和ASIC）以及深度学习软件框架。它还从框架的6度量方法和硬件平台的11度量方法的角度审查了这些技术的基准测试。由于MLPerf是一个与工业界和学术界合作的基准测试组织，并提供评估深度学习硬件设备上的训练和推理的深度学习基准测试，因此调查还提到了MLPerf基准测试结果、基准测试指标、数据集、深度学习框架和算法。我们总结了七个基准测试原则，主流AI设备的差异化特征，以及深度学习硬件和框架的定性比较。
2019-11-23 cs.DC cs.LG cs.PF
A Modular Benchmarking Infrastructure for High-Performance and Reproducible Deep Learning
ETH Zurich（苏黎世联邦理工学院）
我们介绍Deep500：第一个可定制的基准测试基础设施，可以公平地比较过多的深度学习框架、算法、库和技术。Deep500背后的关键思想是其模块化设计，其中深度学习被分解为四个不同的层次：操作员，网络处理，训练和分布式训练。我们的评估表明，Deep500是可定制的（支持组合和基准测试不同的深度学习代码）和公平的（使用精心选择的指标）。此外，Deep500是快速的（产生的开销可以忽略不计），可验证的（提供分析正确性的基础设施）和可复制的。最后，作为深度学习的第一个分布式和可复制的基准测试系统，Deep500提供了软件基础设施，以利用最强大的超级计算机来处理极端规模的工作负载。
2019-06-13 cs.DC cs.LG cs.PF
An Image Dataset of Common Skin Diseases of Bangladesh and Benchmarking Performance with Machine Learning Models
Department of Computer Science and Engineering, Faridpur Engineering College, Faridpur, Bangladesh（孟加拉国法里德普尔工程学院计算机科学与工程系）；Department of Computer Science and Engineering, University of Dhaka, Dhaka, Bangladesh（孟加拉国达卡大学计算机科学与工程系）；Department of Oncology, Labaid Cancer and Super Speciality Center, Dhaka, Bangladesh（孟加拉国达卡拉贝德癌症与超级专科中心肿瘤科）；Institute of Information Technology, University of Dhaka, Dhaka, Bangladesh（孟加拉国达卡大学信息技术研究所）
本文提出一个包含孟加拉国五种常见皮肤疾病图像的数据集，并评估了多种机器学习模型的分类性能，为皮肤病自动诊断提供支持。
2026-03-26 cs.CV cs.LG
Automating Learner Assessment: Benchmarking Machine Learning and Deep Learning Models for EEG-Based Familiarity Prediction
University of Colombo（科伦坡大学）；The University of Queensland（昆士兰大学）
本研究针对面孔、数学公式两个认知领域，测试15种ML/DL模型的EEG熟悉度预测性能，发现试次独立验证可避免高估泛化能力，确定Gamma、Beta振荡为关键生物标志物，为教育技术建立了相关基准。
2026-08-21 cs.HC cs.LG eess.SP
pmuBAGE: The Benchmarking Assortment of Generated PMU Data for Power System Events
介绍了第一个数据驱动的电力系统事件数据生成模型pmuGE（phasor measurement unit Generator of Events）。我们已经在数千个实际事件上训练了这个模型，并创建了一个名为pmuBAGE（生成的PMU事件的基准分类）的数据集。该数据集由近1000个标记事件数据实例组成，以鼓励对相量测量单元（PMU）数据分析进行基准评估。PMU数据很难获得，特别是那些涵盖事件周期的数据。然而，电力系统问题最近通过数据驱动的机器学习解决方案取得了惊人的进步。一个高度可访问的标准基准数据集将大大加速该领域成功的机器学习技术的发展。提出了一种基于电力系统事件参与分解的PMU数据学习方法，使系统异常时PMU数据生成模型的学习成为可能。该模型可以创建高度真实的事件数据，而不会损害用于训练它的PMU的差异隐私。该数据集可供任何研究人员或从业者在线使用，请访问pmuBAGE Github存储库：https://github.com/NanpengYu/pmuBAGE。
2022-10-25 cs.LG cs.SY eess.SY
Benchmarking Quantum Hardware for Training of Fully Visible Boltzmann Machines
KindredAI；D-Wave Systems（D-Wave系统公司）
量子退火（QA）是一种基于硬件的启发式优化和采样方法，适用于离散无向图模型。虽然类似于模拟退火，但QA依赖于量子效应而不是热效应来探索复杂的搜索空间。对于许多类的问题，QA是已知的，以提供计算上的优势，模拟退火。在这里，我们报告最近的QA硬件的能力，以加速训练完全可见的玻尔兹曼机。我们描述了QA硬件的采样分布，并表明在许多情况下，量子分布与经典玻尔兹曼分布显着不同。尽管存在这种差异，使用标准经典梯度更新的训练（旨在匹配数据和模型统计数据）仍然有效。我们研究了使用QA作为对比发散（CD）和持续对比发散（PCD）的替代品来播种马尔可夫链。使用$k=50$吉布斯步骤，我们表明，高能量障碍模式之间的问题，基于QA的种子可以改善链CD和PCD初始化。对于这些困难的问题，QA梯度估计更准确，并且允许更快的学习。此外，有趣的是，即使是原始QA样本（即，$k=0$）也实现了类似的改进。我们认为，这与我们在这种情况下训练量子而不是经典玻尔兹曼分布的事实有关。所学习的参数产生硬件QA分布，其紧密地近似难以用CD/PCD训练的经典玻尔兹曼分布。
2016-11-14 cs.LG quant-ph stat.ML
Benchmarking Quantum Machine Learning for Power-System Attack Detection: Evaluation Choices Decide the Outcome Before the Models Do
该研究针对电力系统攻击检测，将量子机器学习模型与经典模型在多类攻击下对比，发现评估选择会影响结果，发布了设种子的基准测试。
2026-08-21 cs.CR cs.LG quant-ph
Benchmarking learned non-Cartesian k-space trajectories and reconstruction networks
CEA（法国原子能和替代能源委员会）；Inria（法国国家信息与自动化研究所）；Université Paris-Saclay（巴黎萨克雷大学）
我们对当前现有的方法进行基准测试，以共同学习非笛卡尔k空间轨迹和重建：PILOT，BJORK，并将它们与最近开发的广义混合学习（HybLearn）框架进行比较。我们提出的优势，使用投影梯度下降，以执行MR扫描仪硬件的限制相比，使用附加的罚款的成本函数。此外，我们使用新的HybLearn方案通过对fastMRI验证数据集的回顾性研究来共同学习和比较我们的结果。
2022-01-27 cs.LG eess.SP math.OC
FastKernels: Benchmarking GPU Kernel Generation in Production
Snowflake AI Research（Snowflake AI研究院）；CMU（卡内基梅隆大学）；UCSD（加州大学圣地亚哥分校）；Independent Researcher（独立研究者）
针对现有基准与生产推理框架脱节的问题，提出FastKernels基准，包含46个代表性架构，覆盖96.2%的HuggingFace Transformers架构，并作为生产级推理框架，评估显示最强代理仅实现0.94倍加速，揭示基准-生产错位是关键瓶颈。
2026-10-05 cs.AI cs.CL cs.LG
Adversarial Fast-Moving Real-World Domains as Test Beds for Benchmarking AI Scientist Capabilities
该研究提出以F1、MTG等对抗性快速变化的真实世界领域为测试床，发现AI科学家的核心能力差距是想法过滤、优先级排序而非生成。
2026-08-05 cs.AI cs.CY cs.LG
Benchmarking Early Agitation Prediction in Community-Dwelling People with Dementia Using Multimodal Sensors and Machine Learning
KITE Research Institute（KITE研究机构）；Toronto Rehabilitation Institute（多伦多康复研究所）；University Health Network（大学健康网络）；Lawrence Bloomberg Faculty of Nursing（劳伦斯布罗德利护理学院）；University of Toronto（多伦多大学）；College of Engineering and Technology（工程与技术学院）；American University of the Middle East（中东美国大学）
本文基于TIHM多模态居家传感器数据，构建并基准评测社区痴呆患者激越早期预测模型，融合活动情境特征后LightGBM取得AUC-ROC 0.9720。
2025-05-23 cs.CV cs.HC cs.LG
MultiIoT: Benchmarking Machine Learning for the Internet of Things
Carnegie Mellon University（卡内基梅隆大学）
本文提出MultiIoT基准，涵盖12种模态、8个任务和超115万样本，系统评估多类模型并揭示物联网机器学习在异构长程传感数据上的可扩展学习挑战。
2024-07-04 cs.AI cs.CL cs.CV
EvoGPT-f: An Evolutionary GPT Framework for Benchmarking Formal Math Languages
本文提出进化框架EvoGPT-f，首次系统定量分析五种形式化数学语言在四种分词方法下的机器可学习性差异，为跨语言比较研究奠定基础。
2024-02-12 cs.AI cs.CL cs.LG
Benchmarking Federated Machine Unlearning methods for Tabular Data
University of Birmingham（伯明翰大学）；University of Southampton（南安普顿大学）；AdviceRobo（阿德维克罗博公司）
本文针对表格数据在联邦学习环境下的机器遗忘方法进行基准测试，评估了微调和基于梯度等算法在保真度、可认证性和计算效率上的表现，发现树模型可认证性强而梯度方法计算效率高。
2025-04-01 cs.LG
PhilHumans: Benchmarking Machine Learning for Personal Health
R2M Solution（R2M解决方案公司）；Joint Research Centre（联合研究中心）；University of Aberdeen（阿伯丁大学）；University of Catania（卡塔尼亚大学）；TU Eindhoven（埃因霍温理工大学）；University of Cagliari（卡利亚里大学）；Philips Research（飞利浦研究院）
本研究提出名为PhilHumans的全面机器学习基准套件，覆盖多类医疗场景与学习设置，为个人健康领域的智能系统开发提供关键基准支撑。
2024-05-16 cs.LG
