Benchmarking Neural Machine Translation for Southern African Languages
Explore Data Science Academy（探索数据科学学院）；Retro Rabbit（Retro Rabbit公司）
与主要的西方语言不同，大多数非洲语言的资源都非常少。此外，确实存在的资源往往是分散的，难以获得和发现。因此，现有研究的数据和代码很少共享。这导致了复制报告结果的斗争，并且几乎没有公开的非洲机器翻译模型基准。为了开始解决这些问题，我们在公开的数据集上为5种南部非洲语言训练了神经机器翻译模型。提供了用于训练模型并在新发布的评估集上评估模型的代码，目的是促进南部非洲语言领域的未来研究。
2019-06-17 cs.CL cs.LG stat.ML
Are We There Yet? Evaluating State-of-the-Art Neural Network based Geoparsers Using EUPEG as a Benchmarking Platform
University at Buffalo（布法罗大学）
地理搜索是地理信息检索的一项重要任务。一个地理解析系统，被称为地理解析器，将一些文本作为输入，并输出识别的地点提及及其位置坐标。2019年6月，作为SemEval 2019的任务之一，举办了一场地理解析竞赛，即科学论文中的地名解析。获奖团队开发了基于神经网络的地理分析器，取得了出色的性能（超过90%的准确率，召回率和地名识别的F1得分）。这一令人兴奋的结果带来了一个问题“我们到了吗？也就是说，我们是否达到了足够高的性能，可以认为地理解析的问题已经解决了？这种竞争的一个限制是，开发的地理分析器只在一个数据集上进行测试，该数据集有45篇从生物医学特定领域收集的研究文章。众所周知，相同的地理解析器在不同的数据集上可以具有非常不同的性能。因此，这项工作使用我们最近开发的基准测试平台EUPEG对这些最先进的地理解析器进行了系统的评估，该平台具有8个注释数据集，9个基线地理解析器和8个性能指标。评估结果表明，这些新的地理解析器确实提高了多个数据集上的地理解析的性能，但仍然存在一些挑战。
2020-07-15 cs.AI cs.CL cs.LG
Towards Benchmarking Explainable Artificial Intelligence Methods
Malmö University（马尔默大学）
当前占主导地位的人工智能和机器学习技术，即神经网络，建立在归纳统计学习的基础上。今天的神经网络是缺乏理解和推理能力的信息处理系统，因此，它们不能以人类有效的形式解释促进决策。在这项工作中，我们重新审视并使用科学理论的基本哲学作为分析镜头，目的是揭示，什么是可以预期的，更重要的是，没有预期的，从旨在解释由神经网络促进决策的方法。通过一个案例研究，我们调查了两个平凡的领域，动物和头饰的可解释性方法的性能选择。通过我们的研究，我们揭示了这些方法的有用性依赖于人类的领域知识和我们的理解，概括和推理能力。当目标是进一步深入了解经过训练的神经网络的优点和缺点时，可解释性方法可能很有用。相反，如果我们的目标是使用这些可解释性方法来促进可操作的决策或建立对ML模型的信任，那么它们需要比现在更不模糊。在这项工作中，我们从我们的研究中得出结论，基准可解释性方法，是对值得信赖的人工智能和机器学习的核心追求。
2022-08-25 cs.AI cs.LG
URSABench: Comprehensive Benchmarking of Approximate Bayesian Inference Methods for Deep Neural Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；US Army Research Laboratory（美国陆军研究实验室）
虽然深度学习方法在广泛的应用领域中继续提高预测准确性，但其性能的其他方面仍然存在重大问题，包括量化不确定性的能力和鲁棒性。近似贝叶斯推理的最新进展为解决这些问题提供了重要的承诺，但这些方法的计算可扩展性在应用于大规模模型时可能会出现问题。在本文中，我们描述了URSABench（不确定性，鲁棒性，可扩展性和准确性基准测试）的开发工作，这是一个开源的基准测试工具套件，用于全面评估近似贝叶斯推理方法，重点是基于深度学习的分类任务
2020-07-08 cs.LG stat.ML
$\mathbb{Z}_2\times \mathbb{Z}_2$ Equivariant Quantum Neural Networks: Benchmarking against Classical Neural Networks
University of Kansas（堪萨斯大学）；Polytechnic University of Catalonia（加泰罗尼亚理工大学）；Indian Institute of Technology Bhilai（比莱印度理工学院）；University of Florida（佛罗里达大学）；University of Alabama（阿拉巴马大学）；Software Engineering Institute, Carnegie Mellon University（卡内基梅隆大学软件工程研究所）
本文对比了$\mathbb{Z}_2\times \mathbb{Z}_2$等变量子神经网络（EQNN）、量子神经网络（QNN）与经典神经网络在二元分类任务中的表现，发现EQNN和QNN在参数较少和训练数据适中时性能更优。
2024-03-21 cs.LG hep-ph quant-ph
Benchmarking Quantized Neural Networks on FPGAs with FINN
Lab-STICC, ENSTA Bretagne（Lab-STICC，ENSTA 布列塔尼国立高等先进技术学院）；Heriot-Watt University（赫瑞-瓦特大学）
最先进的神经网络的训练和推理的成本不断增长，这使得文献开始研究如何在对准确性影响最小的情况下切断所使用的资源。使用较低精度的代价是精度损失可以忽略不计。虽然训练神经网络可能需要强大的设置，但在低功耗和低资源的硬件架构上部署网络必须是可能的。在特定应用中，可重构架构已被证明比GPU更强大、更灵活。本文旨在评估将混合精度应用于部署在FPGA上的神经网络时的影响。虽然有几个框架可以创建使用降精度部署神经网络的工具，但很少有人评估量化和框架质量的重要性。Xilinx实验室的两个框架FINN和Brevitas被用来评估量化对神经网络的影响，这些网络使用2到8位精度和权重，具有几种并行化配置。使用较低精度的表示和足够的训练可以获得相当的精度。然而，压缩网络可以更好地并行化，使部署的网络吞吐量快62倍。在这项工作中建立的基准可以在公共存储库（https：//www.example.com benchmark）中获得。github.com/QDucasse/nn
2021-02-02 cs.AI cs.AR cs.LG
Project Auto-World: Towards Automated Benchmarking of Neural Relational Reasoners
Cardiff University（卡迪夫大学）；University of Pennsylvania（宾夕法尼亚大学）
利用大语言模型自动化生成基准测试实例，通过进化搜索和自主代理搜索发现困难样本，提升Edge Transformer的泛化能力，并应用于新世界以推动神经关系推理的自主研究。
2026-06-25 cs.AI cs.LG
Benchmarking Neural Network Robustness to Common Corruptions and Surface Variations
University of California, Berkeley（加州大学伯克利分校）；Oregon State University（俄勒冈州立大学）
在本文中，我们建立了严格的基准图像分类器的鲁棒性。我们的第一个基准测试，ImageNet-C，验证并扩展了腐败鲁棒性主题，同时显示哪些分类器在安全关键型应用程序中更可取。与最近的鲁棒性研究不同，这个基准测试评估的是普通腐败的性能，而不是最坏情况下的对抗性腐败。我们发现，从AlexNet到ResNet分类器的相对腐败鲁棒性变化可以忽略不计，并且我们发现了增强腐败鲁棒性的方法。然后，我们提出了一个新的数据集称为图标-50，它打开了一种新的鲁棒性，表面变化鲁棒性的研究。有了这个数据集，我们评估了分类器对已知对象的新样式和已知类的意外实例的脆弱性。我们还展示了两种方法，提高表面变化的鲁棒性。我们的基准可以帮助未来的网络学习基本的类结构，也可以强大地泛化。
2019-04-27 cs.AI cs.CV cs.LG
Graph Alignment for Benchmarking Graph Neural Networks and Learning Positional Encodings
INRIA, École Normale Supérieure - PSL, Paris, France（INRIA，法国国家信息与自动化研究所，巴黎高等师范学院-巴黎理工学院，巴黎，法国）
提出基于图对齐问题的GNN基准测试方法，通过自监督学习生成难度递增的数据集，发现各向异性模型表现更优，且预训练嵌入可作为位置编码用于图回归或高精度结构重建。
2026-06-24 cs.AI cs.LG
Benchmarking Neural Network Robustness to Common Corruptions and Perturbations
University of California, Berkeley（加州大学伯克利分校）；Oregon State University（俄勒冈州立大学）
在本文中，我们建立了严格的基准图像分类器的鲁棒性。我们的第一个基准测试，ImageNet-C，验证并扩展了腐败鲁棒性主题，同时显示哪些分类器在安全关键型应用程序中更可取。然后，我们提出了一个新的数据集称为ImageNet-P，使研究人员能够基准分类器的鲁棒性常见的扰动。与最近的鲁棒性研究不同，这个基准测试评估了常见的腐败和扰动的性能，而不是最坏情况下的对抗性扰动。我们发现，从AlexNet分类器到ResNet分类器，相对腐败鲁棒性的变化可以忽略不计。之后，我们发现如何提高腐败和扰动鲁棒性。我们甚至发现，绕过对抗防御提供了大量的共同扰动鲁棒性。我们的基准可以帮助未来的工作对网络的强大概括。
2019-03-28 cs.CV cs.LG stat.ML
GuacaMol: Benchmarking Models for De Novo Molecular Design
BenevolentAI（本尼沃伦特人工智能公司）
从头设计旨在通过虚拟设计-制造-测试循环来生成具有所需特性的分子。随着深度学习和神经生成模型在许多应用领域的出现，最近出现了基于神经网络的分子设计模型，并显示出有希望的结果。然而，新的模型还没有被配置为一致的任务，以及比较研究，以完善的算法很少被执行。为了标准化从头分子设计的经典和神经模型的评估，我们提出了一个评估框架，GuacaMol，基于一套标准化的基准。基准任务包括测量模型的保真度，以再现训练集的属性分布，生成新分子的能力，化学空间的探索和利用，以及各种单目标和多目标优化任务。基准测试开源Python代码和排行榜可以在https://benevolent.ai/guacamol上找到
2019-02-26 cs.LG physics.chem-ph q-bio.BM
Graph Neural Networks Are More Than Filters: Revisiting and Benchmarking from A Spectral Perspective
Florida State University（佛罗里达州立大学）；University of Virginia（弗吉尼亚大学）
本文针对“GNN主要由邻域聚合决定谱域行为”的观点，构建谱视角基准与理论支持的评估协议，验证GNN可生成输入中缺失的频率成分，并在真实数据集上给出新发现。
2024-12-10 cs.AI cs.LG
Benchmarking Stochastic Approximation Algorithms for Fairness-Constrained Training of Deep Neural Networks
Artificial Intelligence Center, Czech Technical University in Prague（捷克技术大学布拉格分校人工智能中心）
本文提出了一种用于评估在公平性约束下训练深度神经网络的随机逼近算法的基准测试方法，并展示了三种新算法的实现与比较。
2026-02-18 cs.CY cs.LG math.OC
Benchmarking Spiking Neural Network Learning Methods with Varying Locality
School of Electrical Engineering and Computer Science, The Pennsylvania State University（电气工程与计算机科学学院，宾夕法尼亚州立大学）
本研究对比了不同局部性的脉冲神经网络学习方法，探讨了显式循环对鲁棒性的增强作用，并评估了局部学习方法在对抗攻击下的表现。
2025-06-30 cs.AI cs.CV cs.LG
Benchmarking Sheaf Neural Networks for Inductive Tasks
本文通过首个层状神经网络设计空间的系统基准测试，在14个归纳式数据集上开展1890项实验，明确了层状神经网络在归纳任务中的表现及关键设计选择，为其实际应用提供了指导。
2026-08-04 cs.LG
Benchmarking network fabrics for data distributed training of deep neural networks
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
人工智能/机器学习应用需要在大量标记数据上训练复杂模型。训练深度模型的大量计算需求需要开发新的方法来进行更快的训练。一种这样的方法是数据并行方法，其中训练数据分布在多个计算节点上。这种方法易于实现，并且得到大多数常用机器学习框架的支持。数据并行方法利用MPI在所有节点之间传递梯度。在本文中，我们研究了使用不同的物理硬件互连和网络相关的软件原语来实现数据分布式深度学习的效果。我们比较了在以太网和OmniPath结构上使用GPUDirect和NCCL的效果。我们的研究结果表明，在共享HPC系统中使用基于以太网的网络不会对常用的深度神经网络架构或传统HPC应用（如计算流体动力学）的训练时间产生显著影响。
2020-08-18 cs.DC cs.LG cs.PF
Graph Generative Model for Benchmarking Graph Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
针对GNN领域基准图数据集少且隐私受限的问题，提出隐私可控的图生成模型CGT，可生成与源图性能表现相近的大规模基准图，经实验验证效果优于现有同类模型。
2023-06-09 cs.AI cs.CR cs.LG
Benchmarking deep inverse models over time, and the neural-adjoint method
Duke University（杜克大学）
我们考虑的任务是解决一般的反问题，其中一个希望确定隐藏的参数的自然系统，将产生一组特定的测量。最近出现了许多基于深度学习的新方法，产生了令人印象深刻的结果。我们将这些模型概念化为不同的方案，有效地，但随机地，探索可能的逆解空间。因此，每种方法的准确性应该作为时间的函数来评估，而不是像现在经常做的那样，作为一个单一的估计解决方案。使用这个指标，我们比较了几个国家的最先进的逆建模方法的四个基准任务：两个现有的任务，一个简单的任务可视化和一个新的任务从超材料设计。最后，受我们对逆问题的概念的启发，我们探索了一种解决方案，该解决方案使用深度学习模型来近似正向模型，然后使用反向传播来搜索良好的逆解。这种方法，称为神经伴随，在许多情况下实现了最佳性能。
2021-10-11 cs.LG eess.SP stat.ML
SATBench: Benchmarking the speed-accuracy tradeoff in object recognition by humans and dynamic neural networks
New York University（纽约大学）
阅读和驾驶等日常任务的核心是主动物体识别。目前，由于无法纳入时间，对此类任务进行建模的尝试受到了阻碍。人们在速度和准确性之间表现出灵活的权衡，这种权衡是人类的一项重要技能。深度神经网络已经成为预测峰值人类对象识别性能和神经活动的有希望的候选者。然而，对时间维度进行建模，即，速度-准确度权衡（SAT）对于它们作为人类如何识别物体的有用计算模型是必不可少的。为此，我们在这里提出了第一个大规模（148个观察者，4个神经网络，8个任务）数据集的速度-准确性权衡（SAT）识别ImageNet图像。在每个人体试验中，一个提示所需反应时间的哔哔声在图像呈现后的固定延迟响起，观察者的反应只有在哔哔声发生的时间附近才算。在一系列模块中，我们测试了许多蜂鸣音，即，反应时间我们观察到人类的准确性随着反应时间的增加而增加，并将其特性与能够进行推理时间自适应计算的几种动态神经网络的行为进行比较。使用FLOPs作为反应时间的模拟，我们比较了网络与人类的曲线拟合误差，类别相关性和曲线陡度，并得出结论，级联动态神经网络是一个有前途的模型，人类的反应时间在对象识别任务。
2022-06-16 cs.CV cs.LG
Benchmarking Pretrained Molecular Embedding Models For Molecular Representation Learning
Faculty of Computer Science（计算机科学系）；AGH University of Krakow（克拉科夫AGH大学）
本研究对预训练分子嵌入模型进行了全面比较，发现仅CLAMP模型在分子表示学习中表现显著优于其他模型。
2026-02-23 cs.AI cs.LG
Operation-Level Performance Benchmarking of Graph Neural Networks for Scientific Applications
Argonne National Laboratory（阿贡国家实验室）；University of Michigan（密歇根大学）
随着图神经网络（GNN）在科学机器学习中的普及，其训练和推理效率变得越来越重要。此外，深度学习领域作为一个整体，正朝着更广泛和更深入的网络发展，数据规模不断增加，以至于经常遇到硬件瓶颈。新兴的专业硬件平台为这个问题提供了令人兴奋的解决方案。在本文中，我们系统地分析和选择低层次的操作相关的GNN的科学计算中实现的Pytorch几何软件框架。然后在NVIDIA A100 GPU上针对输入值的多种组合（包括张量稀疏性）对这些值进行严格的基准测试。然后我们分析每个操作的结果。在高层次上，我们得出结论，在NVIDIA系统上：（1）诸如内存效率低下等混淆瓶颈通常比数据稀疏性更主导运行时成本，（2）原生Pytorch操作通常与其Pytorch Geometric等效操作一样或更具竞争力，特别是在低到中等水平的输入数据稀疏性时，以及（3）对于现有技术的GNN体系结构来说重要的许多操作很少或没有针对稀疏性的优化。我们希望这些结果可以作为那些在专用硬件上开发这些操作的人的基线，并且我们随后的分析有助于促进未来基于软件和硬件的这些操作的优化，从而整体上可扩展GNN性能。
2022-07-20 cs.AI cs.AR cs.LG
Periodic Extrapolative Generalisation in Neural Networks
ETH Zürich（苏黎世联邦理工学院）
在神经网络的强泛化研究中，最简单的计算模式--周期性的学习是一个公开的问题。我们正式的问题外推概括周期性信号和系统地调查的概括能力的经典，人口为基础的，最近提出的周期性架构上的一组基准任务。我们发现，周期性和“蛇”激活函数一贯失败，在定期外推，无论其周期性参数的可训练性。此外，我们的研究结果表明，传统的顺序模型仍然优于专门为外推设计的新架构，而这些又被基于群体的训练所击败。我们使我们的基准和评估工具包，PerKit，可用和易于访问，以促进该领域的未来工作。
2022-09-21 cs.AI cs.LG
GNN-Suite: a Graph Neural Network Benchmarking Framework for Biomedical Informatics
School of Informatics University of Edinburgh（信息学院爱丁堡大学）；School of Biological Sciences University of Edinburgh（生物科学学院爱丁堡大学）
该研究提出面向计算生物学的GNN基准测试框架GNN-Suite，通过标准化流程对比多种GNN模型在癌症驱动基因识别任务上的性能，验证了网络学习方法的优势，可推动领域可重复研究与基准标准完善。
2025-05-15 cs.AI cs.LG
Benchmarking ChatGPT on Algorithmic Reasoning
University of Maryland（马里兰大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究针对专为GNN设计的CLRS基准测试ChatGPT的算法推理能力，发现其通过编写Python代码求解问题的表现优于专业GNN模型，为算法学习与分布外测试的相关讨论带来新视角。
2024-04-16 cs.AI cs.CL cs.LG
Fast Benchmarking of Accuracy vs. Training Time with Cyclic Learning Rates
Columbia University（哥伦比亚大学）；MosaicML
对神经网络精度和训练时间之间的权衡进行基准测试在计算上是昂贵的。在这里，我们展示了如何使用乘法循环学习率调度在单次训练运行中构建权衡曲线。我们为Blurpool，Channels Last，Label Smoothing和MixUp等训练方法的组合生成循环权衡曲线，并强调如何使用这些循环权衡曲线来评估算法选择对网络训练效率的影响。
2022-11-11 cs.LG
ImageNet-D: Benchmarking Neural Network Robustness on Diffusion Synthetic Object
KAIST（韩国科学技术院）；University of Michigan（密歇根大学）；McGill University（麦吉尔大学）；MILA（蒙特利尔学习算法研究所）
本文提出利用扩散模型生成多样化图像构建新基准 ImageNet-D，用于测试视觉感知模型鲁棒性，实验显示该基准使从 ResNet 到 CLIP 等模型的准确率最高降低 60%。
2024-03-27 cs.AI cs.CV cs.LG
NTP : A Neural Network Topology Profiler
Intel Technologies India Pvt Ltd（英特尔技术印度私人有限公司）
给定硬件平台上的端到端神经网络的性能是其计算和存储器签名的函数，而计算和存储器签名又由诸如拓扑大小、所使用的原语、所使用的框架、延迟策略、延迟要求、当前的基准测试工具受到限制，例如a）太像DeepBench [1]（或）b）要求工作实现是框架特定的或硬件体系结构特定的或两者都是（或）c）仅提供高级基准度量。在本文中，我们提出了NTP（神经网络拓扑分析器），一个复杂的基准测试框架，有效地识别内存和计算多个硬件架构上的端到端拓扑的签名，而不需要实际的实施。NTP与特定于硬件的基准测试工具紧密集成，以实现详尽的数据汇集和分析。使用NTP，深度学习研究人员可以快速建立了解端到端神经网络拓扑性能所需的基线，并做出高级架构决策。此外，NTP与Tensorflow，Pytorch，英特尔OpenVINO等允许沿着几个向量进行性能比较，如a）在给定硬件上比较不同的框架b）使用给定框架比较不同的硬件c）这些功能使研究人员能够毫不费力地做出实现所需的架构决策，在任何硬件平台上优化性能。本文记录了NTP的架构方法，并通过对Mozilla DeepSpeech（一种流行的语音识别拓扑）进行基准测试来演示该工具的功能。
2019-05-25 cs.AI cs.PF
Benchmarking the Performance and Energy Efficiency of AI Accelerators for AI Training
Hong Kong Baptist University（香港浸会大学）
深度学习已广泛应用于复杂的人工智能应用中。然而，训练深度神经网络（DNN）模型需要大量的计算、长的运行时间和大量的能量。如今，众核AI加速器（例如，GPU和TPU）旨在提高AI训练的性能。然而，来自不同供应商的处理器在性能和能耗方面表现不一。为了研究几种流行的现成处理器之间的差异（即，英特尔CPU、英伟达GPU、AMD GPU和谷歌TPU）在训练DNN时，我们通过对一组代表性的深度学习工作负载进行基准测试，对这些处理器的性能和能效进行了全面的实证研究，包括计算密集型操作、经典卷积神经网络（CNN）、递归神经网络（LSTM）、Deep Speech 2和Transformer。与现有的端到端基准测试仅呈现训练时间不同，我们尝试调查硬件、供应商的软件库和深度学习框架对AI训练的性能和能耗的影响。我们的评估方法和结果不仅为最终用户选择合适的AI加速器提供了信息指南，而且还为硬件供应商提供了改进其软件库的机会。
2020-10-08 cs.DC cs.LG
Benchmarking Keyword Spotting Efficiency on Neuromorphic Hardware
Applied Brain Research, Inc.（应用脑研究公司）
使用英特尔的Loihi神经形态研究芯片和ABR的Nengo深度学习工具包，我们分析了经过训练以识别单个短语的双层神经网络关键字识别器的推理速度，动态功耗和每次推理的能源成本。我们对在更传统的硬件设备上运行的这个关键字检测器进行了比较分析，这些硬件设备包括CPU，GPU，Nvidia的Jetson TX1和Movidius Neural Compute Stick。我们的研究结果表明，对于这种推理应用程序，Loihi优于所有这些替代品的能源成本，同时保持同等的推理精度。此外，对网络规模、推理速度和能源成本之间的权衡分析表明，Loihi相对于其他低功耗计算设备的比较优势在更大的网络中有所改善。
2019-04-02 cs.LG stat.ML
Benchmarking Active Learning for NILM
Indian Institute of Technology, Gandhinagar（印度理工学院甘地纳格尔分校）
本文首次将主动学习引入非侵入式负荷监测，通过不确定性感知神经网络选择信息量最高的家庭安装传感器，仅用约30%数据即可达到与全量数据相当的性能，并将分解误差最多降低2倍。
2024-11-24 cs.AI cs.LG
DeepEdgeBench: Benchmarking Deep Neural Networks on Edge Devices
Technische Universität München（慕尼黑工业大学）
EdgeAI（基于边缘计算的人工智能）在过去几年中一直是最活跃的研究，以处理各种大规模分布式AI应用程序，以满足严格的延迟要求。与此同时，许多公司已经发布了具有较小形状因子（低功耗和有限资源）的边缘设备，如流行的Raspberry Pi和Nvidia的Jetson Nano，用于在边缘计算环境中充当计算节点。虽然边缘设备在计算能力和硬件资源方面受到限制，但它们由加速器提供动力，以增强其性能行为。因此，看看基于AI的深度神经网络如何在资源有限的设备上运行是很有趣的。在这项工作中，我们提出并比较了四个片上系统（SoC）的推理时间和功耗方面的性能：华硕Tinker Edge R，Raspberry Pi 4，Google Coral Dev Board，Nvidia Jetson Nano和一个微控制器：Arduino Nano 33 BLE，在不同的深度学习模型和框架上。我们还提供了一种方法来测量功耗，推理时间和准确性的设备，它可以很容易地扩展到其他设备。我们的结果表明，对于基于Tensorflow的量化模型，Google Coral Dev Board在推理时间和功耗方面都提供了最佳性能。对于推理计算时间的一小部分，即MobileNetV2的时间不到29.3%，Jetson Nano比其他设备执行得更快。
2021-08-21 cs.AI cs.DC
Benchmarking Invertible Architectures on Inverse Problems
Heidelberg University（海德堡大学）
最近的工作表明，基于流的可逆神经网络是解决模糊逆问题的有前途的工具。在此基础上，我们研究了10个可逆架构和相关模型在两个直观的低维基准问题上的表现，通过耦合层和简单的自动编码器获得了最佳结果。我们希望我们最初的努力能够激励其他研究人员在相同的环境中评估他们的可逆架构，并提出额外的基准，因此我们的评估最终可能会发展成为官方的社区挑战。
2021-06-22 cs.LG
NoTeS-Bank: Benchmarking Neural Transcription and Search for Scientific Notes Understanding
IIIT Hyderabad（印度信息技术研究所海得拉巴分校）；Computer Vision Center, UAB（巴塞罗那自治大学计算机视觉中心）；Habitat Lens Pvt. Ltd.（栖息地镜头私人有限公司）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
针对学术手写笔记理解的挑战，本文提出NoTeS-Bank基准，通过跨领域复杂笔记定义两个VQA任务，测试模型处理非结构化多模态内容的能力，暴露现有模型局限并建立新评估标准。
2025-04-12 cs.CV cs.IR cs.LG
Benchmarking Fairness in Spiking Neural Networks: Data Bias, Spurious Features, and Hardware Effects
Jilin University（吉林大学）；Nanyang Technological University（南洋理工大学）；RMIT University（皇家墨尔本理工大学）
本文首次提出脉冲神经网络公平性基准，通过引入人口统计覆盖缺口、虚假特征泄漏和部署环境不匹配三个现实维度，系统评估了12种先进SNN在资源约束下的公平性-性能权衡。
2026-05-08 cs.AI cs.LG cs.NE
Benchmarking Ultra-Low-Power $μ$NPUs
Imperial College London（伦敦帝国学院）；University of Cambridge（剑桥大学）
该研究对多款商用超低功耗神经处理单元（μNPUs）进行了首次独立基准测试，开源了统一的量化模型编译流水线，揭示了硬件规格与实际性能间的差异，为软硬件开发者提供了实用见解。
2025-10-31 cs.AR cs.LG
ChaosNetBench: Benchmarking Spatio-Temporal Graph Neural Networks on Chaotic Lattice Dynamics
Centre for Artificial Intelligence Research (CAIR)（人工智能研究中心（CAIR））；University of Cape Town（开普敦大学）；Nonlinear Dynamics and Chaos Group（非线性动力学与混沌组）；Department of Mathematics and Applied Mathematics（数学与应用数学系）
ChaosNetBench通过合成数据集和框架，评估时空图神经网络在不同混沌水平下的性能，揭示非图基线模型在低局部混沌时仍具竞争力，而STGNN在高局部和全局混沌下更具鲁棒性。
2026-05-10 cs.AI cs.LG nlin.CD
MultiPL-E: A Scalable and Extensible Approach to Benchmarking Neural Code Generation
大语言模型已经展示了生成自然语言和程序设计语言文本的能力。这样的模型为多语言代码生成提供了可能性：代码生成模型能将知识从一种语言推广到另一种语言吗？虽然当代的代码生成模型可以生成语义正确的Python代码，但对它们在其他语言中的能力知之甚少。我们提出了MultiPL-E，一个将单元测试驱动的代码生成基准转换为新语言的系统。我们通过使用MultiPL-E将两个流行的Python代码生成基准转换为18种额外的程序设计语言，创建了第一个大规模多语言代码生成基准。我们使用MultiPL-E将HumanEval基准测试和MBPP基准测试扩展到18种语言，包括一系列编程范式和流行程度。使用这些新的并行基准测试，我们评估了三种最先进的代码生成模型：Codex，CodeGen和InCoder的多语言性能。我们发现Codex在其他几种语言的Python上的性能相当甚至超过了它。MultiPL-E中表示的程序设计语言的范围使我们能够探索语言频率和语言特征对模型性能的影响。最后，将代码生成基准编译为新的程序设计语言的MultiPL-E方法是可伸缩和可扩展的，使得评估新的模型、基准和语言变得简单。
2022-12-19 cs.LG cs.PL
GraIP: A Benchmarking Framework For Neural Graph Inverse Problems
Mila -- Quebec AI Institute, Montréal, Canada（魁北克AI研究所）；Department of Computer Science, University of Stuttgart, Germany（斯图加特大学计算机科学系）；International Max Planck Research School for Intelligent Systems, German（智能系统国际马克斯·普朗克研究学校）；ETAS Research, Germany（ETAS研究）；Faculty of Computer Science, RWTH Aachen University, Germany（亚琛工业大学计算机科学系）；NEC Laboratories Europe（NEC欧洲实验室）
GraIP提出了一种将图学习任务作为逆问题的框架，通过统一视角促进结构学习和方法交叉应用。
2026-01-26 cs.LG
Benchmarking neural surrogates on realistic spatiotemporal multiphysics flows
State Key Laboratory for Turbulence and Complex Systems, School of Mechanics and Engineering Science, Peking University（湍流与复杂系统国家重点实验室，力学与工程科学学院，北京大学）；Gaoling School of Artificial Intelligence, Renmin University of China（Gallagher人工智能学院，中国人民大学）；AI for Science Institute（人工智能科学研究院）；University of Calgary（卡尔加里大学）；Kyoto University（京都大学）；FM Global（FM全球）；LandSpace Technology Corporation Ltd.（陆地方向技术有限公司）；Aero Engine Academy of China（中国航空发动机学院）
REALM通过严谨的基准测试框架评估神经替代模型在现实多物理场流中的表现，揭示了模型在复杂环境中的局限性及改进方向。
2026-02-02 cs.LG
Benchmarking Test-Time Unsupervised Deep Neural Network Adaptation on Edge Devices
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
由于新数据分布的变化，深度神经网络（DNN）在边缘部署后的预测准确性可能会随着时间而受到影响。为了提高DNN的鲁棒性，它们必须能够自我更新，以提高其预测精度。在资源受限边缘处的这种适配是具有挑战性的，因为：（i）新的标记数据可能不存在;（ii）适配需要在设备上，因为到云的连接可能不可用;以及（iii）该过程不仅必须快速，而且还必须是存储器和能量高效的。最近，已经引入了轻量级预测时间无监督DNN自适应技术，其通过重新调整批量归一化（BN）参数来提高模型对噪声数据的预测准确性。本文首次对这些技术进行了全面的测量研究，以量化它们在各种边缘设备上的性能和能量，并找到瓶颈并提出优化机会。特别是，这项研究考虑了CIFAR-10-C图像分类数据集，三个强大的DNN（ResNeXt，Wide-ResNet，ResNet-18），两个BN自适应算法（一个更新归一化统计数据，另一个也优化了变换参数）和三个边缘设备（FPGA，Raspberry-Pi和Nvidia Xavier NX）。我们发现，在Xavier GPU上运行的仅使用Wide-ResNet更新归一化参数的方法在平衡多个成本指标方面总体上是有效的。然而，自适应开销仍然很大（大约213 ms）。这些结果强烈激发了算法-硬件协同设计的需求，以实现高效的设备上DNN自适应。
2022-03-21 cs.AR cs.LG
Benchmarking GPUs on SVBRDF Extractor Model
School of Computing Clemson University（计算学院 哥伦比亚大学）
针对现有GPU基准测试未覆盖大输入网络任务的问题，本工作对不同GPU在处理256x256输入图像的SVBRDF提取器模型上的性能进行了区分研究，为用户选择特定任务最优GPU提供参考。
2023-10-19 cs.LG cs.PF
Decoding the Enigma: Benchmarking Humans and AIs on the Many Facets of Working Memory
Institute for Infocomm Research (I2R), A*STAR（资讯通信研究院（I2R），新加坡科技研究局）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
本文提出包含10个任务和100万次试验的WorM基准数据集，系统评估工作记忆的多维特征，并通过对循环神经网络和Transformer的联合训练测试揭示其类脑表现与局限。
2023-11-01 cs.AI cs.CV cs.LG
NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and Size
University of Technology Sydney（悉尼科技大学）
神经结构搜索（NAS）已经吸引了大量的关注，并已被证明在过去几年的大量应用中带来切实的好处。架构拓扑和架构大小一直被认为是影响深度学习模型性能的两个最重要的方面，社区已经为神经架构的这两个方面产生了大量的搜索算法。然而，这些搜索算法的性能增益是在不同的搜索空间和训练设置下实现的。这使得算法的整体性能在一定程度上无法比较，从搜索模型的一个子模块的改进不清楚。在本文中，我们提出了NATS-Bench，一个统一的基准搜索的拓扑结构和大小，（几乎）任何最新的NAS算法。NATS-Bench包括三个数据集上的15，625个架构拓扑神经细胞候选者和32，768个架构大小神经细胞候选者的搜索空间。我们分析了我们的基准的有效性，在各种标准和性能比较的所有候选人在搜索空间。我们还展示了NATS-Bench的多功能性，通过对13种最新的NAS算法进行基准测试。所有日志和诊断信息都使用相同的设置为每个候选人进行训练。这有助于更大的研究人员社区专注于在更具可比性和计算成本友好的环境中开发更好的NAS算法。所有代码均可在https://xuanyidong.com/assets/projects/NATS-Bench上公开获取。
2021-01-26 cs.LG stat.ML
Benchmarking Local Robustness of High-Accuracy Binary Neural Networks for Enhanced Traffic Sign Recognition
West University of Timisoara（蒂米什瓦拉西部大学）
该研究针对高精度交通标志识别二值神经网络，构建了含多层结构的局部鲁棒性基准测试集，经VNN-COMP'23验证现有求解器的处理能力与问题，并计划探索延长时间的效果及错误结果成因。
2023-09-25 cs.AI cs.CV cs.LG
Benchmarking a Tunable Quantum Neural Network on Trapped-Ion and Superconducting Hardware
Joint Quantum Institute（联合量子研究所）；Department of Physics, University of Maryland, College Park, Maryland 20742, USA（大学物理系，马里兰州学院公园，马里兰州20742，美国）；Applied Research Laboratory for Intelligence and Security（智能与安全应用研究实验室）；National Quantum Laboratory (QLab), University of Maryland, College Park, MD 20742 USA（国家量子实验室（QLab），马里兰州学院公园，MD 20742美国）；Duke Quantum Center（杜克大学量子中心）；Department of Physics, Duke University, Durham, North Carolina 27701, USA（大学物理系，北卡罗来纳州达勒姆，北卡罗来纳州27701，美国）
本研究在离子阱和超导量子硬件上实现并基准测试了可调谐量子神经网络，用于MNIST分类，发现适中量子插值可提升性能，且物理噪声影响边缘图像，为近量子优势铺路。
2025-08-06 cond-mat.dis-nn cs.LG quant-ph
SpokeN-100: A Cross-Lingual Benchmarking Dataset for The Classification of Spoken Numbers in Different Languages
Department Artificial Intelligence in Biomedical Engineering（生物医学工程人工智能系）
该研究提出SpokeN-100，一个包含四种语言、32位说话者、12,800个音频样本的跨语言口语数字基准数据集，并设计了语言和数字分类任务，通过进化神经架构搜索在微控制器上实现了首个基准结果。
2024-03-14 cs.AI cs.SD eess.AS
Benchmarking Traditional Machine Learning and Deep Learning Models for Fault Detection in Power Transformers
National Institute of Technology, Tiruchirappalli, TamilNadu, India（印度坦米尔纳德邦特里奇里帕利国家理工学院）
该研究基于10个月状态监测数据，基准比较五种传统机器学习与四种深度学习模型在电力变压器故障分类中的表现，发现RF以86.82%准确率略优于1D-CNN的86.30%。
2025-05-07 cs.LG
Benchmarking Adversarially Robust Quantum Machine Learning at Scale
The University of Melbourne（墨尔本大学）；Data61, CSIRO（联邦科学与工业研究组织数据61所）
本研究通过多种高端对抗攻击大规模基准测试了量子变分分类器等量子机器学习网络的鲁棒性，发现其能学习经典网络无法检测的特征从而抵御经典攻击，并据此提出新检测技术，揭示了基于鲁棒性的新型量子优势。
2022-11-23 cs.ET cs.LG physics.comp-ph
IGAff: Benchmarking Adversarial Iterative and Genetic Affine Algorithms on Deep Neural Networks
Faculty of Automatic Control；Computers, National University of Science；National Institute for Research \& Development in Informatics - ICI Bucharest, Bucharest, Romania
本文提出并基准测试两种基于仿射变换和遗传算法的黑盒迭代对抗攻击算法（ATA和AGA），在多个模型和数据集上验证其有效性，准确率提升最高达8.82%。
2025-09-08 cs.CV cs.LG
Benchmarking Simulation-Based Inference
University of Tübingen（图宾根大学）；Technical University of Munich（慕尼黑工业大学）；Helmholtz Centre Geesthacht（亥姆霍兹盖斯特哈赫特研究中心）；Research Center caesar（凯撒研究中心）；Max Planck Institute for Intelligent Systems, Tübingen（马克斯·普朗克智能系统研究所（图宾根））
概率建模的最新进展导致了大量的基于模拟的推理算法，不需要数值评估的可能性。然而，一个公共的基准与适当的性能指标，这种“无可能性”的算法一直缺乏。这使得很难比较算法并确定它们的优缺点。我们着手填补这一空白：我们提供了一个基准与推理任务和合适的性能指标，与算法的初步选择，包括最近的方法，采用神经网络和经典的近似贝叶斯计算方法。我们发现，性能指标的选择是至关重要的，即使是国家的最先进的算法有很大的改进空间，和序贯估计提高采样效率。基于神经网络的方法通常表现出更好的性能，但没有一致的最佳算法。我们提供了实用的建议，并强调了基准测试诊断问题和改进算法的潜力。结果可以在配套网站上进行交互式探索。所有代码都是开源的，因此可以贡献更多的基准任务和推理算法。
2021-04-09 cs.LG stat.ML
FlowCyt: A Comparative Study of Deep Learning Approaches for Multi-Class Classification in Flow Cytometry Benchmarking
University of Geneva（日内瓦大学）；Geneva University Hospital（日内瓦大学医院）
本文提出首个流式细胞术多类单细胞分类综合基准FlowCyt，包含30名患者数据，通过对比多种深度学习方法发现图神经网络利用空间关系表现最佳，为单细胞分析新方法的开发和评估奠定基础。
2024-04-25 cs.LG q-bio.QM
PathBench: A Benchmarking Platform for Classical and Learned Path Planning Algorithms
Imperial College London（伦敦帝国理工学院）；Ryerson University（瑞尔森大学）
路径规划是移动机器人技术中的一个重要组成部分。存在各种各样的路径规划算法，但很少有人尝试对算法进行整体基准测试或统一它们的接口。此外，随着深度神经网络的最新进展，迫切需要促进这种基于学习的规划算法的开发和基准测试。本文介绍了PathBench，一个平台，用于开发，可视化，培训，测试和基准测试现有和未来的，经典的和学习的2D和3D路径规划算法，同时提供支持机器人操作系统（ROS）。支持许多现有的路径规划算法;例如A*，波前，快速探索随机树，值迭代网络，门控路径规划网络;并且集成新算法很容易并且明确指定。我们通过比较实现的经典和学习算法的指标，如路径长度，成功率，计算时间和路径偏差的基准测试能力的PathBench。这些评估是在内置的PathBench地图和来自视频游戏和现实世界数据库的外部路径规划环境中完成的。PathBench是开源的。
2021-05-04 cs.LG cs.RO
Time to Embrace Natural Language Processing (NLP)-based Digital Pathology: Benchmarking NLP- and Convolutional Neural Network-based Deep Learning Pipelines
University of Science and Technology of China（中国科学技术大学）；UNSW Sydney（新南威尔士大学）；Genmab Inc.（Genmab公司）
基于NLP的计算机视觉模型，特别是视觉Transformer，在许多成像任务中表现优于CNN模型。然而，大多数数字病理学人工智能模型基于CNN架构，这可能是由于缺乏有关病理学图像的NLP模型的数据。在这项研究中，我们开发了数字病理学管道，以基准测试最近提出的五种NLP模型（视觉Transformer（ViT），Swin Transformer，MobileViT，CMT和Sequencer2D）和四种流行的CNN模型（ResNet18，ResNet50，MobileNetV2和EfficientNet），以预测结直肠癌的生物标志物（微卫星不稳定性，CpG岛甲基化表型和BRAF突变）。来自分子和细胞肿瘤学和癌症基因组图谱的苏木精和伊红染色的全载玻片图像分别用作训练和外部验证数据集。交叉研究外部验证显示，基于NLP的模型在生物标志物预测任务中显著优于基于CNN的模型，将总体预测和精度分别提高了约10%和26%。值得注意的是，与当前文献中使用大型训练数据集的现有模型相比，我们的NLP模型使用相对较小的训练数据集实现了所有三种生物标志物的最新预测，这表明大型训练数据集不是NLP模型或Transformers的先决条件，NLP可能更适合于通常收集小型训练数据集的临床研究。Sequencer2D的优越性能表明，在数字病理学领域，有必要对Transformer和双向长短期记忆架构进行进一步的研究…
2023-02-21 cs.CL cs.CV cs.LG
Effective catchment hydrologic representations are low-dimensional but interaction-dependent
该研究提出雪水质量守恒感知机框架，在513个CAMELS-US流域验证其性能，发现两状态MCP网络平衡精度与复杂度，参数少于LSTM，为水文表征状态选择提供经验依据。
2026-11-03 cs.LG
