ALTIS: Modernizing GPGPU Benchmarking
University of Texas at Austin(德克萨斯大学奥斯汀分校);VMware Research Group(VMware 研究小组)
本文介绍了Altis,现代GPGPU计算的基准套件。以前的基准测试套件,如Rodinia和SHOC,为研究社区提供了很好的服务,但在几年前开发时,硬件更加有限,软件支持的功能较少,生产硬件加速的工作负载很少。从那时起,GPU计算密度和内存容量呈指数级增长,统一内存、按需分页和HyperQ等可编程功能已经成熟,深度神经网络(DNN)、图形分析和加密货币等新工作负载已经出现在生产环境中,以之前的基准测试没有预料到的方式强调硬件和软件。从Rodinia和SHOC汲取灵感,Altis是为现代GPU架构和现代GPU运行时设计的基准套件,代表了一系列不同的应用领域。通过采用和扩展Rodinia和SHOC的应用程序,添加新的应用程序,并专注于CUDA平台,Altis更好地代表现代GPGPU工作负载,以支持架构和系统软件的GPGPU研究。
2020-08-27 cs.DC cs.LG cs.PF
COMPL-AI Framework: A Technical Interpretation and LLM Benchmarking Suite for the EU Artificial Intelligence Act
ETH Zurich(苏黎世联邦理工学院);LatticeFlow AI;INSAIT;Sofia University(索非亚大学)
本文提出COMPL-AI框架,首次对欧盟AI法案进行技术解读并构建开源基准测试套件,通过评估12个LLM揭示模型在鲁棒性、安全性等方面的不足,为合规提供可操作建议。
2025-02-03 cs.AI cs.CL cs.CY
PMLB: A Large Benchmark Suite for Machine Learning Evaluation and Comparison
Institute for Biomedical Informatics(生物医学信息学研究所);University of Pennsylvania(宾夕法尼亚大学)
基于特定研究的目标问题和目标,在数据采掘中选择、开发或比较机器学习方法可能是一项困难的任务。许多公开的真实世界和模拟基准数据集来自不同的来源,但它们的组织和作为标准的采用一直不一致。因此,选择和策划特定的基准仍然是机器学习从业者和数据科学家不必要的负担。本研究介绍了一个可访问的,策划和发展的公共基准资源,以促进识别不同的机器学习方法的优点和缺点。我们比较了该资源中当前一组基准数据集的元特征,以表征可用数据的多样性。最后,我们将一些已建立的机器学习方法应用于整个基准测试套件,并分析数据集和算法如何在性能方面聚类。这项工作是了解流行的基准测试套件的局限性,并开发一种资源,将现有的基准测试标准与未来更多样化和更有效的标准联系起来的重要的第一步。
2017-03-01 cs.AI cs.LG
DLBricks: Composable Benchmark Generation to Reduce Deep Learning Benchmarking Effort on CPUs (Extended)
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心)
在过去的几年里,深度学习(DL)模型被大量应用于各种任务,如图像分类、目标检测、机器翻译等。虽然DL模型为解决其他棘手的任务提供了机会,但它们的采用依赖于它们被优化以满足延迟和资源要求。设定基准是这一进程中的一个关键步骤,但由于缺乏具有代表性的最新基准套件而受到阻碍。DL模型的快速发展加剧了这一点。本文提出了DLBricks,一个可组合的基准生成设计,减少了开发,维护和运行DL基准的CPU上的工作。DLBricks将DL模型分解为一组唯一的可运行网络,并使用生成的基准测试的性能构建原始模型的性能。DLBricks利用了两个关键的观察结果:DL层是DL模型的性能构建块,并且层在DL模型内部和之间广泛重复。由于基准测试是自动生成的,并且基准测试时间最小化,DLBricks可以与最新的建议模型保持同步,从而减轻了选择代表性DL模型的压力。此外,DLBricks允许用户在基准测试套件中表示专有模型。我们使用$50$ MXNet模型在$4$代表性CPU系统上评估跨越$5$ DL任务的DLBrick。我们发现DLBricks为DL模型提供了准确的性能估计,并缩短了跨系统的基准测试时间(例如,在Amazon EC2 c5.xlarge上,$95\%$准确性范围内,以及高达$4.4\times$基准测试时间加速)。
2020-03-11 cs.LG cs.PF cs.SE
Tactile MNIST: Benchmarking Active Tactile Perception
TU Darmstadt(达姆施塔特工业大学);Ecole Centrale de Lyon(里昂中央理工学院);TU Dresden(德累斯顿工业大学);DFKI(德国人工智能研究中心)
针对主动触觉感知领域缺乏标准化基准的问题,研究团队推出兼容Gymnasium的开源Tactile MNIST基准套件及配套数据集,还训练了CycleGAN用于触觉仿真渲染,以推动该领域系统性进展。
2026-11-10 cs.AI cs.LG cs.RO
Black-Box Optimization Revisited: Improving Algorithm Selection Wizards through Massive Benchmarking
Facebook AI Research(Facebook AI研究院);The Chinese University of Hong Kong(香港中文大学);Université Paris-Saclay(巴黎萨克雷大学);Université Clermont Auvergne(克莱蒙奥弗涅大学);Sorbonne Université(索邦大学)
针对机器学习的黑盒优化中的现有研究遭受低概括性,这是由用于训练和测试不同优化算法的问题实例的典型选择性选择引起的。除其他问题外,这种做法促进了过度拟合和性能低下的用户指南。为了解决这个缺点,我们在这项工作中提出了一个基准套件,OptimSuite,它涵盖了广泛的黑盒优化问题,从学术基准到现实世界的应用,从离散数值到混合整数问题,从小到非常大规模的问题,从动态到静态问题的噪声,我们证明了这样一个广泛的集合的优点,从它派生的自动黑盒优化(ABBO),一个通用的算法选择向导。使用三种不同类型的算法选择技术,ABBO在所有基准测试套件上实现了具有竞争力的性能。它在其中一些方面的表现明显优于以前的最先进技术,包括YABBOB和LSGO。ABBO依赖于许多高质量的基础组件。它的优异性能是在没有任何特定任务参数化的情况下获得的。OptimSuite基准集合、ABBO向导及其基本求解器都已合并到开源Nevergrad平台中,可用于可重复的研究。
2021-02-23 cs.LG
Desbordante: from benchmarking suite to high-performance science-intensive data profiler (preprint)
Unidata LLC(Unidata有限责任公司);Saint-Petersburg University(圣彼得堡大学)
Metanome和OpenClean等开创性的数据分析系统引起了公众对科学密集型数据分析的关注。这种类型的分析旨在提取复杂的模式(原语),如函数依赖关系、数据约束、关联规则等。然而,这些工具是研究原型,而不是生产就绪的系统。下面的工作介绍了Desbordante -一个高性能的科学密集型数据分析器,具有开源代码。与类似的系统不同,它是建立在多用户环境中的工业应用的重点。它是高效的,对崩溃有弹性,并且可扩展。它的效率是通过在C++中实现发现算法来保证的,弹性是通过广泛使用容器化来实现的,可伸缩性是基于容器的复制。Desbordante的目标是向更广泛的公众开放工业级原始发现,专注于非IT专业人员的领域专家。除了发现各种原语之外,Desbordante还提供了原语验证,它不仅报告给定的原语实例是否持有,而且还通过使用特殊屏幕指出是什么阻止了它持有。接下来,Desbordante支持管道-使用发现的原语实现的即用型功能,例如打字错误检测。我们提供了内置的管道,用户可以通过提供的Python绑定构建自己的管道。与其他分析器不同,Desbordante不仅可以处理表格数据,还可以处理图形和事务数据。在本文中,我们介绍了Desbordante,它背后的愿景及其用例。为了提供更深入的视角,我们讨论了它的当前状态、架构和设计决策。此外,我们还概述了我们的未来计划。
2023-01-14 cs.AI cs.DB cs.LG
LLM-Inference-Bench: Inference Benchmarking of Large Language Models on AI Accelerators
Argonne National Laboratory(阿贡国家实验室)
该研究推出综合基准测试套件LLM-Inference-Bench,在多类GPU与专用AI加速器上,测试不同推理框架和7B、70B参数的主流LLM的推理性能,还提供交互式仪表板辅助最优配置选型。
2024-10-31 cs.LG
Bencher: Simple and Reproducible Benchmarking for Black-Box Optimization
Department of Computer Science, Lund University(隆德大学计算机科学系);DBtune
提出模块化黑盒优化基准框架Bencher,通过RPC接口隔离各基准的虚拟环境以解耦执行与优化逻辑,支持Docker/Singularity部署,实现80个基准的轻量级可复现评估。
2025-05-27 cs.LG
Benchmarking Optimizers for Large Language Model Pretraining
EPFL(瑞士联邦理工学院)
针对大语言模型预训练优化方法缺乏统一对比标准的问题,该研究在标准化场景下系统调控变量开展全面评估,给出优化器选择指导,指明研究方向并公开可复现代码以支撑领域发展。
2025-09-01 cs.LG
Statistical Multicriteria Benchmarking via the GSD-Front
Ludwig-Maximilians-Universität München(慕尼黑大学)
本文提出基于广义随机占优排序的GSD前沿方法,用于在多个质量指标下进行统计可靠的分类器比较,并构造了相应的统计估计与检验,在PMLB和OpenML上验证了其有效性。
2024-06-06 cs.LG stat.ME stat.ML
Deluca -- A Differentiable Control Library: Environments, Methods, and Benchmarking
Princeton University(普林斯顿大学);Google AI Princeton(谷歌AI普林斯顿);Microsoft Research(微软研究院)
我们提出了一个开源的原生可区分的物理和机器人环境库,伴随着基于梯度的控制方法和基准测试套件。所引入的环境允许通过模拟动态进行自动区分,从而允许控制器的快速训练。该库具有几种流行的环境,包括OpenAI Gym的经典控制设置。我们还提供了一个新的微分环境,基于深度神经网络,模拟医疗通气。我们给出了使用该库获得的新科学成果的几个用例。这包括一个医疗呼吸机模拟器和控制器,时变线性动态系统的自适应控制方法,和新的基于梯度的方法控制的线性动态系统与对抗扰动。
2021-02-19 cs.LG cs.RO
URSABench: Comprehensive Benchmarking of Approximate Bayesian Inference Methods for Deep Neural Networks
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);US Army Research Laboratory(美国陆军研究实验室)
虽然深度学习方法在广泛的应用领域中继续提高预测准确性,但其性能的其他方面仍然存在重大问题,包括量化不确定性的能力和鲁棒性。近似贝叶斯推理的最新进展为解决这些问题提供了重要的承诺,但这些方法的计算可扩展性在应用于大规模模型时可能会出现问题。在本文中,我们描述了URSABench(不确定性,鲁棒性,可扩展性和准确性基准测试)的开发工作,这是一个开源的基准测试工具套件,用于全面评估近似贝叶斯推理方法,重点是基于深度学习的分类任务
2020-07-08 cs.LG stat.ML
PhysGym: Benchmarking LLMs in Interactive Physics Discovery with Controlled Priors
Center of Excellence for Generative AI, KAUST(生成人工智能卓越中心,KAUST);The Swiss AI Lab, IDSIA-USI/SUPSI(瑞士人工智能实验室,IDSIA-USI/SUPSI);NNAISENSE Principia-AI/PhysGym(NNAISENSE 原初人工智能/PhysGym)
PhysGym是一个交互式物理发现基准,通过精细控制先验知识水平,评估LLM智能体在不同任务复杂性下的科学推理能力,并提供标准化评估协议以区分模型性能。
2025-10-26 cs.AI cs.LG physics.soc-ph
Identifying and Benchmarking Natural Out-of-Context Prediction Problems
University of Toronto(多伦多大学);Vector Institute(矢量研究所);Columbia University(哥伦比亚大学)
深度学习系统经常在上下文外(OOC)预测方面失败,即对不常见或不寻常的输入或训练分布的子组进行可靠预测的问题。为此,最近推出了一些衡量面向对象的业绩的基准。在这项工作中,我们介绍了一个框架,统一的文献OOC性能测量,并展示了如何丰富的辅助信息可以利用现有的数据集,以确定候选集的OOC的例子。我们介绍NOOCh:一套自然发生的“挑战集”,并显示如何不同的概念,上下文可以用来探测特定的OOC故障模式。在实验中,我们探讨了这些挑战集的各种学习方法之间的权衡,并展示了在设计OOC基准测试时所做的选择如何产生不同的结论。
2021-10-25 cs.CV cs.LG
DeepOBS: A Deep Learning Optimizer Benchmark Suite
University of Tübingen(图宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
由于优化器的选择和调优会影响速度,并最终影响深度学习的性能,因此过去和最近在这一领域都有重要的研究。然而,也许令人惊讶的是,对于深度学习的优化策略的定量和可重复评估,并没有普遍认可的协议。我们建议随机优化的例程和基准,特别关注深度学习的独特方面,如随机性,可调性和泛化。作为主要贡献,我们提出了DeepOBS,一个深度学习优化基准的Python包。该软件包解决了随机优化器定量评估中的关键挑战,并自动化了大多数基准测试步骤。该库包括一组广泛且可扩展的现成现实优化问题,例如在ImageNet或字符级语言预测模型上训练用于图像分类的残差网络,以及MNIST和CIFAR-10等流行经典。该软件包还为这些测试问题上最受欢迎的优化器提供了现实的基线结果,确保在对新优化器进行基准测试时与竞争对手进行公平的比较,并且不必运行昂贵的实验。它带有输出后端,可以直接生成LaTeX代码,以包含在学术出版物中。它支持TensorFlow,并且是开源的。
2019-03-13 cs.LG stat.ML
Benchmarking TPU, GPU, and CPU Platforms for Deep Learning
Harvard University(哈佛大学)
训练深度学习模型是计算密集型的,并且整个行业都倾向于硬件专业化以提高性能。为了系统地对深度学习平台进行基准测试,我们引入了ParaDnn,这是一个用于深度学习的参数化基准测试套件,可以为全连接(FC)、卷积(CNN)和递归(RNN)神经网络生成端到端模型。除了六个真实的世界模型外,我们还对Google的Cloud TPU v2/v3、NVIDIA的V100 GPU和Intel Skylake CPU平台进行了基准测试。我们深入研究TPU架构,揭示其瓶颈,并强调为未来的专业系统设计所吸取的宝贵经验。我们还提供了对平台的全面比较,并发现每个平台对于某些类型的模型都具有独特的优势。最后,我们量化了专用软件栈为TPU和GPU平台提供的快速性能改进。
2019-10-22 cs.LG cs.PF stat.ML
SWE Atlas: Benchmarking Coding Agents Beyond Issue Resolution
SWE Atlas通过涵盖代码库问答、测试编写和重构三个软件工程流程,提供了一种新的基准测试套件,评估编码代理的正确性和工程质量。
2026-05-08 cs.LG cs.SE
Benchmarking Classic and Learned Navigation in Complex 3D Environments
Czech Technical University(捷克技术大学);Intel Labs(英特尔实验室)
随着基于学习的方法的出现,导航研究正在吸引新的兴趣。然而,这一新的工作路线在很大程度上与成熟的经典导航方法脱节。在本文中,我们采取了一个步骤,协调这两个方向的研究。我们在常见的模拟环境中建立了经典的和基于学习的导航系统,并在不同复杂度的室内空间中对其进行了彻底的评估,并获得了不同的感官模式。此外,我们还在相同的环境中衡量人类的表现。我们发现,一个经典的管道,如果调整得当,可以在复杂的混乱的环境中表现得很好。另一方面,学习系统可以在有限的传感器套件下更鲁棒地运行。总的来说,这两种方法都远远没有达到人类的水平。
2019-03-28 cs.AI cs.CV cs.LG
GuacaMol: Benchmarking Models for De Novo Molecular Design
BenevolentAI(本尼沃伦特人工智能公司)
从头设计旨在通过虚拟设计-制造-测试循环来生成具有所需特性的分子。随着深度学习和神经生成模型在许多应用领域的出现,最近出现了基于神经网络的分子设计模型,并显示出有希望的结果。然而,新的模型还没有被配置为一致的任务,以及比较研究,以完善的算法很少被执行。为了标准化从头分子设计的经典和神经模型的评估,我们提出了一个评估框架,GuacaMol,基于一套标准化的基准。基准任务包括测量模型的保真度,以再现训练集的属性分布,生成新分子的能力,化学空间的探索和利用,以及各种单目标和多目标优化任务。基准测试开源Python代码和排行榜可以在https://benevolent.ai/guacamol上找到
2019-02-26 cs.LG physics.chem-ph q-bio.BM
Diverse Community Data for Benchmarking Data Privacy Algorithms
University of Massachusetts(马萨诸塞大学);Knexus Research(尼克瑟斯研究公司);University of Michigan(密歇根大学);NIST(美国国家标准与技术研究院)
本文介绍NIST CRC计划,通过理论研究、多元公开基准数据、开源评估工具及450余个去标识化样本档案,支撑表格数据去标识化算法的隐私与公平性基准评测。
2023-10-31 cs.CR cs.LG
LLMStructBench: Benchmarking Large Language Model Structured Data Extraction
University of Applied Sciences Berlin(柏林应用技术大学)
LLMStructBench通过评估模型大小和提示策略对结构化数据提取的影响,为大型语言模型的解析可靠性提供新的基准测试。
2026-02-16 cs.CL cs.LG
Simitate: A Hybrid Imitation Learning Benchmark
University of Koblenz-Landau(科布伦茨-兰道大学)
我们提出了模拟-一个混合基准套件,针对评估的方法模仿学习。一个数据集包含1938个序列,人类在现实环境中进行日常活动。该数据集与集成到模拟器中紧密耦合。提供了分辨率为960 $\mathbb{\times}$ 540(30 Hz)的RGB和深度流,以及演示者手部的精确地面真实姿势,以及120 Hz的6 DOF对象。除了我们的数据集,我们还提供了所使用环境的3D模型、标记的对象图像和预训练模型。一套旨在促进可比性和可重复性的基准测试支持模仿学习方法的发展。此外,我们提出并整合评估指标的效果和轨迹的模拟进行评估的质量。Simitate可在我们的项目网站上找到:\url{https://agas.uni-koblenz.de/data/simitate/}。
2019-05-15 cs.LG cs.RO stat.ML
Which priors matter? Benchmarking models for learning latent dynamics
DeepMind
学习动态是机器学习(ML)许多重要应用的核心,例如机器人和自动驾驶。在这些设置中,ML算法通常需要使用高维观测(如图像)来推理物理系统,而无需访问底层状态。最近,有几种方法提出将经典力学的先验知识集成到ML模型中,以解决从图像进行物理推理的挑战。在这项工作中,我们冷静地看待这些模型的当前能力。为此,我们介绍了一套由17个数据集组成的可视化观察的基础上表现出广泛的动态物理系统。我们对主要的物理启发方法进行了全面而详细的比较,并与几个强大的基线进行了比较。虽然包含物理先验的模型通常可以学习具有所需属性的潜在空间,但我们的结果表明,这些方法未能显着改善标准技术。尽管如此,我们发现,使用连续和时间可逆的动力学有利于所有类别的模型。
2021-11-09 cs.LG stat.ML
XFlow: Benchmarking Flow Behaviors over Graphs
Mississippi State University(密西西比州立大学)
本文提出XFlow基准测试套件,统一评估图上流行为相关任务,并提供通用分析框架,分析现有模型优劣以指导未来研究。
2023-08-07 cs.LG cs.SI
TorchBench: Benchmarking PyTorch with High API Surface Coverage
North Carolina State University(北卡罗来纳州立大学);Meta Platforms, Inc.(元平台公司)
本文提出基准测试套件 TorchBench,通过覆盖大量 PyTorch API 的代表性模型全面评估其软件栈性能,并展示了其在优化 GPU 性能和持续集成中检测性能回归的两个实际用例。
2023-06-24 cs.AI cs.LG cs.PF
Comparison and Benchmarking of AI Models and Frameworks on Mobile Devices
Beijing Academy of Frontier Sciences and Technology(北京前沿科学技术研究院)
由于数据量和计算资源的不断增加,深度学习在各个领域取得了许多成功。深度学习在移动设备和嵌入式设备上的应用越来越受到重视,对移动设备和嵌入式设备的AI能力进行基准测试和排名成为亟待解决的问题。考虑到模型的多样性和框架的多样性,我们提出了一个基准套件,AIoTBench,它侧重于评估移动和嵌入式设备的推理能力。AIoTBench涵盖了三种典型的重量级网络:ResNet50,InceptionV3,DenseNet121,以及三种轻量级网络:SqueezeNet,MobileNetV2,MnasNet。每个网络都由三个专为移动和嵌入式设备设计的框架实现:Tensorflow Lite,Caffe2,Pytorch Mobile。为了比较和排名设备的AI能力,我们提出了两个统一的指标作为AI分数:每秒有效图像数(VIPS)和每秒有效浮点数(VOPS)。目前,我们已经使用我们的基准对5款移动设备进行了比较和排名。该列表将在不久之后扩展和更新。
2020-05-07 cs.AI cs.LG cs.PF
$\texttt{AMEND++}$: Benchmarking Eligibility Criteria Amendments in Clinical Trials
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Medidata Solutions(Medidata解决方案)
AMEND++通过CAMLM模型提升临床试验资格标准修订预测的准确性与效率。
2026-07-30 cs.AI cs.CL cs.LG
Toward an ImageNet Library of Functions for Global Optimization Benchmarking
Migal Institute(米加尔研究所);Tel-Hai College(特尔海学院)
黑盒优化(BBO)问题的搜索景观特征的知识提供了有价值的信息,鉴于算法选择和/或配置问题。探索性景观分析(ELA)模型在确定预定义的人类衍生特征和促进投资组合选择者应对这些挑战方面取得了成功。与ELA方法不同,目前的研究提出将识别问题转化为图像识别问题,具有检测无概念,机器驱动的景观特征的潜力。为此,我们引入了Landscape Images的概念,它使我们能够为每个基准函数生成图像实例,然后将分类挑战定位在不同的广义函数数据集上。我们将其作为一个有监督的多类图像识别问题,并应用基本的人工神经网络模型来解决它。我们的方法的有效性在无噪声BBOB和IOHprofiler基准测试套件上进行了数值验证。这种明显的成功学习是BBO问题的自动特征提取和局部结构推导的又一步。通过使用这种定义的景观图像,并利用现有的图像识别算法的能力,我们预见到一个类似于ImageNet的函数库的建设,训练依赖于机器驱动的功能的广义检测器。
2022-06-27 cs.AI cs.CV cs.LG
CATBench: A Compiler Autotuning Benchmarking Suite for Black-box Optimization
Norwegian University of Science and Technology (NTNU)(挪威科技大学);Lund University(隆德大学)
CATBench 是一个面向编译器自动调优的标准化基准测试套件,涵盖离散、条件、排列参数及多保真度、多目标等复杂场景,旨在促进贝叶斯优化算法的可复现评估与创新。
2025-04-08 cs.AI cs.LG cs.NE
Benchmarking Suite for Synthetic Aperture Radar Imagery Anomaly Detection (SARIAD) Algorithms
Texas A&M University(德克萨斯农工大学)
针对SAR图像异常检测缺乏开发和基准测试方法的问题,该研究引入SARIAD基准测试套件,结合Anomalib库提供算法、数据集、指标及可视化功能,支持SAR图像异常检测方法的开发与评估。
2025-04-10 cs.AI cs.CV cs.LG
Gym4ReaL: A Suite for Benchmarking Real-World Reinforcement Learning
Politecnico di Milano(米兰理工大学)
本文提出Gym4ReaL基准套件,通过包含大规模状态-动作空间、非平稳性和部分可观测性等真实世界挑战的多样化任务,评估标准RL算法相对规则基准的竞争力,以推动面向真实场景的RL方法发展。
2025-06-30 cs.AI cs.LG
ADATIME: A Benchmarking Suite for Domain Adaptation on Time Series Data
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Centre for Frontier AI Research, A*STAR(新加坡科技研究局前沿人工智能研究中心);Nanyang Technological University(南洋理工大学)
针对时间序列领域自适应研究评估不统一、违背无监督假设的问题,提出AdaTime基准套件,统一评估框架并验证视觉域自适应方法经调参后在时序任务上具竞争力,为领域后续研究奠基。
2023-05-05 cs.LG
GNN-Suite: a Graph Neural Network Benchmarking Framework for Biomedical Informatics
School of Informatics University of Edinburgh(信息学院爱丁堡大学);School of Biological Sciences University of Edinburgh(生物科学学院爱丁堡大学)
该研究提出面向计算生物学的GNN基准测试框架GNN-Suite,通过标准化流程对比多种GNN模型在癌症驱动基因识别任务上的性能,验证了网络学习方法的优势,可推动领域可重复研究与基准标准完善。
2025-05-15 cs.AI cs.LG
Benchmarking Quality-Diversity Algorithms on Neuroevolution for Reinforcement Learning
Imperial College London(伦敦帝国理工学院)
我们为机器人控制的强化学习领域的深度神经进化提出了一个质量多样性基准套件。该套件包括任务、环境、行为描述符和适应性的定义。我们根据任务和由深度神经网络控制的代理的复杂性指定不同的基准。该基准使用标准的质量多样性指标,包括覆盖率,QD得分,最大适应度和存档配置文件指标来量化覆盖率和适应度之间的关系。我们还提出了如何量化的鲁棒性的解决方案,环境随机性,通过引入相同的指标的校正版本。我们相信,我们的基准是一个宝贵的工具,为社会比较和改善他们的调查结果。源代码可在线获取:https://github.com/adaptive-intelligent-robotics/QDax
2022-11-04 cs.AI cs.LG cs.NE
Optimizing with Low Budgets: a Comparison on the Black-box Optimization Benchmarking Suite and OpenAI Gym
Leiden University(莱顿大学);Meta AI Research(Meta AI 研究院);Technical University of Munich(慕尼黑工业大学);LIP6, CNRS, Sorbonne Université(索邦大学国家科学研究中心LIP6实验室);Universitat Pompeu Fabra(庞培法布拉大学);Université d’Antananarivo(塔那那利佛大学)
本文更新并扩展了Hutter等人的研究,在BBOB套件和OpenAI Gym上比较了ML中的BBO工具与经典启发式方法,发现BO优化器在低预算下表现好但成本高,大预算下被其他算法超越,且部分BBO算法在ML任务上表现优异。
2024-01-02 cs.LG
Benchmarking Partial Observability in Reinforcement Learning with a Suite of Memory-Improvable Domains
针对现有部分可观测强化学习基准覆盖形式单一、无法有效衡量记忆能力的问题,提出基准应具备的两个关键属性,发布开源库POBAX,提供多类代表性可记忆提升的环境及配套工具,助力相关研究。
2025-07-31 cs.AI cs.LG
Benchmarking ChatGPT on Algorithmic Reasoning
University of Maryland(马里兰大学);Carnegie Mellon University(卡内基梅隆大学)
本研究针对专为GNN设计的CLRS基准测试ChatGPT的算法推理能力,发现其通过编写Python代码求解问题的表现优于专业GNN模型,为算法学习与分布外测试的相关讨论带来新视角。
2024-04-16 cs.AI cs.CL cs.LG
Exploring and Benchmarking the Planning Capabilities of Large Language Models
Google DeepMind(谷歌DeepMind)
本研究构建涵盖经典与自然语言场景的综合规划基准套件,探究多示例上下文学习、微调、思维链等方法对大语言模型规划能力的提升效果,测试分布外泛化性并分析失效模式,为提升LLM规划能力奠定基础。
2024-11-02 cs.AI cs.CL cs.LG
Empirical Study of Off-Policy Policy Evaluation for Reinforcement Learning
Caltech(加州理工学院);Argo AI;UIUC(伊利诺伊大学厄巴纳-香槟分校)
我们为强化学习中的政策外政策评估(OPE)提供了实验基准和实证研究,这是许多安全关键应用中的关键问题。由于越来越多的兴趣部署学习为基础的方法,有一系列的OPE方法的建议,导致需要标准化的实证分析。我们的工作非常注重实验设计的多样性,以实现OPE方法的压力测试。我们提供了一个全面的基准测试套件来研究不同属性对方法性能的相互作用。我们将结果提炼成一套总结的指导方针,供OPE在实践中使用。我们的软件包,加州理工学院的OPE基准套件(COBS),是开源的,我们邀请感兴趣的研究人员进一步为基准作出贡献。
2021-11-27 cs.AI cs.LG cs.RO
Arena-Web -- A Web-based Development and Benchmarking Platform for Autonomous Navigation Approaches
Berlin Institute of Technology(柏林工业大学)
近年来,移动机器人导航方法已变得越来越重要,由于各种应用领域,从医疗保健到仓库物流。特别是,深度强化学习方法已经在机器人导航中得到了普及,但非专家不易访问,开发起来也很复杂。近年来,已作出努力,使这些先进的方法,以更广泛的受众。在本文中,我们提出了Arena的Web,基于Web的开发和评估套件,用于开发,培训和测试基于DRL的导航规划器,用于各种机器人平台和场景。该界面的设计是直观和吸引人的,以吸引非专家,并使技术可供更广泛的受众使用。使用Arena-Web及其界面,训练和开发深度强化学习代理可以简化,并且无需一行代码。该网络应用程序可免费使用,并可通过补充材料中所述的链接公开获取。
2023-02-06 cs.AI cs.HC cs.LG