HealthSLM-Bench: Benchmarking Small Language Models for Mobile and Wearable Healthcare Monitoring
School of Computing and Information Systems, University of Melbourne, Australia（墨尔本大学计算机与信息系统学院）；School of Computer Science, University of Auckland, New Zealand（奥克兰大学计算机科学学院）
本研究构建HealthSLM-Bench基准，评估小型语言模型（SLMs）在医疗预测任务的表现，发现SLMs性能接近大型语言模型且效率、隐私性更优，为隐私保护型医疗监护提供新方向。
2026-07-30 cs.AI cs.HC cs.LG
HumanoidToolBench: Benchmarking Humanoid Tool Use from Selection to Mobile Execution
Seoul National University（首尔大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Google Research（谷歌研究院）
针对人形机器人工具使用缺乏联合评估的问题，提出HumanoidToolBench基准和ToolBook数据集，评估发现工具选择与任务完成存在显著差距。
2026-10-02 cs.AI cs.RO
AmbiBench: Benchmarking Mobile GUI Agents Beyond One-Shot Instructions in the Wild
Fudan University（复旦大学）；Jilin University（吉林大学）
AmbiBench是首个针对移动GUI代理在真实场景中超越单次指令的双向意图对齐的基准测试，通过引入清晰度分类和MUSE框架评估代理在不同清晰度下的表现。
2026-02-12 cs.AI cs.HC cs.SE
Benchmarking of Lightweight Deep Learning Architectures for Skin Cancer Classification using ISIC 2017 Dataset
Yildiz Technical University（伊尔迪兹技术大学）；Hisar School（希萨尔学校）
皮肤癌是致命的癌症类型之一，在世界上很常见。最近，人们患皮肤癌的几率有了很大的提高。因此，使用深度学习进行皮肤癌分类的研究数量日益增加。为了这一领域工作的增长，成立了国际皮肤成像合作组织（ISIC），并创建了一个开放的数据集档案。在这项研究中，图像取自ISIC 2017挑战赛。对所拍摄的皮肤癌图像进行预处理和数据增强。后来，这些图像通过迁移学习和微调方法进行训练，并以这种方式创建了深度学习模型。每个模型确定了3个不同的移动深度学习模型和3个不同的批量大小值，总共创建了9个模型。在这些模型中，NASNetMobile模型与16批大小得到了最好的结果。该模型的准确率为82.00%，精确度为81.77%，F1评分值为0.8038。我们的方法是对参数较少的移动深度学习模型进行基准测试，并比较模型的结果。
2021-10-23 cs.CV cs.LG eess.IV
Personalized Benchmarking with the Ludwig Benchmarking Toolkit
Stanford University（斯坦福大学）
跨领域和部署设置的机器学习模型的快速扩散已经引起了各种社区（例如，行业从业者）的出现，这些社区寻求跨个人价值的任务和目标对模型进行基准测试。不幸的是，这些用户无法使用标准基准测试结果来执行这种价值驱动的比较，因为传统基准测试基于单一目标（例如平均准确度）评估模型，并且无法促进控制混淆变量（例如计算预算）的标准化训练框架，从而难以进行公平比较。为了应对这些挑战，我们引入了开源的Ludwig Benchmarking Toolkit（LBT），这是一个个性化的基准测试工具包，用于在一组易于扩展的任务、深度学习模型、数据集和评估指标中运行端到端的基准测试研究（从超参数优化到评估）。LBT提供了一个可配置的界面，用于控制培训和定制评估，一个标准化的培训框架，用于消除混淆变量，并支持多目标评估。我们展示了LBT如何用于创建个性化的基准研究，并对7个模型和9个数据集的文本分类进行了大规模的比较分析。我们探讨了推理延迟和性能之间的权衡，数据集属性和性能之间的关系，以及预训练对收敛和鲁棒性的影响，展示了LBT如何用于满足各种基准测试目标。
2021-11-08 cs.AI cs.LG
BENCHIP: Benchmarking Intelligence Processors
Cambricon（寒武纪）；Alibaba Infrastructure Service, Alibaba Group（阿里巴巴集团阿里巴巴基础设施事业群）；IFLYTEK（科大讯飞）；RDA Microelectronics（锐迪科微电子）；AMD（超威半导体（AMD））
对深度学习的日益关注极大地刺激了智能处理硬件的设计。各种新兴的智能处理器需要标准的基准来进行公平的比较和系统优化（软件和硬件）。然而，现有的基准是不适合基准的智能处理器，由于其非多样性和非代表性。此外，缺乏标准的基准方法进一步加剧了这一问题。在本文中，我们提出了BENCHIP，一个基准套件和基准测试方法的智能处理器。BENCHIP中的基准测试套件由两组基准测试组成：微基准测试和宏基准测试。微基准测试由单层网络组成。它们主要用于瓶颈分析和系统优化。宏观基准包含最先进的工业网络，以提供不同平台的现实比较。我们还提出了一个标准的基准测试方法，建立在一个工业软件栈和评估指标，全面反映了评估的智能处理器的各种特性。BENCHIP用于评估各种硬件平台，包括CPU，GPU和加速器。BENCHIP很快就会开源。
2017-11-25 cs.AI cs.PF
Benchmarking human visual search computational models in natural scenes: models comparison and reference datasets
Universidad de Buenos Aires（布宜诺斯艾利斯大学）；CONICET（阿根廷国家科学与技术研究理事会）
视觉搜索是几乎所有日常人类目标导向与环境互动的重要组成部分。如今，有几种算法能够在简单的观察过程中预测注视位置，但很少有模型试图模拟人类在自然场景中视觉搜索时的行为。此外，这些模型在设计上差异很大，在评估它们的数据集和指标上也存在差异。因此，需要有一个参照点，以便对每个模式进行测试，并从中得出可能的改进。在目前的工作中，我们选择了自然场景中公开可用的最先进的视觉搜索模型，并在不同的数据集上对其进行评估，采用相同的指标来估计其效率和与人类主题的相似性。特别是，我们提出了一个改进的理想贝叶斯搜索器，通过结合一个基于神经网络的视觉搜索模型，使其能够推广到其他数据集。目前的工作揭示了当前模型的局限性，以及如何通过组合方法来实现潜在的改进。此外，它进一步提供了一个解决方案，迫切需要基准数据和指标，以支持更一般的人类视觉搜索计算模型的发展。
2021-12-10 cs.AI cs.CV
Benchmarking Contemporary Deep Learning Hardware and Frameworks:A Survey of Qualitative Metrics
Southeast Missouri State University（东南密苏里州立大学）；University of Arkansas at Little Rock（阿肯色大学小石城分校）
本文概述了基准测试原则、机器学习设备（包括GPU、FPGA和ASIC）以及深度学习软件框架。它还从框架的6度量方法和硬件平台的11度量方法的角度审查了这些技术的基准测试。由于MLPerf是一个与工业界和学术界合作的基准测试组织，并提供评估深度学习硬件设备上的训练和推理的深度学习基准测试，因此调查还提到了MLPerf基准测试结果、基准测试指标、数据集、深度学习框架和算法。我们总结了七个基准测试原则，主流AI设备的差异化特征，以及深度学习硬件和框架的定性比较。
2019-11-23 cs.DC cs.LG cs.PF
A Modular Benchmarking Infrastructure for High-Performance and Reproducible Deep Learning
ETH Zurich（苏黎世联邦理工学院）
我们介绍Deep500：第一个可定制的基准测试基础设施，可以公平地比较过多的深度学习框架、算法、库和技术。Deep500背后的关键思想是其模块化设计，其中深度学习被分解为四个不同的层次：操作员，网络处理，训练和分布式训练。我们的评估表明，Deep500是可定制的（支持组合和基准测试不同的深度学习代码）和公平的（使用精心选择的指标）。此外，Deep500是快速的（产生的开销可以忽略不计），可验证的（提供分析正确性的基础设施）和可复制的。最后，作为深度学习的第一个分布式和可复制的基准测试系统，Deep500提供了软件基础设施，以利用最强大的超级计算机来处理极端规模的工作负载。
2019-06-13 cs.DC cs.LG cs.PF
BoTTA: Benchmarking on-device Test Time Adaptation
University of Birmingham（伯明翰大学）；Nokia Bell Labs（诺基亚贝尔实验室）
BoTTA提出了一种评估设备端TTA方法的基准测试，针对资源受限环境下的四个挑战，揭示了现有算法在小数据集和分布偏移方面的不足。
2025-04-16 cs.AI cs.LG
GUI-CC: Benchmarking Contextual Consistency of GUI World Models as Agent Environments
Yale University（耶鲁大学）；Zhejiang University（浙江大学）；China University of Geosciences（中国地质大学）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）；Tongji University（同济大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
研究针对GUI世界模型作为智能体环境评估的不匹配问题，提出GUI-CC基准，含两个赛道及对应任务，评估四项指标，发现当前模型单步生成合理但多步上下文一致性不足。
2026-09-02 cs.AI cs.CL
BAIT: Benchmarking (Embedding) Architectures for Interactive Theorem-Proving
Australian National University（澳大利亚国立大学）；Defence Science and Technology Group（国防科学技术集团）；BIMLOGIQ；Google DeepMind（谷歌DeepMind）
针对交互式定理证明（ITP）研究分散、方法难比较的问题，提出BAIT框架，通过比较公式嵌入的先进架构、评估端到端证明性能，为ITP学习方法提供公平简化的比较基准，助力未来研究。
2024-03-06 cs.AI cs.LG cs.LO
PathBench: A Benchmarking Platform for Classical and Learned Path Planning Algorithms
Imperial College London（伦敦帝国理工学院）；Ryerson University（瑞尔森大学）
路径规划是移动机器人技术中的一个重要组成部分。存在各种各样的路径规划算法，但很少有人尝试对算法进行整体基准测试或统一它们的接口。此外，随着深度神经网络的最新进展，迫切需要促进这种基于学习的规划算法的开发和基准测试。本文介绍了PathBench，一个平台，用于开发，可视化，培训，测试和基准测试现有和未来的，经典的和学习的2D和3D路径规划算法，同时提供支持机器人操作系统（ROS）。支持许多现有的路径规划算法;例如A*，波前，快速探索随机树，值迭代网络，门控路径规划网络;并且集成新算法很容易并且明确指定。我们通过比较实现的经典和学习算法的指标，如路径长度，成功率，计算时间和路径偏差的基准测试能力的PathBench。这些评估是在内置的PathBench地图和来自视频游戏和现实世界数据库的外部路径规划环境中完成的。PathBench是开源的。
2021-05-04 cs.LG cs.RO
Benchmarking and Survey of Explanation Methods for Black Box Models
Scuola Normale Superiore（高等师范学院）；ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）；Largo Bruno Pontecorvo（布鲁诺·蓬特科沃广场）
黑箱模型在人工智能中的广泛应用，增强了对解释方法的需求，以揭示这些模糊的模型如何达成特定的决策。检索解释是揭示可能的偏见和解决实际或道德问题的基础。目前，文献中充满了各种不同解释的方法。我们根据返回的解释类型对解释方法进行了分类。我们提出了最新的和广泛使用的解释，我们显示了一个直观的比较解释和定量基准。
2021-02-25 cs.AI cs.CY cs.LG
MobileBench-OL: A Comprehensive Chinese Benchmark for Evaluating Mobile GUI Agents in Real-World Environment
MobileBench-OL是一个全面的中文基准，用于评估现实环境中移动GUI代理的性能，通过1080个任务和5个子集测试任务执行、推理和噪声鲁棒性，为代理评估提供更真实的标准。
2026-01-29 cs.AI cs.CL
Benchmarking Automatic Machine Learning Frameworks
Georgian Partners
AutoML在设计机器学习系统时充当不同专业水平之间的桥梁，并加快数据科学过程。为了解决这一问题，采取了各种各样的技术，但并没有对这些技术进行客观的比较。我们提出了一个使用开源数据集的当前开源AutoML解决方案的基准。我们测试了auto-sklearn、TPOT、auto_ml和H2O的AutoML解决方案，并对一组来自OpenML的回归和分类数据集进行了编译，发现auto-sklearn在分类数据集上表现最好，TPOT在回归数据集上表现最好。
2018-08-17 cs.AI cs.LG stat.ML
Benchmarking Synthetic Tabular Data: A Multi-Dimensional Evaluation Framework
MOSTLY AI
提出一个多维评估框架，通过基于留出集的基准测试策略，结合分布比较、嵌入相似性和最近邻度量，量化合成表格数据的分布保真度与隐私保护，支持可解释质量诊断与可重复性。
2025-04-02 cs.AI cs.LG
Benchmarking Deep Learning-Based Reconstruction Methods for Photoacoustic Computed Tomography with Clinically Relevant Synthetic Datasets
Department of Bioengineering, University of Illinois Urbana-Champaign（生物工程系，伊利诺伊大学厄巴纳-香槟分校）；Department of Electrical and Computer Engineering, University of Illinois Urbana-Champaign（电气与计算机工程系，伊利诺伊大学厄巴纳-香槟分校）；Department of Biomedical Engineering, The University of Texas at Austin（生物医学工程系，德克萨斯大学奥斯汀分校）；Oden Institute for Computational Engineering and Sciences, The University of Texas at Austin（奥登计算工程与科学研究所，德克萨斯大学奥斯汀分校）
本文提出了一种基于临床相关合成数据集的基准测试框架，用于评估深度学习在光声计算断层成像中的图像重建方法，揭示传统度量标准的不足并推动方法优化。
2026-01-23 cs.AI cs.CV cs.LG
Benchmarking learned algorithms for computed tomography image reconstruction tasks
Centrum Wiskunde & Informatica（数学和计算机科学中心）；University of Cambridge（剑桥大学）；Leiden University（莱顿大学）
针对CT图像重建学习算法缺乏统一对比基准的问题，研究基于2DeteCT数据集构建四类学习型重建算法基准测试框架，评估了多类算法在不同重建任务上的性能，并开源可复现工具箱助力后续方法拓展。
2024-12-11 cs.CV cs.LG eess.IV
PalmBench: A Comprehensive Benchmark of Compressed Large Language Models on Mobile Platforms
University of Wisconsin – Madison（威斯康星大学麦迪逊分校）；Amazon Web Services AI（亚马逊网络服务人工智能部门）；Uber（优步公司）
本文提出 PalmBench 自动化框架，在多类移动平台上系统评估不同权重量化与激活量化 LLM 的资源效率、性能退化及有害输出。
2025-01-09 cs.AI cs.LG
Real-Time Performance Benchmarking of TinyML Models in Embedded Systems (PICO: Performance of Inference, CPU, and Operations)
Department of Computer Science, George Mason University（计算机科学系，乔治·马歇尔大学）
本研究提出模块化跨平台的PICO-TINYML-BENCHMARK框架，在两款嵌入式平台上测试三类TinyML模型的实时性能，揭示平台间的性能权衡，为TinyML实际部署优化提供指导。
2025-09-05 cs.LG cs.SE
Time to Embrace Natural Language Processing (NLP)-based Digital Pathology: Benchmarking NLP- and Convolutional Neural Network-based Deep Learning Pipelines
University of Science and Technology of China（中国科学技术大学）；UNSW Sydney（新南威尔士大学）；Genmab Inc.（Genmab公司）
基于NLP的计算机视觉模型，特别是视觉Transformer，在许多成像任务中表现优于CNN模型。然而，大多数数字病理学人工智能模型基于CNN架构，这可能是由于缺乏有关病理学图像的NLP模型的数据。在这项研究中，我们开发了数字病理学管道，以基准测试最近提出的五种NLP模型（视觉Transformer（ViT），Swin Transformer，MobileViT，CMT和Sequencer2D）和四种流行的CNN模型（ResNet18，ResNet50，MobileNetV2和EfficientNet），以预测结直肠癌的生物标志物（微卫星不稳定性，CpG岛甲基化表型和BRAF突变）。来自分子和细胞肿瘤学和癌症基因组图谱的苏木精和伊红染色的全载玻片图像分别用作训练和外部验证数据集。交叉研究外部验证显示，基于NLP的模型在生物标志物预测任务中显著优于基于CNN的模型，将总体预测和精度分别提高了约10%和26%。值得注意的是，与当前文献中使用大型训练数据集的现有模型相比，我们的NLP模型使用相对较小的训练数据集实现了所有三种生物标志物的最新预测，这表明大型训练数据集不是NLP模型或Transformers的先决条件，NLP可能更适合于通常收集小型训练数据集的临床研究。Sequencer2D的优越性能表明，在数字病理学领域，有必要对Transformer和双向长短期记忆架构进行进一步的研究…
2023-02-21 cs.CL cs.CV cs.LG
Symphony for Text Generation: Benchmarking Clinical Note Generation
本文提出MedConv数据集和受控评估框架，证明Corti的API文本生成在临床笔记质量上不逊于甚至优于商业抄写软件，并支持按需微调。
2026-10-07 cs.AI cs.CL cs.LG
RA-QA: A Benchmarking System for Respiratory Audio Question Answering Under Real-World Heterogeneity
本文提出RA-QA基准系统，通过标准化数据生成流程和统一评估协议，整合900万组异构问答对，评估通用音频语言模型和领域特定架构在现实异质性下的表现。
2026-06-29 cs.LG cs.SD eess.AS
Statistical Multicriteria Benchmarking via the GSD-Front
Ludwig-Maximilians-Universität München（慕尼黑大学）
本文提出基于广义随机占优排序的GSD前沿方法，用于在多个质量指标下进行统计可靠的分类器比较，并构造了相应的统计估计与检验，在PMLB和OpenML上验证了其有效性。
2024-06-06 cs.LG stat.ME stat.ML
LMEMs for post-hoc analysis of HPO Benchmarking
University of Freiburg（弗赖堡大学）；Mila（米拉研究所）；ELLIS Institute Tübingen（埃利斯研究所蒂宾根分所）
本文提出用线性混合效应模型对HPO基准测试进行事后显著性检验，以揭示平均性能掩盖的方法间差异，并通过PriorBand数据案例验证其能发现新见解。
2024-08-05 cs.LG
CodeReef: an open platform for portable MLOps, reusable automation actions and reproducible benchmarking
CodeReef是一个开放平台，可以共享实现跨平台MLOps（MLSysOps）所需的所有组件，即以最有效的方式在不同系统中自动部署ML模型。我们还介绍了CodeReef解决方案-一种将模型打包和共享为非虚拟化、可移植、可定制和可复制的归档文件的方法。这些ML包包括模型的JSON Meta描述以及所有依赖项、Python API、CLI操作和可移植工作流，这些都是跨各种平台、AI框架、库、编译器和数据集自动构建、基准测试、测试和自定义模型所必需的。我们展示了几个CodeReef解决方案，可以基于最新MLPerf推理基准的SSD-Mobilenets，TensorFlow和COCO数据集自动构建，运行和测量目标检测，这些数据集跨越了从Raspberry Pi，Android手机和物联网设备到数据中心的各种平台。我们的长期目标是帮助研究人员将他们的新技术作为生产就绪包与研究论文一起分享，以参与协作和可复制的基准测试，比较不同的ML/软件/硬件堆栈，并使用在线CodeReef仪表板在Pareto前沿选择最有效的。
2020-01-27 cs.LG cs.SE stat.ML
Tune It or Don't Use It: Benchmarking Data-Efficient Image Classification
Sapienza University of Rome（罗马第一大学）；Friedrich Schiller University Jena（耶拿大学）
在只有少量标记数据可用的情况下，使用深度神经网络进行数据高效的图像分类在最近的过去一直是一个活跃的研究领域。然而，很难在已发表的方法之间进行客观比较，因为现有的工作使用不同的数据集进行评估，并且经常与默认超参数的未调优基线进行比较。我们设计了一个数据有效的图像分类的基准，包括六个不同的数据集跨越各个领域（例如，自然图像、医学图像、卫星数据）和数据类型（RGB、灰度、多光谱）。使用这个基准，我们重新评估了2017年至2021年期间在知名场所发布的标准交叉熵基线和八种数据高效深度学习方法。为了进行公平和现实的比较，我们仔细调整了每个数据集上所有方法的超参数。令人惊讶的是，我们发现，调整学习率，权重衰减和批量大小在一个单独的验证分裂的结果在一个高度竞争性的基线，它优于所有，但一个专门的方法，并执行竞争力的其余一个。
2021-08-30 cs.CV cs.LG
Benchmarking sparse system identification with low-dimensional chaos
University of Maryland（马里兰大学）；University of Washington（华盛顿大学）；Imperial College（帝国理工学院）
稀疏系统辨识是一个数据驱动的过程，它获取描述动态系统演化的简约微分方程，平衡模型的复杂性和准确性。在科学领域的系统辨识有了快速的创新，但在各种动力系统上进行评估的大规模方法比较的文献中仍然存在空白。在这项工作中，我们系统地基准稀疏回归变量利用dysts标准化数据库的混沌系统。特别是，我们演示了如何使用这个开源工具来定量比较不同的系统辨识方法。为了说明如何利用这个基准，我们进行了大量的比较，四个算法解决稀疏识别的非线性动力学（SINDy）优化问题，发现强大的性能的原始算法和最近的混合整数离散算法。在所有情况下，我们使用集成来提高SINDy的噪声鲁棒性并提供统计比较。此外，我们显示了非常令人信服的证据表明，弱SINDy配方提供了显着的改进，即使在干净的数据。最后，我们研究了如何从SINDy算法生成的帕累托最优模型依赖于方程的属性，发现性能没有显着依赖于一组动力学性质，量化的混乱，尺度分离，非线性度，和语法复杂性。
2023-02-04 cs.LG cs.SY eess.SY
DevicesWorld: Benchmarking Cross-Device Agents in Heterogeneous Environments
School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）；Honor Device Co., Ltd（荣耀终端有限公司）
研究针对智能体跨设备协同操作难评估的问题，引入DevicesWorld基准测试，整合多类设备环境及众多任务，通过固定评估集评估五个前沿智能体系统，发现成功率低，为可靠跨设备智能体研究提供了可执行、可重现及有诊断作用的评估。
2026-07-16 cs.AI cs.CL cs.HC
Benchmarking of DL Libraries and Models on Mobile Devices
Beijing University of Posts and Telecommunications（北京邮电大学）；China University of Petroleum（中国石油大学）；Peking University（北京大学）
近年来，在移动设备上部署深度学习（DL）已成为一个显着的趋势。为了支持设备上DL的快速推理，DL库与算法和硬件一样发挥着关键作用。不幸的是，以前的工作从来没有深入到现代DL库的生态系统，并提供定量的结果，他们的表现。在本文中，我们首先建立了一个全面的基准，包括6个代表性的DL库和15个多样化的DL模型。然后，我们在10个移动设备上进行了广泛的实验，这有助于揭示当前移动DL libs生态系统的完整景观。例如，我们发现性能最好的DL库在不同的模型和硬件之间严重分散，这些DL库之间的差距可能相当巨大。事实上，DL库的影响可以压倒来自算法或硬件的优化，例如，模型量化和基于GPU/DSP的异构计算。最后，在观察的基础上，我们总结了DL库生态系统中不同角色的实际意义。
2022-07-06 cs.LG cs.NI
Benchmarking the State of Networks with a Low-Cost Method Based on Reservoir Computing
Østfold University College（东福尔大学学院）；Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）；Oslo Metropolitan University（奥斯陆城市大学）
本文提出基于储备池计算和ESN的低成本非侵入式方法，利用挪威移动网络数据将网络转化为模型并通过代理任务性能评估网络状态，验证了扰动下性能下降及近实时监测潜力。
2025-08-29 cs.AI cs.LG
Benchmarking Pretrained Molecular Embedding Models For Molecular Representation Learning
Faculty of Computer Science（计算机科学系）；AGH University of Krakow（克拉科夫AGH大学）
本研究对预训练分子嵌入模型进行了全面比较，发现仅CLAMP模型在分子表示学习中表现显著优于其他模型。
2026-11-05 cs.AI cs.LG
Benchmarking Multi-Agent Deep Reinforcement Learning Algorithms in Cooperative Tasks
University of Edinburgh（爱丁堡大学）
多智能体深度强化学习（MARL）缺乏常用的评估任务和标准，使得方法之间的比较变得困难。在这项工作中，我们提供了一个系统的评估和比较三个不同类别的MARL算法（独立学习，集中式多智能体策略梯度，价值分解）在不同的合作多智能体学习任务。我们的实验可以作为不同学习任务中算法预期性能的参考，并提供了有关不同学习方法有效性的见解。我们开源了EPyMARL，它扩展了PyMARL代码库，以包含其他算法，并允许灵活配置算法实现细节，如参数共享。最后，我们开源两个环境的多智能体的研究，重点是稀疏奖励下的协调。
2021-11-09 cs.AI cs.LG cs.MA
Benchmarking Graph Neural Networks on Link Prediction
Auburn University（奥本大学）
在本文中，我们基准测试几个现有的图神经网络（GNN）模型在不同的数据集上的链接预测。特别地，图卷积网络（GCN）、GraphSAGE、图注意力网络（GAT）以及变分图自动编码器（VGAE）被实现为专用于链接预测任务，执行深入分析，并且复制来自几篇不同论文的结果，还提供了更公平和系统的比较。我们的实验表明，这些GNN架构执行类似的各种基准链接预测任务。
2021-02-24 cs.LG
FedNLP: Benchmarking Federated Learning Methods for Natural Language Processing Tasks
University of Southern California（南加州大学）；Amazon Alexa AI（亚马逊Alexa AI）
对数据隐私和稀疏性的日益关注和监管需要研究用于自然语言处理（NLP）任务的隐私保护，分散学习方法。联邦学习（FL）为大量客户提供了有前途的方法（例如，个人设备或组织）协作学习共享的全局模型，以使所有客户机受益，同时允许用户将其数据保存在本地。尽管有兴趣研究自然语言处理任务的外语方法，但在文献中缺乏系统的比较和分析。在这里，我们提出了FedNLP，一个基准框架，用于评估联邦学习方法在四个不同的任务制定：文本分类，序列标记，问答，和seq2seq。我们提出了一个基于transformer的语言模型之间的通用接口（例如，BERT、BART）和FL方法（例如，FedAvg、FedOPT等）在各种非IID分区策略下。我们对FedNLP的大量实验提供了FL方法之间的经验比较，并帮助我们更好地理解这个方向的固有挑战。全面的分析指出，有趣的和令人兴奋的未来研究，旨在发展FL方法的NLP任务。
2022-05-06 cs.AI cs.CL cs.LG
Rethinking Continual Anomaly Detection on the Edge: Benchmarking Under Realistic Industrial Conditions
University of Houston（休斯敦大学）
针对现有持续异常检测方法在评估、比较和边缘部署约束上的不足，提出统一基准和训练无关方法DINOSaur，在多种协议下超越所有现有方法，并在边缘设备上实现快速推理和适应。
2026-07-01 cs.CV cs.LG
Comparison of Machine Learning Approaches for Classifying Spinodal Events
Indian Institute of Technology Roorkee（鲁尔基印度理工学院）
本研究比较了多种深度学习与集成模型在分类spinodal数据集上的性能，发现NAT和MobileViT在准确率、AUC和F1分数上表现最优，超越了早期的CNN模型，并分析了最佳模型的失败案例。
2024-10-13 cs.LG hep-ex physics.data-an
