AnaloBench: Benchmarking the Identification of Abstract and Long-context Analogies
Johns Hopkins University（约翰斯·霍普金斯大学）
本研究提出用于测定语言模型类比推理能力的基准AnaloBench，聚焦长场景与大规模信息回忆两类人类常见类比能力，测试发现模型规模扩大在这两类场景中增益极小，为相关研究提供参考。
2024-10-03 cs.AI cs.CL
Scalable and Secure AI Inference in Healthcare: A Comparative Benchmarking of FastAPI and Triton Inference Server on Kubernetes
Institute of Information Technology (IIT)（信息科技研究所）；Jahangirnagar University (JU)（贾汗吉尔纳加尔大学）
本文比较了FastAPI和Triton推理服务器在Kubernetes上的性能，发现Triton在可扩展性和吞吐量上优于FastAPI，提出混合架构用于医疗AI的安全部署。
2026-01-19 cs.AI cs.LG
URSABench: Comprehensive Benchmarking of Approximate Bayesian Inference Methods for Deep Neural Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；US Army Research Laboratory（美国陆军研究实验室）
虽然深度学习方法在广泛的应用领域中继续提高预测准确性，但其性能的其他方面仍然存在重大问题，包括量化不确定性的能力和鲁棒性。近似贝叶斯推理的最新进展为解决这些问题提供了重要的承诺，但这些方法的计算可扩展性在应用于大规模模型时可能会出现问题。在本文中，我们描述了URSABench（不确定性，鲁棒性，可扩展性和准确性基准测试）的开发工作，这是一个开源的基准测试工具套件，用于全面评估近似贝叶斯推理方法，重点是基于深度学习的分类任务
2020-07-08 cs.LG stat.ML
Benchmarking Keyword Spotting Efficiency on Neuromorphic Hardware
Applied Brain Research, Inc.（应用脑研究公司）
使用英特尔的Loihi神经形态研究芯片和ABR的Nengo深度学习工具包，我们分析了经过训练以识别单个短语的双层神经网络关键字识别器的推理速度，动态功耗和每次推理的能源成本。我们对在更传统的硬件设备上运行的这个关键字检测器进行了比较分析，这些硬件设备包括CPU，GPU，Nvidia的Jetson TX1和Movidius Neural Compute Stick。我们的研究结果表明，对于这种推理应用程序，Loihi优于所有这些替代品的能源成本，同时保持同等的推理精度。此外，对网络规模、推理速度和能源成本之间的权衡分析表明，Loihi相对于其他低功耗计算设备的比较优势在更大的网络中有所改善。
2019-04-02 cs.LG stat.ML
FinNLI: Novel Dataset for Multi-Genre Financial Natural Language Inference Benchmarking
University of Oxford（牛津大学）；JPMorgan AI Research（摩根大通人工智能研究院）
本文提出金融自然语言推理基准数据集FinNLI，含21,304对样本，评估显示领域迁移降低性能，LLMs最高宏F1为78.62%，暴露金融推理弱点。
2025-04-22 cs.AI cs.CL cs.LG
Real-Time Performance Benchmarking of TinyML Models in Embedded Systems (PICO: Performance of Inference, CPU, and Operations)
Department of Computer Science, George Mason University（计算机科学系，乔治·马歇尔大学）
本研究提出模块化跨平台的PICO-TINYML-BENCHMARK框架，在两款嵌入式平台上测试三类TinyML模型的实时性能，揭示平台间的性能权衡，为TinyML实际部署优化提供指导。
2025-09-05 cs.LG cs.SE
Reproducible LLM Inference Benchmarking: A Sequential Isolation Protocol for Regression Testing
Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）；Microsoft（微软）；Uthereal AG；ETH Zurich（苏黎世联邦理工学院）
提出顺序隔离协议，通过控制并发变化降低LLM推理基准测试方差，将平均CV从15.2%降至2.2%，并支持回归测试与成本建模。
2026-10-08 cs.LG cs.PF
CIPHER: Benchmarking Cross-record Inference over Privacy-Hardened Evidence Records
Arizona State University（亚利桑那州立大学）
CIPHER基准测试评估隐私加固记录上的跨记录推理，发现系统错误主要源于记录选择和谓词解释，而非算术执行。
2026-09-09 cs.AI cs.CR
Benchmarking Edge Inference Strategies for Deep Learning Models in Industrial Machine Vision
Spanish Ministry of Science, Innovation and Universities（西班牙科学、创新与大学部）；Spanish State Research Agency（西班牙国家研究机构）；European Regional Development Fund（欧洲区域发展基金）；European Union（欧洲联盟）；European Health and Digital Executive Agency（欧洲健康与数字执行机构）
研究工业机器视觉中深度学习模型的边缘推理策略，比较普通PyTorch、ONNX Runtime、OpenVINO和TensorRT四种方法，评估其在多硬件平台及不同模型下的推理时间，得出不同平台上各方法的性能表现。
2026-07-14 cs.CV
Benchmarking the Energy Savings with Speculative Decoding Strategies
Indian Institute of Technology（印度理工学院）；Indian Statistical Institute（印度统计研究所）；Accenture Labs（埃森哲实验室）
本文通过调查推测解码策略的能量需求，分析了模型大小、策略和数据集特征对能量优化的影响，以评估不同策略的能量节省效果。
2026-02-09 cs.AI cs.CL cs.LG
InferBench: Understanding Deep Learning Inference Serving with an Automatic Benchmarking System
Nanyang Technological University（南洋理工大学）；NVIDIA AI Tech Center（英伟达人工智能技术中心）；Nokia Bell Lab.（诺基亚贝尔实验室）
深度学习（DL）模型已经成为许多应用的核心模块。然而，部署这些模型时，如果没有仔细的性能基准测试（考虑硬件和软件的影响），通常会导致服务质量差和运营成本高。为了方便DL模型的部署，我们实现了一个自动和全面的基准测试系统DL开发人员。要完成与基准测试相关的任务，开发人员只需要准备一个由几行代码组成的配置文件。我们的系统部署在DL集群中的领导者服务器上，将用户的基准作业分发给跟随者工作者。接下来，系统可以自动生成相应的请求、工作负载甚至模型，以进行DL服务基准测试。最后，开发人员可以利用我们系统中的许多分析工具和模型来深入了解不同系统配置的利弊。此外，一个两层的调度器被纳入，以避免不必要的干扰，并提高平均作业编译时间高达1.43倍（相当于减少30%）。我们的系统设计遵循DL集群操作的最佳实践，以加快开发人员的日常DL服务评估工作。我们进行了许多基准实验，以提供深入和全面的评估。我们相信这些结果对于DL服务配置和资源分配具有重要的指导价值。
2021-01-05 cs.LG cs.PF
Benchmarking Simulation-Based Inference
University of Tübingen（图宾根大学）；Technical University of Munich（慕尼黑工业大学）；Helmholtz Centre Geesthacht（亥姆霍兹盖斯特哈赫特研究中心）；Research Center caesar（凯撒研究中心）；Max Planck Institute for Intelligent Systems, Tübingen（马克斯·普朗克智能系统研究所（图宾根））
概率建模的最新进展导致了大量的基于模拟的推理算法，不需要数值评估的可能性。然而，一个公共的基准与适当的性能指标，这种“无可能性”的算法一直缺乏。这使得很难比较算法并确定它们的优缺点。我们着手填补这一空白：我们提供了一个基准与推理任务和合适的性能指标，与算法的初步选择，包括最近的方法，采用神经网络和经典的近似贝叶斯计算方法。我们发现，性能指标的选择是至关重要的，即使是国家的最先进的算法有很大的改进空间，和序贯估计提高采样效率。基于神经网络的方法通常表现出更好的性能，但没有一致的最佳算法。我们提供了实用的建议，并强调了基准测试诊断问题和改进算法的潜力。结果可以在配套网站上进行交互式探索。所有代码都是开源的，因此可以贡献更多的基准任务和推理算法。
2021-04-09 cs.LG stat.ML
ARTeFACT: Benchmarking Segmentation Models on Diverse Analogue Media Damage
University of Glasgow（格拉斯哥大学）；Dotphoton（多光子公司）
本文提出 ARTeFACT 数据集与基准，包含逾 11,000 条跨媒介、15 类损伤标注及文本描述，系统评估多种分割模型并揭示其跨媒介泛化局限。
2024-12-05 cs.CV
RooflineBench: A Benchmarking Framework for On-Device LLMs via Roofline Analysis
本文提出基于 Roofline 模型的统一框架，通过操作强度（OI）统一架构原语和硬件约束，引入相对推理潜力作为新指标，分析不同 LLMs 在相同硬件上的效率差异，并揭示序列长度和模型深度对性能和 OI 的影响。
2026-08-06 cs.AI cs.AR cs.LG
TokenPowerBench: Benchmarking the Power Consumption of LLM Inference
TokenPowerBench是首个用于评估大语言模型推理能耗的轻量可扩展基准，通过测量和分析不同设置对能效指标的影响，帮助用户优化能耗和可持续性。
2025-12-02 cs.AI cs.CY cs.DC
FriendBench: Benchmarking Dyadic Familiarity Inference in Humans and Multimodal Large Language Models
Fluid Concepts Research（流体概念研究机构）
该研究推出FriendBench基准，通过20秒二元破冰对话片段推断两人熟悉度，对比7家公司26个模型与人类的表现，发现模型与人类准确率无统计差异但先验倾向不同，且仅人类能从可见行为中获益，同时发布了相关资源。
2026-09-15 cs.AI cs.CL cs.CV
The Benchmarking Epistemology: Validity Theory for Evaluating Machine Learning Models
本文提出基于心理测量理论的构念效度框架，明确基准测试支持科学推断所需假设，并通过三个案例阐明其适用条件。
2026-10-02 cs.LG stat.ML
MLHarness: A Scalable Benchmarking System for MLCommons
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University at Buffalo（布法罗大学）
针对MLCommons Inference基准测试模型数量有限的问题，提出可扩展的MLHarness系统，支持多种输入输出模态的模型，并实现声明式贡献与跨平台基准测试，实验验证其灵活性与可扩展性。
2021-11-09 cs.LG
Benchmarking Counterfactual Prediction in Epidemic Time Series with Time-Varying Interventions
University of Michigan Computer Science and Engineering（密歇根大学计算机科学与工程系）；University of Michigan Epidemiology & Complex Systems（密歇根大学流行病学与复杂系统）
为解决缺乏可观测反事实结果的真实基准问题，基于校准的基于智能体的模型生成大规模流行病时间序列反事实预测基准，支持静态/时变治疗和单/多策略干预，评估多种因果推断方法。
2026-06-16 cs.AI cs.LG
UVLM: A Universal Vision-Language Model Loader for Reproducible Multimodal Benchmarking
UVLM提供统一接口加载和基准测试多种视觉-语言模型架构，支持LLaVA-NeXT和Qwen2.5-VL，通过抽象差异实现一致评估，具备多任务提示构建、共识验证和灵活token预算等功能。
2026-03-14 cs.AI cs.CV cs.LG
AgentPerfBench: A Benchmarking and Evaluation Suite for Inference Performance of Agentic LLMs
Imperial College London（帝国理工学院）；University of Cambridge（剑桥大学）；University of Oxford（牛津大学）
AgentPerfBench提出面向智能体推理的基准套件，利用真实轨迹与合成配置，揭示现有基准忽略上下文增长和硬件饱和的问题，并通过NCU轨迹和roofline模型量化聊天到智能体的性能差距。
2026-09-29 cs.LG
Benchmarking Confidential GPU Inference on NVIDIA H100 under Intel TDX
Mozilla
研究在英特尔 TDX 下 NVIDIA H100 GPU 上，比较标准与机密计算模式对语言模型推理的影响。通过两个模型实验，测量多项指标，发现机密模式会使首次令牌时间增加、全局令牌吞吐量下降，较大模型更早饱和，为容量规划提供参考。
2026-07-23 cs.AI cs.LG
Ice Cream Doesn't Cause Drowning: Benchmarking LLMs Against Statistical Pitfalls in Causal Inference
School of Statistics, University of Minnesota（明尼苏达大学统计学系）；Data Science Institute, University of Chicago（芝加哥大学数据科学研究所）
本文提出CausalPitfalls基准测试，评估LLM在因果推断中的能力，揭示当前LLM在统计因果推断中的局限性。
2026-05-12 cs.AI cs.CL cs.LG
Benchmarking Contemporary Deep Learning Hardware and Frameworks:A Survey of Qualitative Metrics
Southeast Missouri State University（东南密苏里州立大学）；University of Arkansas at Little Rock（阿肯色大学小石城分校）
本文概述了基准测试原则、机器学习设备（包括GPU、FPGA和ASIC）以及深度学习软件框架。它还从框架的6度量方法和硬件平台的11度量方法的角度审查了这些技术的基准测试。由于MLPerf是一个与工业界和学术界合作的基准测试组织，并提供评估深度学习硬件设备上的训练和推理的深度学习基准测试，因此调查还提到了MLPerf基准测试结果、基准测试指标、数据集、深度学习框架和算法。我们总结了七个基准测试原则，主流AI设备的差异化特征，以及深度学习硬件和框架的定性比较。
2019-11-23 cs.DC cs.LG cs.PF
Benchmarking Ultra-Low-Power $μ$NPUs
Imperial College London（伦敦帝国学院）；University of Cambridge（剑桥大学）
该研究对多款商用超低功耗神经处理单元（μNPUs）进行了首次独立基准测试，开源了统一的量化模型编译流水线，揭示了硬件规格与实际性能间的差异，为软硬件开发者提供了实用见解。
2025-10-31 cs.AR cs.LG
Framing AI System Benchmarking as a Learning Task: FlexBench and the Open MLPerf Dataset
Head of FCS Labs, FlexAI Founder, cTuning (AI Systems R&D)（FCS实验室负责人，FlexAI创始人，cTuning（人工智能系统研发））；Machine Learning Engineer, FlexAI（机器学习工程师，FlexAI）
提出FlexBench，将AI系统基准测试构建为AI任务，通过集成HuggingFace收集开放MLPerf数据集，支持预测建模，帮助从业者做出成本效益的AI部署决策。
2025-09-14 cs.AI cs.LG
Hints-In-Browser: Benchmarking Language Models for Programming Feedback Generation
MPI-SWS（马克斯·普朗克软件系统研究所）
本文提出Hints-In-Browser基准，从质量、成本、时间和隐私多维度评测编程反馈生成模型，并通过GPT-4合成数据微调小模型，在浏览器内实现高效推理。
2025-03-07 cs.AI cs.LG
Benchmarking Egocentric Multimodal Goal Inference for Assistive Wearable Agents
Meta Reality Labs（Meta 现实实验室）；Meta FAIR
本工作提出WAGIBench基准，用于评估视觉-语言模型从多模态数据推断用户目标的能力，发现人类准确率93%远超最佳模型84%，且大模型表现更好但实用性不足。
2025-10-25 cs.CV cs.LG
Evaluating the Efficacy of Foundational Models: Advancing Benchmarking Practices to Enhance Fine-Tuning Decision-Making
Rochester Institute of Technology（罗切斯特理工学院）
本研究评估Gemma-2B和Gemma-7B在网络安全、医学和金融等领域的表现，提出ThroughCut离群点检测技术，发现模型大小和提示类型显著影响响应质量，强调全面基准测试框架的重要性。
2024-08-20 cs.AI cs.CL cs.LG
IntelliGraphs: Datasets for Benchmarking Knowledge Graph Generation
University of Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
针对现有知识图谱相关任务未充分关注结构语义的问题，该研究提出子图推理任务，构建了含逻辑语义的IntelliGraphs数据集及生成器，通过实验验证传统KGE基线模型无法捕捉语义，以推动语义导向的机器学习模型研发。
2023-08-25 cs.AI cs.LG
Comparative Benchmarking of Causal Discovery Techniques
TCS Research（塔塔咨询服务研究部）
在本文中，我们提出了一个全面的观点突出的因果发现算法，分为两个主要类别（1）假设无循环和无潜变量，（2）允许循环和潜变量，以及实验结果比较他们从三个角度：（a）结构准确性，（b）标准预测准确性，（c）准确性的反事实推理。对于（b）和（c），我们训练具有由每种因果发现技术预测的结构的因果贝叶斯网络，以执行反事实或标准预测推理。我们比较了两个publicly可用的因果算法和一个模拟数据集具有不同的样本大小：小，中，大。实验表明，技术的结构准确性并不一定与推理任务的更高准确性相关。此外，在具有大量变量的数据集的情况下，调查的结构学习算法在结构准确性方面表现不佳。
2017-09-12 cs.AI stat.ML
Pareto Optimal Benchmarking of AI Models on ARM Cortex Processors for Sustainable Embedded Systems
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）；University of Freiburg（弗赖堡大学）；Hahn-Schickard（哈恩-施克尔德研究所）；Center for Artificial Intelligence and Robotics (CAIRO)（人工智能与机器人中心）；Technische Hochschule Würzburg-Schweinfurt（图宾根-施韦因富特技术大学）
本文通过帕累托分析优化ARM Cortex处理器上的AI模型，平衡能耗与精度，为可持续嵌入式系统提供高效能解决方案。
2026-02-20 cs.AI
Personalized Benchmarking with the Ludwig Benchmarking Toolkit
Stanford University（斯坦福大学）
跨领域和部署设置的机器学习模型的快速扩散已经引起了各种社区（例如，行业从业者）的出现，这些社区寻求跨个人价值的任务和目标对模型进行基准测试。不幸的是，这些用户无法使用标准基准测试结果来执行这种价值驱动的比较，因为传统基准测试基于单一目标（例如平均准确度）评估模型，并且无法促进控制混淆变量（例如计算预算）的标准化训练框架，从而难以进行公平比较。为了应对这些挑战，我们引入了开源的Ludwig Benchmarking Toolkit（LBT），这是一个个性化的基准测试工具包，用于在一组易于扩展的任务、深度学习模型、数据集和评估指标中运行端到端的基准测试研究（从超参数优化到评估）。LBT提供了一个可配置的界面，用于控制培训和定制评估，一个标准化的培训框架，用于消除混淆变量，并支持多目标评估。我们展示了LBT如何用于创建个性化的基准研究，并对7个模型和9个数据集的文本分类进行了大规模的比较分析。我们探讨了推理延迟和性能之间的权衡，数据集属性和性能之间的关系，以及预训练对收敛和鲁棒性的影响，展示了LBT如何用于满足各种基准测试目标。
2021-11-08 cs.AI cs.LG
HoliBench: A Cross-Platform Benchmarking and Deployment Toolkit for Foundation Models in CPS-IoT Applications
University of California, Los Angeles（加州大学洛杉矶分校）
HoliBench是一个跨平台基准测试与部署工具包，联合评估基础模型在CPS-IoT设备上的准确性、延迟和能量，通过统一工作流揭示现有工具遗漏的权衡，并支持多模型部署预测。
2026-09-14 cs.DC cs.LG cs.PF
BlenderGym: Benchmarking Foundational Model Systems for Graphics Editing
Stanford University（斯坦福大学）
提出首个面向3D图形编辑的视觉语言模型综合基准BlenderGym，通过基于代码的3D重建任务评估VLM系统，并研究推理缩放技术对生成与验证性能的影响。
2025-04-02 cs.GR cs.LG
Efficient but Vulnerable: Benchmarking and Defending LLM Batch Prompting Attack
George Mason University（乔治·马歇尔大学）
本研究揭示批量提示存在安全漏洞，构建BATCHSAFEBENCH基准，发现所有大模型易受攻击，并提出探测式防御方法，检测准确率达95%。
2025-06-20 cs.AI cs.CR cs.LG
How Much Reasoning Do Retrieval-Augmented Models Add beyond LLMs? A Benchmarking Framework for Multi-Hop Inference over Hybrid Knowledge
Massachusetts Institute of Technology（麻省理工学院）；IBM Research（IBM研究院）；University of Central Florida（中央佛罗里达大学）
HybridRAG-Bench通过混合知识和多跳推理评估框架，有效区分真实检索与参数回忆，为混合知识增强推理系统提供测试平台。
2026-02-10 cs.LG
DNN+NeuroSim V2.0: An End-to-End Benchmarking Framework for Compute-in-Memory Accelerators for On-chip Training
School of Electrical and Computer Engineering, Georgia Institute of Technology（佐治亚理工学院电气与计算机工程学院）
DNN+NeuroSim是一个集成框架，用于对深度神经网络的内存计算（CIM）加速器进行基准测试，具有从设备级到电路级再到算法级的分层设计选项。开发了一个python包装器，将NeuroSim与流行的机器学习平台Pytorch连接起来，以支持灵活的网络结构。该框架提供了自动算法到硬件的映射，并评估芯片级面积，能源效率和吞吐量的训练或推理，以及训练/推理精度与硬件约束。我们之前的工作（DNN+NeuroSim V1.1）是为了估计突触设备的可靠性以及模数转换器（ADC）量化损失对推理引擎的准确性和硬件性能的影响而开发的。在这项工作中，我们进一步研究了模拟新兴的非易失性存储器的非理想器件特性的片上训练的影响。通过将权重更新的非线性、不对称性、设备到设备和周期到周期的变化引入python包装器，以及NeuroSim核心中用于误差/权重梯度计算的外围电路，我们在CIFAR-10数据集上对基于最先进SRAM和eNVM设备的CIM加速器进行了VGG-8基准测试，揭示了用于片上训练的突触设备的关键规格。建议的DNN+NeuroSim V2.0框架在GitHub上可用。
2020-03-13 cs.ET cs.LG
Comparison and Benchmarking of AI Models and Frameworks on Mobile Devices
Beijing Academy of Frontier Sciences and Technology（北京前沿科学技术研究院）
由于数据量和计算资源的不断增加，深度学习在各个领域取得了许多成功。深度学习在移动设备和嵌入式设备上的应用越来越受到重视，对移动设备和嵌入式设备的AI能力进行基准测试和排名成为亟待解决的问题。考虑到模型的多样性和框架的多样性，我们提出了一个基准套件，AIoTBench，它侧重于评估移动和嵌入式设备的推理能力。AIoTBench涵盖了三种典型的重量级网络：ResNet50，InceptionV3，DenseNet121，以及三种轻量级网络：SqueezeNet，MobileNetV2，MnasNet。每个网络都由三个专为移动和嵌入式设备设计的框架实现：Tensorflow Lite，Caffe2，Pytorch Mobile。为了比较和排名设备的AI能力，我们提出了两个统一的指标作为AI分数：每秒有效图像数（VIPS）和每秒有效浮点数（VOPS）。目前，我们已经使用我们的基准对5款移动设备进行了比较和排名。该列表将在不久之后扩展和更新。
2020-05-07 cs.AI cs.LG cs.PF
Benchmarking the Computational and Representational Efficiency of State Space Models against Transformers on Long-Context Dyadic Sessions
Western Illinois University（西部伊利诺伊大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文通过双人会话测试案例，对比了状态空间模型与变换器在长上下文中的计算与表征效率，揭示了SSMs在特定条件下的优势。
2026-01-03 cs.AI cs.LG
GraphInfer-Bench: Benchmarking LLM's Inference Capability on Graphs
The Hong Kong University of Science and Technology（香港科技大学）；Webank（微众银行）
提出GraphInfer-Bench基准，通过五个任务（描述与比较）测试LLM能否从节点及其邻域推断出无法从单节点或路径检索的答案，发现所有方法均存在差距。
2026-06-11 cs.CL cs.LG
Towards Computational Performance Engineering for Unsupervised Concept Drift Detection -- Complexities, Benchmarking, Performance Analysis
Center for Interdisciplinary Digital Sciences (CIDS), Technische Universität Dresden（德累斯顿工业大学跨学科数字科学中心（CIDS））；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI) Dresden/Leipzig（德累斯顿/莱可堡可扩展数据分析与人工智能中心（ScaDS.AI））；Chair of Computer Graphics and Visualization (CGV), Technische Universität Dresden（德累斯顿工业大学计算机图形与可视化讲座）；Center for Information Services and High Performance Computing (ZIH), Technische Universität Dresden（德累斯顿工业大学信息服务与高性能计算中心（ZIH））
本文针对无监督概念漂移检测长期忽视计算性能的问题，提出系统的性能工程方法，涵盖计算复杂性分析、兼顾推理质量与运行效率的基准测试设计，以及借鉴高性能计算实践的性能分析演示。
2024-06-10 cs.LG cs.PF
Quantifying Ranking Instability Across Evaluation Protocol Axes in Gene Regulatory Network Benchmarking
Department of Computer Science University of Tübingen（计算机科学系图宾根大学）
本研究提出了一种系统诊断框架，用于量化基因调控网络基准测试中评估协议轴上的排名不稳定性，并揭示了方法相对区分能力变化对反转率的影响。
2026-03-03 cs.LG q-bio.MN
Benchmarking Time Series Forecasting Models: From Statistical Techniques to Foundation Models in Real-World Applications
Ruhrdot GmbH（鲁尔多特有限公司）
本文基于德国数千家餐厅的真实数据，系统评测统计、机器学习、深度学习和基础模型在14天每小时销售额预测上的表现，发现ML元模型性能强劲，Chronos和TimesFM等基础模型以零样本推理展现竞争力，并验证了PySpark-Pandas混合方案的可扩展性。
2025-02-05 cs.AI cs.LG
Benchmarking Attention for Tabular Foundation Models
SAP SE（SAP公司）
本研究针对表格基础模型中的二维注意力机制，建立了可复现基准，评估多种注意力后端在三种GPU上的性能，发现最优选择因行列注意力及硬件而异，为表格原生注意力优化奠定基础。
2026-10-12 cs.LG
Speech Self-Supervised Representations Benchmarking: a Case for Larger Probing Heads
Télécom Paris（巴黎电信学院）；Capgemini（凯捷集团）；Samsung AI Center Cambridge（三星剑桥人工智能中心）；Concordia University（康考迪亚大学）
本文研究语音自监督表示基准测试中探测头架构的影响，发现改变下游架构会显著改变模型性能排名，并通过评估更大容量探测头揭示其对性能、推理成本、泛化和多层级特征利用的作用。
2024-02-21 cs.LG cs.SD eess.AS
Benchmarking Neural Decoding Backbones towards Enhanced On-edge iBCI Applications
Southern University of Science and Technology（南方科技大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
本文通过非人灵长类动物神经解码实验，系统比较了 GRU、Transformer、RWKV 和 Mamba 四种骨干网络在精度、推理速度、校准速度和可扩展性上的表现，发现 RWKV 和 Mamba 更适合边缘 iBCI 部署。
2024-06-08 cs.AI cs.HC cs.LG
$A^3$-Bench: Benchmarking Memory-Driven Scientific Reasoning via Anchor and Attractor Activation
Xi’an Jiaotong University（西安交通大学）；National University of Singapore（新加坡国立大学）
$A^3$-Bench通过双尺度记忆驱动激活机制，评估科学推理中的记忆利用效果，揭示记忆激活对推理性能的影响。
2026-01-14 cs.AI
Benchmarking MedMNIST dataset on real quantum hardware
Lerner Research Institute（勒纳研究所）；Cleveland Clinic（克利夫兰诊所）
本研究首次在127量子比特IBM真实量子硬件上对MedMNIST医学影像数据集开展QML基准测试，结合器件感知电路、误差抑制缓解等技术，验证了纯量子模型用于医学图像分类的可行性，为医疗领域QML发展建立了基准。
2025-03-19 cs.LG quant-ph
Motivating Next-Gen Accelerators with Flexible (N:M) Activation Sparsity via Benchmarking Lightweight Post-Training Sparsification Approaches
Applied AI（应用人工智能）；Artificial Intelligence Research Institute（人工智能研究所）；HSE University（俄罗斯高等经济大学）；Sb AI Lab（Sb人工智能实验室）；MWS AI（MWS人工智能）；Yandex；Independent Researcher（独立研究者）
本文通过基准测试轻量级后训练稀疏化方法，探讨了灵活（N:M）激活稀疏化在大语言模型中的应用，展示了激活稀疏化在保持生成能力方面的优势，并提出了适用于未来硬件的稀疏化模式。
2026-04-24 cs.AI cs.LG
Benchmarking Unsupervised Anomaly Detection and Localization
University of Chinese Academy of Sciences（中国科学院大学）；SenseTime Research（商汤科技研究院）；Tsinghua University（清华大学）
无监督异常检测与定位作为计算机视觉中最具实用性和挑战性的问题之一，近年来受到了广泛的关注。从MVTec AD数据集提出到现在，不断提出的新研究方法将其精度推向饱和。现在是时候对现有的方法进行全面的比较，以启发进一步的研究。本文广泛比较了13篇论文在无监督异常检测和定位任务方面的性能，并增加了以前被社区忽视的推理效率的比较。同时，对MVTec AD数据集进行了分析，特别是影响模型的标签歧义未能达到满分。此外，考虑到新的MVTec 3D-AD数据集的建议，本文还使用现有的最先进的2D方法在这个新的数据集上进行了实验，并报告了相应的结果与分析。
2022-05-30 cs.CV
CODES: Benchmarking Coupled ODE Surrogates
Interdisciplinary Center for Scientific Computing（跨学科科学计算中心）；University of Heidelberg（海德堡大学）
CODES基准测试通过多维度评估耦合ODE系统代理架构，提供并行训练、配置生成器和预实现基线，帮助研究者选择合适代理并深化对代理学习行为的理解。
2024-11-20 astro-ph.IM cs.LG physics.comp-ph
Virtual Try-On for Cultural Clothing: A Benchmarking Study
本研究提出BD-VITON数据集，专注于孟加拉国服饰，通过重新训练模型提升文化多样服饰的虚拟试穿性能。
2026-03-07 cs.CV
RxRx3-core: Benchmarking drug-target interactions in High-Content Microscopy
Recursion；Valence Labs
本文提出RxRx3-core数据集及零样本药物-靶点相互作用预测基准，通过提供仅18GB的精选高内涵显微镜图像数据与代码，降低了研究门槛，旨在加速HCS数据表示学习创新与生物学发现。
2025-05-30 cs.LG q-bio.CB q-bio.QM
