Is Bio-Inspired Learning Better than Backprop? Benchmarking Bio Learning vs. Backprop
Institute for Infocomm Research (I2R), A*STAR(信息通信研究院(I2R),新加坡科技研究局(A*STAR));School of Mechanical and Aerospace Engineering, Nanyang Technological University (NTU)(南洋理工大学机械与宇航工程学院);Faculty of Science, National University of Singapore (NUS)(新加坡国立大学理学院);Centre for Frontier AI Research (CFAR), A*STAR(新加坡科技研究局前沿人工智能研究中心(CFAR))
本研究对比反向传播与多种生物启发算法,发现生物算法在部分数据下准确率更高且收敛更快,赫布学习仅需5轮训练,为生物学习提供实用优势证据。
2023-08-30 cs.LG
SWE Atlas: Benchmarking Coding Agents Beyond Issue Resolution
SWE Atlas通过涵盖代码库问答、测试编写和重构三个软件工程流程,提供了一种新的基准测试套件,评估编码代理的正确性和工程质量。
2026-05-08 cs.LG cs.SE
Benchmarking Large Language Model Uncertainty for Prompt Optimization
National Taiwan University(台湾大学)
本文针对LLM提示词优化中不确定性估计的缺失,构建基准数据集评估多种不确定性指标,发现现有指标偏向答案不确定性而非正确性不确定性,强调需开发具备优化目标感知能力的新指标。
2024-12-25 cs.CL cs.LG
Benchmarking Optimizers for Large Language Model Pretraining
EPFL(瑞士联邦理工学院)
针对大语言模型预训练优化方法缺乏统一对比标准的问题,该研究在标准化场景下系统调控变量开展全面评估,给出优化器选择指导,指明研究方向并公开可复现代码以支撑领域发展。
2025-09-01 cs.LG
Benchmarking the Neural Linear Model for Regression
University of Cambridge(剑桥大学)
神经线性模型是一种简单的自适应贝叶斯线性回归方法,最近已被用于从贝叶斯优化到强化学习的许多问题。尽管它在这些环境中取得了明显的成功,但据我们所知,还没有系统地探索它在简单回归任务上的能力。在这项工作中,我们的UCI数据集,贝叶斯回归模型的一个流行的基准,以及最近推出的UCI的“差距”数据集,这是更好的测试分布不确定性的特征。我们证明了神经线性模型是一种简单的方法,在这些任务上表现出良好的性能,但需要良好的超参数调整的成本。
2019-12-18 cs.LG stat.ML
Neurodata Without Boredom: Benchmarking Agentic AI for Data Reuse
HHMI Janelia Research Campus(HHMI贾能利亚研究中心)
本文探讨了代理AI在神经数据重用中的应用,通过八篇研究论文评估了通用编码代理在处理多模态数据和任务解码中的表现,发现其在子任务中表现良好,但难以实现端到端无错误解决方案,提出了数据共享的最佳实践。
2026-10-16 cs.LG
Standard Vs Uniform Binary Search and Their Variants in Learned Static Indexing: The Case of the Searching on Sorted Data Benchmarking Software Platform
Universitá degli Studi di Palermo(巴勒莫大学)
学习索引是一种在排序表中进行搜索的新方法。使用模型来预测要搜索的间隔,并使用二分搜索例程来完成搜索。它们相当有效。对于最后一个阶段,通常使用标准C++库的lower_bound例程,尽管这更像是一种自然的选择而不是要求。然而,最近的研究,不使用机器学习预测,表明二进制搜索或变体,即k-ary搜索的其他实现,更适合利用现代计算机体系结构提供的功能。使用SOSD学习索引基准测试软件的排序集上的搜索,我们研究如何选择一个搜索例程的学习索引搜索的最后阶段。我们的研究结果表明,更好的选择比下限例程可以。我们还强调了这样的选择可能是如何依赖于要使用的计算机体系结构。总的来说,我们的研究结果提供了新的和急需的指导方针,在学习索引框架内的搜索例程的选择。
2022-07-08 cs.DB cs.DS cs.IR
Benchmarking Transferability: A Framework for Fair and Robust Evaluation
The University of Queensland(昆士兰大学)
本文提出了一个全面的基准测试框架,用于跨多种设置系统评估模型迁移性分数,揭示了现有指标在不同场景下的表现差异,并强调标准化评估协议对跨域应用的重要性。
2025-04-28 cs.LG
Benchmarking the Fidelity and Utility of Synthetic Relational Data
Faculty of Computer and Information Science, University of Ljubljana(卢布尔雅那大学计算机与信息科学学院)
针对关系型数据合成方法缺乏统一实证评估的问题,研究整合最佳实践与新型鲁棒检测方法构建基准工具,对比6种方法后发现无方法能合成与原数据无差异的数据,且真实与合成数据在预测性能、特征重要性上呈中等相关。
2024-10-04 cs.DB cs.LG
Less is More: Benchmarking LLM Based Recommendation Agents
University of California, Santa Cruz(加州大学圣克鲁兹分校);Georgia Institute of Technology(佐治亚理工学院)
本文通过基准测试挑战了“更多上下文更好”的假设,发现较短上下文能有效降低推理成本而不影响推荐质量。
2026-01-28 cs.IR cs.LG
Benchmarking symbolic regression constant optimization schemes
ICEx UFF
本文在两种场景和十个基准问题上基准测试八种进化搜索内常数优化方法,并引入TED结合经典误差评估符号准确性,发现方法优劣依赖场景且无全局最佳选择。
2024-12-03 cs.AI cs.LG physics.comp-ph
Benchmarking Large Language Models for News Summarization
大语言模型(LLM)已经显示出自动摘要的前景,但其成功背后的原因却知之甚少。通过对不同预训练方法、提示和模型尺度的10个LLM进行人工评估,我们得出了两个重要的观察结果。首先,我们发现指令微调,而不是模型大小,是LLM的zero-shot总结能力的关键。其次,现有的研究受到低质量参考文献的限制,导致低估了人类的表现,以及较低的Few-Shot和微调性能。为了更好地评估LLM,我们对我们从自由撰稿人那里收集的高质量摘要进行了人工评估。尽管主要的文体差异,如释义量,我们发现,LMM摘要被判断为与人类的书面摘要。
2023-01-31 cs.AI cs.CL cs.LG
Benchmarking Graphormer on Large-Scale Molecular Modeling Datasets
Microsoft Research Asia(微软亚洲研究院);HKUST(香港科技大学);Tsinghua University(清华大学);USTC(中国科学技术大学);Peking University(北京大学)
本技术说明描述了Graphormer的最新更新,包括架构设计修改以及对3D分子动力学模拟的适应。通过这些简单的修改,Graphormer可以在大规模分子建模数据集上获得比vanilla更好的结果,并且可以在2D和3D分子图建模任务上一致地获得性能增益。此外,我们还表明,通过全局感受野和自适应聚合策略,Graphormer比经典的基于消息传递的GNN更强大。根据经验,Graphormer可以实现比KDD Cup 2021中使用的PCQM 4 M量子化学数据集上最初报告的结果少得多的MAE。与此同时,它在最近的开放式催化剂挑战赛中大大超过了竞争对手,这是NeurIPS 2021研讨会上的竞赛赛道,旨在用先进的人工智能模型对催化剂-吸附物反应系统进行建模。所有代码都可以在https://github.com/Microsoft/Graphormer上找到。
2023-01-07 cs.LG
CUDABeaver: Benchmarking LLM-Based Automated CUDA Debugging
University of Minnesota(明尼苏达大学)
提出CUDABEAVER基准,通过协议条件指标pass@k(M,C,A)评估LLM修复CUDA代码的能力,揭示性能损失容忍度对成功率的影响。
2026-05-26 cs.LG cs.PL cs.SE
SINDy vs Hard Nonlinearities and Hidden Dynamics: a Benchmarking Study
Politecnico di Milano(米兰理工大学);Eindhoven University of Technology(埃因霍温理工大学)
本文通过三个非线性辨识基准评估 SINDy,揭示其在隐藏状态与非光滑动力学下的局限,并提出实操改进方法以扩展其在真实控制系统中的应用。
2024-03-01 cs.LG cs.SY eess.SY
STEP: Structured Training and Evaluation Platform for benchmarking trajectory prediction models
Delft University of Technology(代尔夫特理工大学)
本文提出结构化训练与评估平台 STEP,通过统一多数据集接口和一致实验条件,揭示现有测试流程局限、联合建模重要性及模型脆弱性,推动轨迹预测评估从排行榜转向深层行为与泛化分析。
2025-09-18 cs.LG
Benchmarking person re-identification datasets and approaches for practical real-world implementations
Universidade Federal Fluminense(弗鲁米嫩塞联邦大学);LAAS-CNRS(法国国家科学研究中心系统分析与架构实验室);Université de Toulouse(图卢兹大学)
最近,人员重新识别(Re-ID)受到了很多关注。包含不同个体标记图像的大型数据集已经发布,允许研究人员开发和测试许多成功的方法。然而,当这种Re-ID模型部署在新的城市或环境中时,在安全摄像机网络内搜索人员的任务可能会面临重要的域转移,从而导致性能下降。事实上,虽然大多数公共数据集是在有限的地理区域内收集的,但来自新城市的图像呈现出不同的特征(例如,人们的种族和服装风格、天气、建筑等)。此外,视频流的整个帧必须使用行人检测模型转换为裁剪的人的图像,这些模型的行为与创建用于训练的数据集的人类注释者不同。为了更好地了解这个问题的程度,本文介绍了一种完整的方法来评估Re-ID方法和训练数据集是否适合现场操作的无监督部署。该方法用于在三个数据集上对四种Re-ID方法进行基准测试,提供了可以帮助未来设计更好的Re-ID管道的见解和指导方针。
2022-12-20 cs.AI cs.CV cs.LG
Benchmarking Reliability of Deep Learning Models for Pathological Gait Classification
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
本文分析了深度学习在病理步态分类中阻碍实际应用的泛化问题,通过跨数据集实验揭示了现有方法的错误来源,并提出强基线模型 AMS-GCN 以可靠区分多类病理步态。
2024-09-20 cs.LG
Benchmarking Approximate Inference Methods for Neural Structured Prediction
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
利用神经网络评分函数进行精确的结构化推理在计算上是具有挑战性的,但是已经提出了几种用于近似推理的方法。一种方法是直接相对于输出结构执行梯度下降(Belanger和McCallum,2016)。最近提出的另一种方法是训练一个神经网络(“推理网络”)来执行推理(Tu和Gimpel,2018)。在本文中,我们比较了这两个家庭的推理方法在三个序列标记数据集。我们选择序列标记,因为它允许我们使用精确推理作为速度,准确性和搜索错误方面的基准。在数据集上,我们证明了推理网络比梯度下降实现了更好的速度/准确度/搜索误差权衡,同时在相似的准确度水平下比精确推理更快。我们发现通过结合推理网络和梯度下降,使用前者为后者提供一个温暖的开始,进一步的好处。
2019-07-06 cs.AI cs.CL cs.LG
Benchmarking Large Multimodal Models against Common Corruptions
UIUC(伊利诺伊大学厄巴纳-香槟分校);Sea AI Lab(Sea AI 实验室);ByteDance(字节跳动);University of Chicago(芝加哥大学)
该报告提出 MMCBench 基准,系统评估超过 100 个多模态大模型在常见扰动下跨文本、图像和语音四类生成任务中的输出自洽性与可靠性。
2024-01-22 cs.CL cs.CR cs.CV
Sensor Data for Human Activity Recognition: Feature Representation and Benchmarking
University of Liverpool(利物浦大学);Delft University of Technology(代尔夫特理工大学)
人类活动识别(HAR)领域专注于获取和分析从监控设备(例如传感器)捕获的数据。该领域有广泛的应用;例如,辅助生活,安全监控和智能交通。在HAR中,活动识别模型的开发取决于这些设备捕获的数据以及用于分析这些数据的方法,这些数据直接影响性能指标。在这项工作中,我们解决了使用不同的机器学习(ML)技术准确识别人类活动的问题。我们提出了一个新的特征表示的基础上连续发生的意见,并将其与以前使用的特征表示使用广泛的分类方法。实验结果表明,基于所提出的表示技术优于基线,并实现了更好的准确性,为高和低频率的动作。我们还研究了添加更多功能及其预处理技术如何影响性能结果,从而在人类活动识别数据集上实现最先进的准确性。
2020-05-15 cs.LG stat.ML
ALTIS: Modernizing GPGPU Benchmarking
University of Texas at Austin(德克萨斯大学奥斯汀分校);VMware Research Group(VMware 研究小组)
本文介绍了Altis,现代GPGPU计算的基准套件。以前的基准测试套件,如Rodinia和SHOC,为研究社区提供了很好的服务,但在几年前开发时,硬件更加有限,软件支持的功能较少,生产硬件加速的工作负载很少。从那时起,GPU计算密度和内存容量呈指数级增长,统一内存、按需分页和HyperQ等可编程功能已经成熟,深度神经网络(DNN)、图形分析和加密货币等新工作负载已经出现在生产环境中,以之前的基准测试没有预料到的方式强调硬件和软件。从Rodinia和SHOC汲取灵感,Altis是为现代GPU架构和现代GPU运行时设计的基准套件,代表了一系列不同的应用领域。通过采用和扩展Rodinia和SHOC的应用程序,添加新的应用程序,并专注于CUDA平台,Altis更好地代表现代GPGPU工作负载,以支持架构和系统软件的GPGPU研究。
2020-08-27 cs.DC cs.LG cs.PF
Dataset Properties Shape the Success of Neuroimaging-Based Patient Stratification: A Benchmarking Analysis Across Clustering Algorithms
University of British Columbia(不列颠哥伦比亚大学);Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院)
本研究通过122种合成脑影像场景测试4种患者分层算法,发现数据复杂度对分层效果的影响超过算法选择,指出算法开发需采用真实分布数据,应更重视以数据为中心的策略。
2025-06-10 cs.LG q-bio.NC q-bio.QM
Multi-programming Cross Platform Benchmarking for Quantum Computing Hardware
随着量子硬件技术的快速发展,对量子计算机性能进行基准测试变得很有吸引力。在本文中,我们提出了一个新的量子计算机基准测试方面,通过使用多编程机制评估硬件利用率的限制-一种在量子机器中同时执行多个电路的技术。这是第一次尝试比较的评价多编程的离子和超导设备。基于实验结果,在捕获离子设备上执行多程序设计比超导机器表现出更好的结果,而不会失去任何保真度独立执行。
2022-06-07 quant-ph
Randomized Benchmarking with Restricted Gate Sets
标准的随机基准测试协议需要从一元2设计中取样,这并不总是实用的。在这篇文章中,我们研究随机基准协议的基础上的Clifford组,不是单一的2设计。我们介绍了一个一般的方法来分析这样的协议,并随后将其应用到两个子群,控制非,Hadamard和泡利门所产生的组和仅控制非和泡利门所产生的组。在这两种情况下,错误概率可以被估计为在2或更小的因子内,其中该因子可以被布置为保守的并且在量子位的数量上指数地衰减。对于逻辑量子比特的随机化基准测试,通常将获得甚至更好的准确度。因此,我们表明,抽样的分布是接近一元2设计,虽然足够的,是没有必要的随机基准测试的高精度。
2018-01-12 quant-ph
Benchmarking quantum master equations beyond ultraweak coupling
该研究基准测试了Nathan-Rudner方程与Redfield方程在阻尼谐振子中的表现,发现短时和高温下RE更优,低温下NRE更优,强耦合时RE可能失效。
2024-07-23 cond-mat.quant-gas quant-ph
Non-exponential Fidelity Decay in Randomized Benchmarking with Low-Frequency Noise
我们表明,非指数保真度衰减在随机基准测试实验的量子点量子比特是一致的数值模拟,包括低频噪声。通过扩展标准的随机基准测试分析,这个实验制度,我们发现,这种非指数衰减更好地模拟多个指数衰减率,导致瞬时控制保真度同位素纯化硅MOS量子点量子位,可以高达99.9%时,低频噪声条件和系统校准是有利的。量子位表征和验证方法的这些进展为硅作为容错量子计算的量子位平台提供了可观的前景。
2015-02-22 quant-ph
QuAS: Quantum Application Score for benchmarking the utility of quantum computers
本文提出融合QPack与Q-score优点的量子应用评分QuAS,以更准确地量化量子计算机的实际效用,并在D-Wave、IBM及多种量子模拟器上完成验证。
2024-06-06 quant-ph
Benchmarking Variational Quantum Eigensolvers for Entanglement Detection in Many-Body Hamiltonian Ground States
本文使用变分量子特征求解器(VQEs)对由Heisenberg哈密顿量描述的多体系统进行纠缠检测基准测试,发现受哈密顿量相互作用启发的参数化量子电路在代价函数估计上优于问题无关电路。
2024-07-29 quant-ph
Accelerated Randomized Benchmarking
量子信息处理为广泛的领域和应用提供了有前途的进展,前提是我们可以有效地评估候选系统中应用的控制的性能。也就是说,我们必须能够确定我们是否已经实现了一个期望的门,并相应地进行改进。随机基准测试通过利用量子操作中的对称性降低了这项任务的难度。在这里,我们绑定基准测试所需的资源,并表明,与先前的信息,我们可以实现几个数量级更好的精度比传统的方法进行基准测试。此外,通过建立在最先进的经典算法上,我们以接近最优的资源达到这些精度。我们的方法需要少一个数量级的数据,以达到相同的精度,并提供在线估计的错误报告的精度。我们还表明,我们的方法是有用的物理设备通过比较模拟。因此,我们的研究结果使随机基准测试在新的制度中的应用,并显着减少所需的实验工作,以评估量子系统中的控制精度。最后,我们的工作是基于开源的科学图书馆,可以很容易地应用于感兴趣的系统。
2014-09-24 quant-ph
Benchmarking quantum computers via protocols
本文提出用协议基准测试量子计算机,通过明确阈值区分量子性与经典性,并用于比较不同量子计算机及真实芯片与模拟器,进而回答有效量子比特数问题。
2025-05-25 quant-ph
Benchmarking Variational Quantum Eigensolvers for Quantum Chemistry
量子化学是量子计算机在不久的将来最有前途的应用之一。对于有噪声的中尺度量子器件,基于变分量子本征求解器(VQE)的量子-经典混合框架已成为首选方法。在文献中,VQE有许多不同的变体,但不知道哪一种对于给定的分子是最佳的。为此,我们对十多种不同类型的VQE ansatzes(最多30个量子位的系统)进行了全面的基准测试,基于它们在能量准确性,收敛前的运行时间和参数数量方面的性能。我们的研究结果表明,ADAPT方法可以用于获得更精确的能量小系统(低于14量子比特),但它需要更多的计算资源。对于较大的分子,UCCSD 0具有更好的性能。然而,所有测试的ansatzes很难达到化学精度拉伸键长。我们的结果是使用MindSpore Quantum获得的,其中代码和基准测试工具包在Gitee上公开。
2022-11-23 quant-ph
Generalized Cross-Entropy Benchmarking for Random Circuits with Ergodicity
该研究将遍历性引入随机电路采样,证明Haar随机量子电路满足遍历性条件,提出遍历性偏差作为量子芯片基准测试度量,复现Google的XEB结果并给出估计有效的噪声条件,为量子基准测试提供新方案。
2025-02-13 quant-ph
On the Classical Hardness of Spoofing Linear Cross-Entropy Benchmarking
最近,谷歌宣布了量子计算霸权的第一次演示,使用可编程超导处理器。他们的演示是基于从噪声随机量子线路的输出分布中收集样本,然后对这些样本进行称为线性交叉熵基准(Linear XEB)的统计测试。这就提出了一个理论问题:一台经典计算机伪造线性XEB测试的结果有多难?在这个简短的说明中,我们采用了Aaronson和Chen [2017]的分析来证明线性XEB欺骗的条件硬度结果。具体地说,我们证明了这个问题是经典困难的,假设没有有效的经典算法,给定一个随机的n量子位量子线路C,估计C输出特定输出串的概率,比如0^n,方差甚至比总是估计1/2^n的平凡估计量略好。我们的结果自动包含了噪声电路的情况。
2020-02-06 cs.CC quant-ph
Randomized benchmarking for non-Markovian noise
估计噪声的特征是一系列协议的第一步,这些协议有朝一日将导致容错量子计算机。随机基准测试(RB)协议就是按照这种思路设计的,在实践中相对容易地估计量子处理器中的平均噪声强度。然而,RB以及大多数其他基准测试和表征方法在范围上是有限的,因为它假设噪声在时间上是不相关的(马尔可夫),这越来越明显地不是这种情况。在这里,我们结合RB协议与最近的一个框架,描述非马尔可夫量子现象,推导出一般的分析表达式的平均序列保真度(ASF)的非马尔可夫RB与克利福德组。我们表明,可以识别非马尔可夫特征的噪声直接从ASF通过其偏离马尔可夫的情况下,提出了一套方法来集体估计这些偏差,非马尔可夫记忆的时间尺度,并诊断(在)一致性的非马尔可夫噪声在RB实验。最后,我们证明了我们的建议的有效性,通过几个证明的原则的例子。我们的方法是直接可实现的,并为更好地理解量子处理器中的相关噪声铺平了道路。
2021-12-14 quant-ph
Quantum Mini-Apps: A Framework for Developing and Benchmarking Quantum-HPC Applications
本文提出量子迷你应用框架,通过识别六种量子-HPC执行模式并构建简化应用原型,为异构量子-HPC应用的性能表征和中间件开发提供支持。
2024-05-12 cs.DC quant-ph
Measuring NISQ Gate-Based Qubit Stability Using a 1+1 Field Theory and Cycle Benchmarking
限制在噪声中间尺度量子(NISQ)机器上实现应用的一些最成问题的问题是不相干和相干误差的不利影响。我们使用横向场伊辛模型哈密顿量作为样本用户应用程序,在量子硬件平台上对相干误差进行了深入研究。我们在这里报告这些计算的结果,使用几种错误缓解协议,这些协议描述了这些错误,并提供了硬件量子位稳定性的指示。通过一组详细的测量,我们确定了日间和日间量子比特校准漂移以及量子线路放置对处理器上不同物理位置的量子比特组的影响。本文还讨论了这些测量如何更好地理解这些类型的错误,以及它们如何改善验证量子计算准确性的努力。
2022-01-08 quant-ph
Benchmarking the Lights Out Problem on Real Quantum Hardware
Center for Quantum Computer Science, University of Latvia(拉脱维亚大学量子计算机科学中心);Riga Purvciems Secondary School(里加普尔维采姆斯中学)
研究在真实量子硬件上实现灯灭问题并评估Grover搜索性能,发现IBM硬件改进和IQM设备校准质量对结果影响显著。
2026-02-17 quant-ph
Benchmarking Advantage and D-Wave 2000Q quantum annealers with exact cover problems
我们对迄今为止最大的量子退火机的量子处理单元进行了基准测试,5000+量子位量子退火机Advantage及其2000+量子位前身D-Wave 2000 Q,使用了飞机调度场景中的尾部分配和精确覆盖问题。基准测试集包含小型、中型和大型问题,包括稀疏连接和几乎完全连接的实例。我们发现,优势优于D-Wave 2000 Q几乎所有的问题,成功率和问题的大小显着增加。特别是,Advantage还能够解决D-Wave 2000 Q无法解决的120个逻辑量子比特的最大问题。此外,D-Wave 2000 Q仍能解决的问题,Advantage可以更快地解决。然而,我们发现,D-Wave 2000 Q可以在稀疏连接的问题上实现更好的成功率,这些问题不需要Advantage上的许多新耦合器,因此提高量子退火机的连接性本身并不能提高其性能。
2022-04-01 quant-ph
Benchmarking neural networks for quantum computation
量子计算机的能力仍然是一种推测。虽然它们在某些任务上肯定比经典算法更快,但它们可以有效解决的问题类别尚未明确映射到已知的经典复杂性理论中。这意味着,一旦找到了算法,我们不知道哪些计算会有“量子优势”,回答这个问题的一种方法是找到那些算法,但找到真正的量子算法是非常困难的。在过去三十年的工作中,我们一直在追求使用机器学习技术来开发量子计算算法的想法。在这里,我们比较了标准的实值和复值经典神经网络的性能与我们的量子神经网络模型之一,在经典问题和一个原型量子问题:计算一个纠缠见证。量子网络需要更少的时间和更小的网络来实现可比或更好的结果。
2018-12-06 quant-ph