Benchmarking Approximate Inference Methods for Neural Structured Prediction
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
利用神经网络评分函数进行精确的结构化推理在计算上是具有挑战性的，但是已经提出了几种用于近似推理的方法。一种方法是直接相对于输出结构执行梯度下降（Belanger和McCallum，2016）。最近提出的另一种方法是训练一个神经网络（“推理网络”）来执行推理（Tu和Gimpel，2018）。在本文中，我们比较了这两个家庭的推理方法在三个序列标记数据集。我们选择序列标记，因为它允许我们使用精确推理作为速度，准确性和搜索错误方面的基准。在数据集上，我们证明了推理网络比梯度下降实现了更好的速度/准确度/搜索误差权衡，同时在相似的准确度水平下比精确推理更快。我们发现通过结合推理网络和梯度下降，使用前者为后者提供一个温暖的开始，进一步的好处。
2019-07-06 cs.AI cs.CL cs.LG
Real-Time Performance Benchmarking of TinyML Models in Embedded Systems (PICO: Performance of Inference, CPU, and Operations)
Department of Computer Science, George Mason University（计算机科学系，乔治·马歇尔大学）
本研究提出模块化跨平台的PICO-TINYML-BENCHMARK框架，在两款嵌入式平台上测试三类TinyML模型的实时性能，揭示平台间的性能权衡，为TinyML实际部署优化提供指导。
2025-09-05 cs.LG cs.SE
Bench360: Benchmarking Local LLM Inference from 360 Degrees
Zurich University of Applied Sciences（苏黎世应用科学大学）；Universidad Politécnica de Madrid（马德里理工大学）
Bench360提供了一种综合评估本地LLM推理性能的框架，通过多任务、多引擎和多指标的测试，揭示了不同设计选择对效率和输出质量的影响。
2026-01-14 cs.AI cs.CL cs.LG
Scalable and Secure AI Inference in Healthcare: A Comparative Benchmarking of FastAPI and Triton Inference Server on Kubernetes
Institute of Information Technology (IIT)（信息科技研究所）；Jahangirnagar University (JU)（贾汗吉尔纳加尔大学）
本文比较了FastAPI和Triton推理服务器在Kubernetes上的性能，发现Triton在可扩展性和吞吐量上优于FastAPI，提出混合架构用于医疗AI的安全部署。
2026-01-19 cs.AI cs.LG
MLHarness: A Scalable Benchmarking System for MLCommons
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University at Buffalo（布法罗大学）
针对MLCommons Inference基准测试模型数量有限的问题，提出可扩展的MLHarness系统，支持多种输入输出模态的模型，并实现声明式贡献与跨平台基准测试，实验验证其灵活性与可扩展性。
2021-11-09 cs.LG
Benchmarking Inference Performance of Deep Learning Models on Analog Devices
Prairie View A&M University（普雷里维尤农工大学）；Texas A&M University System（德州农工大学系统）
模拟硬件实现的深度学习模型对于诸如边缘计算设备之类的计算和能量受限的系统是有希望的。然而，设备的模拟性质和相关联的许多噪声源将导致部署在此类设备上的经训练的深度学习模型中的权重值的改变。在这项研究中，系统地评估了模拟设备上部署的用于图像分类的受训练的流行深度学习模型的推理性能，其中在推理期间将加性高斯白噪声添加到受训练模型的权重中。据观察，更深的模型和设计中具有更多冗余的模型（如VGG）通常对噪声更具鲁棒性。然而，性能也受到模型的设计理念、模型的详细结构、确切的机器学习任务以及数据集的影响。
2020-12-16 cs.AI cs.AR cs.CV
AgentPerfBench: A Benchmarking and Evaluation Suite for Inference Performance of Agentic LLMs
Imperial College London（帝国理工学院）；University of Cambridge（剑桥大学）；University of Oxford（牛津大学）
AgentPerfBench提出面向智能体推理的基准套件，利用真实轨迹与合成配置，揭示现有基准忽略上下文增长和硬件饱和的问题，并通过NCU轨迹和roofline模型量化聊天到智能体的性能差距。
2026-09-29 cs.LG
FinNLI: Novel Dataset for Multi-Genre Financial Natural Language Inference Benchmarking
University of Oxford（牛津大学）；JPMorgan AI Research（摩根大通人工智能研究院）
本文提出金融自然语言推理基准数据集FinNLI，含21,304对样本，评估显示领域迁移降低性能，LLMs最高宏F1为78.62%，暴露金融推理弱点。
2025-04-22 cs.AI cs.CL cs.LG
Reproducible LLM Inference Benchmarking: A Sequential Isolation Protocol for Regression Testing
Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）；Microsoft（微软）；Uthereal AG；ETH Zurich（苏黎世联邦理工学院）
提出顺序隔离协议，通过控制并发变化降低LLM推理基准测试方差，将平均CV从15.2%降至2.2%，并支持回归测试与成本建模。
2026-10-08 cs.LG cs.PF
Benchmarking the Energy Savings with Speculative Decoding Strategies
Indian Institute of Technology（印度理工学院）；Indian Statistical Institute（印度统计研究所）；Accenture Labs（埃森哲实验室）
本文通过调查推测解码策略的能量需求，分析了模型大小、策略和数据集特征对能量优化的影响，以评估不同策略的能量节省效果。
2026-02-09 cs.AI cs.CL cs.LG
Ice Cream Doesn't Cause Drowning: Benchmarking LLMs Against Statistical Pitfalls in Causal Inference
School of Statistics, University of Minnesota（明尼苏达大学统计学系）；Data Science Institute, University of Chicago（芝加哥大学数据科学研究所）
本文提出CausalPitfalls基准测试，评估LLM在因果推断中的能力，揭示当前LLM在统计因果推断中的局限性。
2026-05-12 cs.AI cs.CL cs.LG
InferBench: Understanding Deep Learning Inference Serving with an Automatic Benchmarking System
Nanyang Technological University（南洋理工大学）；NVIDIA AI Tech Center（英伟达人工智能技术中心）；Nokia Bell Lab.（诺基亚贝尔实验室）
深度学习（DL）模型已经成为许多应用的核心模块。然而，部署这些模型时，如果没有仔细的性能基准测试（考虑硬件和软件的影响），通常会导致服务质量差和运营成本高。为了方便DL模型的部署，我们实现了一个自动和全面的基准测试系统DL开发人员。要完成与基准测试相关的任务，开发人员只需要准备一个由几行代码组成的配置文件。我们的系统部署在DL集群中的领导者服务器上，将用户的基准作业分发给跟随者工作者。接下来，系统可以自动生成相应的请求、工作负载甚至模型，以进行DL服务基准测试。最后，开发人员可以利用我们系统中的许多分析工具和模型来深入了解不同系统配置的利弊。此外，一个两层的调度器被纳入，以避免不必要的干扰，并提高平均作业编译时间高达1.43倍（相当于减少30%）。我们的系统设计遵循DL集群操作的最佳实践，以加快开发人员的日常DL服务评估工作。我们进行了许多基准实验，以提供深入和全面的评估。我们相信这些结果对于DL服务配置和资源分配具有重要的指导价值。
2021-01-05 cs.LG cs.PF
TokenPowerBench: Benchmarking the Power Consumption of LLM Inference
TokenPowerBench是首个用于评估大语言模型推理能耗的轻量可扩展基准，通过测量和分析不同设置对能效指标的影响，帮助用户优化能耗和可持续性。
2025-12-02 cs.AI cs.CY cs.DC
Benchmarking Counterfactual Prediction in Epidemic Time Series with Time-Varying Interventions
University of Michigan Computer Science and Engineering（密歇根大学计算机科学与工程系）；University of Michigan Epidemiology & Complex Systems（密歇根大学流行病学与复杂系统）
为解决缺乏可观测反事实结果的真实基准问题，基于校准的基于智能体的模型生成大规模流行病时间序列反事实预测基准，支持静态/时变治疗和单/多策略干预，评估多种因果推断方法。
2026-06-16 cs.AI cs.LG
Benchmarking Confidential GPU Inference on NVIDIA H100 under Intel TDX
Mozilla
研究在英特尔 TDX 下 NVIDIA H100 GPU 上，比较标准与机密计算模式对语言模型推理的影响。通过两个模型实验，测量多项指标，发现机密模式会使首次令牌时间增加、全局令牌吞吐量下降，较大模型更早饱和，为容量规划提供参考。
2026-07-23 cs.AI cs.LG
How Much Reasoning Do Retrieval-Augmented Models Add beyond LLMs? A Benchmarking Framework for Multi-Hop Inference over Hybrid Knowledge
Massachusetts Institute of Technology（麻省理工学院）；IBM Research（IBM研究院）；University of Central Florida（中央佛罗里达大学）
HybridRAG-Bench通过混合知识和多跳推理评估框架，有效区分真实检索与参数回忆，为混合知识增强推理系统提供测试平台。
2026-02-10 cs.LG
Benchmarking Contemporary Deep Learning Hardware and Frameworks:A Survey of Qualitative Metrics
Southeast Missouri State University（东南密苏里州立大学）；University of Arkansas at Little Rock（阿肯色大学小石城分校）
本文概述了基准测试原则、机器学习设备（包括GPU、FPGA和ASIC）以及深度学习软件框架。它还从框架的6度量方法和硬件平台的11度量方法的角度审查了这些技术的基准测试。由于MLPerf是一个与工业界和学术界合作的基准测试组织，并提供评估深度学习硬件设备上的训练和推理的深度学习基准测试，因此调查还提到了MLPerf基准测试结果、基准测试指标、数据集、深度学习框架和算法。我们总结了七个基准测试原则，主流AI设备的差异化特征，以及深度学习硬件和框架的定性比较。
2019-11-23 cs.DC cs.LG cs.PF
Benchmarking Ultra-Low-Power $μ$NPUs
Imperial College London（伦敦帝国学院）；University of Cambridge（剑桥大学）
该研究对多款商用超低功耗神经处理单元（μNPUs）进行了首次独立基准测试，开源了统一的量化模型编译流水线，揭示了硬件规格与实际性能间的差异，为软硬件开发者提供了实用见解。
2025-10-31 cs.AR cs.LG
BlenderGym: Benchmarking Foundational Model Systems for Graphics Editing
Stanford University（斯坦福大学）
提出首个面向3D图形编辑的视觉语言模型综合基准BlenderGym，通过基于代码的3D重建任务评估VLM系统，并研究推理缩放技术对生成与验证性能的影响。
2025-04-02 cs.GR cs.LG
Framing AI System Benchmarking as a Learning Task: FlexBench and the Open MLPerf Dataset
Head of FCS Labs, FlexAI Founder, cTuning (AI Systems R&D)（FCS实验室负责人，FlexAI创始人，cTuning（人工智能系统研发））；Machine Learning Engineer, FlexAI（机器学习工程师，FlexAI）
提出FlexBench，将AI系统基准测试构建为AI任务，通过集成HuggingFace收集开放MLPerf数据集，支持预测建模，帮助从业者做出成本效益的AI部署决策。
2025-09-14 cs.AI cs.LG
Hints-In-Browser: Benchmarking Language Models for Programming Feedback Generation
MPI-SWS（马克斯·普朗克软件系统研究所）
本文提出Hints-In-Browser基准，从质量、成本、时间和隐私多维度评测编程反馈生成模型，并通过GPT-4合成数据微调小模型，在浏览器内实现高效推理。
2025-03-07 cs.AI cs.LG
Benchmarking Egocentric Multimodal Goal Inference for Assistive Wearable Agents
Meta Reality Labs（Meta 现实实验室）；Meta FAIR
本工作提出WAGIBench基准，用于评估视觉-语言模型从多模态数据推断用户目标的能力，发现人类准确率93%远超最佳模型84%，且大模型表现更好但实用性不足。
2025-10-25 cs.CV cs.LG
DNN+NeuroSim V2.0: An End-to-End Benchmarking Framework for Compute-in-Memory Accelerators for On-chip Training
School of Electrical and Computer Engineering, Georgia Institute of Technology（佐治亚理工学院电气与计算机工程学院）
DNN+NeuroSim是一个集成框架，用于对深度神经网络的内存计算（CIM）加速器进行基准测试，具有从设备级到电路级再到算法级的分层设计选项。开发了一个python包装器，将NeuroSim与流行的机器学习平台Pytorch连接起来，以支持灵活的网络结构。该框架提供了自动算法到硬件的映射，并评估芯片级面积，能源效率和吞吐量的训练或推理，以及训练/推理精度与硬件约束。我们之前的工作（DNN+NeuroSim V1.1）是为了估计突触设备的可靠性以及模数转换器（ADC）量化损失对推理引擎的准确性和硬件性能的影响而开发的。在这项工作中，我们进一步研究了模拟新兴的非易失性存储器的非理想器件特性的片上训练的影响。通过将权重更新的非线性、不对称性、设备到设备和周期到周期的变化引入python包装器，以及NeuroSim核心中用于误差/权重梯度计算的外围电路，我们在CIFAR-10数据集上对基于最先进SRAM和eNVM设备的CIM加速器进行了VGG-8基准测试，揭示了用于片上训练的突触设备的关键规格。建议的DNN+NeuroSim V2.0框架在GitHub上可用。
2020-03-13 cs.ET cs.LG
IntelliGraphs: Datasets for Benchmarking Knowledge Graph Generation
University of Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
针对现有知识图谱相关任务未充分关注结构语义的问题，该研究提出子图推理任务，构建了含逻辑语义的IntelliGraphs数据集及生成器，通过实验验证传统KGE基线模型无法捕捉语义，以推动语义导向的机器学习模型研发。
2023-08-25 cs.AI cs.LG
UVLM: A Universal Vision-Language Model Loader for Reproducible Multimodal Benchmarking
UVLM提供统一接口加载和基准测试多种视觉-语言模型架构，支持LLaVA-NeXT和Qwen2.5-VL，通过抽象差异实现一致评估，具备多任务提示构建、共识验证和灵活token预算等功能。
2026-03-14 cs.AI cs.CV cs.LG
Benchmarking Attention for Tabular Foundation Models
SAP SE（SAP公司）
本研究针对表格基础模型中的二维注意力机制，建立了可复现基准，评估多种注意力后端在三种GPU上的性能，发现最优选择因行列注意力及硬件而异，为表格原生注意力优化奠定基础。
2026-10-12 cs.LG
GraphInfer-Bench: Benchmarking LLM's Inference Capability on Graphs
The Hong Kong University of Science and Technology（香港科技大学）；Webank（微众银行）
提出GraphInfer-Bench基准，通过五个任务（描述与比较）测试LLM能否从节点及其邻域推断出无法从单节点或路径检索的答案，发现所有方法均存在差距。
2026-06-11 cs.CL cs.LG
Personalized Benchmarking with the Ludwig Benchmarking Toolkit
Stanford University（斯坦福大学）
跨领域和部署设置的机器学习模型的快速扩散已经引起了各种社区（例如，行业从业者）的出现，这些社区寻求跨个人价值的任务和目标对模型进行基准测试。不幸的是，这些用户无法使用标准基准测试结果来执行这种价值驱动的比较，因为传统基准测试基于单一目标（例如平均准确度）评估模型，并且无法促进控制混淆变量（例如计算预算）的标准化训练框架，从而难以进行公平比较。为了应对这些挑战，我们引入了开源的Ludwig Benchmarking Toolkit（LBT），这是一个个性化的基准测试工具包，用于在一组易于扩展的任务、深度学习模型、数据集和评估指标中运行端到端的基准测试研究（从超参数优化到评估）。LBT提供了一个可配置的界面，用于控制培训和定制评估，一个标准化的培训框架，用于消除混淆变量，并支持多目标评估。我们展示了LBT如何用于创建个性化的基准研究，并对7个模型和9个数据集的文本分类进行了大规模的比较分析。我们探讨了推理延迟和性能之间的权衡，数据集属性和性能之间的关系，以及预训练对收敛和鲁棒性的影响，展示了LBT如何用于满足各种基准测试目标。
2021-11-08 cs.AI cs.LG
HoliBench: A Cross-Platform Benchmarking and Deployment Toolkit for Foundation Models in CPS-IoT Applications
University of California, Los Angeles（加州大学洛杉矶分校）
HoliBench是一个跨平台基准测试与部署工具包，联合评估基础模型在CPS-IoT设备上的准确性、延迟和能量，通过统一工作流揭示现有工具遗漏的权衡，并支持多模型部署预测。
2026-09-14 cs.DC cs.LG cs.PF
Quantifying Ranking Instability Across Evaluation Protocol Axes in Gene Regulatory Network Benchmarking
Department of Computer Science University of Tübingen（计算机科学系图宾根大学）
本研究提出了一种系统诊断框架，用于量化基因调控网络基准测试中评估协议轴上的排名不稳定性，并揭示了方法相对区分能力变化对反转率的影响。
2026-03-03 cs.LG q-bio.MN
METAMAT 01: A semi-analytic Solution for Benchmarking Wave Propagation Simulations of homogeneous Absorbers in 1D/3D and 2D
TU Graz（格拉茨技术大学）
针对时域吸声体仿真基准测试需求，本文提出1D/2D/3D无限域均质吸声体波传播的时域半解析解，配套Matlab脚本并将参考代码作为METAMAT 01收录入EAA TCCA基准数据库。
2024-03-06 cs.SD eess.AS physics.class-ph
RooflineBench: A Benchmarking Framework for On-Device LLMs via Roofline Analysis
本文提出基于 Roofline 模型的统一框架，通过操作强度（OI）统一架构原语和硬件约束，引入相对推理潜力作为新指标，分析不同 LLMs 在相同硬件上的效率差异，并揭示序列长度和模型深度对性能和 OI 的影响。
2026-08-06 cs.AI cs.AR cs.LG
Efficient but Vulnerable: Benchmarking and Defending LLM Batch Prompting Attack
George Mason University（乔治·马歇尔大学）
本研究揭示批量提示存在安全漏洞，构建BATCHSAFEBENCH基准，发现所有大模型易受攻击，并提出探测式防御方法，检测准确率达95%。
2025-06-20 cs.AI cs.CR cs.LG
Evaluating the Efficacy of Foundational Models: Advancing Benchmarking Practices to Enhance Fine-Tuning Decision-Making
Rochester Institute of Technology（罗切斯特理工学院）
本研究评估Gemma-2B和Gemma-7B在网络安全、医学和金融等领域的表现，提出ThroughCut离群点检测技术，发现模型大小和提示类型显著影响响应质量，强调全面基准测试框架的重要性。
2024-08-20 cs.AI cs.CL cs.LG
Simulation Code Generation for Fluid Systems using Large Language Models: Benchmarking Models and Prompting Strategies
German Aerospace Centre (DLR)（德国航空航天中心）；Technische Hochschule Würzburg-Schweinfurt（维尔茨堡-施韦因富特应用技术大学）
本研究通过系统比较10种大语言模型与6种提示策略，评估其将流体系统模型图表示转换为WNTR、Modelica代码的能力，为相关设计流程提供指导，同时指出仿真保真度仍存差距。
2026-08-03 cs.LG cs.SE
Benchmarking MedMNIST dataset on real quantum hardware
Lerner Research Institute（勒纳研究所）；Cleveland Clinic（克利夫兰诊所）
本研究首次在127量子比特IBM真实量子硬件上对MedMNIST医学影像数据集开展QML基准测试，结合器件感知电路、误差抑制缓解等技术，验证了纯量子模型用于医学图像分类的可行性，为医疗领域QML发展建立了基准。
2025-03-19 cs.LG quant-ph
Towards Computational Performance Engineering for Unsupervised Concept Drift Detection -- Complexities, Benchmarking, Performance Analysis
Center for Interdisciplinary Digital Sciences (CIDS), Technische Universität Dresden（德累斯顿工业大学跨学科数字科学中心（CIDS））；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI) Dresden/Leipzig（德累斯顿/莱可堡可扩展数据分析与人工智能中心（ScaDS.AI））；Chair of Computer Graphics and Visualization (CGV), Technische Universität Dresden（德累斯顿工业大学计算机图形与可视化讲座）；Center for Information Services and High Performance Computing (ZIH), Technische Universität Dresden（德累斯顿工业大学信息服务与高性能计算中心（ZIH））
本文针对无监督概念漂移检测长期忽视计算性能的问题，提出系统的性能工程方法，涵盖计算复杂性分析、兼顾推理质量与运行效率的基准测试设计，以及借鉴高性能计算实践的性能分析演示。
2024-06-10 cs.LG cs.PF
Speech Self-Supervised Representations Benchmarking: a Case for Larger Probing Heads
Télécom Paris（巴黎电信学院）；Capgemini（凯捷集团）；Samsung AI Center Cambridge（三星剑桥人工智能中心）；Concordia University（康考迪亚大学）
本文研究语音自监督表示基准测试中探测头架构的影响，发现改变下游架构会显著改变模型性能排名，并通过评估更大容量探测头揭示其对性能、推理成本、泛化和多层级特征利用的作用。
2024-02-21 cs.LG cs.SD eess.AS
Comparison and Benchmarking of AI Models and Frameworks on Mobile Devices
Beijing Academy of Frontier Sciences and Technology（北京前沿科学技术研究院）
由于数据量和计算资源的不断增加，深度学习在各个领域取得了许多成功。深度学习在移动设备和嵌入式设备上的应用越来越受到重视，对移动设备和嵌入式设备的AI能力进行基准测试和排名成为亟待解决的问题。考虑到模型的多样性和框架的多样性，我们提出了一个基准套件，AIoTBench，它侧重于评估移动和嵌入式设备的推理能力。AIoTBench涵盖了三种典型的重量级网络：ResNet50，InceptionV3，DenseNet121，以及三种轻量级网络：SqueezeNet，MobileNetV2，MnasNet。每个网络都由三个专为移动和嵌入式设备设计的框架实现：Tensorflow Lite，Caffe2，Pytorch Mobile。为了比较和排名设备的AI能力，我们提出了两个统一的指标作为AI分数：每秒有效图像数（VIPS）和每秒有效浮点数（VOPS）。目前，我们已经使用我们的基准对5款移动设备进行了比较和排名。该列表将在不久之后扩展和更新。
2020-05-07 cs.AI cs.LG cs.PF
CODES: Benchmarking Coupled ODE Surrogates
Interdisciplinary Center for Scientific Computing（跨学科科学计算中心）；University of Heidelberg（海德堡大学）
CODES基准测试通过多维度评估耦合ODE系统代理架构，提供并行训练、配置生成器和预实现基线，帮助研究者选择合适代理并深化对代理学习行为的理解。
2024-11-20 astro-ph.IM cs.LG physics.comp-ph
Simulation-Based Benchmarking of Reinforcement Learning Agents for Personalized Retail Promotions
Bain & Company, Inc.（贝恩公司）；New York University（纽约大学）
本文构建零售客户购物行为仿真环境，用于优惠券定向投放强化学习智能体基准测试，通过离线批量数据缓解购买事件稀疏问题，实验验证低过拟合的上下文赌博机与深度RL方法优于静态策略，提供零售全旅程AI仿真框架。
2024-05-16 cs.AI cs.LG econ.EM
Benchmarking projective simulation in navigation problems
University of Innsbruck（因斯布鲁克大学）；University of Konstanz（康斯坦茨大学）
投射模拟（PS）是一种基于情景记忆的智能代理模型。该模型已被证明为构建自主学习代理提供了一个灵活的框架，并且它允许量子力学泛化，这导致了审议时间的加速。PS代理已成功应用于机器人技术中复杂技能学习的背景下，并在最先进的量子实验的设计。在本文中，我们研究了投影模拟的性能在导航中的两个基准问题，即网格世界和山地车问题。将PS的性能与标准表格强化学习方法、Q学习和SARSA进行比较。我们的比较表明，PS和标准学习方法的性能在定性和定量上是相似的，而在投影模拟的情况下，选择最佳模型参数要容易得多，计算量减少了一到两个数量级。我们的研究结果表明，投影模拟模型脱颖而出，其简单的模型参数的数量，这使得它很容易建立学习代理在未知的任务环境。
2018-04-23 cs.AI cs.LG stat.ML
Comparative Benchmarking of Causal Discovery Techniques
TCS Research（塔塔咨询服务研究部）
在本文中，我们提出了一个全面的观点突出的因果发现算法，分为两个主要类别（1）假设无循环和无潜变量，（2）允许循环和潜变量，以及实验结果比较他们从三个角度：（a）结构准确性，（b）标准预测准确性，（c）准确性的反事实推理。对于（b）和（c），我们训练具有由每种因果发现技术预测的结构的因果贝叶斯网络，以执行反事实或标准预测推理。我们比较了两个publicly可用的因果算法和一个模拟数据集具有不同的样本大小：小，中，大。实验表明，技术的结构准确性并不一定与推理任务的更高准确性相关。此外，在具有大量变量的数据集的情况下，调查的结构学习算法在结构准确性方面表现不佳。
2017-09-12 cs.AI stat.ML
On the role of benchmarking data sets and simulations in method comparison studies
方法比较对于为应用研究人员提供建议和指导至关重要，他们通常必须从大量可用的方法中进行选择。虽然在文献中存在许多比较，但这些比较往往不是中立的，而是有利于一种新颖的方法。除了设计的选择和研究结果的适当报告外，对于这种方法比较研究的基础数据还有不同的方法。大多数统计方法学的手稿依赖于模拟研究，并提供一个单一的真实世界的数据集作为一个例子，以激励和说明所研究的方法。相比之下，在监督学习的背景下，方法通常使用所谓的基准数据集进行评估，即作为社区黄金标准的真实世界数据。另一方面，模拟研究在这方面就不那么常见了。本文的目的是调查这些方法之间的差异和相似之处，讨论它们的优点和缺点，并最终开发新的方法来评估的方法挑选最好的两个世界。为此，我们借鉴了不同背景下的想法，如混合方法研究和临床情景评估。
2022-12-06 stat.CO stat.ME stat.ML
Black-box Bayesian inference for economic agent-based models
本文研究了神经后验估计和神经密度比估计两类黑盒近似贝叶斯推断方法，证明其为经济仿真模型提供了最先进的参数推断，且兼容通用多变量时间序列数据。
2022-02-01 cs.MA econ.EM stat.ML
