Rethinking Continual Anomaly Detection on the Edge: Benchmarking Under Realistic Industrial Conditions
University of Houston(休斯敦大学)
针对现有持续异常检测方法在评估、比较和边缘部署约束上的不足,提出统一基准和训练无关方法DINOSaur,在多种协议下超越所有现有方法,并在边缘设备上实现快速推理和适应。
2026-07-01 cs.CV cs.LG
Cycle-Consistent Adversarial Networks for Realistic Pervasive Change Generation in Remote Sensing Imagery
Intelligence and Space Research Division(情报与空间研究部);Descartes Labs, Inc.(笛卡尔实验室公司);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文介绍了一种新的方法,产生现实的普遍变化的背景下,在控制设置的变化检测算法的有效性进行评估。该方法是一种周期一致性对抗网络(CycleGAN),需要少量的训练数据来生成现实的变化。在这里,我们展示了CycleGAN在创建多光谱Sentinel-2图像的真实积雪场景中的应用,并演示了如何将这些图像用作异常变化检测算法的测试平台。
2020-05-15 cs.CV cs.LG eess.IV
360CityArena: A Realistic Virtual Urban Navigation Benchmark for Embodied Agents
The University of Tokyo(东京大学)
研究人员提出基于东京秋叶原重建的360CityArena城市导航基准,评估具身智能体城市探索能力,发现最强模型Gemini 2.5 Flash表现远低于人类,为相关研究提供了挑战性测试平台。
2026-08-11 cs.AI cs.CV cs.LG
RealCause: Realistic Causal Inference Benchmarking
Mila(米拉研究所)
在因果推理中有许多不同的因果效应估计量。然而,目前尚不清楚如何在这些估计量之间进行选择,因为因果效应没有地面实况。一个常用的选择是模拟合成数据,其中地面实况是已知的。然而,合成数据上的最佳因果估计量不太可能是真实数据上的最佳因果估计量。因果估计量的理想基准将(a)产生因果效应的地面真值,(b)代表真实数据。使用灵活的生成模型,我们提供了一个基准,既产生地面真相,是现实的。使用这个基准,我们评估了超过1500种不同的因果估计,并提供证据表明,使用预测指标为因果估计选择超参数是合理的。
2021-03-29 cs.AI cs.LG stat.ML
REAP: A Large-Scale Realistic Adversarial Patch Benchmark
UC Berkeley(加州大学伯克利分校);Microsoft(微软)
本文提出基于 Mapillary Vistas、含 14,000 余个交通标志及几何与光照变换的 REAP 基准,用于真实条件下大规模评估数字对抗补丁,发现其实际威胁可能低于既有认知。
2023-08-18 cs.AI cs.CR cs.CV
A Realistic Evaluation of Semi-Supervised Learning for Fine-Grained Classification
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
我们评估的有效性半监督学习(SSL)的现实基准数据表现出相当大的类不平衡,并包含新的类的图像。我们的基准测试由两个细粒度的分类数据集组成,这些数据集是通过从鸟类和真菌分类中采样类获得的。我们发现,最近提出的SSL方法提供了显着的好处,并且可以有效地使用类外数据来提高深度网络从头开始训练时的性能。然而,与迁移学习基线相比,他们的表现相形见绌,这是一种从少数例子中学习的替代方法。此外,在传输设置中,虽然现有的SSL方法提供了改进,但类外的存在通常是有害的。在这种情况下,标准微调后再进行基于蒸馏的自我训练是最稳健的。我们的工作表明,在现实数据集上与专家进行半监督学习可能需要与文献中目前流行的策略不同的策略。
2021-04-01 cs.CV cs.LG
WildTrace: Evaluating Training Data Detection in Realistic Large-Scale LLM Post-Training
Southern University of Science and Technology(南方科技大学)
该研究针对大规模LLM后训练中训练数据检测的评估问题,提出WildTrace基准,发现现有检测方法性能接近随机猜测,评估协议会显著影响检测性能,凸显了开发实用稳健检测方法的潜力。
2026-10-14 cs.AI cs.LG
How NOT to benchmark your SITE metric: Beyond Static Leaderboards and Towards Realistic Evaluation
Eindhoven University of Technology(埃因霍温理工大学)
本文指出当前迁移性估计指标基准测试存在根本缺陷,其不切实际的模型空间和静态层级高估了指标性能,并提出构建更现实基准的建议。
2025-10-07 cs.AI cs.LG
Benchmarking Unsupervised Outlier Detection with Realistic Synthetic Data
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
对无监督离群值检测进行基准测试是困难的。离群值是罕见的,现有的基准数据包含具有各种未知特征的离群值。完全合成数据通常由异常值和具有明确特征的规则实例组成,因此原则上允许对检测方法进行更有意义的评估。尽管如此,只有很少的尝试,包括合成数据的基准离群检测。这可能是由于离群值的概念不精确,或者是由于难以用合成数据很好地覆盖不同的领域。在这项工作中,我们提出了一个通用的过程中产生的数据集,这样的基准。其核心思想是从现有的真实世界的基准数据中重建常规实例,同时生成离群值,以便它们表现出有洞察力的特征。这既可以很好地覆盖域,又可以对结果进行有帮助的解释。我们还描述了生成具有特定特征的离群值(如局部离群值)的通用过程的三个实例。采用最先进检测方法的基准测试证实了我们的通用工艺确实实用。
2020-04-15 cs.LG stat.ML
The ThreeDWorld Transport Challenge: A Visually Guided Task-and-Motion Planning Benchmark for Physically Realistic Embodied AI
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);MIT(麻省理工学院);Stanford University(斯坦福大学)
我们引入了一个视觉引导和物理驱动的任务和运动规划基准,我们称之为ThreeDWorld运输挑战。在这个挑战中,一个配备有两个9-DOF铰接臂的具体代理在模拟的物理家庭环境中随机产生。代理人需要找到一小部分分散在房子周围的物体,把它们捡起来,并把它们运送到所需的最终位置。我们还在房子周围放置容器,这些容器可以用作工具,以帮助有效地运输物品。为了完成任务,一个具体的代理必须计划一系列的行动,以改变大量的对象在现实的物理约束面前的状态。我们使用ThreeDWorld模拟构建了这个基准挑战:一个虚拟的3D环境,所有对象都对物理做出响应,并且可以使用完全物理驱动的导航和交互API进行控制。我们在这个基准上评估了几个现有的代理商。实验结果表明:1)纯RL模型在这一挑战上挣扎; 2)基于层次规划的代理可以传输一些对象,但仍然远远不能解决这个任务。我们预计,这个基准将使研究人员能够为物理世界开发更智能的物理驱动机器人。
2021-03-25 cs.AI cs.CV cs.LG
fev-bench: A Realistic Benchmark for Time Series Forecasting
AWS(亚马逊云服务);Keystone AI;Prior Labs;Amazon(亚马逊);Boston College(波士顿学院)
提出包含100个任务(46个含协变量)的跨领域基准fev-bench,并开发轻量级Python库fev,通过自举置信区间实现原则性聚合,评估预训练、统计和基线模型。
2026-11-05 cs.LG
BigIssue: A Realistic Bug Localization Benchmark
Salesforce Research(赛富时研究院)
针对现有自动程序修复模型缺陷定位能力不足、难落地的问题,提出包含真实与合成Java缺陷的基准BigIssue,推动模型结合仓库上下文提升定位能力,助力APR落地现代开发流程。
2023-05-04 cs.LG cs.SE
DevBench: A Realistic, Developer-Informed Benchmark for Code Generation Models
California Institute of Technology(加州理工学院);Microsoft(微软公司)
DevBench通过真实开发者数据和生成模型合成,构建了包含六种编程语言和任务的1800个实例,评估大语言模型在代码补全任务中的表现,揭示模型在语法精度、语义推理和实用价值上的差异。
2026-05-16 cs.AI cs.LG cs.SE
Real-Time Seizure Detection using EEG: A Comprehensive Comparison of Recent Approaches under a Realistic Setting
AITRICS;Massachusetts Institute of Technology(麻省理工学院);The Cooper Union for the Advancement of Science and Art(库珀科学与艺术促进联盟);National Health Insurance Service Ilsan Hospital(国民健康保险服务一山医院);Severance Children’s Hospital, Yonsei University College of Medicine(延世大学医学院世福兰斯儿童医院);KAIST(韩国科学技术院)
脑电图(EEG)是一种重要的诊断测试,医生用来记录大脑活动和检测癫痫发作通过监测信号。已经有几次尝试使用现代深度学习模型来检测癫痫发作和EEG信号中的异常,以减少临床负担。然而,由于它们是在不同的实验环境中进行测试的,因此不能相互公平地进行比较。此外,他们中的一些人没有接受过实时的【形】癫痫发作检测任务的训练,这使得设备上的应用变得困难。因此,在这项工作中,第一次,我们广泛比较了多个国家的最先进的模型和信号特征提取器在一个实时的【形】癫痫发作检测框架适合现实世界的应用,使用各种评估指标,包括一个新的,我们提出评估癫痫发作检测模型的更实际的方面。我们的代码可在www.example.com上获得。
2022-03-21 cs.LG
MAWIFlow Benchmark: Realistic Flow-Based Evaluation for Network Intrusion Detection
Helmut Schmidt University(赫尔穆特·施密特大学)
针对合成流量基准的缺陷,本文提出基于MAWILAB真实骨干流量的MAWIFlow基准,对比传统机器学习与CNN-BiLSTM模型,证明后者在时间漂移下泛化更优,并公开全部资源以促进可复现评估。
2025-06-20 cs.AI cs.LG
Financial misstatement detection: a realistic evaluation
Inst. of Informatics & Telecommunications(信息与电信研究所)
本文针对财务报告错报检测任务提出一个考虑错报稀有性、时间维度和检测延迟的现实评估框架,并证明评估过程显著影响系统性能,同时分析了不同模型与特征类型在该框架下的表现。
2023-05-27 cs.CL cs.LG q-fin.CP
SVRPBench: A Realistic Benchmark for Stochastic Vehicle Routing Problem
MBZUAI
提出 SVRPBench,首个城市规模随机车辆路径问题开放基准,含超 500 实例与真实动态约束;发现 RL 求解器在分布偏移下性能下降超 20%,而经典与元启发式方法保持鲁棒。
2025-05-29 cs.AI cs.CE cs.LG
MedMNIST-C: Comprehensive benchmark and improved classifier robustness by simulating realistic image corruptions
University of Bamberg(班贝格大学)
本文提出了开源基准数据集MedMNIST-C,涵盖12个数据集和9种成像模态,通过模拟真实图像损坏评估算法鲁棒性,并利用领域知识进行针对性数据增强,显著提升了医学图像分类器的鲁棒性。
2024-07-23 cs.CV cs.LG eess.IV
Stronger Than You Think: Benchmarking Weak Supervision on Realistic Tasks
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Washington(华盛顿大学);Stanford University(斯坦福大学);Harvard University(哈佛大学)
针对现有弱监督基准测试过于简化且难以反映真实场景的问题,提出了新基准BOXWRENCH,通过包含高类别基数、领域专业需求及多语言复用标注函数的真实任务,证明弱监督在多种设置下优于需要1000+标注样本的监督学习。
2025-01-30 cs.LG
Measuring Compositional Generalization: A Comprehensive Method on Realistic Data
Google Research(谷歌研究院)
最先进的机器学习方法表现出有限的合成泛化。与此同时,缺乏全面衡量这一能力的现实基准,这使得寻找和评估改进之处具有挑战性。我们引入了一种新的方法,系统地构建这样的基准,通过最大限度地提高复合发散,同时保证小原子之间的分歧训练和测试集,我们定量比较这种方法与其他方法创建组合泛化基准。我们提出了一个大的和现实的自然语言问答数据集,根据这种方法构建,我们用它来分析组合泛化能力的三个机器学习架构。我们发现,他们未能概括成分,有一个令人惊讶的强大的负相关性之间的复合分歧和准确性。我们还演示了如何使用我们的方法在现有的SCAN数据集之上创建新的组合性基准,这证实了这些发现。
2020-06-25 cs.CL cs.LG stat.ML
AgentCyberRange: Benchmarking Frontier AI Systems in Realistic Cyber Ranges
Fudan University(复旦大学)
提出首个开源多靶场基础设施AgentCyberRange,集成110个漏洞和156个内部主机,评估前沿AI系统在真实网络攻击中的能力,发现GPT-5.5+Codex在web利用和后利用任务中表现最佳。
2026-06-17 cs.AI cs.CR cs.LG
Adaptative Perturbation Patterns: Realistic Adversarial Learning for Robust Intrusion Detection
Polytechnic of Porto(波尔图理工学院);School of Engineering, Polytechnic of Porto(波尔图理工学院工程学院)
对抗攻击对机器学习和依赖它的系统构成了重大威胁。在网络安全领域,能够逃避检测的对抗性网络攻击示例尤其令人担忧。尽管如此,为具有表格数据的域生成的示例在该域中必须是现实的。这项工作建立了实现现实主义所需的基本约束水平,并介绍了自适应扰动模式方法(A2PM),以满足这些约束条件的灰盒设置。A2PM依赖于独立适应每个类别特征的模式序列,以创建有效和一致的数据扰动。该方法在两种情况下的网络安全案例研究中进行了评估:企业和物联网(IoT)网络。多层感知器(MLP)和随机森林(RF)分类器使用CIC-IDS 2017和IoT-23数据集通过常规和对抗训练创建。在每种情况下,针对分类器进行有针对性和无针对性的攻击,并将生成的示例与原始网络流量进行比较,以评估其真实性。所获得的结果表明,A2PM提供了一个可扩展的真实对抗性示例生成,这对于对抗性训练和攻击都是有利的。
2022-03-29 cs.AI cs.CR cs.LG
Real-time Detection of Practical Universal Adversarial Perturbations
Imperial College London(伦敦帝国理工学院);DataSpartan
通用对抗性扰动(UAP)是一类突出的对抗性示例,它们利用系统漏洞并实现针对深度神经网络(DNN)的物理可实现且强大的攻击。UAP在许多不同的输入中进行泛化;这导致了可以大规模应用的现实和有效的攻击。在本文中,我们提出了HyperNeuron,一个有效的和可扩展的算法,允许通过识别可疑的神经元超激活的实时的【形】UAP检测。我们的研究结果显示了HyperNeuron在多个任务(图像分类,目标检测)上的有效性,可以对抗各种各样的通用攻击,以及在现实场景中,如感知广告拦截和对抗补丁。HyperNeuron能够同时检测对抗性掩码和补丁UAP,其性能与现有的UAP防御相当或更好,同时显著降低了每个图像仅0.86毫秒的延迟。这表明许多现实和实用的通用攻击可以实时的【形】可靠地缓解,这为机器学习系统的强大部署带来了希望。
2021-05-22 cs.AI cs.CR cs.CV
RiskWebWorld: A Realistic Interactive Benchmark for GUI Agents in E-commerce Risk Management
Ant Group(蚂蚁集团)
RiskWebWorld是一个用于评估GUI代理在电子商务风险管理中能力的现实交互基准,揭示了通用模型与专用模型在长周期专业任务中的显著能力差距。
2026-04-15 cs.AI cs.LG
GAD in the Wild: Benchmarking Graph Anomaly Detection under Realistic Deployment Challenges
Zhejiang Gongshang University(浙江工商大学);Jilin University(吉林大学);Adelaide University(阿德莱德大学);RMIT University(皇家墨尔本理工大学);Jinan University(济南大学)
本文提出一个多维基准测试,评估图异常检测模型在大规模图、极端异常稀少和缺失节点属性等现实挑战下的表现,揭示了现有方法在可扩展性和鲁棒性上的不足。
2026-05-08 cs.AI cs.LG
SynthSAEBench: Evaluating Sparse Autoencoders on Scalable Realistic Synthetic Data
University College London(伦敦大学学院);Decode Research(Decode研究)
SynthSAEBench通过生成大规模真实合成数据,提供标准化基准模型,用于评估稀疏自编码器架构的改进和失败模式。
2026-07-14 cs.AI cs.LG
TorchDriveEnv: A Reinforcement Learning Benchmark for Autonomous Driving with Reactive, Realistic, and Diverse Non-Playable Characters
Inverted AI;University of British Columbia(不列颠哥伦比亚大学);MILA
本文提出 Python 强化学习自动驾驶基准 TorchDriveEnv,集成行为仿真 API 与反应、真实且多样的数据驱动 NPC,并通过 RL 基线验证其易用而难解。
2024-05-07 cs.AI cs.LG cs.MA
EXHIB: A Benchmark for Realistic and Diverse Evaluation of Function Similarity in the Wild
本文提出EXHIB基准,通过五个真实世界数据集评估函数相似性检测问题,发现现有模型在处理固件和语义数据时性能下降30%,揭示了当前评估方法的局限性。
2026-10-06 cs.CR cs.LG cs.SE
StabilityBench: Benchmarking Instability in LLMs
研究针对大语言模型实际行为难测、现有评估协议有局限的问题,提出StabilityBench基准测试工具,通过注入现实模拟增强现有基准,应用于四个基准测试评估九个模型,发现性能不稳定,还提出StabilityBench-Mini以实现更现实评估。
2026-07-24 cs.AI cs.LG
The Seeker's Dilemma: Realistic Formulation and Benchmarking for Hardware Trojan Detection
Klipsch School of Electrical and Computer Engineering, New Mexico State University(新墨西哥州立大学克利普什电气与计算机工程学院);Department of Computer Systems Technology, North Carolina A&T State University(北卡罗来纳农工州立大学计算机系统技术系);Department of Electrical and Computer Engineering, Miami University(迈阿密大学电气与计算机工程学院)
本文形式化定义贴近现实的硬件木马检测问题“The Seeker's Dilemma”,构建混合无木马与随机感染重构电路的基准,并评估三款检测工具,揭示重构导致的严重误分类。
2024-02-27 cs.AR cs.CR cs.LG
FedRS-Bench: Realistic Federated Learning Datasets and Benchmarks in Remote Sensing
Shanghai Jiao Tong University(上海交通大学)
针对遥感缺乏真实联邦数据集与统一基准的问题,本文构建覆盖八数据集、135个客户端的 FedRS,并实现10种 FL 算法形成 FedRS-Bench,以评估真实异构场景下的方法性能。
2025-05-13 cs.AI cs.LG
Odysseys: Benchmarking Web Agents on Realistic Long Horizon Tasks
Carnegie Mellon University(卡内基梅隆大学)
本文提出Odysseys基准,通过200个现实浏览任务评估长周期网络代理,引入基于评分的评估方法,发现传统二元评估不足,且前沿模型在效率上仍有提升空间。
2026-04-27 cs.CL cs.LG
A (More) Realistic Evaluation Setup for Generalisation of Community Models on Malicious Content Detection
ILLC, University of Amsterdam(阿姆斯特丹大学ILLC研究所);AI at Meta(元人工智能部门);King’s College London(伦敦国王学院)
本文提出基于少样本子图采样的归纳式评估设置,揭示社区模型在训练图谱上的强性能无法泛化到未见任务和图结构,并证明图元学习器在该设置下优于标准社区模型。
2024-04-02 cs.CL cs.LG cs.SI
NeoRL-2: Near Real-World Benchmarks for Offline Reinforcement Learning with Extended Realistic Scenarios
Polixir Technologies(博意科技);National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
针对离线强化学习中的现实挑战,构建NeoRL-2基准,包含7个数据集和模拟器,揭示现有方法难以超越行为策略,推动更有效算法发展。
2025-03-25 cs.AI cs.LG
BatteryBERT for Realistic Battery Fault Detection Using Point-Masked Signal Modeling
Department of Automation Tsinghua University Beijing, China(自动化系 清华大学 北京中国)
针对锂离子电池故障检测,提出BatteryBERT框架,通过点级掩码信号建模预训练和定制时间序列表示,提升分类准确性,AUROC达0.945。
2025-05-31 cs.AI cs.LG
TransXion: A High-Fidelity Graph Benchmark for Realistic Anti-Money Laundering
College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学与人工智能学院);Institute of Financial Technology, Fudan University(复旦大学金融技术研究所);Peking University(北京大学)
TransXion通过整合正常活动的profile-aware模拟与非模板生成的非法子图,解决现有交易图数据集的稀疏性和模板偏差问题,提供更真实的反洗钱检测测试环境。
2026-06-26 cs.AI cs.LG cs.SI
Revisiting the Performance of Deep Learning-Based Vulnerability Detection on Realistic Datasets
University of Waterloo(滑铁卢大学)
本文构建真实场景漏洞数据集Real-Vul,评估四种深度学习漏洞检测模型,揭示其在实际代码库中精确率和F1分数大幅下降,并针对过拟合问题提出数据增强方法,最多可提升30%性能。
2024-07-03 cs.AI cs.CR cs.LG
CXMArena: Unified Dataset to benchmark performance in realistic CXM Scenarios
Sprinklr
针对现有CXM场景AI基准缺乏真实感、数据稀缺的问题,研究推出由LLM驱动流水线构建的大规模合成基准CXMArena,覆盖五项运营任务,基线实验显示当前模型仍存显著挑战。
2025-05-19 cs.AI cs.CL cs.IR
FedLLM-Bench: Realistic Benchmarks for Federated Learning of Large Language Models
Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出FedLLM-Bench,一个包含8种训练方法、4个数据集和6项评估指标的大语言模型联邦学习现实基准,覆盖指令微调与偏好对齐,客户端规模达38至747,旨在提供实用测试平台并促进公平比较。
2024-06-07 cs.AI cs.CL cs.DC