IDToolkit: A Toolkit for Benchmarking and Developing Inverse Design Algorithms in Nanophotonics
Nanjing University(南京大学);Nanjing University of Science and Technology(南京理工大学)
本文提出IDToolkit基准工具包,涵盖辐射冷却器等三类纳米光子逆向设计问题,并公平比较10种算法,为科学设计研究提供可复现平台并揭示未来改进方向。
2023-05-31 cs.AI cs.LG physics.optics
Simitate: A Hybrid Imitation Learning Benchmark
University of Koblenz-Landau(科布伦茨-兰道大学)
我们提出了模拟-一个混合基准套件,针对评估的方法模仿学习。一个数据集包含1938个序列,人类在现实环境中进行日常活动。该数据集与集成到模拟器中紧密耦合。提供了分辨率为960 $\mathbb{\times}$ 540(30 Hz)的RGB和深度流,以及演示者手部的精确地面真实姿势,以及120 Hz的6 DOF对象。除了我们的数据集,我们还提供了所使用环境的3D模型、标记的对象图像和预训练模型。一套旨在促进可比性和可重复性的基准测试支持模仿学习方法的发展。此外,我们提出并整合评估指标的效果和轨迹的模拟进行评估的质量。Simitate可在我们的项目网站上找到:\url{https://agas.uni-koblenz.de/data/simitate/}。
2019-05-15 cs.LG cs.RO stat.ML
Quanda: An Interpretability Toolkit for Training Data Attribution Evaluation and Beyond
Fraunhofer HHI(弗劳恩霍夫HHI研究所);UMI Lab(UMI实验室);ATB Potsdam(波茨坦农业与生物研究中心);TU Berlin(柏林工业大学);BIFOLD(柏林大数据中心)
针对训练数据归因(TDA)评估缺乏统一框架的问题,提出Python工具包Quanda,提供全面的评估指标和统一接口,实现跨存储库的无缝集成与系统基准测试,促进TDA方法的广泛采用。
2024-10-10 cs.AI cs.LG
TerraTorch: The Geospatial Foundation Models Toolkit
IBM Research(IBM研究院)
TerraTorch是一个基于PyTorch Lightning的地理空间基础模型微调与基准测试工具包,支持无代码配置、自动化超参数优化,并与GEO-Bench集成,以降低新地球观测用例的模型开发门槛。
2025-03-26 cs.CV cs.LG
MRAG: Benchmarking Retrieval-Augmented Generation for Bio-medicine
DataSelect AI;University of Hong Kong(香港大学)
MRAG基准测试通过构建医学领域语料库和工具包,评估RAG在生物医学任务中的有效性,揭示RAG在提升LLM可靠性及性能影响因素方面的贡献。
2026-02-11 cs.AI cs.CL
Kiwano: A Cutting-Edge Open-Source Toolkit for Speaker Verification
Avignon University(阿维尼翁大学)
本文介绍Kiwano,一个基于PyTorch的轻量级可扩展开源工具包,提供标准化流程、预训练模型和多种架构集成,旨在降低门槛并标准化评估,推动说话人验证研究与开发。
2026-06-23 cs.LG cs.SD
EXACT: Towards a platform for empirically benchmarking Machine Learning model explanation methods
Physikalisch-Technische Bundesanstalt(德国联邦物理技术研究院);Technische Universität Berlin(柏林工业大学);Charité – Universitätsmedizin Berlin(柏林夏里特医学院)
针对可解释人工智能(XAI)缺乏标准化实证验证的问题,研究者搭建了整合带真值解释的基准数据集与新型量化指标的EXACT平台,用于评估事后XAI方法质量,发现主流方法常弱于随机基线且同性能架构解释存在差异,为XAI方法验证提供标准化基础。
2024-05-20 cs.AI cs.LG
PGLearn -- An Open-Source Learning Toolkit for Optimal Power Flow
Georgia Institute of Technology(佐治亚理工学院)
本文提出PGLearn,一个用于最优潮流(OPF)机器学习的开源工具包,提供包含多系统时间序列和多OPF公式的标准化数据集及评估工具,旨在解决缺乏标准化数据与评测指标的问题,推动该领域研究创新。
2025-05-28 cs.AI cs.LG cs.SY
Lowering the Barrier to IREX Participation: Open-Source Algorithms, Toolkit, and Benchmarking for Iris Recognition
University of Notre Dame(内布拉斯加大学)
本文提出两种新的开源虹膜识别算法,提供Python和符合IREX标准的C++实现,用于提交官方IREX X计划。研究旨在首次根据IREX测试协议评估开源虹膜识别解决方案,并提供一个模型C++提交,显著促进其他团队的开源方法进入IREX评估。新方法包括两个神经网络,分别使用三元组损失与批量硬三元组挖掘(TripletIris)和ArcFace损失(ArcIris)。此外,文章还提供了两种现有方法的开源IREX兼容C++实现:基于虹膜图像过滤的人类显著性驱动内核(HDBIF)算法,以及用于检测和比较Fuchs密钥(CRYPTS)的人类可解释算法。除了CRYPTS在1:N搜索中面临时间限制外,其他方法已通过官方IREX X评估,并在多个流行学术基准上进行了评估。最后,本文还提供了可用于任何新虹膜识别方法的虹膜分割和圆圈估计开源模型。
2026-06-08 cs.CV cs.LG
Benchmarking Performance of Deep Learning Model for Material Segmentation on Two HPC Systems
US Army Engineer Research and Development Center(美国陆军工程师研究与发展中心);University of Florida(佛罗里达大学)
开发了基于PyTorch和MINC-2500数据集的材料分割基准测试工具,在Onyx和Vulcanite两套HPC系统上对比发现,Vulcanite速度更快但易受环境影响,Onyx性能更稳定。
2023-07-27 cs.LG cs.PF
Scaling, Benchmarking, and Reasoning of Vision-Language Agents for Mobile GUI Navigation
Wuhan University(武汉大学)
本文系统研究了视觉语言模型在移动GUI导航中的数据缩放、基准测试与推理,提出了大规模数据集HyperTrack和开源工具包GUIEvalKit,并发现基于强化学习的微调优于监督微调,尤其在域外场景中表现更佳。
2026-05-26 cs.AI
Benchmarking Keyword Spotting Efficiency on Neuromorphic Hardware
Applied Brain Research, Inc.(应用脑研究公司)
使用英特尔的Loihi神经形态研究芯片和ABR的Nengo深度学习工具包,我们分析了经过训练以识别单个短语的双层神经网络关键字识别器的推理速度,动态功耗和每次推理的能源成本。我们对在更传统的硬件设备上运行的这个关键字检测器进行了比较分析,这些硬件设备包括CPU,GPU,Nvidia的Jetson TX1和Movidius Neural Compute Stick。我们的研究结果表明,对于这种推理应用程序,Loihi优于所有这些替代品的能源成本,同时保持同等的推理精度。此外,对网络规模、推理速度和能源成本之间的权衡分析表明,Loihi相对于其他低功耗计算设备的比较优势在更大的网络中有所改善。
2019-04-02 cs.LG stat.ML
FACT: Learning Governing Abstractions Behind Integer Sequences
ETH Zürich(苏黎世联邦理工学院)
序列对于承认完整有限描述的概念建模至关重要。我们引入了一个新的观点,这样的概念的学习,并制定了一套基准任务,旨在概念理解的机器学习模型。这些任务间接评估模型的抽象能力,并挑战他们从观察代表性例子获得的知识中进行内插和外推推理。为了进一步帮助知识表示和推理的研究,我们提出了FACT,有限抽象理解工具包。该工具包包含一个大型整数序列数据集,包括有机和合成条目,一个用于数据预处理和生成的库,一组模型性能评估工具,以及一组基线模型实现,使未来的进步变得容易。
2022-09-20 cs.AI cs.LG cs.SC
Benchmarking Natural Language Understanding Services for building Conversational Agents
Heriot-Watt University(赫瑞-瓦特大学);The University of New South Wales(新南威尔士大学);Emotech North LTD(北英莫科技有限公司)
我们最近看到了几个公开可用的自然语言理解(NLU)工具包的出现,它们将用户的话语映射到结构化但更抽象的对话行为(DA)或意图规范,同时使这个过程对外行开发人员来说是可访问的。在本文中,我们提出了一些最流行的NLU服务的第一个广泛覆盖的评估和比较,在一个大型的,多域(21个域)的25 K用户话语数据集上,我们已经收集并注释了意图和实体类型规范,并将作为本次提交的一部分发布。结果表明,在Intent分类方面,Watson的表现明显优于其他平台,即Dialogflow、LUIS和Rasa;尽管这些平台的表现也很好。有趣的是,在实体类型识别方面,Watson由于其精度较低而表现得更差。同样,Dialogflow、LUIS和Rasa在这项任务上表现良好。
2019-03-26 cs.CL cs.LG
LocoMuJoCo: A Comprehensive Imitation Learning Benchmark for Locomotion
TU Darmstadt(达姆施塔特工业大学);German Research Center for AI (DFKI)(德国人工智能研究中心);Centre for Cognitive Science(认知科学中心)
本文提出LocoMuJoCo基准,涵盖四足、双足及肌肉骨骼人体模型等多种环境和数据集,支持动力学随机化与部分可观测任务,并附带手工指标和最先进基线算法,以推动运动模仿学习研究的严格评估与比较。
2023-11-30 cs.LG cs.RO
SafeTuneBed: A Toolkit for Benchmarking LLM Safety Alignment in Fine-Tuning
Critical ML Lab(关键机器学习实验室);University of Toronto(多伦多大学);University of Waterloo(滑铁卢大学)
针对LLM微调安全评估标准不一的问题,提出统一基准与工具包SafeTuneBed,集成多样化数据集、防御方法与评估器,实现端到端可复现的安全微调评估。
2025-05-31 cs.AI cs.LG
X2C: A Large-Scale Benchmark for Nuanced Humanoid Facial Expression Imitation
Macquarie University(麦考瑞大学);Sun Yat-sen University(中山大学)
针对人脸表情迁移的域差距问题,推出含10万组配对数据的X2C数据集,提出两阶段框架X2CNet,实现更优跨域一致性与真实场景稳健表情模仿。
2026-08-12 cs.AI cs.HC cs.RO
Benchmarking Mobile Device Control Agents across Diverse Configurations
KAIST(韩国科学技术院);Yonsei University(延世大学)
本文提出基于Android的移动设备控制智能体基准B-MoCA,包含131项日常任务和配置随机化机制,通过评估多种LLM及模仿学习智能体,揭示了复杂任务上的性能不足。
2025-07-21 cs.AI cs.HC cs.LG
CageDroneRF: A Large-Scale RF Benchmark and Toolkit for Drone Perception
Department of Electrical and Computer Engineering at Rowan University(罗文大学电气与计算机工程系);AeroDefense
本文提出CageDroneRF,通过真实数据和系统生成的合成数据构建大规模射频无人机检测与识别基准,解决现有数据稀缺和多样性不足的问题,提供开放源代码工具支持标准化评估。
2026-03-19 cs.AI cs.CV cs.RO
FewNLU: Benchmarking State-of-the-Art Methods for Few-Shot Natural Language Understanding
Tsinghua University(清华大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院);BAAI(北京智源人工智能研究院);Shanghai Qi Zhi Institute(上海期智研究院)
Few-Shot自然语言理解(NLU)任务最近引起了很多关注。然而,先前的方法是在一组不同的协议下进行评估的,这阻碍了公平的比较和测量该领域的进展。为了解决这个问题,我们引入了一个评估框架,在三个关键方面改进了以前的评估程序,即,测试性能、开发测试相关性和稳定性。在这个新的评估框架下,我们重新评估了几个国家的最先进的Few-Shot方法的NLU任务。我们的框架揭示了新的见解:(1)在以前的文献中,方法的绝对性能和相对差距都没有准确估计;(2)没有一种方法在大多数任务中具有一致的性能;(3)随着预训练模型的增大,某些方法的改进会减少;以及(4)来自不同方法的增益通常是互补的,并且最佳组合模型的性能接近于强的全监督基线。我们开源了我们的工具包FewNLU,它实现了我们的评估框架以及一些最先进的方法。
2022-03-15 cs.CL cs.LG
LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit
Beihang University(北京航空航天大学);SenseTime Research(商汤科技研究院);Nanyang Technological University(南洋理工大学)
针对现有大语言模型量化研究配置不一、难以公平比较的问题,本文提出集成多种算法、模型与硬件的即插即用压缩工具包LLMC,并开展覆盖校准数据、算法、数据格式的基准测试,提供研究见解与实践指导。
2024-10-09 cs.AI cs.CL cs.LG
IPO-Mine: A Toolkit and Dataset for Section-Structured Analysis of Long, Multimodal IPO Documents
Georgia Institute of Technology(佐治亚理工学院);Sai University(赛大学);Duke University(杜克大学)
本文提出IPO-Mine工具包和数据集,通过标准化解析IPO文件为章节结构化文本和图像,构建大规模多模态数据集,并建立图表评估任务,揭示多模态模型在长文档分析中的对齐挑战。
2026-05-27 cs.AI cs.CL
EnviroLLM: Resource Tracking and Optimization for Local AI
Georgia Institute of Technology, College of Computing(佐治亚理工学院计算机学院)
EnviroLLM通过提供本地AI资源追踪、性能评估和能耗优化工具,帮助用户更有效地管理和评估AI模型的效率与环境影响。
2025-12-12 cs.CY cs.LG
LPS-Bench: Benchmarking Safety Awareness of Computer-Use Agents in Long-Horizon Planning under Benign and Adversarial Scenarios
ShanghaiTech University(上海科技大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
LPS-Bench通过评估长周期规划中计算机使用代理的安全意识,揭示现有系统在安全行为维持方面的不足,并提出缓解策略以提升安全性。
2026-10-05 cs.AI
Quantifying Ranking Instability Across Evaluation Protocol Axes in Gene Regulatory Network Benchmarking
Department of Computer Science University of Tübingen(计算机科学系图宾根大学)
本研究提出了一种系统诊断框架,用于量化基因调控网络基准测试中评估协议轴上的排名不稳定性,并揭示了方法相对区分能力变化对反转率的影响。
2026-03-03 cs.LG q-bio.MN
Benchmarking Rotary Position Embeddings for Automatic Speech Recognition
AI Center, Samsung Cambridge, UK(三星人工智能中心,英国坎特伯雷)
本研究针对自动语音识别领域中相对位置嵌入复杂度高、适配性差的问题,评估了旋转位置嵌入(RoPE)在多场景多数据规模下的表现,证明其效果更优且训练速度更快。
2025-06-15 cs.AI cs.CL eess.AS
Benchmarking Multimodal Variational Autoencoders: CdSprites+ Dataset and Toolkit
Graduate School of Informatics, Kyoto University(京都大学情报学研究科);Research Organization of Science and Technology, Ritsumeikan University(立命馆大学科学技术研究机构)
针对多模态VAE评估不一致的问题,本文提出了含4种模型、6个数据集的训练对比工具包,以及用于多难度生成能力评估的CdSprites+双模态解耦数据集,并验证了其效用。
2024-09-17 cs.LG
Vision Transformers for Zero-Shot Clustering of Animal Images: A Comparative Benchmarking Study
Department of Chemistry and Bioscience(化学与生物科学系);Aalborg University(奥尔堡大学);Department of Architecture, Design and Media Technology(建筑、设计与媒体技术系);Visual Analysis and Perception Lab(视觉分析与感知实验室)
本研究利用视觉变换器模型对动物图像进行零样本聚类,通过对比不同方法展示其在物种分类和生态模式识别中的有效性。
2026-11-10 cs.AI cs.CV
VoiceAssistant-Eval: Benchmarking AI Assistants across Listening, Speaking, and Viewing
CUHK MMLab(香港中文大学多媒体实验室);SenseTime Research(商汤科技研究院);CPII under InnoHK(创新香港下的CPII)
本文提出 VoiceAssistant-Eval 多模态语音助手基准,覆盖听、说、看 13 类任务,并评测 21 个开源模型与 GPT-4o-Audio,揭示开源、小模型潜力及音频理解、多模态与安全短板。
2025-09-26 cs.AI cs.CL cs.CV
DFEE: Interactive DataFlow Execution and Evaluation Kit
AWS AI Labs(亚马逊云科技人工智能实验室)
DataFlow由于其对对话任务的表达性语义表示而成为构建面向任务的聊天机器人的新范式。尽管有大型数据集SMCalFlow和简化的语法,但由于系统复杂性和缺乏下游工具链,基于DataFlow的聊天机器人的开发和评估仍然具有挑战性。在这个演示中,我们提出了DFEE,一个交互式的数据流执行和评估工具包,支持执行,可视化和基准测试的语义分析器给定的对话输入和后端数据库。我们通过一个复杂的对话任务演示了该系统:涉及时间推理的事件调度。它还支持通过友好的界面诊断解析结果,该界面允许开发人员检查动态DataFlow和相应的执行结果。为了说明如何对SoTA模型进行基准测试,我们提出了一个新的基准测试,该基准测试涵盖了更复杂的事件调度场景和任务成功评估的新指标。DFEE的代码已在https://github.com/amazonscience/dataflow-evaluation-toolkit上发布。
2022-12-04 cs.AI cs.CL
OODFace: Benchmarking Robustness of Face Recognition under Common Corruptions and Appearance Variations
Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院);China Academy of Information and Communications Technology(中国信息通信研究院)
本文提出OODFace基准,从常见损坏和外观变化两方面系统评估人脸识别模型在分布外场景下的鲁棒性,发现现有模型脆弱,并提供统一工具包与改进方向。
2025-03-27 cs.AI cs.CR cs.CV
RP1M: A Large-Scale Motion Dataset for Piano Playing with Bi-Manual Dexterous Robot Hands
University of Oulu(奥卢大学);Aalto University(阿尔托大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Southern California(南加利福尼亚大学)
为解决强化学习在多曲目机器人钢琴演奏中的泛化难题,提出含超百万轨迹的RP1M数据集,通过最优传输实现自动标注,并验证其能显著提升模仿学习方法的演奏性能。
2024-11-18 cs.AI cs.LG cs.RO
MSC-Bench: Benchmarking and Analyzing Multi-Sensor Corruption for Driving Perception
Beijing Academy of Artificial Intelligence(北京人工智能研究院);IQIYI(爱奇艺);Institute of Automation CAS(中国科学院自动化研究所);Samsung(三星);The University of Sydney(悉尼大学);National University of Singapore(新加坡国立大学);Institute of Information Engineering CAS(中国科学院信息工程研究所);Hefei University of Technology(合肥工业大学)
本文提出首个多传感器损坏基准MSC-Bench,通过16种相机与激光雷达损坏组合评估自动驾驶感知模型鲁棒性,揭示其在恶劣天气和传感器故障下的显著性能下降及安全隐患。
2025-01-02 cs.AI cs.CV cs.RO
3DCodeBench: Benchmarking Agentic Procedural 3D Modeling Via Code
Google DeepMind(谷歌DeepMind);University of Southern California(南加州大学);Google Research(谷歌研究)
提出3DCodeBench基准,评估12种视觉语言模型将文本和图像参考转换为程序化3D建模代码的能力,并构建基于人类偏好的3DCodeArena排名平台。
2026-05-31 cs.AI cs.CV cs.GR
Quantifying Generalisation in Imitation Learning
针对模仿学习基准训练与评估差异不足的问题,本文提出 Labyrinth 环境,通过可控结构、任务和可观测性设置及已知最优动作,实现可复现的细粒度泛化评估。
2025-09-29 cs.AI cs.LG
OpenDataArena: A Fair and Open Arena for Benchmarking Post-Training Dataset Value
Shanghai Artificial Intelligence Laboratory, OpenDataLab(上海人工智能实验室,OpenDataLab)
OpenDataArena通过开放平台评估训练后数据集的价值,揭示数据复杂性与性能的权衡,并推动数据为中心的AI研究。
2025-12-16 cs.AI
Comprehensive Benchmarking of Machine Learning Methods for Risk Prediction Modelling from Large-Scale Survival Data: A UK Biobank Study
King’s College London(伦敦国王学院);British Heart Foundation Centre of Research Excellence(英国心脏基金会卓越研究中心);School of Cardiovascular & Metabolic Medicine and Sciences, King’s College London(伦敦国王学院心血管与代谢医学与科学学院);Institute of Cardiovascular Science, University College London(伦敦大学学院心血管科学研究所)
该研究在 UK Biobank 大规模生存数据上基准测试八种线性至深度学习生存模型,发现 COX-PH 稳健,而复杂模型仅在特定样本与预测矩阵条件下占优。
2025-03-11 cs.LG stat.AP
Beyond Kinematics: Benchmarking Simulation Fidelity for Muscle-Driven Imitation Learning
Georgia Institute of Technology(佐治亚理工学院)
本研究系统比较了基于HyFyDy和MuJoCo的两种肌肉驱动模仿学习流程,发现HyFyDy的肌肉激活更接近实验EMG数据,更适于肌肉骨骼建模,但两者均需提升生理真实性。
2026-09-21 cs.LG cs.RO
The Imitator Game: Benchmarking Robot Imitative Ability Beyond Action Prediction
The University of Hong Kong(香港大学);TranscEngram;Fudan University(复旦大学);Zhejiang University(浙江大学)
该研究推出四级基准《模仿者游戏》及配套数据集、评估平台,发现功能替代是机器人意图层面模仿的关键障碍,微调IG-10K预训练模型可显著提升性能。
2026-08-25 cs.AI cs.RO
Open ASR Leaderboard: Towards Reproducible and Transparent Multilingual and Long-Form Speech Recognition Evaluation
Hugging Face, Inc.(Hugging Face公司);NVIDIA(英伟达);University of Cambridge(剑桥大学);Mistral AI(Mistral AI公司);OpenAI(OpenAI公司)
本文介绍了开放语音识别排行榜,通过学术和工业社区的贡献,比较了86种开源和专有系统在12个数据集上的表现,标准化WER和RTFx评估,促进模型架构和工具包的准确-效率比较。
2026-03-30 cs.AI cs.CL cs.SD
Redefining Evaluation Standards: A Unified Framework for Evaluating the Korean Capabilities of Language Models
AIM Intelligence;Seoul National University(首尔国立大学);A.I.MATICS;TigerCompany;Catius;National Assembly of Korea(韩国国会);Coupang;Hankuk University of Foreign Studies(韩国外交大学)
本文提出HRET框架,通过统一评估韩语大语言模型的能力,结合多种评估方法和数据集,提升模型在韩语任务中的表现和诊断能力。
2026-02-13 cs.AI cs.CE cs.CL
MissMecha: An All-in-One Python Package for Studying Missing Data Mechanisms
Deakin University(德肯大学)
针对现有缺失数据工具零散且仅支持数值变量的问题,提出开源Python包MissMecha,支持MCAR、MAR、MNAR机制下的模拟、可视化与评估,兼顾数值与分类特征,提供统一平台。
2025-08-06 cs.LG cs.MS
Venom: A PyTorch Generative Modeling Toolkit
Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院)
本文提出Venom,一个基于PyTorch的生成建模工具包,旨在通过统一的接口实现多种生成建模家族,提供可读、可复现的入口点以及一致的训练和采样API,便于教学、原型设计和轻量级基准测试。
2026-05-17 cs.LG
BiGym 2.0: Benchmarking Learned and Agent-Developed Policies for Humanoid Household Manipulation
Imperial College London(帝国理工学院)
BiGym 2.0为Unitree G1提供20个家居任务基准,统一全身控制器下评估多种策略,发现视觉-语言-动作微调平均最优,智能体开发程序在双臂抓取上领先,跨工作区堆叠等仍具挑战。
2026-11-13 cs.LG cs.RO
Benchmarking the Accuracy and Robustness of Feedback Alignment Algorithms
AIP Labs(AIP实验室)
由于其简单、高效和高收敛速度,反向传播是训练深度神经网络的默认算法。然而,它的要求使得它不可能在人脑中实现。近年来,人们提出了更多生物学上合理的学习方法。这些方法中的一些可以匹配反向传播精度,并且同时提供其他额外的好处,例如在专用硬件上更快的训练(例如,ASIC)或对对抗攻击具有更高的鲁棒性。虽然对该领域的兴趣正在增长,但有必要建立开源库和工具包来促进研究和基准算法。在本文中,我们提出了BioTorch,一个软件框架来创建,训练,和基准生物激励的神经网络。此外,我们研究了文献中提出的几种反馈对齐方法的性能,从而揭示了前向和后向权重初始化和优化器选择的重要性。最后,我们提供了一个新的鲁棒性研究,这些方法对国家的最先进的白盒和黑盒对抗攻击。
2021-08-30 cs.LG
PyRelationAL: a python library for active learning research and development
Relation Therapeutics(里莱治疗公司);Aalto University(阿尔托大学)
PyRelationAL是一个开源Python库,通过模块化两步设计方法支持单次和批量主动学习策略,整合数据集与基准,兼容现有ML框架,促进主动学习研究与开发。
2024-11-11 cs.AI cs.LG