Evaluating the Performance of Reinforcement Learning Algorithms
College of Information and Computer Sciences, University of Massachusetts(马萨诸塞大学信息与计算机科学学院)
性能评估对于量化强化学习中的算法进步至关重要。最近的再现性分析表明,报告的性能结果往往不一致,难以复制。在这项工作中,我们认为,性能的不一致源于使用有缺陷的评估指标。为了确保报告的结果是一致的,我们提出了一种新的全面评估方法,用于强化学习算法,该算法在单个环境和跨环境聚合时产生可靠的性能测量。我们通过在标准基准任务上评估广泛的一类强化学习算法来证明这种方法。
2020-08-13 cs.LG stat.ML
A Framework for Studying Reinforcement Learning and Sim-to-Real in Robot Soccer
Centro de Informática - Universidade Federal de Pernambuco(伯南布哥联邦大学信息中心);Mila, Universite de Montréal(蒙特利尔大学 Mila)
本文介绍了一个开放的框架,称为VSSS-RL,研究强化学习(RL)和模拟到真实的机器人足球,专注于IEEE非常小尺寸足球(VSSS)联赛。我们提出了一个模拟的环境中,连续或离散的控制策略可以训练控制足球代理的完整行为和一个模拟到真实的方法的基础上领域自适应,以适应所获得的政策,真正的机器人。我们的研究结果表明,经过训练的政策学习了广泛的行为,这些行为很难用手工制定的控制政策来实现。借助VSSS-RL,我们在2019年拉丁美洲机器人竞赛(LARC)中击败了人类设计的策略,在21支队伍中获得第四名,成为第一个在该竞赛中成功应用强化学习(RL)的团队。环境和硬件规格都是开源的,以允许我们的结果和进一步研究的再现性。
2020-08-18 cs.AI cs.LG cs.RO
Evaluating Human-like Explanations for Robot Actions in Reinforcement Learning Scenarios
University of New South Wales(新南威尔士大学);Deakin University(迪肯大学);Federation University(联邦大学);Universidad Central de Chile(智利中央大学)
可解释的人工智能是一个试图为自主智能系统提供更多透明度的研究领域。可解释性已经被使用,特别是在强化学习和机器人场景中,以更好地理解机器人决策过程。然而,以前的工作主要集中在提供人工智能从业者比非专家最终用户更容易理解的技术解释上。在这项工作中,我们利用从成功的概率建立的类似人类的解释来完成自主机器人在执行动作后所显示的目标。这些解释旨在让没有或很少有人工智能方法经验的人理解。本文提出了一个用户试验,以研究这些解释,重点是成功的行动,在其目标的概率是否构成一个合适的解释,为非专家的最终用户。获得的结果表明,非专家参与者评价机器人解释,重点是成功的概率更高,比从Q值生成的技术解释的方差更小,也有利于反事实的解释比独立的解释。
2022-07-07 cs.AI
rSoccer: A Framework for Studying Reinforcement Learning in Small and Very Small Size Robot Soccer
Universidade Federal de Pernambuco(伯南布哥联邦大学)
强化学习是一个活跃的研究领域,在机器人技术中有大量的应用,RoboCup比赛是研究和评估强化学习方法的有趣环境。将强化学习应用于机器人技术的一个已知困难是需要大量的经验样本,使用模拟环境来训练代理,然后迁移学习到现实世界(模拟到现实)是一条可行的路径。本文介绍了一个开源的模拟器,用于IEEE非常小尺寸足球和小尺寸联赛优化强化学习实验。我们还提出了一个框架,用于创建OpenAI Gym环境,其中包含一组用于评估单智能体和多智能体机器人足球技能的基准任务。然后,我们展示了两个国家的最先进的强化学习方法的学习能力,以及在此框架中引入的某些情况下,他们的局限性。我们相信这将使更多的团队更容易使用端到端的强化学习方法在这些类别中竞争,并进一步发展这一研究领域。
2021-06-15 cs.AI cs.LG cs.RO
Self-Imitation Learning for Robot Tasks with Sparse and Delayed Rewards
Beihang University(北京航空航天大学);Nanjing Research Institute of Electronics Technology(南京电子技术研究所)
强化学习(RL)在机器人控制中的应用在具有稀疏和延迟奖励的环境中仍然受到限制。本文提出了一种实用的自模仿学习方法--具有恒定奖励的自模仿学习(SILCR).我们的方法不需要从环境中手工定义即时奖励,而是根据最终的情节奖励在每个时间步为即时奖励分配恒定值。通过这种方式,即使来自环境的密集奖励不可用,智能体采取的每一个行动都将得到正确的指导。我们证明了我们的方法在一些具有挑战性的连续机器人控制任务的MuJoCo模拟的有效性,结果表明,我们的方法显着优于其他方法在稀疏和延迟奖励的任务。即使与具有密集奖励的替代品相比,我们的方法也达到了有竞争力的性能。烧蚀实验也证明了该方法的稳定性和可重复性。
2021-05-25 cs.AI cs.LG
Consistency and Reproducibility of Grades in Higher Education: A Case Study in Deep Learning
本研究以CentraleSupélec硕士深度学习课程为对象,探究两位教师期末口头报告评分的相关性,发现评分显著正相关但无法完全复现,明确了单考官评分的弊端与考官差异的影响。
2023-07-21 stat.AP
AIRepr: An Analyst-Inspector Framework for Evaluating Reproducibility of LLMs in Data Science
Pennsylvania State University(宾夕法尼亚州立大学);Carnegie Mellon University(卡内基梅隆大学);International Monetary Fund(国际货币基金组织)
本文提出AIRepr分析师-检查员框架,通过两种增强可复现性的提示策略自动评估和改进LLM数据分析工作流,实验证明高可复现性工作流能同时提升分析准确性。
2025-11-07 cs.AI cs.CL cs.HC
Reproducibility and Geometric Intrinsic Dimensionality: An Investigation on Graph Neural Network Research
University of Kassel(卡塞尔大学);University of Hildesheim(希尔德斯海姆大学)
本研究提出机器学习可复现性本体论并应用于图神经网络方法,同时利用几何内在维度概念,调查模型受训练数据内在维度影响的程度。
2024-03-19 cs.AI cs.LG
A Taxonomy for Evaluating Generalist Robot Manipulation Policies
Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind);Princeton University(普林斯顿大学)
本文提出STAR-Gen分类,旨在系统化评估机器人操作策略的泛化能力,通过视觉、语义和行为三个维度,结合现实案例研究揭示泛化评估的挑战与改进方向。
2026-02-05 cs.AI cs.LG cs.RO
Contrast Sets for Evaluating Language-Guided Robot Policies
University of Southern California(南加州大学)
本文提出用于语言引导机器人策略评估的对比集,通过对i.i.d.测试实例作针对性扰动,以较低实验成本揭示策略性能变化,并在模拟操作和实体机器人VLN任务中验证其价值。
2024-10-25 cs.LG cs.RO
Designing and Evaluating Speech Emotion Recognition Systems: A reality check case study with IEMOCAP
Behavioral Signal Technologies(行为信号技术公司);Institute for Language and Speech Processing, Athena Research Center(雅典娜研究中心语言与语音处理研究所);University of Southern California(南加州大学)
针对语音情感识别缺乏统一评估标准的问题,本文以IEMOCAP为案例,通过批判性文献分析提出SER评估指南,并基于开源实现评估可复现性。
2023-04-03 cs.LG cs.SD eess.AS
Critical Challenges and Guidelines in Evaluating Synthetic Tabular Data: A Systematic Review
Healthy Lifespan Institute, School of Computer Science, University of Sheffield(健康寿命研究所,计算机科学学院,谢菲尔德大学);School of Electrical and Electronic Engineering, University of Sheffield(电子与电气工程学院,谢菲尔德大学);Healthy Lifespan Institute, School of Sociological Studies, Politics and International Relations, University of Sheffield(健康寿命研究所,社会科学学院,政治与国际关系,谢菲尔德大学);Digital Environment Research Institute, Queen Mary University of London(数字环境研究 institutes,伦敦女王大学)
本文系统综述了合成表格数据评估中的关键挑战与指南,指出缺乏共识、指标不一致、专家参与不足等问题,并提出分类和实用指南以提升评估标准。
2026-05-14 cs.AI cs.CY cs.LG
Don't Bet on Luck Alone: Enhancing Behavioral Reproducibility of Quality-Diversity Solutions in Uncertain Domains
Imperial College London(伦敦帝国学院)
针对质量-多样性算法在噪声环境中易产生退化解的问题,提出即插即用的ARIA优化模块,通过自然进化策略变异解以优化生态位归属概率和适应度,使存档质量和描述符空间覆盖率提升至少50%。
2023-04-07 cs.AI cs.LG cs.NE
A Practical Guide Towards Interpreting Time-Series Deep Clinical Predictive Models: A Reproducibility Study
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);PyHealth;University of Illinois College of Medicine(伊利诺伊大学医学院)
本文通过评估不同临床预测任务和模型架构的可解释性方法,发现注意力机制能有效提升解释性,而黑盒解释器在时间序列任务中不可行,同时指出部分方法不可靠,提出改进临床预测流水线的指导原则。
2026-03-25 cs.AI cs.LG
TASKOGRAPHY: Evaluating robot task planning over large 3D scene graphs
University of Toronto(多伦多大学);Université de Montréal(蒙特利尔大学);Microsoft(微软);Facebook AI Research(脸书人工智能研究院);Vector Institute(向量研究所)
3D场景图(3DSG)是一种新兴的描述,统一了符号,拓扑和度量场景表示。然而,典型的3DSG包含数百个对象和符号,即使对于小环境也是如此;在整个图上进行任务规划是不切实际的。我们构建了TASKOGRAPHY,这是第一个超过3DSGs的大规模机器人任务规划基准。虽然这一领域的大多数基准测试工作都集中在基于视觉的规划上,但我们系统地研究了符号规划,将规划性能与视觉表示学习分离。我们观察到,在现有的方法中,无论是经典的还是基于学习的规划者都不能实时规划整个3DSG。实现实时规划需要在以下两个方面取得进展:(a)稀疏化3DSG以进行易于处理的规划;(b)设计更好地利用3DSG层次结构的规划器。为了实现前一个目标,我们提出了SCRUB,一种任务条件下的3DSG稀疏化方法;使经典规划者能够匹配,并在某些情况下超越最先进的基于学习的规划者。对于后一个目标,我们提出了SEEK,一个程序,使学习为基础的规划人员利用3DSG结构,减少了数量级的重新规划查询所需的最佳方法。我们将开源所有代码和基线,以促进机器人任务规划、学习和3DSGs交叉点的进一步研究。
2022-07-11 cs.AI cs.LG cs.RO
THE COLOSSEUM: A Benchmark for Evaluating Generalization for Robotic Manipulation
Universidad Catolica San Pablo(圣巴勃罗天主教大学);University of Washington(华盛顿大学);University of Southern California(南加州大学);NVIDIA(英伟达公司)
提出THE COLOSSEUM仿真基准,含20个操作任务和14种环境扰动,评估5个模型,发现成功率下降30-75%,并验证仿真与真实世界结果相关。
2024-05-28 cs.AI cs.LG cs.RO
Principles and Guidelines for Evaluating Social Robot Navigation Algorithms
Logical Robotics(逻辑机器人公司);NVIDIA(英伟达);Stanford(斯坦福大学);Google(谷歌);EPFL(洛桑联邦理工学院);Purdue(普渡大学);CMU(卡内基梅隆大学);UT Austin(德克萨斯大学奥斯汀分校);MIT(麻省理工学院);Northeastern(东北大学);Georgia Tech(佐治亚理工学院);Aston(阿斯顿大学);Bar Ilan(巴伊兰大学);Adobe(奥多比公司);LAAS-CNRS, Université de Toulouse(图卢兹大学系统分析与体系结构实验室(法国国家科学研究中心));Sony AI(索尼人工智能研究院);Honda(本田公司);Yale(耶鲁大学);GMU(乔治梅森大学);Apple(苹果公司)
本文提出了评估社交机器人导航算法的原则与指南,包括社交导航机器人的定义、评估指标与场景开发指南,以及统一的指标框架,以促进不同模拟器、机器人和数据集之间的公平比较。
2023-09-19 cs.AI cs.HC cs.LG
Evaluating Gemini Robotics Policies in a Veo World Simulator
Gemini Robotics Team(Gemini机器人团队);Google DeepMind(谷歌DeepMind)
本研究提出基于Veo视频模型的生成式评估系统,用于在Veo世界模拟器中全面评估Gemini机器人策略的性能,包括名义性能、分布外泛化及安全约束测试。
2026-01-06 cs.AI cs.CV cs.LG
Evaluating Real-World Robot Manipulation Policies in Simulation
UC San Diego(加利福尼亚大学圣地亚哥分校);Stanford University(斯坦福大学);UC Berkeley(加利福尼亚大学伯克利分校);Google Deepmind(谷歌DeepMind)
该研究针对真实机器人操作策略评估难扩展、难复现的问题,提出缩小仿真与真实间控制及视觉差异的方法,并构建 SIMPLER 仿真环境集合,实现与真实表现高度相关的策略评估。
2024-05-09 cs.CV cs.LG cs.RO
Surrogate Assisted Generation of Human-Robot Interaction Scenarios
University of Southern California(南加州大学)
本文提出用代理模型预测人机行为以增强场景生成,在共享控制遥操作和共享工作空间协作任务中高效合成多样化挑战场景,并验证失败可在真实交互中复现。
2023-10-31 cs.HC cs.LG cs.RO
Reproducibility analysis of automated deep learning based localisation of mandibular canals on a temporal CBCT dataset
Tampere University Hospital(坦佩雷大学医院);Chiang Mai University(清迈大学);Aalto University School of Science(阿尔托大学理学院);Alan Turing Institute(艾伦·图灵研究所);Planmeca Oy(普兰梅卡公司)
本研究在165份CBCT扫描上评估了深度学习系统下颌管自动定位的定性与定量可重复性,证明其具备良好的时序泛化能力和临床有效性。
2023-04-28 cs.CV cs.LG eess.IV
MLReplicate: Benchmarking Autonomous Research Systems for Machine Learning Reproducibility
TIB—Leibniz Information Centre for Science and Technology(蒂宾根-莱比锡信息科学与技术研究中心);L3S Research Center, Leibniz University Hannover(莱比锡大学汉诺威分校L3S研究中心)
本文提出MLReplicate基准测试,评估自主研究系统在机器学习可重复性方面的性能,发现计算规模并非决定性因素,且系统间存在显著差距。
2026-05-15 cs.LG