SLM Lab: A Comprehensive Benchmark and Modular Software Framework for Reproducible Deep Reinforcement Learning
California Institute of Technology(加州理工学院)
我们介绍SLM实验室,一个可重复的强化学习(RL)研究的软件框架。SLM Lab实现了许多流行的RL算法,提供同步和异步并行实验执行,超参数搜索和结果分析。SLM Lab中的RL算法以模块化的方式实现,因此算法性能的差异可以自信地归因于算法之间的差异,而不是实现之间的差异。在这项工作中,我们提出了SLM实验室背后的设计选择,并使用它来产生一个全面的单代码库RL算法基准。此外,由于SLM实验室的模块化设计,我们引入并评估了Soft Actor-Critic算法的离散动作变体(Haarnoja等人,2018)和RL代理的混合同步/异步训练方法。
2019-12-28 cs.AI cs.LG stat.ML
Reinforcement Learning for Autonomous Defence in Software-Defined Networking
The University of Melbourne(墨尔本大学);Defence Science and Technology Group(国防科学技术集团)
尽管机器学习(ML)在广泛的领域中成功应用,但适应性--使机器学习变得可取的特性--可以被对手利用来污染训练和逃避分类。在本文中,我们探讨了应用特定类别的机器学习算法,即强化学习(RL)算法,自主网络防御在软件定义网络(SDN)的可行性。特别是,我们专注于RL代理如何对不同形式的因果攻击做出反应,这些攻击会毒害其训练过程,包括不分青红皂白和有针对性的白盒和黑盒攻击。此外,我们还研究了攻击时机的影响,并探讨了对抗性训练等潜在的对策。
2018-08-17 cs.AI cs.CR cs.LG
Reinforcement Learning Integrated Agentic RAG for Software Test Cases Authoring
Apple Inc.(苹果公司)
本文提出一种结合强化学习与自主代理的RAG框架,用于提升软件测试用例生成的准确性和缺陷检测率。
2025-12-05 cs.AI cs.SE
Metareasoning in Modular Software Systems: On-the-Fly Configuration using Reinforcement Learning with Rich Contextual Representations
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Microsoft Research(微软研究院)
模块化子系统的组件正在投入使用,以在运输,医疗保健和工业自动化等领域的高风险,时间紧迫的任务中执行传感,推理和决策。我们利用强化学习来指导包括系统的一组交互模块的配置,从而最大化整个计算系统的效用。进行系统范围优化的挑战是一个组合问题。通过修改特定模块的配置来提高其性能的本地尝试通常会导致系统性能的整体效用的损失,因为下游模块的输入分布会发生急剧变化。我们提出的元推理技术,考虑了丰富的输入表示,监控整个管道的状态,并调整模块的配置上的飞行,以最大限度地提高系统的操作的效用。我们在各种强化学习技术中显示了真实世界和合成管道的显着改进。
2019-05-12 cs.AI cs.LG cs.SE
SWE-RL: Advancing LLM Reasoning via Reinforcement Learning on Open Software Evolution
Meta AI;University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学)
SWE-RL通过强化学习提升大语言模型在软件工程领域的推理能力,实现了41.0%的解决率,超越了现有中等规模LLM的性能。
2025-12-01 cs.AI cs.CL cs.SE
An Architecture for Unattended Containerized (Deep) Reinforcement Learning with Webots
University of Applied Sciences Zwickau(茨维考应用科学大学)
针对三维机器人强化学习中仿真与模型开发环境耦合、数据科学家需掌握仿真软件的问题,提出基于 Webots、ROS 与容器的无人值守训练架构并展示 Robotino 实现。
2024-02-06 cs.AI cs.LG cs.RO
Reinforcement Learning for Test Case Prioritization
Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);BNP Paribas(法国巴黎银行)
在现代软件工程中,持续集成(CI)已经成为系统地管理软件开发的生存周期的一个不可缺少的步骤。大公司努力在有用的时间内保持管道的更新和运行,因为大量的更改和添加功能,这些功能是建立在彼此之上的,并且有几个开发人员在不同的平台上工作。与这样的软件变更相关,总是有一个强大的测试组件。随着团队和项目的增长,详尽的测试很快就变得不受欢迎,变得坚定地选择最相关的测试用例,而不影响软件质量。本文扩展了最近的研究应用强化学习优化测试策略。我们测试它的能力,以适应新的环境,通过测试从金融机构提取的新数据,产生超过$0.6$使用网络近似器和测试用例故障奖励的故障检测(NAPFD)的归一化百分比。此外,我们研究了使用决策树(DT)近似器作为记忆表示模型的影响,相对于人工神经网络,它未能产生显着的改进。
2020-12-18 cs.AI cs.LG cs.SE
OSS Mentor A framework for improving developers contributions via deep reinforcement learning
East China Normal University(华东师范大学);Tongji University(同济大学)
在开源项目治理中,人们一直在关注如何衡量开发人员的贡献。然而,极其稀疏的工作集中在使开发人员能够改进他们的贡献上,尽管这是重要和有价值的。在本文中,我们介绍了一个名为开源软件(OSS)Mentor的深度强化学习框架,它可以从经验知识中进行训练,然后自适应地帮助开发人员提高他们的贡献。大量的实验表明,OSS Mentor显着优于优秀的实验结果。此外,这是第一次提出的框架探索深度强化学习技术来管理开源软件,这使我们能够设计一个更强大的框架,以提高开发人员的贡献。
2022-10-24 cs.AI cs.SE
SWE-MiniSandbox: Container-Free Reinforcement Learning for Building Software Engineering Agents
University of Science and Technology of China(中国科学技术大学)
提出SWE-MiniSandbox,一种轻量级无容器方法,通过内核级隔离和预缓存技术降低磁盘使用和准备时间,实现可扩展的强化学习训练。
2026-05-30 cs.AI cs.LG cs.SE
AIXIjs: A Software Demo for General Reinforcement Learning
Australian National University(澳大利亚国立大学);University of Oxford(牛津大学)
强化学习是研究和实现人工智能的一个通用而强大的框架。深度学习的最新进展使RL算法能够在有限的领域中实现令人印象深刻的性能,例如玩Atari视频游戏(Mnih等人,2015)以及最近的棋盘游戏Go(Silver等人,2016)。然而,我们离构建一个普遍智能的Agent还很远。许多障碍和悬而未决的问题都是概念性的:聪明意味着什么?一个人如何在一般的未知环境中进行最佳的探索和学习?实际上,一般意义上的最优是什么意思呢?通用贝叶斯智能体AIXI(Hutter,2005)是一种最大智能体模型,在一般强化学习(GRL)的子领域中起着核心作用。最近,AIXI已经被证明在重要方面存在缺陷;它没有探索足够的渐近最优(Orseau,2010),并且它在某些先验条件下表现不佳(Leike and Hutter,2015)。已经提出了AIXI的几种变体来尝试解决这些不足:其中包括熵寻求代理(Orseau,2011)、知识寻求代理(Orseau等人,2013),贝叶斯与探索爆发(Latestival,2013),MDL代理(Leike,2016 a),汤普森采样(Leike等人,2016),和乐观主义(Sunehag和Hutter,2015)。我们提出AIXIjs,这些GRL代理的一个JavaScript实现。该实现伴随着用于针对各种环境运行实验的框架,类似于OpenAI Gym(Brockman等人,20…
2017-05-22 cs.AI
Reinforcement Learning for Software Vulnerability Analysis: A Systematic Review with Emphasis on C/C++ Source Code and Static Analysis
系统综述强化学习在C/C++软件漏洞分析中的应用,发现15项研究聚焦于模糊测试和引导探索,仅3项直接检测漏洞,1项实现语句级定位,且静态结构表示(如CFG)和基准测试存在不足。
2026-06-24 cs.AI cs.CR cs.LG
Review, Analysis and Design of a Comprehensive Deep Reinforcement Learning Framework
Institute for Intelligent Systems Research and Innovation, Deakin University(迪肯大学智能系统研究与创新研究所);School of Information Technology, Deakin University(迪肯大学信息技术学院)
深度学习与强化学习(RL)的集成使RL能够在高维环境中有效地执行。近年来,深度强化学习方法已被应用于解决许多复杂的现实问题。然而,基于深度RL的系统的开发是具有挑战性的,因为存在各种问题,例如选择合适的深度RL算法,其网络配置,训练时间,训练方法,本文提出了一个全面的软件框架,它不仅在设计一个连接,点深度RL架构,但也提供了在短时间内开发现实RL应用程序的指导方针。我们设计并开发了一个基于RL的软件框架,严格确保了灵活性、鲁棒性和可扩展性。通过继承所提出的架构,软件管理人员可以预见在设计基于RL的深层系统时的任何挑战。因此,他们可以加快设计过程,并积极控制软件开发的每个阶段,这在敏捷开发环境中尤其重要。为了实现泛化,所提出的架构不依赖于特定的RL算法、网络配置、代理的数量或代理的类型。使用我们的框架,软件开发人员可以开发和集成新的RL算法或新类型的代理,并可以灵活地改变网络配置或代理的数量。
2021-02-23 cs.AI cs.GT cs.LG
CUA-Sandbox: Efficient Environments for Computer-Use Agent Reinforcement Learning
CUA-Sandbox通过分离状态与运行时,实现环境复用,在保持任务成功率的同时,大幅提升回放吞吐量并降低内存和存储成本。
2026-09-29 cs.AI
R2Vul: Learning to Reason about Software Vulnerabilities with Reinforcement Learning and Structured Reasoning Distillation
R2Vul通过RLAIF和结构化推理蒸馏训练小型代码LLM,在漏洞检测中生成有依据的解释,1.5B模型超越32B教师和商业LLM,并降低假阳性率。
2025-08-07 cs.AI cs.CL cs.SE
Reinforcement Learning Tutor Better Supported Lower Performers in a Math Task
Stanford University(斯坦福大学)
本文利用深度强化学习在数学叙事软件中实现自适应教学支持,并通过可解释AI分析策略,发现该系统对初始成绩最低的学生帮助最大。
2023-04-13 cs.AI cs.CL
Adversarial Deep Reinforcement Learning for Cyber Security in Software Defined Networks
University of the Western Cape(西开普大学)
本文在SDN安全场景中比较DDQN与N2D,并通过白盒因果状态操纵攻击检验对抗训练对攻防智能体鲁棒性的影响。
2023-08-11 cs.AI cs.CR
Tool-integrated Reinforcement Learning for Repo Deep Search
Peking University(北京大学);ByteDance(字节跳动);Beijing Institute of Technology(北京理工大学)
针对问题定位中自然语言与代码间的语义鸿沟,提出ToolTrain两阶段工具集成训练框架,结合拒绝采样监督微调与强化学习,增强LLM多跳检索能力,实验表明32B模型在函数级定位上超越Claude-3.7,并提升端到端问题解决性能。
2025-08-06 cs.AI cs.SE
Seer: Empowering Software Defined Networking with Data Analytics
University of Bristol(布里斯托大学)
网络复杂性不断增加,使得网络控制和协调成为一项具有挑战性的任务。网络信息和数据分析工具的激增可以为资源配置和优化提供重要的见解。结合在软件定义网络中的网络知识可以促进知识驱动的控制,从而利用网络可编程性。我们介绍Seer:基于软件定义网络和大数据原则的灵活、高度可配置的网络智能数据分析平台。Seer将计算引擎与分布式消息传递系统相结合,为知识提取提供可扩展、容错和实时的平台。我们的第一个原型使用Apache Spark进行流媒体分析,并使用开放网络操作系统(ONOS)控制器对网络进行实时编程。我们开发的第一个应用程序旨在预测智能城市环境中移动设备的移动模式。
2016-10-04 cs.AI cs.NI
A Machine Learning Based Intrusion Detection System for Software Defined 5G Network
College of Information Science & Electronic Engineering, Zhejiang University(浙江大学信息科学与电子工程学院)
作为未来5G网络的必然趋势,软件定义架构在提供集中控制和灵活资源管理方面具有诸多优势。但它也面临着各种安全挑战和新兴服务和技术的潜在威胁。入侵检测系统(IDS)作为网络安全的焦点,通常是分散部署,缺乏协作.它们也无法检测到智能能力有限的新型攻击,这难以满足软件定义的5G需求。本文提出了一种基于软件定义5G架构的智能入侵系统,该系统结合了软件定义技术和人工智能的先进技术。它灵活地将安全功能模块与全局视图相结合,在集中管理和控制下自适应地调用。它还可以通过使用机器学习算法来处理未知的入侵。评估结果表明,智能入侵检测系统达到了较好的性能。
2017-07-10 cs.AI cs.CR cs.NI
Network-Aware AutoML Framework for Software-Defined Sensor Networks
Istanbul Technical University(伊斯坦布尔理工大学);BTS Group(BTS集团)
本文提出一种网络感知的AutoML框架,通过结合流量负载、速率和检测时间等指标选择最优机器学习算法,在软件定义传感器网络中检测DDoS攻击并兼顾网络效率与过拟合问题。
2023-10-25 cs.AI cs.CR cs.NI
End-of-Life of Software How is it Defined and Managed?
新软件和算法的快速发展,在大量可用数据的推动下,使软件产品的保质期大大缩短。据粗略估计,每天开发的新软件项目超过40,000个,因此,放弃旧软件并获得满足迅速变化的需求和要求的新软件变得越来越快,成本也越来越低。被抛弃的软件会发生什么,以及“一次性”文化会产生什么后果(Cooper,2005)仍然是悬而未决的问题。本文将探讨系统工程的概念,软件的生命周期结束,它将突出现有的软件工程实践中的差距,它将提出的例子,已被遗弃的软件,试图退役,它将探讨废弃的软件文物的影响。还详细介绍了解决已查明的研究差距的拟议前进道路。
2022-04-08 cs.AI cs.SE
Holon Programming Model -- A Software-Defined Approach for System of Systems
Honda Research Institute Europe(本田欧洲研究院)
本文提出 Holon 编程模型,以软件定义方式解决系统之系统缺乏可编程性、难以开发第三方 SoS 级行为的问题,并通过灾害管理场景验证其设计与编排复杂系统行为的有效性。
2024-10-23 cs.AI cs.ET cs.SE
Software-Defined Robotics -- Idea & Approach
University of New Haven(纽黑文大学)
软件定义机器人的方法论基于层次和独立的框架,可以设计和实现编程和控制不同的机器人,无论他们的制造商的参数和规格,统一的命令和通信。这种框架方法将增加在运行时间期间对特定机器人组进行(重新)编程的能力,而不会影响关键任务和工业操作中所需的其他机器人,扩展共享带宽,增强代码的可重用性,利用计算处理能力,减少对每个机器人的大量补充电气部件的不必要分析,以及获得基于云计算、虚拟机(VM)和机器人即服务(RaaS)技术中最先进的行业趋势的优势。
2017-08-20 cs.AI cs.RO
AI-based Two-Stage Intrusion Detection for Software Defined IoT Networks
Zhejiang University(浙江大学)
软件定义的物联网(SD-IoT)网络得益于集中管理和交互式资源共享,提高了物联网应用的效率和可扩展性。但随着服务和应用的快速增长,它很容易受到可能的攻击,并面临严峻的安全挑战。入侵检测已被广泛应用于网络安全,但传统的检测手段通常是基于特征或基于显式行为的,无法智能地检测未知攻击,难以满足SD-IoT网络的需求。在本文中,我们提出了一个基于人工智能的两阶段入侵检测软件定义技术授权。它以全局视角灵活捕获网络流量,并通过应用AI算法智能检测攻击。我们首先利用蝙蝠算法与群体划分和差分变异选择典型特征。然后,我们利用随机森林,通过自适应地改变样本的权重加权投票机制来分类流。评价结果表明,改进后的智能算法选择了更多的重要特征,在流分类中取得了更好的性能。实验结果表明,与现有的入侵检测方案相比,智能入侵检测具有更高的准确性和更低的开销。
2018-06-07 cs.AI cs.CR
PowerGridworld: A Framework for Multi-Agent Reinforcement Learning in Power Systems
National Renewable Energy Laboratory(国家可再生能源实验室)
我们提出的PowerGridworld软件包为用户提供了一个轻量级的,模块化的,可定制的框架,用于创建电力系统为重点的,多智能体健身房环境,很容易与现有的培训框架集成强化学习(RL)。尽管存在许多用于训练多代理RL(MARL)策略的框架,但没有一个可以快速原型化和开发环境本身,特别是在异构(复合,多设备)电力系统的背景下,其中需要潮流解决方案来定义电网级变量和成本。PowerGridworld是一个开源软件包,有助于填补这一空白。为了突出PowerGridworld的关键特性,我们提出了两个案例研究,并演示了使用OpenAI的多代理深度确定性策略梯度(MADDPG)和RLLib的近端策略优化(PPO)算法学习MARL策略。在这两种情况下,至少有一些子集的代理在每个时间步的功率流解决方案的元素作为其奖励(负成本)结构的一部分。
2021-11-10 cs.AI cs.LG cs.MA