Skill-Mix: a Flexible and Expandable Family of Evaluations for AI models
Princeton Language and Intelligence (PLI), Princeton University(普林斯顿大学语言与智能实验室(PLI));Google DeepMind(谷歌DeepMind)
本文提出Skill-Mix评估方法,通过随机组合k项技能要求LLM生成文本,以衡量AI智能体的技能组合能力,并展示了其在揭示模型真实能力差异及超越“随机鹦鹉”行为方面的价值。
2023-10-26 cs.AI cs.CL cs.LG
Improving Numerical Reasoning Skills in the Modular Approach for Complex Question Answering on Text
Monash University(莫纳什大学)
数字推理技能对于文本上的复杂问答(CQA)是必不可少的。它需要包括计数、比较、加法和减法在内的操作。一种成功的文本CQA方法,神经模块网络(NMN),遵循程序员-解释器范式,并利用专门的模块来执行组合推理。然而,国家独立网络框架在问题和段落中都没有考虑数字和实体之间的关系。我们提出了有效的技术,以提高NMN的数值推理能力,使解释器的问题意识和捕捉实体和数字之间的关系。在用于文本CQA的DROP数据集的同一子集上,实验结果表明,我们的添加比原始NMN的整体F1得分高出3.0分。
2021-09-06 cs.AI cs.CL
Skill-Conditioned Visual Geolocation for Vision-Language Models
Southwest Jiaotong University(西南交通大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Zhejiang University(浙江大学)
本文提出GeoSkill框架,通过技能图进化提升视觉语言模型的地理定位能力与自我进化能力,实验显示其在GeoRC任务中表现优异,且在外部数据集上具有良好的泛化能力。
2026-05-13 cs.AI cs.CV
Dynamic Skill Adaptation for Large Language Models
Stanford University(斯坦福大学)
本文提出动态技能适配框架DSA,通过构建技能图自动生成教科书式和练习式训练数据,并在指令微调中动态调整样本权重与复杂度,有效提升大语言模型对数学推理和社会研究等复杂技能的适配能力。
2024-12-26 cs.CL
Evolutionary Task Discovery: Advancing Reasoning Frontiers via Skill Composition and Complexity Scaling
Georgia Institute of Technology(佐治亚理工学院)
本文提出EvoTD框架,通过结构化进化算子在算法技能与复杂性属性的双轴流形上进行数据合成,提升模型推理能力,并在不同架构和规模上实现稳定泛化。
2026-05-12 cs.AI cs.LG
Decomposing Complex Visual Comprehension into Atomic Visual Skills for Vision Language Models
Seoul National University(首尔国立大学);UCLA(加州大学洛杉矶分校);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Google DeepMind(谷歌DeepMind)
该研究将复杂视觉理解分解为原子视觉技能,构建AVSD数据集,基准测试显示VLM在这些简单任务上表现不佳,强调需专用数据集训练和评估原子视觉感知。
2025-05-26 cs.AI cs.CV
SKILLLITE: Evidence-Guided Malicious Skill Auditing with Compact LLMs
Nanyang Technological University(南洋理工大学)
针对紧凑型LLM难以审计复杂技能包中隐式恶意行为的问题,提出证据引导的智能体框架SKILLLITE,通过提取安全行为并推断功能上下文实现高效检测,性能优于现有基线且延迟低。
2026-09-30 cs.AI cs.CR
MUSE-Autoskill: Self-Evolving Agents via Skill Creation, Memory, Management, and Evaluation
ByteDance Inc.(字节跳动公司);Rochester Institute of Technology(罗切斯特理工学院)
提出MUSE-Autoskill框架,通过统一的技能生命周期(创建、记忆、管理、评估和优化)使LLM智能体持续提升任务解决能力,实验表明生命周期管理的技能可提高任务成功率、效率、复用性和跨智能体迁移。
2026-07-07 cs.AI cs.CL cs.LG
One-shot Imitation in a Non-Stationary Environment via Multi-Modal Skill
Sungkyunkwan University(成均馆大学)
针对非平稳环境下复杂任务的一次性模仿难题,提出基于技能的模仿学习框架,结合视觉-语言模型与元学习实现零样本技能适应,在多阶段Meta-world任务中表现优越。
2024-02-13 cs.AI
On the logical skills of large language models: evaluations using arbitrarily complex first-order logic problems
University of Münster(明斯特大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
本研究提出可多维度调控复杂度的一阶逻辑语句生成方法,构建了策梅洛-弗兰克尔集合论相关的逻辑判断数据集,并对多款大语言模型开展性能评估,相关资源已全部公开。
2025-02-20 cs.CL cs.LG
Enhancing Exploratory Learning through Exploratory Search with the Emergence of Large Language Models
本文融合探索式搜索与探索式学习理论,改造 Kolb 模型并引入高频探索和反馈循环,探讨先进 LLM 如何支持学生搜索、促进高阶认知与人机协同学习。
2025-01-05 cs.AI cs.CL cs.IR
Large Language Models and Emergence: A Complex Systems Perspective
Santa Fe Institute(圣菲研究所);Department of Neuroscience, Johns Hopkins School of Medicine(约翰霍普金斯医学院神经科学系)
本文从复杂系统视角出发,结合复杂科学中“多即不同”“少即是多”的涌现理念,考察大语言模型的涌现能力相关论断、梳理涌现量化方法,并探讨大语言模型是否具备涌现智能。
2025-06-10 cs.AI cs.CL cs.LG
Rethinking Skill Extraction in the Job Market Domain using Large Language Models
EPFL(洛桑联邦理工学院);IT University of Copenhagen(哥本哈根信息技术大学)
本文针对就业市场技能抽取任务,提出利用大型语言模型的上下文学习克服传统BIO监督模型的泛化局限,并在6个数据集上验证其能更好处理复杂技能提及。
2024-02-06 cs.CL
Bootstrap Your Own Skills: Learning to Solve New Tasks with Large Language Model Guidance
University of Southern California(南加州大学);Google AI(谷歌人工智能);National Taiwan University(国立台湾大学);KAIST(韩国科学技术院)
BOSS方法利用大语言模型引导技能自举,使智能体从原始技能出发,以极少监督学习解决新任务,在家庭环境中零样本执行未见长时程任务优于现有方法。
2023-10-17 cs.AI cs.LG cs.RO
SkillClaw: Let Skills Evolve Collectively with Agentic Evolver
DreamX Team(DreamX团队)
SkillClaw通过聚合多用户交互数据,实现技能的集体进化,提升代理在现实场景中的性能。
2026-08-11 cs.AI cs.CL
Skill Learning Using Process Mining for Large Language Model Plan Generation
Technical University of Denmark(丹麦技术大学);Microsoft Development Center Copenhagen(微软哥本哈根开发中心)
本文提出一种整合流程挖掘技术的LLM技能学习方法,利用流程发现、模型存储和一致性检查解决计划生成中的执行与检索难题,提升了生成效率、可解释性及检索准确率。
2024-10-14 cs.AI cs.CL cs.DB
Dynamic Skill Lifecycle Management for Agentic Reinforcement Learning
Database Group, The Chinese University of Hong Kong(香港中文大学数据库组);Lanzhou University(兰州大学)
本文提出SLIM框架,通过动态优化变量管理代理强化学习中的外部技能集,提升任务性能。
2026-10-14 cs.CL cs.LG
CoEvoSkills: Self-Evolving Agent Skills via Co-Evolutionary Verification
University of Illinois Chicago(伊利诺伊大学芝加哥分校);MBZUAI(穆罕默德·本·扎耶德人工智能大学);McGill University(麦吉尔大学);Columbia University(哥伦比亚大学);Zhejiang University(浙江大学);University of British Columbia(不列颠哥伦比亚大学)
本文提出CoEvoSkills框架,使代理能自主生成复杂技能包,通过共进化验证提供反馈,实现在SkillsBench上最高通过率和强泛化能力。
2026-08-12 cs.AI
Adaptive Multi-Resolution Procedural Knowledge Compression for Large Language Models
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
提出SKIM框架,通过自适应多分辨率软令牌压缩程序性技能,在保持任务性能的同时将技能令牌长度压缩至30%-60%。
2026-06-11 cs.CL
SkillLearnBench: Benchmarking Continual Learning Methods for Agent Skill Generation on Real-World Tasks
Carnegie Mellon University(卡内基梅隆大学);Amazon AGI(亚马逊人工智能研究院)
SkillLearnBench评估持续学习方法在现实任务中生成技能的有效性,发现所有方法在无技能基线上有提升,但一致性改进困难,且更强LLM不总带来更好结果,开放任务表现不佳,外部反馈促进真实改进,自我反馈导致递归漂移。
2026-04-22 cs.CL cs.LG
Breaking Down and Building Up: Mixture of Skill-Based Vision-and-Language Navigation Agents
Michigan State University(密歇根州立大学);ESAT-PSI, KU Leuven(KU莱顿大学ESAT-PSI实验室)
本文提出SkillNav框架,通过模块化技能推理提升视觉-语言导航性能,通过合成数据训练无监督的路由模型,实现对复杂场景的泛化能力。
2026-05-13 cs.AI cs.CL cs.CV
SkillForge: Evolving Verifiable Skills for Reinforcement Learning Agents
AMAP, Alibaba Group(阿里巴巴集团AMAP)
SkillForge是实现技能验证与优化的持续技能演化框架,通过明确技能使用优化RL决策,在ALFWorld等数据集上优于SkillRL,可训练更强的LLM智能体。
2026-08-26 cs.CL
SkillTrace: Traversing a Query-Skill Graph for Composable LLM Agents
SkillTrace通过查询-技能图的三个层级关系实现技能组合,在SkillsBench和ALFWorld上取得SOTA性能,且对不同骨干语言模型具备通用性。
2026-08-05 cs.AI
Video-Skill-CoT: Skill-based Chain-of-Thoughts for Domain-Adaptive Video Reasoning
UNC Chapel Hill(UNC夏洛特山分校);Nanyang Technological University(南洋理工大学)
针对视频推理中领域技能适应难的问题,提出Video-Skill-CoT框架,自动构建技能感知的思维链监督并采用技能特定专家学习,在三个基准上持续优于强基线。
2025-10-24 cs.AI cs.CL cs.CV
Parametric Skills
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of Science and Technology of China(中国科学技术大学);KTH Royal Institute of Technology(皇家理工学院);Fudan University(复旦大学);The Chinese University of Hong Kong(香港中文大学)
提出ParametricSkills框架,将文本技能在测试时转换为LoRA参数,解决长上下文下技能指令难以遵循的问题,在软件工程任务中平均提升6.44分。
2026-11-06 cs.CL
Merging Continual Pretraining Models for Domain-Specialized LLMs: A Case Study in Finance
NARA Institute of Science and Technology(日本科学技术研究院)
针对LLM在金融等专业领域技能不足的问题,本研究提出合并持续预训练(CPT)专家模型作为替代方案,通过三阶段评估和三种合并方法验证,发现合并能有效恢复通用知识并产生跨领域涌现技能,为构建多技能LLM提供了首个基础性分析框架与指导。
2025-11-04 cs.CL
Beyond Top-$k$ Skill Retrieval: Diversity-Aware Skill Routing for LLM Agents
Virginia Tech(弗吉尼亚理工大学);University of Southern California(南加州大学);Adobe Research(Adobe研究院);Dolby Labs(杜比实验室);Texas A&M University(德克萨斯A&M大学);Arizona State University(亚利桑那州立大学)
针对LLM智能体技能路由中冗余技能浪费上下文的问题,提出基于行列式点过程的多样性感知重排序框架DSR,平衡相关性与非冗余性,在SkillRouter基准上提升召回率和覆盖率。
2026-09-09 cs.AI
SkillGraph: Skill-Augmented Reinforcement Learning for Agents via Evolving Skill Graphs
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团);National University of Singapore(新加坡国立大学)
SkillGraph通过演化的技能图增强代理的强化学习,解决技能组合任务中的依赖识别和库维护问题,实验显示其在复杂任务中表现优异。
2026-10-09 cs.CL
Skill0.5: Joint Skill Internalization and Utilization for Out-of-Distribution Generalization in Agentic Reinforcement Learning
East China Normal University(华东师范大学);Meituan Longcat Team(美团Longcat团队)
提出Skill0.5框架,通过区分通用技能内化与任务特定技能利用,结合动态难度感知路由器,在ALFWorld和WebShop上提升了分布内和分布外场景的性能。
2026-05-27 cs.CL
Skills-in-Context Prompting: Unlocking Compositionality in Large Language Models
Georgia Institute of Technology(佐治亚理工学院);Tencent AI Lab(腾讯AI实验室)
本文提出技能上下文提示(SKiC),通过在同一提示中展示基础技能及组合示例,仅需两个示例即可激发LLMs的组合泛化能力,实现近乎完美的系统泛化,并解锁其内部技能,且微调SKiC风格数据可实现零样本弱到强泛化。
2024-07-16 cs.CL
An exactly solvable model for emergence and scaling laws in the multitask sparse parity problem
Rudolf Peierls Centre for Theoretical Physics, University of Oxford(鲁道夫·皮尔士理论物理中心,牛津大学);Center for Quantum Structures in Modules and Spaces, Seoul National University(模块与空间中的量子结构中心,首尔国立大学)
本文提出一个将技能表示为基函数的精确可解多线性模型,推导了新技能涌现与损失缩放律的解析表达式,并成功用单一参数拟合了多任务稀疏奇偶性神经网络的涌现现象。
2024-10-16 cond-mat.dis-nn cs.LG stat.ML
SkillsInjector: Dynamic Skill Context Construction for LLM Agents
Nanjing University(南京大学);Shanghai AI Lab(上海人工智能实验室)
针对静态技能注入导致性能下降的问题,提出SkillsInjector两阶段自适应方法,通过上下文规划器学习技能偏好并自适应预算,结合集合感知渲染器优化描述呈现,在三个基准上分别提升3.9、6.1和7.3个百分点。
2026-05-28 cs.AI
SKILL.state: Scalable Long-Horizon Agent Skills
Google LLC(谷歌公司);Purdue University(普渡大学)
针对现有智能体运行时的长程延迟与上下文污染问题,提出SKILL.state架构,用显式可变执行状态替代追加式对话历史,提升任务准确率并降低令牌消耗。
2026-09-03 cs.AI cs.MA
Evolving from Lessons: Skill-Augmented Table Graph Reasoning for Operation-wise Table Question Answering
研究针对表格问答中现有方法的局限,提出技能增强表格图推理框架,将表格表示为属性图,利用大语言模型规划执行动态链检索证据子图,构建技能库提炼抽象技能进行对比增强推理,实现持续自我进化,提升了表格问答性能。
2026-09-15 cs.AI
SkillLift: Learning Dense Rubrics from Sparse Oracles for Efficient Skill Evolution
Fudan University(复旦大学)
SkillLift提出通过排序监督和双层优化,用稀疏预言学习密集评分标准,解耦技能搜索与预言成本,实现高效技能进化,以更少令牌成本超越现有方法。
2026-09-15 cs.AI
Multimodal LLMs Do Not Compose Skills Optimally Across Modalities
本文研究多模态大语言模型跨模态技能组合能力,发现其存在显著差距,并提出链式推理和微调策略以改善,但效果有限。
2026-03-09 cs.CL
SkillSentry: Reliable Skill Execution for LLM Agents via Runtime Assurance
SkillSentry是基于DSL的技能运行时保障框架,通过初始化、监控引导与迭代优化提升LLM智能体技能执行可靠性,在15项技能上平均提升任务成功率24.1%且降低变异性。
2026-08-11 cs.AI
SkCC: Portable and Secure Skill Compilation for Cross-Framework LLM Agents
Sun Yat-sen University(中山大学)
针对LLM代理技能在不同框架间缺乏可移植性和安全性的问题,提出SkCC编译器,通过强类型中间表示SkIR解耦语义与格式,实现跨框架部署,并内置静态优化器强制执行安全约束,显著提升性能并降低适配复杂度。
2026-06-03 cs.AI cs.CR
Learning to grok: Emergence of in-context learning and skill composition in modular arithmetic tasks
University of Maryland(马里兰大学);Meta AI
本研究通过模算术任务实验,发现GPT风格Transformer随预训练任务数量增加会从分布内泛化转向分布外泛化,最小模型需两个Transformer块,深层模型需早停,并揭示了注意力头与MLP中的结构化表示及算法转变。
2024-11-04 cond-mat.dis-nn cs.LG hep-th
DeepTransition: Viability Leads to the Emergence of Gait Transitions in Learning Anticipatory Quadrupedal Locomotion Skills
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
该研究提出生存性是四足步态转变的核心判定标准,通过深度强化学习验证了平坦与离散地形下的步态转变规律,并通过仿真到现实迁移在Unitree A1机器人上实现了高敏捷性的自主跨隙步态切换。
2023-06-14 cs.AI cs.LG cs.RO
Laying the Foundation First? Investigating the Generalization from Atomic Skills to Complex Reasoning Tasks
Fudan University(复旦大学);Fudan-Aishu Cognitive Intelligence Joint Research Center(复旦-爱数认知智能联合研究中心)
本文提出探测框架与分层课程学习策略,发现原子技能不能自发泛化到复杂推理任务,但通过该策略可显著提升开源模型性能,且泛化有效于跨数据集和跨领域场景。
2024-03-14 cs.AI cs.CL cs.LG
Complex Skill Acquisition Through Simple Skill Imitation Learning
University of California, Berkeley(加州大学伯克利分校);Department of Electrical Engineering and Computer Sciences(电气工程与计算机科学系)
人类通常将复杂任务视为简单子任务的组合,以便更有效地学习这些复杂任务。例如,一个后空翻可以被认为是四个子技能的组合:跳跃,屈膝,向后滚动和向下插入手臂。基于这一推理思路,我们提出了一种新的算法,该算法在简单、易学的技能上训练神经网络策略,以培养潜在空间,加速复杂、难学技能的模仿学习。我们专注于复杂的任务包括一个并发的(可能是顺序的)简单的子任务的组合的情况下,因此我们的算法可以被看作是一种新的方法,并发分层模仿学习。我们评估了我们的算法在高维环境中的困难任务,发现它在训练速度和整体性能方面始终优于最先进的基线。
2020-10-19 cs.AI cs.LG stat.ML
VER: Scaling On-Policy RL Leads to the Emergence of Navigation in Embodied Rearrangement
Georgia Institute of Technology(佐治亚理工学院);Meta AI;Google Atlanta(谷歌亚特兰大)
我们提出了可变体验推出(VER),这是一种在异构环境(不同的环境需要非常不同的时间来生成推出)中有效地扩展批量策略强化学习的技术,用于驻留在许多机器上的许多GPU。VER结合了同步和异步策略RL方法(分别为SyncOnRL和AsyncOnRL)的优点,并模糊了它们之间的界限。VER从策略经验中学习(如SyncOnRL),并且没有同步点(如AsyncOnRL)。VER在逼真的3D仿真环境中的广泛的具身导航和移动操作任务中导致显著和一致的加速。具体而言,对于Habitat 1.0中的PointGoal导航和ObjectGoal导航,VER比DD-PPO(当前最先进的分布式SyncOnRL)快60 - 100%(1.6 - 2倍加速),具有类似的样本效率。对于移动操作任务(打开冰箱/橱柜,拾取/放置物体),Habitat 2.0 VER在1个GPU上比DD-PPO快150%(2.5倍加速),在8个GPU上比DD-PPO快170%(2.7倍加速)。与SampleFactory(目前最先进的AsyncOnRL)相比,VER在1个GPU上的速度与其相当,在8个GPU上的速度快70%(1.7倍加速),具有更好的样本效率。我们利用这些加速来训练连锁技能,以完成家庭助理基准(HAB)中的GeometricGoal重排任务。我们发现,在表面上不需要导航的技能中,导航出现了令人惊讶的现象。具体来说,拾取…
2022-10-11 cs.AI cs.CV cs.LG
Logic Before Language: Pre-pretraining on Formal Derivations Fosters Skill Acquisition and Compressibility
该研究提出Logic-PPT策略,通过形式推导预预训练语言模型,可加速技能获取、提升性能,还能增强模型可压缩性,在少用36B token时达80%准确率,33%稀疏度下匹配密集基线性能。
2026-08-05 cs.AI cs.CL cs.LG
A Non-parametric Skill Representation with Soft Null Space Projectors for Fast Generalization
German Aerospace Center (DLR)(德国航空航天中心(DLR));University of Leeds(利兹大学)
在过去的二十年里,机器人社区见证了各种运动表示的出现,这些运动表示已被广泛使用,特别是在人工克隆中,以压缩编码和概括技能。其中,概率方法赢得了相关的地方,由于其编码的变化,相关性和适应性,以新的任务条件。然而,调制这样的基元通常是麻烦的,因为需要参数重新优化,这经常需要计算上昂贵的操作。在本文中,我们推导出一个非参数的运动原语配方,其中包含一个零空间投影仪。我们表明,这样的配方允许快速和有效的运动生成与计算复杂性O(n2),而不涉及矩阵求逆,其复杂性为O(n3)。这是通过使用零空间来跟踪次级目标来实现的,精度由训练数据集确定。使用与时间输入相关联的2D例子,我们表明,我们的非参数解决方案相比,有利的国家的最先进的参数化方法。对于具有高维输入的演示技能,我们表明它也允许动态适应。
2023-03-04 cs.AI cs.LG cs.RO
SkillTree: Explainable Skill-Based Deep Reinforcement Learning for Long-Horizon Control Tasks
Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算机学院);National Key Laboratory of Novel Software Technology, Nanjing University(南京大学新型软件技术国家实验室);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);Polixir Technologies;SenseTime Research(商汤科技研究院)
提出SkillTree框架,通过可微决策树将连续动作空间离散化为技能空间,实现技能级可解释性,在复杂机器人臂控制任务中达到与基于技能的神经网络相当的性能。
2024-11-19 cs.AI cs.LG
Deep Reinforcement Learning to Acquire Navigation Skills for Wheel-Legged Robots in Complex Environments
移动机器人在复杂动态环境中的导航是一个具有挑战性的重要问题。强化学习方法无法有效地解决这些问题,由于奖励稀疏,时间复杂性和高维的感觉运动空间,这是固有的问题。我们提出了一种新的方法来训练行动政策,以获得导航技能的轮足式机器人使用深度强化学习。该策略将高度图图像观察映射到运动命令,以在避开障碍物的同时导航到目标位置。我们建议通过学习和利用一些可管理的导航行为来获得多方面的导航技能。我们还引入了一个域随机化技术,以提高训练样本的通用性。我们的实验表明,数据效率,成功率,对不相关的感官数据的鲁棒性,以及机动技能的质量方面的显着改善。
2018-04-27 cs.LG cs.RO stat.ML
Controllability-Aware Unsupervised Skill Discovery
University of California, Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
提出可控性感知无监督技能发现方法CSD,通过对难实现状态转移赋予更大距离值并最大化距离,使智能体逐步学习复杂操作与运动技能,实验显著优于既有方法。
2023-06-03 cs.AI cs.LG cs.RO
Where To Start? Transferring Simple Skills to Complex Environments
Imperial College London(帝国理工学院)
机器人学习提供了许多方法来教机器人简单的技能,如抓取。然而,这些技能通常是在开放、无杂乱的环境中训练的,因此可能会在更复杂、杂乱的环境中造成不希望的碰撞。在这项工作中,我们引入了一个基于环境的图形表示的示能模型,该模型在部署过程中进行了优化,以找到合适的机器人配置来启动技能,从而可以在没有任何冲突的情况下执行技能。我们证明,我们的方法可以概括先验获得的技能,以前看不见的混乱和约束的环境中,在模拟和现实世界中,抓取和放置任务。
2022-12-12 cs.LG cs.RO
Learn Basic Skills and Reuse: Modularized Adaptive Neural Architecture Search (MANAS)
Rutgers University(罗格斯大学)
人类的智能是能够先学习一些解决基本问题的基本技能,然后将这些基本技能组装成解决复杂或新问题的复杂技能。例如,基本技能“挖坑”、“放树”、“回填”和“浇水”组成了复杂技能“植树”。除此之外,一些基本的技巧可以被重用于解决其他问题。比如,“挖坑”这一基本功,不仅可以用来种树,还可以用来挖矿、挖沟、填埋。学习基本技能并将其重新用于各种任务的能力对人类来说非常重要,因为它有助于避免学习太多技能来解决每个单独的任务,并且可以通过学习几个基本技能来解决组成数量的任务,这节省了人类大脑中大量的内存和计算。我们认为,机器智能还应该捕捉学习基本技能并通过将其组合成复杂技能来重用它们的能力。在计算机科学语言中,每项基本技能都是一个“模块”,它是一个具有具体含义的可重用网络,执行特定的基本操作。这些模块被组装成一个更大的“模型”,用于执行更复杂的任务。组装过程适应于输入或任务,即,对于一个给定的任务,模块应该被组装成解决该任务的最佳模型。因此,不同的输入或任务可以有不同的组装模型,这使得自动组装AI(AAAI)成为可能。在这项工作中,我们提出了模块化自适应神经结构搜索(MANAS)来证明上述想法。在不同数据集上的实验表明,MANAS自适应结构的性能优于静态全局结构。进一步的实验和实证分析提供了见解MANAS的有效性。
2022-08-24 cs.AI cs.IR cs.LG
Dynamic Contrastive Skill Learning with State-Transition Based Skill Clustering and Dynamic Length Adjustment
Department of Electrical and Computer Engineering(电气与计算机工程系);Seoul National University(首尔国立大学)
针对长时程任务中技能学习固定长度和语义识别不足的问题,提出动态对比技能学习框架,通过状态转移表示、相似性学习和动态长度调整,提升技能提取的灵活性与泛化能力。
2025-04-21 cs.AI cs.LG cs.RO
From Simple to Complex Skills: The Case of In-Hand Object Reorientation
UC Berkeley(加州大学伯克利分校);FAIR at Meta(Meta FAIR研究院);TU Dresden(德累斯顿工业大学);Centre for Tactile Internet with Human-in-the-Loop(人在回路触觉互联网中心)
针对灵巧操作的 sim-to-real 迁移成本问题,提出基于已有旋转技能的分层策略与可泛化物体位姿估计器,实现复杂手中物体重新定向并增强真实迁移鲁棒性。
2025-01-09 cs.AI cs.LG cs.RO
Offline Skill Graph (OSG): A Framework for Learning and Planning using Offline Reinforcement Learning Skills
Afeka College of Engineering(阿菲卡工程学院);Bosch Center for AI(博世人工智能中心)
本文提出离线技能图(OSG)框架,通过三个模块利用离线强化学习技能进行规划,使智能体从历史数据中泛化解决长时域任务,并在机器人手臂上验证其有效性。
2023-06-23 cs.AI cs.LG cs.RO
Hierarchical Kickstarting for Skill Transfer in Reinforcement Learning
University College London(伦敦大学学院);Meta AI;University of Oxford(牛津大学)
实践和磨练技能是人类学习的基本组成部分,但人工智能很少经过专门训练来执行这些技能。相反,它们通常是端到端训练的,希望通过隐性学习来获得有用的技能,以最大限度地提高某些外在奖励函数的折扣回报。在本文中,我们研究了如何将技能纳入强化学习(RL)代理在复杂环境中具有大的状态-动作空间和稀疏奖励的训练。为此,我们创建了SkillHack,这是一个基于NetHack游戏的任务和相关技能的基准。我们在这个基准上评估了一些基线,以及我们自己的新的基于技能的方法分层Kickstarting(HKS),它被证明优于所有其他评估的方法。我们的实验表明,学习有用的技能的先验知识可以显着提高代理在复杂问题上的性能。我们最终认为,利用预定义的技能为RL问题提供了一个有用的归纳偏差,特别是那些具有大的状态-动作空间和稀疏奖励的问题。
2022-08-15 cs.AI cs.LG