AdaptMI: Adaptive Skill-based In-context Math Instruction for Small Language Models
Princeton Language and Intelligence(普林斯顿语言与智能)
AdaptMI提出自适应技能选择方法,仅在模型表现不佳时引入技能示例,并针对缺失技能补充示例,在五个小语言模型上提升数学推理准确率最多6%。
2025-09-10 cs.CL
Skills-in-Context Prompting: Unlocking Compositionality in Large Language Models
Georgia Institute of Technology(佐治亚理工学院);Tencent AI Lab(腾讯AI实验室)
本文提出技能上下文提示(SKiC),通过在同一提示中展示基础技能及组合示例,仅需两个示例即可激发LLMs的组合泛化能力,实现近乎完美的系统泛化,并解锁其内部技能,且微调SKiC风格数据可实现零样本弱到强泛化。
2024-07-16 cs.CL
LatentSkill: From In-Context Textual Skills to In-Weight Latent Skills for LLM Agents
Shanghai Jiao Tong University(上海交通大学);Sun Yat-Sen University(中山大学);Shanghai Innovation Institute(上海创新研究院);OPPO Research Institute(OPPO研究院)
提出LatentSkill框架,通过预训练超网络将文本技能转换为即插即用的LoRA适配器,将技能知识存储在权重空间而非上下文空间,从而减少预填充令牌并提升性能。
2026-08-27 cs.AI cs.CL
Teaching Algorithmic Reasoning via In-context Learning
Mila(米拉研究所);Université de Montreal(蒙特利尔大学);Google Research(谷歌研究院)
大语言模型(LLM)通过扩展模型和数据大小,显示出越来越多的上下文学习能力。尽管取得了这些进展,LLM仍然无法解决算法推理问题。虽然为最终答案提供了一个基本原理,导致了多步推理问题的进一步改进,但Anil et al. 2022表明,即使是简单的算法推理任务,如奇偶校验,也远未解决。在这项工作中,我们确定并研究了成功教授算法推理的四个关键阶段:(1)将算法制定为技能,(2)同时教授多种技能(技能积累),(3)教授如何组合技能(技能组合)和(4)教授如何使用技能作为工具。我们表明,它是可以教算法推理LLMs通过上下文学习,我们称之为算法提示。我们评估我们的方法在各种算术和定量推理任务,并表现出显着的提升性能比现有的提示技术。特别是,对于长奇偶校验、加法、乘法和减法,与最佳可用基线相比,我们分别实现了约10倍、9倍、5倍和2倍的误差减少。
2022-11-15 cs.AI cs.CL cs.LG
ContinualSkillBench: Can LLM Agents Truly Evolve Their Capabilities?
本研究提出动态评估框架ContinualSkillBench,发现大语言模型智能体顺序执行可提升任务性能,上下文学习与显式技能维护效果相当,弱模型易积累零散技能,当前机制仍难整合经验为稳健可迁移技能。
2026-10-16 cs.AI cs.CL cs.LG
Skill-Based Few-Shot Selection for In-Context Learning
Microsoft(微软);Northeastern University(东北大学);Microsoft Corporation(微软公司)
针对上下文学习中少样本选择易受表层特征干扰、难适配动态示例库的问题,提出无需训练微调的Skill-KNN方法,通过技能化描述消除冗余特征,在多数据集和骨干模型上性能显著优于现有方法。
2023-10-10 cs.AI cs.CL
GraSP: Graph-Structured Skill Compositions for LLM Agents
Tencent(腾讯)
本文提出GraSP,一种可执行技能图架构,通过引入编译层提升LLM代理技能编排效率,通过五种类型操作符将扁平技能集转化为带前提-效应边的有向无环图,提升任务完成效率和奖励。
2026-04-20 cs.CL
Parametric Skills
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of Science and Technology of China(中国科学技术大学);KTH Royal Institute of Technology(皇家理工学院);Fudan University(复旦大学);The Chinese University of Hong Kong(香港中文大学)
提出ParametricSkills框架,将文本技能在测试时转换为LoRA参数,解决长上下文下技能指令难以遵循的问题,在软件工程任务中平均提升6.44分。
2026-11-06 cs.CL
The Router Within: Eliciting Native Skill Routing from a Frozen LLM
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
本文提出Gavel方法,利用冻结LLM内部状态通过两个线性映射实现无需上下文的技能路由,在Qwen3-32B上超越外部参数方法,最高提升21.9个百分点,并验证了路由能力随骨干增强而提升。
2026-09-29 cs.AI cs.CL cs.LG
A Decomposition Perspective to Long-context Reasoning for LLMs
Large Language Model Department, Tencent(腾讯大语言模型部门);Xi'an Jiaotong University(西安交通大学);Tencent(腾讯);Fudan University(复旦大学);City University of Hong Kong(香港城市大学)
本文从分解视角出发,将长上下文推理分解为基本原子技能,并通过伪数据集训练提升模型能力,实验证明该方法在多个基准测试中提升了7.7%的性能。
2026-04-09 cs.AI cs.CL cs.LG
SkillZip: Contract-Preserving Graph Compression for Scalable Agent Skill Libraries
UNSW(新南威尔士大学);CSIRO(联邦科学与工业研究组织)
SkillZip是一种执行感知的过程抽象框架,通过对节级图进行保留契约的压缩,解决了智能体技能库的可扩展问题,在基准测试中优于基线,实现了高压缩率和稳健检索。
2026-08-07 cs.AI cs.CL
SkillCraft: Can LLM Agents Learn to Use Tools Skillfully?
SkillCraft基准通过测试代理形成和重用高阶工具组合的能力,评估大语言模型在工具使用中的效率提升与技能积累。
2026-03-10 cs.CL cs.SE
Can Models Learn Skill Composition from Examples?
Princeton University(普林斯顿大学);Meta
本文借鉴SKILL-MIX设置,通过微调7B和13B模型于GPT-4生成的技能组合文本,发现模型能从k=2、3示例泛化至k=4、5组合,并提升对未见技能的组合能力,表明技能丰富文本可增强组合泛化。
2025-01-19 cs.AI cs.CL cs.LG
Compositional Subspace Representation Fine-tuning for Adaptive Large Language Models
Intology AI
提出CS-ReFT方法,通过轻量级路由器组合隐藏状态中的多个正交子空间变换,有效解决多任务适配中的跨技能干扰,以极低参数开销显著提升多任务指令遵循能力。
2025-04-26 cs.AI cs.CL
A Survey to Recent Progress Towards Understanding In-Context Learning
Michigan State University(密歇根州立大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文从数据生成视角系统综述上下文学习机制,区分技能识别与技能学习,分析其优劣与共性,为未来研究指明方向。
2025-01-24 cs.CL
GEIS: A Generation-Evaluation-Improvement Loop of Agent Skills for Long-Form Article Generation
Speech Processing and Machine Intelligence (SPMI) Lab, Tsinghua University, China(清华大学语音处理与机器智能实验室);TasiTech Co., Ltd., China(泰赛科技有限公司)
针对长篇文章生成难题,提出GEIS循环,通过在Tasi Harness中实现文章写作、证据图像收集等技能,经核心写作、成对评估及改进技能,在20个主题实验中提升了PDF质量得分,证明可将其转变为可改进循环。
2026-07-14 cs.CL
Beyond Rubrics: Exploration-Guided Evaluation Skills for Reward Modeling
Zhejiang University(浙江大学);Xiaohongshu Inc.(小红书公司)
提出Eval-Skill方法,通过探索引导合成可复用的领域级评估技能,以替代每查询生成评分标准,在RewardBench 2上使Qwen3-8B和DeepSeek-V4-Flash分别提升13.44%和18.51%。
2026-06-15 cs.CL
Evo-Harness: Context-to-Harness Skill Compilation for Self-Evolving Agents
针对现有自进化 LLM 智能体方法的不足,提出 Evo-Harness 框架,通过上下文到 harness 的技能编译提炼单次执行的噪声上下文,在五个现实基准上验证了其有效性,为 LLM 智能体即时学习提供了原则性理解。
2026-09-01 cs.AI cs.CL
OpenClaw-Skill: Collective Skill Tree Search for Agentic Large Language Models
The Hong Kong Polytechnic University(香港理工大学);Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学);Royal Melbourne Institute of Technology(皇家墨尔本理工大学);Beijing University of Aeronautics and Astronautics(北京航空航天大学)
提出集体技能树搜索(CSTS)框架,通过集体智能生成和评估技能节点,构建结构化、多样且可泛化的技能树,并引入集体技能强化学习,提升大语言模型在工具使用、多步推理和动态环境交互中的智能体能力。
2026-06-16 cs.AI cs.CL
SkillsVote: Lifecycle Governance of Agent Skills from Collection, Recommendation to Evolution
Harbin Institute of Technology(哈尔滨理工大学);Soochow University(苏州大学);The Hong Kong University of Science and Technology (Guangzhou)(香港理工大学(广州))
本文提出SkillsVote框架,通过生命周期治理管理代理技能,从收集和推荐到进化,提升模型在终端基准和SWE-Bench Pro上的性能。
2026-06-16 cs.AI cs.CL
Self-Evolving Embodied Agents via Skill-Harness Evolution
Microsoft Research(微软研究院);Northeastern University(东北大学)
提出免训练的SHAPER框架,通过演化技能与工具链实现冻结模型驱动的自演化具身智能体,在VLABench等数据集上验证其适配优势。
2026-09-11 cs.CL cs.RO
Skill Retrieval Augmentation for Agentic AI
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);ByteDance Inc.(字节跳动公司)
针对现有智能体系统在技能库扩展时上下文窗口不足、技能识别准确率下降的问题,提出技能检索增强(SRA)范式,通过动态检索外部技能库提升智能体性能,并构建SRA-Bench基准揭示技能整合中的瓶颈。
2026-06-07 cs.AI cs.CL
Skill Neologisms: Towards Skill-based Continual Learning
University of Cambridge(剑桥大学)
本文提出了一种基于技能的新词(skill neologisms)方法,通过在模型词汇中集成软token,以提高模型在特定技能上的能力,同时支持零样本组合其他技能,从而实现可扩展的基于技能的持续学习。
2026-08-07 cs.AI cs.LG
SKILL0: In-Context Agentic Reinforcement Learning for Skill Internalization
Zhejiang University(浙江大学);Meituan(美团);Tsinghua University(清华大学)
SKILL0通过在训练时逐步减少技能上下文,使模型在无任务检索情况下实现自主行为,实验显示在多个任务中性能提升显著。
2026-05-15 cs.LG
Subagents vs Agent Skills: Executing Reusable Knowledge for Long-Horizon Agentic Tasks
Cornell University(康奈尔大学);Microsoft Research Cambridge(微软研究院剑桥分院)
本研究提出以子代理方式执行技能包,相比加载指令到上下文,能更好解决长时程任务,但需权衡通信开销。
2026-09-10 cs.AI cs.CL cs.LG
Compositional Reasoning in Language Models under Reinforcement Learning Post-Training
Stanford University(斯坦福大学);Amazon AGI Labs(亚马逊AGI实验室)
本文提出依赖图框架形式化组合推理,通过数据结构任务发现分解到组合训练迁移的不对称性,并提供理论解释及现实工具调用基准的初步验证。
2026-09-18 cs.AI cs.LG
Computational Red Teaming in a Sudoku Solving Context: Neural Network Based Skill Representation and Acquisition
School of Engineering and Information Technology University of New South Wales (Canberra Campus), Australia(澳大利亚新南威尔士大学堪培拉校区工程与信息技术学院)
在本文中,我们提供了一个洞察技能表示,技能表示被视为计算红队测试过程中的技能评估阶段的一个重要组成部分。技能表示的背景下,证明了数独难题,真正的人类技能,在数独解决,随着他们的收购,计算表示在一个认知上合理的方式,通过使用前馈神经网络与反向传播,和监督学习。然后,将基于神经网络的技能与硬编码的约束传播计算数独求解器耦合,其中求解序列保持硬编码,并且技能通过神经网络表示。本文表明,修改后的求解器可以达到不同的熟练程度,这取决于通过神经网络获得的技能量。结果是令人鼓舞的发展更复杂的技能和技能获取模型,可用于一般框架相关的技能评估方面的计算红队测试。
2018-02-27 cs.LG cs.NE
Decoupling Meta-Reinforcement Learning with Gaussian Task Contexts and Skills
University of Electronic Science and Technology of China(电子科技大学);Sichuan Artificial Intelligence Research Institute(四川人工智能研究院)
针对离线元强化学习先验经验泛化不足的问题,本文提出DCMRL,通过对比任务上下文学习与GQ-VAE分别聚类并解耦上下文和技能潜空间,提升未知任务适应性能。
2023-12-11 cs.LG
Acquiring Diverse Skills using Curriculum Reinforcement Learning with Mixture of Experts
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(FZI信息技术研究中心)
针对强化学习中多样化技能学习困难的问题,本文提出Di-SkilL方法,通过专家混合将技能建模为上下文运动基元,并利用基于能量的模型实现自动课程学习,从而在机器人仿真任务中学习多样化且高性能的技能。
2024-06-10 cs.LG cs.RO
LISA: Learning Interpretable Skill Abstractions from Language
Stanford University(斯坦福大学)
在复杂的多任务环境中有效利用语言指令的学习策略是顺序决策中的一个重要问题。虽然可以直接以整个语言教学为条件,但这种方法可能会出现泛化问题。在我们的工作中,我们提出了\emph{Learning Interpretable Skill Abstractions (LISA)},一个分层的模仿学习框架,可以学习不同的,可解释的原始行为或技能,从语言条件的演示,以更好地推广到看不见的指令。LISA使用矢量量化来学习与语言指令和学习策略的行为高度相关的离散技能代码。在导航和机器人操作环境中,LISA在低数据状态下优于强大的非分层决策Transformer基线,并且能够组合学习的技能来解决包含看不见的远程指令的任务。我们的方法展示了一种更自然的方式来处理顺序决策问题中的语言条件,并通过学习到的技能实现可解释和可控制的行为。
2022-12-06 cs.AI cs.CL cs.LG
Modeling Programming Skills with Source Code Embeddings for Context-aware Exercise Recommendation
Departamento de Informática Universidade Federal de Viçosa(信息学院弗拉门多大学);Instituto Federal de Minas Gerais(矿业联邦机构);Instituto de Ciências Matemáticas e de Computação Universidade de São Paulo(数学与计算机科学学院圣保罗大学);Departamento de Ciência da Computação Universidade Federal de Minas Gerais(计算机科学学院联邦矿业大学)
本文提出基于源代码嵌入的上下文感知推荐系统,通过建模学生编程技能以提高练习推荐的准确性。
2026-02-10 cs.LG
In-Context Policy Adaptation via Cross-Domain Skill Diffusion
本研究提出ICPAD跨域技能扩散框架,在无模型更新、有限目标域数据约束下,通过学习域无关原型技能与技能适配器,结合动态域提示实现长时序多任务策略快速适配,在机器人操作与自动驾驶任务上性能优于现有方法。
2025-09-04 cs.AI cs.LG cs.RO
SkillFormer: Skill-Decomposed Adaptation for Audio Language Models
Pusan National University(釜山国立大学);Shanghai Jiao Tong University(上海交通大学);Hanyang University(汉阳大学)
针对音频语言模型多技能联合训练中的干扰问题,提出SkillFormer,通过技能特定低秩适配器与学习路由器实现技能分解与动态组合,以不到4%的额外参数在三个基准上将平均准确率提升2.5至4.1个百分点。
2026-10-07 cs.LG cs.SD
Evolutionary Context Search for Automated Skill Acquisition
Institute of Science Tokyo, Japan(东京科学研究院)
进化上下文搜索通过进化方法发现非显而易见的上下文配对,显著提升模型性能,为自动化技能获取提供高效替代方案。
2026-02-18 cs.LG cs.NE
Specializing Versatile Skill Libraries using Local Mixture of Experts
Autonomous Learning Robots, KIT(卡尔斯鲁厄理工学院自主机器人学习实验室)
机器人领域的一个长期愿景是让机器人具备与人类相匹配的多功能性和精确性。例如,当打乒乓球时,机器人应该能够以各种方式将球返回,同时将其精确地放置在所需位置。对这种通用行为建模的常见方法是使用混合专家模型(MoE)模型,其中每个专家是上下文运动原语。然而,学习这样的MoE是具有挑战性的,因为大多数目标迫使模型覆盖整个上下文空间,这防止了原语的专门化,从而导致相当低质量的组件。从最大熵强化学习(RL)开始,我们将目标分解为优化每个混合成分的个体下限。此外,我们通过允许组件专注于本地上下文区域来引入课程,使模型能够学习高度准确的技能表示。为此,我们使用本地上下文分布,适应共同与专家原语。我们的下限主张迭代添加新的组件,其中新的组件将集中在当前MoE未覆盖的本地上下文区域。这种局部和增量式学习产生了具有高准确性和多功能性的模块化MoE模型,其中这两个属性都可以通过动态添加更多组件来缩放。我们证明了这一点,通过广泛的消融和两个具有挑战性的模拟机器人技能学习任务。我们比较我们所取得的性能LaDiPS和HiREPS,一个已知的分层策略搜索方法学习不同的技能。
2022-01-10 cs.LG cs.RO
Skill Machines: Temporal Logic Skill Composition in Reinforcement Learning
School of Computer Science and Applied Mathematics(计算机科学与应用数学系);University of the Witwatersrand(威特沃特斯兰德大学)
提出技能机器框架,通过先学习技能原语再逻辑与时序组合,实现零样本满足时序逻辑规范,并在表格、视频游戏和连续控制环境中验证有效性。
2024-03-16 cs.LG cs.LO
State Soup: In-Context Skill Learning, Retrieval and Mixing
IDEAS NCBR;IPPT PAN(波兰科学院物理化学研究所);Google Deepmind(谷歌DeepMind);Google(谷歌公司);Paradigms of Intelligence Team(智能范式团队)
本文提出将循环模型内部状态视为可存储、检索和线性混合的任务向量,在 Mamba-2.8b 上验证简单状态插值即可提升困惑度与上下文学习性能。
2024-06-12 cs.AI cs.LG
Learning to grok: Emergence of in-context learning and skill composition in modular arithmetic tasks
University of Maryland(马里兰大学);Meta AI
本研究通过模算术任务实验,发现GPT风格Transformer随预训练任务数量增加会从分布内泛化转向分布外泛化,最小模型需两个Transformer块,深层模型需早停,并揭示了注意力头与MLP中的结构化表示及算法转变。
2024-11-04 cond-mat.dis-nn cs.LG hep-th
A Boolean Task Algebra for Reinforcement Learning
School of Computer Science and Applied Mathematics(计算机科学与应用数学系);University of the Witwatersrand(金山大学)
组合学习技能以解决新任务的能力是终身学习代理的重要属性。在这项工作中,我们将任务的逻辑组成形式化为布尔代数。这使我们能够根据一组基本任务的否定、分离和结合来制定新的任务。然后,我们表明,通过学习面向目标的价值函数和限制的过渡动态的任务,代理可以解决这些新的任务,没有进一步的学习。我们证明,通过组成这些价值函数在特定的方式,我们立即恢复的最佳策略下的布尔代数表示的所有任务。我们验证我们的方法在两个域-包括一个高维的视频游戏环境,需要函数近似-代理首先学习一组基本技能,然后组成他们解决一个超指数数量的新任务。
2020-10-15 cs.LG stat.ML
Learn Basic Skills and Reuse: Modularized Adaptive Neural Architecture Search (MANAS)
Rutgers University(罗格斯大学)
人类的智能是能够先学习一些解决基本问题的基本技能,然后将这些基本技能组装成解决复杂或新问题的复杂技能。例如,基本技能“挖坑”、“放树”、“回填”和“浇水”组成了复杂技能“植树”。除此之外,一些基本的技巧可以被重用于解决其他问题。比如,“挖坑”这一基本功,不仅可以用来种树,还可以用来挖矿、挖沟、填埋。学习基本技能并将其重新用于各种任务的能力对人类来说非常重要,因为它有助于避免学习太多技能来解决每个单独的任务,并且可以通过学习几个基本技能来解决组成数量的任务,这节省了人类大脑中大量的内存和计算。我们认为,机器智能还应该捕捉学习基本技能并通过将其组合成复杂技能来重用它们的能力。在计算机科学语言中,每项基本技能都是一个“模块”,它是一个具有具体含义的可重用网络,执行特定的基本操作。这些模块被组装成一个更大的“模型”,用于执行更复杂的任务。组装过程适应于输入或任务,即,对于一个给定的任务,模块应该被组装成解决该任务的最佳模型。因此,不同的输入或任务可以有不同的组装模型,这使得自动组装AI(AAAI)成为可能。在这项工作中,我们提出了模块化自适应神经结构搜索(MANAS)来证明上述想法。在不同数据集上的实验表明,MANAS自适应结构的性能优于静态全局结构。进一步的实验和实证分析提供了见解MANAS的有效性。
2022-08-24 cs.AI cs.IR cs.LG
Skill-aware Mutual Information Optimisation for Generalisation in Reinforcement Learning
Harbin Institute of Technology(哈尔滨工业大学);University of Edinburgh(爱丁堡大学)
本文提出技能感知互信息(SaMI)及其估计器SaNCE,通过区分上下文嵌入来提升元强化学习智能体的零样本泛化能力,并在MuJoCo和Panda-gym基准上验证了其有效性及对样本减少的鲁棒性。
2024-11-06 cs.AI cs.LG cs.RO
MOCHA: Multi-Objective Chebyshev Annealing for Agent Skill Optimization
Adobe Research(Adobe研究院)
该研究提出MOCHA方法,通过切比雪夫标量化和指数退火解决智能体技能优化中的多目标问题,实现更优的帕累托前沿发现和性能提升。
2026-10-15 cs.AI cs.LG cs.SE