Fill in the Blanks: Accelerating Q-Learning with a Handful of Demonstrations in Sparse Reward Settings
Faculty of Engineering University of Freiburg（工程学院弗赖堡大学）
针对稀疏奖励环境下强化学习反馈不足的难题，提出利用少量成功演示初始化价值函数、再通过在线交互优化的混合方法，可降低探索负担、提升样本效率并加速收敛，效果优于标准基线。
2025-10-28 cs.LG
Accelerating Exact Combinatorial Optimization via RL-based Initialization -- A Case Study in Scheduling
University of Utah（犹他大学）
针对数据流图调度这一NP难问题，提出两阶段RL到ILP的调度框架，结合RL粗粒度调度、解松弛与ILP精确求解，在保证最优性的同时实现最高128倍加速，性能优于商用EdgeTPU编译器。
2023-08-19 cs.AR cs.LG
Efficient Online Reinforcement Learning Fine-Tuning Need Not Retain Offline Data
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
本文提出Warm-start RL（WSRL）方法，通过预热阶段用少量预训练策略rollout重新校准离线Q函数，证明在线强化学习微调无需保留离线数据，且比现有算法学习更快、性能更高。
2025-07-02 cs.LG
Accelerating Self-Imitation Learning from Demonstrations via Policy Constraints and Q-Ensemble
深度强化学习（Deep Reinforcement Learning，DRL）为机器人控制策略的生成提供了新的途径。然而，训练控制策略的过程需要漫长的探索，导致强化学习（RL）在现实世界的任务中的低样本效率。模仿学习（IL）和示教学习（LfD）都通过使用专家示范来改进培训过程，但不完美的专家示范会误导政策改进。离线到在线强化学习需要大量离线数据来初始化策略，在线微调时分布偏移容易导致性能下降。针对上述问题，本文提出了一种示教学习方法A-SILfD，该方法将专家示教视为Agent的成功经验，并利用经验约束策略改进。此外，我们防止性能下降，由于大的估计误差的Q-函数的合奏Q-函数。我们的实验表明，A-SILfD可以显着提高样本效率使用少量的不同质量的专家演示。在四个Mujoco连续控制任务中，A-SILfD在经过150，000步在线训练后可以显著优于基线方法，并且在训练期间不会被不完美的专家演示所误导。
2022-12-07 cs.LG
ATraDiff: Accelerating Online Reinforcement Learning with Imaginary Trajectories
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出自适应轨迹扩散器ATraDiff，利用离线数据学习生成式扩散模型合成轨迹以增强在线强化学习，有效应对稀疏奖励和分布偏移问题，并在多种环境中取得最先进性能。
2024-06-06 cs.AI cs.CV cs.LG
AWAC: Accelerating Online Reinforcement Learning with Offline Datasets
UC Berkeley（加州大学伯克利分校）
强化学习（RL）为从经验中学习控制策略提供了一种有吸引力的形式。然而，RL的经典主动公式需要对每个行为进行漫长的主动探索过程，这使得它很难应用于现实世界的设置，如机器人控制。如果我们能够让强化学习算法有效地使用先前收集的数据来帮助在线学习过程，这样的应用程序就可以变得更加实用：先前的数据将提供一个起点，减轻探索和样本复杂性带来的挑战，而在线训练使智能体能够完善所需的技能。这样的先验数据可以构成专家演示或说明潜在有用的转变的次优先验数据。虽然许多现有方法已经使用最优演示来引导RL，或者已经使用次优数据来纯离线训练，但是仍然非常难以用离线数据训练策略并且实际上继续用在线RL进一步改进它。在本文中，我们分析了为什么这个问题是如此具有挑战性，并提出了一种算法，结合样本有效的动态规划与最大似然策略更新，提供了一个简单而有效的框架，能够利用大量的离线数据，然后快速执行RL策略的在线微调。我们表明，我们的方法，优势加权演员评论家（AWAC），使技能的快速学习与先前的演示数据和在线经验相结合。我们在模拟和真实世界的机器人领域展示了这些好处，包括用真正的多指手进行灵巧操作，用机器人手臂打开抽屉，以及旋转阀门。我们的研究结果表明，结合先验数据可以减少学习一系列机器人技能所需的时间，以实际的时间尺度。
2021-04-24 cs.LG cs.RO stat.ML
MOORL: A Framework for Integrating Offline-Online Reinforcement Learning
MOORL通过整合离线和在线强化学习，提升样本效率和探索能力，实现高效且可扩展的学习。
2025-12-22 cs.LG
Online Pre-Training for Offline-to-Online Reinforcement Learning
LG AI Research, Seoul, Republic of Korea.（LG人工智能研究所在韩国首尔）；School of Electrical Engineering, KAIST, Daejeon, Republic of Korea（韩国成均馆大学电气工程学院）；Department of XXX, University of YYY, Location, Country（YYY大学XXX系）；School of ZZZ, Institute of WWW, Location, Country（WWW研究所ZZZ学院）
本文提出OPT方法，通过引入在线预训练阶段训练专用的价值函数，解决离线到在线强化学习中分布偏移导致的价值估计不准确问题，在多个D4RL环境中实现约30%的性能提升。
2025-07-11 cs.LG
Optimistic Critic Reconstruction and Constrained Fine-Tuning for General Offline-to-Online RL
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文针对通用离线到在线强化学习问题，提出乐观评论家重建与约束微调方法，通过同时解决评估与改进不匹配并应对分布偏移，实现从任意离线方法到任意在线方法的稳定高效性能提升。
2024-12-25 cs.LG
Accelerating Proximal Policy Optimization Learning Using Task Prediction for Solving Environments with Delayed Rewards
Boston University（波士顿大学）；Worcester Polytechnic Institute（伍斯特理工学院）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）；Anduril Industries（安杜里尔工业公司）；Lehigh University（利哈伊大学）；University of Maryland（马里兰大学）
针对延迟奖励导致 PPO 性能下降的问题，提出融合离线专家策略与在线 PPO 的混合架构及 TWTL 奖励塑造，并给出理论保证和实验提升。
2024-12-05 cs.AI cs.LG
Small Dataset, Big Gains: Enhancing Reinforcement Learning by Offline Pre-Training with Model Based Augmentation
University of Florence（佛罗伦萨大学）；SEED – Electronic Arts（SEED – 艺电）
针对小规模低质量离线数据集导致离线预训练策略次优、在线强化学习性能下降的问题，提出基于世界模型的状态增强策略，可提升离线预训练效果，大幅减少在线微调的环境交互量。
2023-12-19 cs.AI cs.LG
Offline Reinforcement Learning with Implicit Q-Learning
University of California, Berkeley（加州大学伯克利分校）
离线强化学习需要协调两个相互冲突的目标：学习一种策略，该策略改善了收集数据集的行为策略，同时最小化与行为策略的偏差，以避免由于分布偏移而导致的错误。这种权衡是至关重要的，因为大多数当前的离线强化学习方法需要在训练过程中查询看不见的动作的值以改进策略，因此需要将这些动作约束为分布，或者正则化它们的值。我们提出了一种离线RL方法，它永远不需要评估数据集之外的操作，但仍然能够通过泛化使学习的策略在数据中的最佳行为上得到实质性的改进。我们工作中的主要见解是，我们可以通过将状态价值函数视为随机变量来隐式地近似策略改进步骤，而不是评估来自最新策略的看不见的动作，其中随机性由动作确定（同时仍对动态进行整合，以避免过度乐观），然后取该随机变量的状态条件上期望值来估计该状态下最佳行动的值。这利用了函数近似器的泛化能力来估计给定状态下最佳可用动作的值，而无需直接查询具有该不可见动作的Q函数。我们的算法在拟合这个上限期望价值函数和将其备份到Q函数之间交替。然后，我们提取的政策，通过加权行为克隆。我们称我们的方法隐式Q学习（IQL）。IQL在D4RL上展示了最先进的性能，D4RL是离线强化学习的标准基准。我们还证明了IQL实现强大的性能微调使用离线初始化后的在线交互。
2021-10-12 cs.LG
Do You Really Need to Pretrain Q-Functions for Online RL Fine-Tuning?
Stanford University（斯坦福大学）
本文针对在线RL微调是否需预训练Q函数的问题，发现预训练Q函数增益有限，提出IPE方法，在连续控制基准中使微调性能平均提升1.26倍。
2026-08-05 cs.LG
Uni-O4: Unifying Online and Offline Deep Reinforcement Learning with Multi-Step On-Policy Optimization
Shanghai Qi Zhi Institute（上海期智研究院）；Tsinghua University（清华大学）；Shanghai AI Lab（上海人工智能实验室）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本研究提出Uni-o4，通过统一在线策略目标实现离线和在线强化学习的无缝融合，利用集成策略和离线策略评估实现安全多步改进，在模拟和真实机器人任务中达到最先进性能。
2024-03-17 cs.LG cs.RO
Data-Augmented Game Starts for Accelerating Self-Play Exploration in Imperfect Information Games
本文提出数据增强游戏起始策略，通过离线数据采样加速策略梯度方法在不完全信息游戏中的探索，降低可利用性并提高策略效果。
2026-05-14 cs.AI cs.GT cs.LG
A Perspective of Q-value Estimation on Offline-to-Online Reinforcement Learning
The University of Sydney（悉尼大学）；SenseTime Computer Vision Group（商汤科技计算机视觉组）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；CUHK MMLab（香港中文大学多媒体实验室）；Institute for AI, Peking University（北京大学人工智能研究院）
该研究从Q值估计视角揭示离线到在线强化学习性能提升慢、微调不稳定的根源，提出扰动值更新和提高Q值更新频率的SO2方法，在基准环境中较现有最优方法最高提升83.1%性能。
2023-12-12 cs.AI cs.LG
Can Wikipedia Help Offline Reinforcement Learning?
The University of Tokyo（东京大学）；Yale University（耶鲁大学）；Google Brain（谷歌大脑）
由于缺乏大规模的现成数据集以及不同环境之间的可移植性差异很大，因此微调强化学习（RL）模型一直具有挑战性。最近的工作着眼于从序列建模的角度处理离线RL，由于引入了Transformer架构，结果有所改善。然而，当模型从头开始训练时，它的收敛速度很慢。在本文中，我们希望利用这种强化学习的公式作为序列建模，并研究在离线RL任务（控制，游戏）上进行微调时，预训练序列模型在其他领域（视觉，语言）上的可移植性。为此，我们还提出了技术，以提高这些域之间的传输。结果显示，在各种环境下，收敛速度和奖励方面的性能都有一致的提高，将训练速度提高了3- 6倍，并在使用维基百科预训练和GPT 2语言模型的各种任务中实现了最先进的性能。我们希望这项工作不仅能揭示利用通用序列建模技术和RL预训练模型的潜力，还能激发未来在完全不同领域的生成建模任务之间共享知识的工作。
2022-07-24 cs.AI cs.CL cs.LG
Accelerating Q-learning through Efficient Value-Sharing across Actions
Department of Computing Science, University of Alberta（阿尔伯塔大学计算机科学系）；Alberta Machine Intelligence Institute（阿尔伯塔人工智能研究所）；Meta
提出均值扩展层，通过跨动作共享值和学习低范数表示来加速动作值学习，在深度Q网络和隐分位数网络上提升Atari游戏性能并减少过估计。
2026-09-18 cs.AI cs.LG
SAFER: Data-Efficient and Safe Reinforcement Learning via Skill Acquisition
UC Irvine（加州大学欧文分校）；Google Research（谷歌研究院）
使用深度生成模型从离线演示中提取策略原语的方法在加速新任务的强化学习（RL）方面表现出了希望。直观地说，这些方法也应该有助于训练安全RL代理，因为它们强制使用有用的技能。然而，我们发现这些技术并不适合安全的策略学习，因为它们忽略了负面经验（例如，不安全或不成功），只关注积极的经验，这会损害他们安全地概括新任务的能力。相反，我们使用来自许多任务的演示的离线数据集上的原则性对比训练来建模latentsafetycontext，包括消极和积极的经验。使用这个后期变量，我们的RL框架，SAFEty skill pRiors（SAFER）提取特定于任务的安全原始技能，以安全并成功地推广到新任务。在推理阶段，使用SAFER训练的策略学习将安全技能组合到成功的策略中。我们从理论上描述了为什么SAFER可以执行安全的策略学习，并证明了它的有效性在几个复杂的安全关键的机器人抓取任务的启发游戏操作，其中SAFER优于国家的最先进的原始学习方法的成功和安全。
2022-06-30 cs.LG
Offline Exploration-Aware Fine-Tuning for Long-Chain Mathematical Reasoning
NLP Lab, School of Computer Science and Engineering, Northeastern University, Shenyang, China（东北大学计算机科学与工程学院自然语言处理实验室，中国沈阳）；Pattern Recognition Center, WeChat AI, Tencent Inc, China（腾讯公司微信人工智能部门模式识别中心，中国）
本文提出OXA微调方法，通过优化两个目标提升数学推理能力，实验显示在六个基准测试中OXA相比传统SFT在Pass@1和Pass@$k$上平均提升6和5分。
2026-03-17 cs.CL cs.LG
Accelerating Transient CFD through Machine Learning-Based Flow Initialization
NVIDIA Corporation（英伟达公司）
针对瞬态CFD仿真计算成本高的问题，提出基于机器学习的流场初始化方法，结合势流或均匀流的两种策略可将收敛时间缩短50%，且易集成到现有工作流，具备工业场景泛化能力。
2025-06-12 cs.LG physics.flu-dyn
Accelerating Vehicle Routing via AI-Initialized Genetic Algorithms
NVIDIA（英伟达）；Technion, Israel（以色列理工学院）
本文提出EARLI框架，用强化学习为遗传算法快速生成初始解，在相同解质量下将500地点车辆路径问题求解速度提升10倍，并验证了其对新城市配送数据的泛化能力。
2025-09-20 cs.LG cs.NE
Accelerating Reinforcement Learning with Learned Skill Priors
University of Southern California（南加州大学）；Department of Computer Science（计算机科学系）
智能代理在学习新任务时严重依赖先前的经验，但大多数现代强化学习（RL）方法从头开始学习每一项任务。利用先前知识的一种方法是将在先前任务中学到的技能转移到新任务中。然而，随着先前经验的增加，可转移技能的数量也在增加，这使得在下游学习期间探索全套可用技能变得具有挑战性。然而，直觉上，并不是所有的技能都应该以相同的概率进行探索;例如，关于当前状态的信息可以暗示哪些技能有希望进行探索。在这项工作中，我们建议通过学习先验知识来实现这种直觉。我们提出了一个深度潜变量模型，该模型联合学习技能的嵌入空间和离线代理经验的技能先验。然后，我们扩展了常见的最大熵RL方法，使用技能先验来指导下游学习。我们在复杂的导航和机器人操作任务上验证了我们的方法SPiRL（Skill-Prior RL），并表明学习的技能先验对于从丰富的数据集进行有效的技能转移至关重要。视频和代码可在https://clvrai.com/spirl上获得。
2020-10-22 cs.AI cs.LG cs.RO
Accelerating Robotic Reinforcement Learning via Parameterized Action Primitives
Carnegie Mellon University（卡内基梅隆大学）
尽管强化学习（RL）在构建通用机器人系统方面具有潜力，但由于在纯粹连续的动作空间中探索的困难，训练RL代理来解决机器人任务仍然具有挑战性。解决这个问题是一个活跃的研究领域，主要集中在通过更好的优化或更有效的探索来改进RL方法。另一个需要考虑改进的重要组件是RL算法与机器人的接口。在这项工作中，我们手动指定一个库的机器人动作原语（RAPS），参数化的参数，学习的RL策略。这些参数化原语具有表达性，易于实现，能够进行有效的探索，并且可以在机器人，任务和环境之间传输。我们进行了彻底的实证研究，在三个不同的领域与图像输入和稀疏的终端奖励具有挑战性的任务。我们发现，我们对动作界面的简单改变大大提高了学习效率和任务性能，无论底层RL算法如何，都显著优于从离线专家数据中学习技能的先前方法。https://mihdalal.github.io/raps/上的代码和视频
2021-10-28 cs.AI cs.CV cs.LG
Accelerating Visual Policy Learning with Sampling-Based Model Predictive Control
Yale University（耶鲁大学）；University of Sydney（悉尼大学）
提出采样引导策略搜索（SGPS），结合基于采样的模型预测控制与一阶策略优化，加速视觉策略学习，并在模拟及真实Go2机器人上实现零样本迁移。
2026-09-18 cs.AI cs.LG cs.RO
Accelerating exploration and representation learning with offline pre-training
McGill University（麦吉尔大学）；Quebec AI Institute (Mila)（魁北克人工智能研究所（Mila））；DeepMind（深度思维）
针对序列决策智能体在长视野任务中多步推理困难的问题，提出从单一离线数据集分别学习状态表示与辅助奖励模型，显著提升了NetHack基准的样本效率。
2023-03-31 cs.AI cs.LG
D5RL: Diverse Datasets for Data-Driven Deep Reinforcement Learning
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
针对现有离线RL基准性能饱和、难反映真实任务特性的问题，提出D5RL基准，基于真实机器人模型构建多源数据的操作与运动任务，支持离线RL及在线微调评估，助力相关算法研究。
2024-08-15 cs.LG cs.RO
Continual Task Learning through Adaptive Policy Self-Composition
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Jilin University（吉林大学）；Sun Yat-sen University（中山大学）；Nanyang Technological University（南洋理工大学）
针对离线强化学习中的持续学习挑战，提出基于结构的持续transformer模型CompoFormer，通过元策略网络自适应组合先前策略，有效缓解灾难性遗忘，在可塑性与稳定性间取得良好平衡。
2024-11-18 cs.AI cs.LG
Accelerating RL for LLM Reasoning with Optimal Advantage Regression
Harvard University（哈佛大学）；Boston University（波士顿大学）；Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）
提出两阶段政策优化框架A*-PO，通过离线估计最优价值函数和单次生成的最小二乘回归，加速LLM推理强化学习，在数学基准上性能竞争且训练时间减半、内存降低30%以上。
2025-05-27 cs.AI cs.LG
WOMBET: World Model-Based Experience Transfer for Robust and Sample-efficient Reinforcement Learning
Hybrid Robotics, UC Berkeley（混合机器人技术，伯克利大学）
提出WOMBET框架，通过源任务中学习世界模型并生成不确定性惩罚的离线数据，再结合自适应采样进行在线微调，实现鲁棒且样本高效的强化学习迁移。
2026-06-12 cs.AI cs.LG cs.RO
Understanding and Accelerating EM Algorithm's Convergence by Fair Competition Principle and Rate-Verisimilitude Function
为什么混合模型的期望最大化（EM）算法能够收敛？为什么不同的初始参数会导致不同的收敛困难？Q-L同步理论解释了观测数据的对数似然L和完全数据的对数似然Q是正相关的，我们可以通过最大化Q来达到最大化L。根据这一理论，确定性退火EM（DAEM）算法的作者努力消除局部极大值Q，以避免L的局部收敛。然而，本文证明了在某些情况下，Q可能而且应该减少L增加;缓慢或局部收敛的存在，只是因为小样本和不公平竞争。本文用婚姻竞争来解释不同的收敛困难，并提出了公平竞争原则（FCP）的初始化地图，以改善初始化。它使用率失真函数扩展的率逼真度函数来解释EM和改进的EM算法的收敛性。这种收敛性证明采用了Shannon等人用于分析率失真函数的变分和迭代法。初始化映射可以大大节省算法的运行时间的二进制高斯混合。FCP和初始化映射对复杂混合物是有用的，但还不够，我们需要进一步研究具体的方法。
2021-04-21 cs.AI cs.LG
Scaling Smart: Accelerating Large Language Model Pre-training with Small Model Initialization
Apple（苹果公司）
本文提出HyperCloning方法，通过使用预训练的小模型参数初始化大模型，在保留小模型功能与精度的同时显著减少大型语言模型预训练所需的GPU时间。
2024-09-20 cs.AI cs.CL cs.LG
OLLIE: Imitation Learning from Offline Pretraining to Online Finetuning
Tsinghua University（清华大学）；Zhongguancun Laboratory（中关村实验室）；University of Houston（休斯顿大学）；University of California, Davis（加州大学戴维斯分校）
本文提出离线到在线模仿学习方法OLLIE，通过同时学习近专家策略初始化和对齐的判别器初始化，解决现有方法因判别器随机性导致预训练知识遗忘的问题，在20项任务中显著提升性能与效率。
2024-05-30 cs.AI cs.LG
Schrödinger--Föllmer Actor--Critic: Diffusion Policy Improvement with Finite-Sample Analysis
Wuhan University（武汉大学）
提出SFAC方法，通过条件扩散和Doob h-变换实现KL正则化策略改进，结合极小极大评论家与SNIS估计漂移修正，并给出有限样本分析，在连续控制任务中优于离线初始化。
2026-11-10 cs.LG stat.ML
Reinforcement Twinning for Hybrid Control of Flapping-Wing Drones
Environmental and Applied Fluid Dynamics, von Karman Institute for Fluid Dynamics（环境与应用流体动力学，冯·卡门流体动力学研究所）；Department of Mechanical Engineering, Vrije Universiteit Brussel（机械工程系，自由大学布鲁塞尔）；Department of Electromechanical, Systems and Metal Engineering, Ghent University（机电系统与金属工程系，根特大学）；Aero-Thermo-Mechanics Laboratory, École Polytechnique de Bruxelles, Université Libre de Bruxelles（航空热力学力学实验室，布鲁塞尔理工学院，自由大学布鲁塞尔）；Experimental Aerodynamics and Propulsion Lab, Universidad Carlos III de Madrid（实验空气动力学与推进实验室，马德里卡洛斯三世大学）
提出一种混合无模型/基于模型的扑翼无人机控制方法，通过强化孪生算法结合强化学习与自适应数字孪生，利用迁移学习和策略裁判提升样本效率与控制鲁棒性。
2026-06-19 cs.LG cs.RO
SPQR: Controlling Q-ensemble Independence with Spiked Random Model for Reinforcement Learning
Seoul National University（首尔大学）；Hodoo AI Labs（Hodoo AI实验室）
本文针对深度强化学习中的高估偏差问题，基于随机矩阵理论提出了 spiked Wishart Q-ensemble 独立性正则化（SPQR），通过将独立性假设检验转化为谱分布间的 KL 散度，在多个在线和离线 RL 基准上优于基线算法。
2024-01-06 cs.AI cs.LG stat.ML
Decoupling KL and Trajectories: A Unified Perspective for SFT, DAgger, Offline RL, and OPD in LLM Distillation
Eastern Institute of Technology（东技术院）；The Hong Kong Polytechnic University（香港理工大学）；Shanghai Jiao Tong University（上海交通大学）；Thrust of Artificial Intelligence, The Hong Kong University of Science and Technology (Guangzhou)（人工智能 thrust，香港科学与技术大学（广州））
本文探讨了知识蒸馏中KL散度与轨迹之间的耦合问题，通过解耦两个轴向，提出了四种有效的蒸馏目标，并通过实验揭示了KL方向、前缀源和训练长度之间的权衡关系，提出了KL混合和熵门长度课程等实用方法。
2026-05-16 cs.AI cs.CL cs.LG
Quantifying Training Difficulty and Accelerating Convergence in Neural Network-Based PDE Solvers
Hong Kong University of Science and Technology（香港科技大学）；Shanghai Jiao Tong University（上海交通大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深港协同创新研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
该研究针对基于神经网络的PDE求解器训练难度大、精度有限的问题，通过核特征值分布与有效秩量化训练难度，发现PoU和VS初始化可提升有效秩以加速收敛，并经多框架实验验证了理论结论。
2024-10-08 cs.LG cs.NA math.NA
Never Too Late for Force: Accelerating VLA Post-Training with Reactive Force Injection
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；Southern University of Science and Technology（南方科技大学）；Noematrix Ltd.（诺玛矩阵有限公司）
研究针对预训练VLA策略在接触状态下表现不佳的问题，提出LIFT框架，通过嫁接反应式动作专家、注入力及结合在线DAgger循环，提升其在富含接触操作任务中的性能，且证明相关组件对稳健操作很重要。
2026-10-14 cs.AI cs.LG cs.RO
Learned Structure in Cartridges: Keys as Shareable Routers in Self-Studied Representations
本文首次从机制层面揭示Cartridge学习到的KV缓存结构，证明其键向量是稳定可共享的检索路由器、压缩主要发生在值向量中，并提出采样块初始化（SCI）加速收敛，为长上下文LLM推理的KV缓存压缩优化奠定基础。
2025-11-07 cs.LG
Accelerating Inverse Learning via Intelligent Localization with Exploratory Sampling
Intuit AI Research（Intuit AI研究院）；Walmart Global Tech（沃尔玛全球技术）；Georgia Institute of Technology（佐治亚理工学院）
在“人工智能科学”的范围内，解决逆问题是材料和药物发现中的一个长期挑战，其目标是确定给定一组理想属性的隐藏结构。最近提出了深度生成模型来解决逆问题，但这些模型目前使用昂贵的前向算子，并且难以精确定位精确解并充分探索参数空间而不会丢失解。在这项工作中，我们提出了一种新的方法（称为iPage），通过利用深度可逆模型的概率推理和通过快速梯度下降的确定性优化来加速逆学习过程。给定目标属性，学习的可逆模型提供了参数空间的后验;我们将这些后验样本识别为智能先验初始化，这使我们能够缩小搜索空间。然后，我们执行梯度下降来校准局部区域内的逆解。同时，对潜在空间进行空间填充采样，以更好地探索和捕获所有可能的解决方案。我们在三个基准任务和两个创建的数据集上评估了我们的方法，这些数据集具有来自量子化学和增材制造的实际应用，并发现我们的方法与几种最先进的基线方法相比具有更好的性能。iPage代码可在https://github.com/jxzhangjhu/MatDesINNe上获得。
2022-12-02 cs.AI cs.LG
ReLATE: Accelerating Tensor Decomposition via Safe and Efficient Learning of Sparse Encodings
Intel Corporation（英特尔公司）；University of Erlangen-Nürnberg（埃尔兰根-纽伦堡大学）；University of Oregon（俄勒冈大学）
ReLATE是一种学习增强框架，通过混合强化学习算法发现安全高效的稀疏编码，可在低开销下加速张量分解，在真实稀疏张量上较专家设计格式最高提速2倍。
2026-08-28 cs.DC cs.LG cs.PF
iCVI-ARTMAP: Accelerating and improving clustering using adaptive resonance theory predictive mapping and incremental cluster validity indices
Guise AI, Inc.（Guise AI 公司）；Applied Computational Intelligence Laboratory, Missouri University of Science and Technology（密苏里科技大学应用计算智能实验室）
提出了一种自适应共振理论预测映射（ARTMAP）模型，即iCVI-ARTMAP，该模型采用增量聚类有效性指数（iCVI）进行无监督学习。将iCVI扩展到ARTMAP的决策和多对一映射能力可以改善样本被递增分配到的聚类的选择。这些改进是通过智能地执行以下操作来实现的：在聚类之间交换样本分配、拆分和合并聚类，以及在需要重新计算iCVI值时缓存变量的值。使用递归公式使iCVI-ARTMAP能够大大减少与基于聚类有效性指数（CVI）的离线聚类相关的计算负担。根据iCVI和数据集的不同，它可以实现比使用批量CVI计算时短两个数量级的运行时间。在这项工作中，增量版本的Calinski-Harabasz，WB-指数，谢-贝尼，Davies-Bouldin，Pakhira-Bandyopadhyay-Maulik，和负熵增量集成到模糊ARTMAP。实验结果表明，在大多数合成基准数据集上，iCVI-ARTMAP算法的性能优于模糊自适应共振理论（ART）、双警戒模糊ART、kmeans、谱聚类、高斯混合模型和层次凝聚聚类算法。在对投影和由深度聚类模型生成的潜在空间进行聚类时，它在现实世界的图像基准数据集上也表现出竞争力。当然，iCVI-ARTMAP的性能取决于所选的iCVI及其对手头数据的适用性;幸运的是，它是一个通用模型，可以轻松嵌入其他iCVI。
2020-08-22 cs.LG cs.NE stat.ML
