Conservative Query and Adaptive Regularization for Offline RL Under Uncertainty Estimation
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
针对离线强化学习面临的挑战，提出不确定性估计下的保守查询与自适应正则化框架，通过莫尔斯网络估计不确定性，采用保守查询策略与自适应正则化方案，与CQL集成并在D4RL基准测试，取得优异或有竞争力的性能。
2026-07-22 cs.LG
QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning
Tsinghua University（清华大学）；SenseTime Research（商汤科技研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Sun Yat-Sen University（中山大学）；Nanyang Technological University（南洋理工大学）
本文提出查询相关提示优化方法QPO，利用多环离线强化学习迭代微调小型预训练模型，根据输入查询生成定制化最优提示，在避免在线交互开销的同时显著提升大型目标LLM的提示效果与成本效益。
2025-05-30 cs.AI
Boosting Continuous Control with Consistency Policy
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
本文提出 CPQL，借助一致性模型将反向扩散轨迹映射为单步动作策略，并用 Q-Learning 实现准确策略改进，在离线与在线连续控制任务上达到 SOTA 且推理较 Diffusion-QL 提速近 45 倍。
2024-01-24 cs.LG
Predictive Coding for Boosting Deep Reinforcement Learning with Sparse Rewards
UC Berkeley（加州大学伯克利分校）
虽然深度强化学习的最新进展使机器人能够学习复杂的行为，但具有长期视野和稀疏奖励的任务仍然是一个持续的挑战。在这项工作中，我们提出了一个有效的奖励塑造方法，通过预测编码来解决稀疏奖励问题。通过离线学习预测表示并将这些表示用于奖励塑造，我们可以获得了解环境结构和动态的奖励信号。特别是，我们的方法通过提供奖励信号来实现更好的学习，这些奖励信号1）理解环境动态2）强调对学习最有用的特征3）通过奖励累积来抵抗学习表示中的噪声。我们证明了这种方法在从机器人操作到导航的不同领域中的有用性，并且我们表明，通过预测编码产生的奖励信号对于学习和手工制作的奖励一样有效。
2020-08-03 cs.AI cs.LG stat.ML
OPRIDE: Offline Preference-based Reinforcement Learning via In-Dataset Exploration
The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统认知与决策智能重点实验室）；Tsinghua University（清华大学）；Moonshot AI（月之暗面）；Amazon（亚马逊）；University of Arizona（亚利桑那大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
本文提出OPRIDE算法，通过改进探索策略和折扣调度机制提升离线偏好驱动强化学习的查询效率，实验表明其在多种任务中表现优异。
2026-02-19 cs.AI cs.LG
Boosting Direct Preference Optimization with Penalization
Pengwei Sun（Sun Pengwei）
提出DPOP，在DPO损失上增加对参考模型贪婪响应的门控惩罚，仅当当前策略对偏好响应概率低于拒绝响应时激活，在AlpacaEval 2.0上显著提升胜率。
2026-06-12 cs.AI cs.LG
DEAS: DEtached value learning with Action Sequence for Scalable Offline RL
KAIST（韩国科学技术院）；UC Berkeley（伯克利大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；NVIDIA（英伟达）
DEAS提出利用动作序列进行解耦值学习，解决离线强化学习长时程决策中的值高估问题，在OGBench及大规模VLA模型任务上显著提升性能。
2025-10-09 cs.AI cs.LG cs.RO
WISERouter: LLM Routing with Workload Budget Constraint
The University of British Columbia（英属哥伦比亚大学）
研究针对大规模使用LLMs成本高的问题，将LLM路由建模为约束上下文多臂老虎机问题，提出WISERouter框架，支持离线和在线学习。证明WR-Online有次线性遗憾界，实验表明WR-Offline性能超基线且更守预算，WR-Online用较少探索数据达可比性能。
2026-07-28 cs.AI cs.LG
One model Packs Thousands of Items with Recurrent Conditional Query Learning
Guangzhou University（广州大学）；Zhejiang University（浙江大学）；The University of Hong Kong（香港大学）
近年来的研究表明，神经组合优化（NCO）在布线等组合优化问题上具有传统算法无法比拟的优势，但在涉及相互制约的动作空间的装箱等复杂优化问题上，NCO的效率较低。在本文中，我们提出了一个递归条件查询学习（RCQL）方法来解决二维和三维包装问题。我们首先通过一个循环编码器嵌入状态，然后采用注意力从以前的行动的条件查询。条件查询机制填补了学习步骤之间的信息间隙，将问题塑造为马尔可夫决策过程。受益于递归，一个单一的RCQL模型是能够处理不同大小的包装问题。实验结果表明，RCQL可以有效地学习离线和在线的带包装问题（SPP）的强算法，在空间利用率上优于宽范围的基线。与最先进的方法相比，RCQL在离线2D 40盒病例中将平均箱间隙比降低了1.83%，在3D病例中降低了7.84%。同时，我们的方法也实现了5.64%的空间利用率高出1000个项目的SPP比最先进的。
2021-11-12 cs.AI cs.LG cs.NE
Iteratively Refined Behavior Regularization for Offline Reinforcement Learning
Tianjin University（天津大学）；University of Alberta（阿尔伯塔大学）
本文提出一种基于保守策略迭代的迭代细化行为正则化算法，通过逐步优化参考策略，实现样本内最优策略学习，并在D4RL基准上超越现有方法。
2023-10-17 cs.AI cs.LG
Offline Reinforcement Learning with Implicit Q-Learning
University of California, Berkeley（加州大学伯克利分校）
离线强化学习需要协调两个相互冲突的目标：学习一种策略，该策略改善了收集数据集的行为策略，同时最小化与行为策略的偏差，以避免由于分布偏移而导致的错误。这种权衡是至关重要的，因为大多数当前的离线强化学习方法需要在训练过程中查询看不见的动作的值以改进策略，因此需要将这些动作约束为分布，或者正则化它们的值。我们提出了一种离线RL方法，它永远不需要评估数据集之外的操作，但仍然能够通过泛化使学习的策略在数据中的最佳行为上得到实质性的改进。我们工作中的主要见解是，我们可以通过将状态价值函数视为随机变量来隐式地近似策略改进步骤，而不是评估来自最新策略的看不见的动作，其中随机性由动作确定（同时仍对动态进行整合，以避免过度乐观），然后取该随机变量的状态条件上期望值来估计该状态下最佳行动的值。这利用了函数近似器的泛化能力来估计给定状态下最佳可用动作的值，而无需直接查询具有该不可见动作的Q函数。我们的算法在拟合这个上限期望价值函数和将其备份到Q函数之间交替。然后，我们提取的政策，通过加权行为克隆。我们称我们的方法隐式Q学习（IQL）。IQL在D4RL上展示了最先进的性能，D4RL是离线强化学习的标准基准。我们还证明了IQL实现强大的性能微调使用离线初始化后的在线交互。
2021-10-12 cs.LG
FlowBank: Query-Adaptive Agentic Workflows Optimization through Precompute-and-Reuse
University of Maryland, College Park（马里兰大学哥伦比亚公园分校）；Amazon（亚马逊）
提出FlowBank框架，通过预计算多样化工作流并压缩为紧凑组合，在推理时自适应选择最优工作流，平衡性能与成本，在五个基准上平均得分最高且成本可控。
2026-06-11 cs.AI cs.CL cs.LG
OPAL: Offline Primitive Discovery for Accelerating Offline Reinforcement Learning
Google Brain（谷歌大脑）；UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）；Google Research（谷歌研究院）
强化学习（RL）在各种在线设置中取得了令人印象深刻的性能，其中代理查询环境的转换和奖励的能力实际上是无限的。然而，在许多实际应用中，情况正好相反：代理可以访问大量无定向的离线体验数据，而对在线环境的访问则受到严重限制。在这项工作中，我们专注于这种离线设置。我们的主要观点是，当呈现由各种行为组成的离线数据时，利用这些数据的有效方法是在使用这些原语进行下游任务学习之前提取连续空间的重复和时间扩展的原语行为。以这种方式提取的原语有两个目的：它们描述了数据支持的行为与不支持的行为，使它们有助于避免离线RL中的分布偏移;它们提供了一定程度的时间抽象，这降低了有效范围，从而在理论上产生更好的学习，并在实践中改进了离线RL。除了有利于离线策略优化，我们还表明，以这种方式执行离线原始学习也可以用于改善Few-Shot模仿学习以及在线RL中各种基准领域的探索和转移。可视化可在https://sites.google.com/view/opal-iclr上获得
2021-05-04 cs.LG
Augmenting Offline Reinforcement Learning with State-only Interactions
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出利用无奖励的仅状态在线交互，通过条件扩散模型生成高回报轨迹并与离线数据拼接增强，从而提升下游离线强化学习性能。
2024-10-02 cs.LG
Offline Inverse Reinforcement Learning
ANEO；Centre Borelli - ENS Paris-saclay（巴黎萨克雷高等师范学院博雷利中心）；Criteo AI Lab（科韬人工智能实验室）；Crest, ENSAE（法国国立统计与经济管理学院 Crest 研究中心）
离线RL的目标是在固定的探索性演示数据集可用并且不可能采样额外的观察结果时学习最佳策略（通常如果此操作成本高昂或引起伦理问题）。为了解决这个问题，现成的方法需要一个适当定义的成本函数（或其提供的数据集的评价），这是很少在实践中可用。为了规避这个问题，一个合理的替代方案是除了探索性数据集之外，还向专家询问一些最佳演示。然后，目标是学习最优策略w.r.t.专家的潜在成本函数目前的解决方案要么解决行为克隆问题（不利用探索性数据），要么解决强化模仿学习问题（使用固定成本函数，区分可用的探索性轨迹和专家轨迹）。IRL技术在在线环境中实现最先进的模仿性能的成功的启发，我们利用基于GAN的数据增强程序来构建第一个离线IRL算法。所获得的策略在多个OpenAI健身房环境中的表现优于上述解决方案。
2021-06-09 cs.LG
Boosting Offline Optimizers with Surrogate Sensitivity
Hanoi University of Science and Technology（河内科学技术大学）；National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）；Washington State University（华盛顿州立大学）
针对离线优化中代理模型在数据外预测不可靠的问题，提出可优化的敏感性度量方法和正则化器，广泛提升离线优化器性能。
2025-03-06 cs.LG
Latent-Variable Advantage-Weighted Policy Optimization for Offline RL
Tsinghua University（清华大学）；Stanford University（斯坦福大学）；Shenzhen Institute of Artificial Intelligence and Robotics for Society, CUHK Shenzhen（香港中文大学（深圳）深圳市人工智能与机器人研究院）
离线强化学习方法有望从预先收集的数据集中学习策略，而无需查询环境中的新转换。这种设置特别适合于连续控制机器人应用，对于这些应用，基于试错法的在线数据汇集成本高且可能不安全。在实践中，离线数据集通常是异构的，即，在各种情况下收集的数据，例如来自多个人类演示者或来自具有不同目的的策略的数据。不幸的是，这样的数据集可能会加剧数据底层的行为策略和要学习的最优策略之间的分布偏移，导致性能不佳。为了应对这一挑战，我们建议利用潜在变量的政策，可以代表更广泛的一类政策分布，从而更好地遵守训练数据分布，同时最大限度地提高回报通过政策的潜在变量。正如我们在一系列模拟运动，导航和操作任务上的经验表明，我们的方法被称为潜在变量加权策略优化（LAPO），在异构数据集上将下一个性能最佳的离线强化学习方法的平均性能提高了49%，在具有窄分布和有偏分布的数据集上提高了8%。
2022-03-16 cs.LG
Adaptive Q-Chunking for Offline-to-Online Reinforcement Learning
Peking University（北京大学）；Galbot；University of Toronto（多伦多大学）
本文提出自适应Q分块方法，通过动态选择不同分块大小的 critic 来解决离线到在线强化学习中的偏置问题，提升在 OGBench 和 Robomimic 上的性能。
2026-05-07 cs.LG cs.RO
Residual Networks Behave Like Boosting Algorithms
Faculty of Engineering and Information Technology（工程与信息技术学院）；University of Technology Sydney（悉尼科技大学）；Suncorp Group Limited（Suncorp集团有限公司）
我们证明了残差网络（ResNet）相当于提升特征表示，而无需对底层ResNet训练算法进行任何修改。证明了一个基于在线梯度提升理论的遗憾界，并指出ResNet可以通过神经网络的结构变化，在单位跳连接中加入收缩参数，并使用具有最大范数界的残差模块来实现在线梯度提升遗憾界。通过ResNet和Online Boosting之间的这种关系，可以基于改变残差模块来构建新的特征表示增强算法。我们通过提出决策树残差模块来构建一个新的提升决策树算法，并证明这两种方法的泛化误差界来证明这一点;放松BoostResNet算法中的约束，使其能够以核心外的方式进行训练。我们评估了有和没有收缩修改的卷积ResNet，以证明其有效性，并证明我们的在线提升决策树算法与最先进的离线提升决策树算法相当，而没有离线方法的缺点。
2019-09-25 cs.LG stat.ML
Low Rank Learning for Offline Query Optimization
University of Pennsylvania（宾夕法尼亚大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出 LimeQO 框架，利用低秩学习和主动学习以低开销进行离线查询优化，并设计 TCNN 进一步减少探索时间，在无 DBMS 假设下实现无回归保证。
2025-04-08 cs.DB cs.LG
Ricci-Filtration: Boosting Retrieval-Augmented Generation Reranker to Query-Answer Tasks by Discrete Ricci Flow
Tian Qin（田琴）；Wei-Min Huang（黄伟民）
提出基于离散曲率和Ricci流的几何重排序增强方法Ricci-Filtration，通过建模查询与检索块为网络并利用曲率过滤噪声块，显著提升RAG生成性能。
2026-06-16 cs.LG stat.ML
Stochastic Continuous Submodular Maximization: Boosting via Non-oblivious Function
City University of Hong Kong（香港城市大学）；Cainiao Network（菜鸟网络）
在本文中，我们重新审视随机连续次模最大化在离线和在线设置，这将有利于机器学习和运筹学领域的广泛应用。我们提出了一个提升框架，包括梯度上升和在线梯度上升。我们的方法的基本成分是一个新的非遗忘功能$F$来自一个因素揭示的优化问题，其任何固定点提供了一个$(1-e^{-γ})$ -近似的全局最大值的$γ$ -弱DR-次模块目标函数$f\in C^{1,1}_L(\mathcal{X})$。在离线情况下，提出了一种在$O(1/ε^2)$迭代后实现$(1-e^{-γ}-ε^{2})$ -逼近的Boosting梯度上升算法，提高了经典梯度上升算法的$(\frac{γ^2}{1+γ^2})$逼近比.在在线环境下，我们首次考虑了随机梯度反馈的对抗延迟，在此基础上，我们提出了一种具有相同非遗忘函数$F$的Boosting在线梯度算法。同时，我们验证了这种提升在线算法实现了$O(\sqrt{D})$的遗憾对$(1-e^{-γ})$ -近似的最佳可行的解决方案，在事后看来，其中$D$是梯度反馈的延迟之和。据我们所知，这是第一个结果，以获得$O(\sqrt{T})$遗憾对$(1-e^{-γ})$ -近似与$O(1)$梯度查询在每个时间步，当没有延迟存在，即，$D=T$。最后，数值实验证明了我们的助推方法的有效性。
2022-06-10 cs.LG math.OC
An Online Boosting Algorithm with Theoretical Justifications
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）；Department of Computer Science and Information Engineering, National Taiwan University（台湾大学计算机科学与信息工程学系）
我们研究了在线提升的任务-将在线弱学习者组合成在线强学习者。虽然批量提升具有良好的理论基础，但在线提升值得从理论角度进行更多的研究。在本文中，我们仔细比较了在线和批量boosting之间的差异，并提出了一个新的和合理的在线弱学习器的假设。基于这一假设，我们设计了一个在线的Boosting算法，通过适应离线SmoothBoost算法，密切匹配的假设，具有很强的理论保证。我们进一步解决的任务，决定弱学习者的数量，使用已建立的理论结果在线凸规划和预测专家的意见。在真实数据集上的实验表明，该算法与现有的在线boosting算法相比具有很好的性能。
2012-06-27 cs.LG stat.ML
MLCapsule: Guarded Offline Deployment of Machine Learning as a Service
Stanford University（斯坦福大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Max Planck Institute for Informatics（马克斯·普朗克计算机科学研究所）
随着机器学习（ML）技术的广泛使用，ML作为一种服务变得越来越受欢迎。在这种情况下，ML模型驻留在服务器上，用户可以通过API使用他们的数据查询它。然而，如果用户的输入是敏感的，那么将其发送到服务器是不可取的，有时甚至在法律上是不可能的。同样，服务提供者也不想通过将模型发送给客户机来共享模型，以保护其知识产权和按查询付费的业务模型。在本文中，我们提出了MLCapsule，这是一种将机器学习作为服务的有保护的离线部署。MLCapsule在用户端本地执行模型，因此数据永远不会离开客户端。同时，MLCapsule为服务提供商提供了与常用的服务器端执行相同的控制和安全级别。此外，MLCapsule适用于需要本地执行的离线应用程序。除了防止直接模型访问之外，我们还将安全的离线部署与对机器学习模型的高级攻击（如模型窃取、逆向工程和成员推断）的防御相结合。
2019-02-06 cs.AI cs.CR cs.LG
Optimizing Prompts for Large Language Models: A Causal Approach
School of Business, University of Connecticut（康涅狄格大学商学院）；Antai College of Economics and Management, Shanghai Jiao Tong University（上海交通大学安泰经济管理学院）
CPO通过因果推断方法优化提示设计，提升企业LLM在复杂查询中的鲁棒性，并降低提示优化的经济成本。
2026-02-02 cs.AI cs.LG
IP-Basis PINNs: Efficient Multi-Query Inverse Parameter Estimation
Department of Applied Mathematics University of Waterloo（应用数学系 温哥华大学）
提出IP-Basis PINNs元学习框架，通过离线训练基函数和在线轻量线性层，实现多查询逆问题的高效参数估计，显著加速并稳健处理稀疏噪声数据。
2025-09-08 cs.LG
Make Up Your Mind: The Price of Online Queries in Differential Privacy
Harvard University John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；Yale University（耶鲁大学）；Northeastern University College of Computer and Information Science（东北大学计算机与信息科学学院）
我们考虑的问题，回答查询的敏感数据集受到差分隐私。查询可以以三种方式之一从更大的可允许查询集合Q中进行对抗性选择，我们按照从最容易到最难回答的顺序列出：离线：查询一次全部被选择，并且差分私有机制在单个批次中回答查询。缐上：查询是一次选择的，但是该机制只以流式方式接收查询，并且必须在看到下一个查询之前回答每个查询。自适应：每次选择一个查询，并且该机制必须在选择下一个查询之前回答每个查询。特别地，每个查询可以取决于对先前查询给出的答案。许多差异私有机制在自适应模型中与在离线模型中一样有效。同时，差分隐私的大多数下限在离线设置中保持不变。这表明这三种模式可能是等效的。我们证明了这些模型实际上都是不同的。具体来说，我们表明，有一个家庭的统计查询，指数更多的查询，从这个家庭可以回答离线模型比在线模型。我们还展示了一个家庭的搜索查询，指数更多的查询，从这个家庭可以回答在线模型比自适应模型。我们还调查是否这样的分离可能会举行简单的查询，如阈值查询在真正的线。
2016-04-15 cs.CR cs.DS cs.LG
Boosting Search Engines with Interactive Agents
ETH Zurich（苏黎世联邦理工学院）；Google Research（谷歌研究院）
本文介绍了第一个成功的步骤，在设计搜索代理，学习元策略迭代查询细化信息搜索任务。我们的方法使用机器阅读来指导从聚合搜索结果中选择细化术语。然后，代理被赋予简单但有效的搜索操作符，对查询和搜索结果进行细粒度和透明的控制。我们开发了一种生成合成搜索会话的新方法，该方法通过（自）监督学习利用基于transformer的语言模型的功能。我们还提出了一个强化学习代理与动态约束的行动，从头开始学习交互式搜索策略。我们的搜索代理获得检索和答案质量性能与最近的神经方法相当，只使用传统的基于术语的BM 25排名功能和可解释的离散重新排名和过滤操作。
2022-06-07 cs.AI cs.CL cs.IR
Boosting Ray Search Procedure of Hard-label Attacks with Transfer-based Priors
Zhejiang University of Technology（浙江工业大学）；Binjiang Institute of Artificial Intelligence, ZJUT（浙江工业大学滨江人工智能研究院）；JQ Investments（JQ投资）
针对硬标签攻击中射线搜索查询代价高的问题，本文提出利用替代模型的迁移先验改进梯度估计，并在 ImageNet 和 CIFAR-10 上显著提升查询效率。
2025-07-23 cs.CR cs.CV cs.LG
HierCat: Hierarchical Query Categorization from Weakly Supervised Data at Facebook Marketplace
Meta；University of Minnesota（明尼苏达大学）
在像Facebook Marketplace这样的客户对客户电子商务平台上，由于搜索意图的复杂性、真实数据中的噪声以及跨语言的不平衡训练数据，查询分类具有挑战性。它的部署还需要考虑可扩展性和下游集成方面的挑战，以便将建模进展转化为更好的搜索结果相关性。在本文中，我们提出了HierCat，Facebook Marketplace的查询分类系统。HierCat通过利用双编码器架构的多任务预训练和分层推理步骤来有效地从从自适应参与挖掘的弱监督训练数据中学习，从而解决了这些挑战。我们表明，HierCat不仅在离线实验中优于流行的方法，而且在在线A/B测试中，NDCG提高了1.4%，Facebook Marketplace Search的用户参与度提高了4.3%。
2023-02-22 cs.AI cs.IR cs.LG
Hybrid Preference Optimization for Alignment: Provably Faster Convergence Rates by Combining Offline Preferences with Online Exploration
University of Washington（华盛顿大学）；Apple（苹果公司）
本文提出混合偏好优化（HPO），结合在线探索与离线偏好，放宽集中性条件并提高样本效率，首次给出混合RLHF的可证明最优理论界，证明其优于纯离线或纯在线方法。
2024-12-13 cs.LG
ZOOMER: Boosting Retrieval on Web-scale Graphs by Regions of Interest
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）
我们介绍ZOOMER，这是一个部署在中国最大的电子商务平台淘宝上的系统，用于在网络规模的图上训练和提供基于GNN的推荐。ZOOMER旨在解决淘宝海量用户数据带来的两个挑战：由于图的规模巨大而导致的低训练/服务效率，以及由于信息过载而导致的低推荐质量，这分散了推荐模型对特定用户意图的注意力。ZOOMER通过在GNN中引入一个关键概念，即用于推荐的感兴趣区域（ROI）来实现这一点，即，图中与强用户意图显著相关的邻域区域。ZOOMER缩小了整个图的焦点，并“放大”了更相关的ROI，从而降低了培训/服务成本，同时减轻了信息过载。通过精心设计的机制，ZOOMER识别每个推荐请求所表达的兴趣，通过对兴趣进行采样来构建ROI子图，并通过多层次注意力模块引导GNN对ROI的不同部分进行重新加权。作为一个大规模的分布式系统部署，ZOOMER支持具有数十亿个节点的图形进行训练，每秒可处理数千个请求。ZOOMER在缩小采样规模时实现了高达14倍的加速，与基线方法相比具有相当（甚至更好）的AUC性能。此外，离线评估和在线A/B测试都证明了ZOOMER的有效性。
2022-03-20 cs.AI cs.IR cs.LG
Semantic Caching for Low-Cost LLM Serving: From Offline Learning to Online Adaptation
University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）；The Chinese University of Hong Kong（香港中文大学）；City University of Hong Kong（香港城市大学）；Microsoft Research（微软研究院）
本文提出了一种基于学习的语义缓存框架，解决LLM服务中的缓存淘汰问题，通过离线优化和在线学习方法，在未知查询和成本分布下实现高效缓存管理。
2026-02-13 cs.LG
Learning Source Acquisition Policies by Offline Planning
Southeast University（东南大学）
本文提出O-MPAC方法，通过离线规划学习源获取策略，在预算约束下选择特征组，实验表明其在多个任务上优于现有方法。
2026-09-15 cs.LG
On the Query Strategies for Efficient Online Active Distillation
University of Verona（维罗纳大学）
本文评估多种查询策略，结合主动学习与在线蒸馏，在人体姿态估计数据集上验证了边缘轻量模型实时适应新环境的可行性。
2023-09-04 cs.CV cs.LG
Boosting One-Point Derivative-Free Online Optimization via Residual Feedback
Duke University（杜克大学）；The University of Utah（犹他大学）；The Ohio State University（俄亥俄州立大学）
零阶优化（ZO）通常依赖于两点反馈来估计目标函数的未知梯度。然而，两点反馈不能用于时变目标函数的在线优化，其中在每个时间步仅可能对函数值进行单个查询。在这项工作中，我们提出了一个新的一点反馈在线优化方法，估计目标函数梯度使用两个反馈点之间的残差在连续的时刻。此外，我们开发的遗憾界ZO与剩余反馈的凸和非凸在线优化问题。具体而言，对于确定性和随机性问题，Lipschitz和光滑的目标函数，我们表明，使用残差反馈可以产生梯度估计与传统的一点反馈方法相比，具有更小的方差。因此，我们的遗憾界更严格相比，现有的遗憾界与传统的一点反馈，这表明，ZO与剩余反馈可以更好地跟踪在线优化问题的优化器。此外，我们的遗憾界依赖于较弱的假设比传统的一点反馈方法。数值实验表明，ZO与剩余反馈显着优于现有的一点反馈方法在实践中也。
2020-12-03 cs.LG math.OC
Zero-Shot Heterogeneous Transfer Learning from Recommender Systems to Cold-Start Search Retrieval
Google Inc.（谷歌公司）
神经信息检索模型的许多最新进展，预测给定查询的前K项，直接从（查询，项）对的大型训练集学习。然而，当有许多以前看不见的（查询，项）组合时，它们通常是不够的，通常被称为冷启动问题。此外，搜索系统可能偏向于先前频繁显示给查询的项目，也称为“富人更富”（也称为“富人更富”）。反馈回路）问题。鉴于这些问题，我们观察到，大多数在线内容平台都有一个搜索和推荐系统，虽然有异构的输入空间，可以通过它们的公共输出项空间和共享的语义表示连接。在本文中，我们提出了一个新的Zero-Shot异构迁移学习框架，将学习到的知识从推荐系统组件，以改善搜索组件的内容平台。首先，它通过预测来自推荐系统的（项目，项目）相关图作为辅助任务来学习项目及其自然语言特征的表示。然后，学习的表示被转移到解决目标搜索检索任务，执行查询到项目预测，而无需在训练中看到任何（查询，项目）对。我们在世界上最大的搜索和推荐系统之一的谷歌进行在线和离线实验，并提出了结果和经验教训。我们证明了所提出的方法可以实现高性能的离线搜索检索任务，更重要的是，在高度优化的生产系统在在线实验中，实现了显着的改善相关性和用户交互。
2020-08-19 cs.IR cs.LG stat.ML
