Video PreTraining (VPT): Learning to Act by Watching Unlabeled Online Videos
OpenAI(OpenAI(开放人工智能研究中心));University of British Columbia(不列颠哥伦比亚大学)
在嘈杂的互联网规模的数据集上进行预训练已经被大量研究,作为一种训练模型的技术,该模型具有广泛的文本,图像和其他形式的一般能力。然而,对于许多顺序决策领域,如机器人,视频游戏和计算机使用,公开可用的数据不包含以相同的方式训练行为先验所需的标签。我们通过半监督模仿学习将互联网规模的预训练范式扩展到顺序决策域,其中代理通过观看在线未标记的视频来学习采取行动。具体来说,我们表明,使用少量的标记数据,我们可以训练一个逆动力学模型,该模型足够准确,可以标记大量未标记的在线数据源-这里,人们玩Minecraft的在线视频-然后我们可以训练一般行为先验。尽管使用本机人机界面(鼠标和键盘在20赫兹),我们表明,这种行为先验具有非平凡的zero-shot能力,它可以微调,与模仿学习和强化学习,硬探索任务,是不可能从头开始学习通过强化学习。对于许多任务,我们的模型表现出人类水平的性能,我们是第一个报告可以制作金刚石工具的计算机代理,这可能需要熟练的人类超过20分钟(24,000个环境动作)的游戏才能完成。
2022-06-23 cs.AI cs.LG
Universal priors: solving empirical Bayes via Bayesian inference and pretraining
Courant Institute of Mathematical Sciences, NYU(纽约大学Courant数学科学研究所);Center for Data Science, NYU(纽约大学数据科学中心);Department of EECS, MIT(麻省理工学院电子工程与计算机科学系)
本文从理论上证明,在合成数据上预训练的Transformer能通过后验收缩自适应未知测试分布,实现经验贝叶斯问题的近最优遗憾界。
2026-06-23 cs.LG stat.ML
Urban In-Context Learning: Bridging Pretraining and Inference through Masked Diffusion for Urban Profiling
针对城市画像中两阶段范式依赖任务特定微调的问题,提出城市上下文学习框架,通过掩码扩散Transformer和表示对齐机制统一预训练与推理,在两个城市三项指标上优于最先进两阶段方法。
2025-08-05 cs.LG
Pretraining Data Exposure in Large Language Models: A Survey of Membership Inference, Data Contamination, and Security Implications
Japan Advanced Institute of Science and Technology(日本先进科学研究院)
本文首次统一综述了大型语言模型中的预训练数据暴露问题,涵盖成员推断和数据污染,形式化定义了暴露级别,回顾了攻击与防御方法,并总结了实证发现及未来研究方向。
2026-05-21 cs.AI cs.CL cs.LG
SLoPe: Double-Pruned Sparse Plus Lazy Low-Rank Adapter Pretraining of LLMs
Google DeepMind(谷歌DeepMind);University of Toronto(多伦多大学);Rutgers University(罗格斯大学)
SLoPe是一种LLM预训练方法,通过在预训练末期加入低秩适配器并采用双重剪枝反向传递,在提升稀疏模型准确率的同时加速训练与推理并降低内存占用。
2025-01-25 cs.AI cs.LG
Self-Supervised Pretraining Improves Performance and Inference Efficiency in Multiple Lung Ultrasound Interpretation Tasks
University of Waterloo(滑铁卢大学)
本研究验证了自监督预训练能提升多任务肺部超声分类的AUC并显著降低推理时间,尤其在低标签场景下优势明显。
2023-09-05 cs.CV cs.LG
NarrowBERT: Accelerating Masked Language Model Pretraining and Inference
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本文提出 NarrowBERT,通过让自注意力查询和前馈层仅处理被掩码 token 来稀疏化 transformer 编码器,从而将预训练吞吐量提升逾 2 倍、推理吞吐量最高提升 3.5 倍,并在多项 NLU/NER 任务上保持接近 BERT 的性能。
2023-06-05 cs.CL cs.LG
CLA: Latent Alignment for Online Continual Self-Supervised Learning
University of Pisa(意大利比萨大学);Computer Vision Center (CVC)(计算机视觉中心)
针对在线持续学习缺乏SSL技术的问题,提出CLA策略,通过将当前与过去表示对齐来缓解遗忘,加速收敛并在同等预算下超越SOTA,且作为早期预训练协议优于完全i.i.d.预训练。
2025-07-15 cs.CV cs.LG
Test-Time Scaling Makes Overtraining Compute-Optimal
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Stanford University(斯坦福大学)
本文提出Train-to-Test(T²)扩展定律,通过联合优化模型大小、训练token和推理样本数,在固定端到端预算下提升性能,发现考虑推理成本时最优预训练决策进入过训练区域,验证了其在现代部署中的有效性。
2026-04-01 cs.CL cs.LG stat.ML
AC-ODM: Actor--Critic Online Data Mixing for Sample-Efficient LLM Pretraining
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学)
提出AC-ODM方法,从强化学习视角优化预训练数据混合,通过参数化策略实现梯度构造性干扰最大化,支持代理与非代理两种模式,显著提升收敛速度和下游任务准确率。
2026-06-16 cs.AI cs.LG
Do You Really Need to Pretrain Q-Functions for Online RL Fine-Tuning?
Stanford University(斯坦福大学)
本文针对在线RL微调是否需预训练Q函数的问题,发现预训练Q函数增益有限,提出IPE方法,在连续控制基准中使微调性能平均提升1.26倍。
2026-08-05 cs.LG
Online but Accurate Inference for Latent Variable Models with Local Gibbs Sampling
Technicolor(特艺集团);INRIA(法国国家信息与自动化研究所)
我们研究大规模潜变量模型中的参数推断。我们首先提出了一个统一的治疗在线推理的潜变量模型从一个非典型的指数家庭,并绘制明确的链接之前提出的几个频率或贝叶斯方法。然后,我们提出了一种新的推理方法的频率估计的参数,适应MCMC方法在线推理的潜变量模型与适当使用的本地吉布斯抽样。然后,对于潜在的Dirich-let分配,我们提供了一组广泛的实验和与现有工作的比较,我们的新方法优于所有以前提出的方法。特别是,使用吉布斯抽样潜变量推理优于变分推理的测试对数似然。此外,贝叶斯推理通过变分方法执行差,有时会导致更高维度的潜在变量更差的拟合。
2018-01-31 cs.LG stat.ML
Online Inference for Quantile Distributional Reinforcement Learning
School of Mathematical Sciences, Peking University(北京大学数学科学学院);Yau Mathematical Sciences Center, Tsinghua University(清华大学丘成桐数学科学中心)
本文针对分布强化学习的分位数时间差分学习,建立同步与异步QTD的函数中心极限定理,提出无需存储完整轨迹的在线推断方法,实现高效统计推断。
2026-10-19 cs.LG stat.ML
Efficient Online Data Mixing For Language Model Pre-Training
University of California, Santa Barbara(加州大学圣巴巴拉分校);University of Toronto(多伦多大学);Vector Institute(向量研究所)
针对预训练数据选择成本高、固定混合比例难适应训练动态的问题,提出基于多臂老虎机的在线数据混合算法ODM,在几乎不增加训练时间的前提下减少19%迭代并提升MMLU性能。
2023-12-09 cs.CL cs.LG
Combining Offline Causal Inference and Online Bandit Learning for Data Driven Decision
The Chinese University of Hong Kong(香港中文大学);Tencent(腾讯);Chongqing University(重庆大学)
对于拥有大量记录数据的公司来说,一个基本问题是:如何将这些记录数据与传入的流数据一起使用,以做出正确的决策?许多公司目前通过在线A/B测试做出决策,但在测试过程中的错误决策会伤害用户体验并造成不可逆转的损害。一个典型的替代方案是离线因果推理,它只分析记录的数据来做出决策。然而,这些决策并不适应新的传入数据,因此错误的决策将不断损害用户的体验。为了克服上述限制,我们提出了一个框架来统一离线因果推理算法(例如,加权,匹配)和在线学习算法(例如,UCB、LinUCB)。我们提出了新的算法,并通过“遗憾”的概念,得出的决策精度的界限。我们推导出基于森林的在线强盗算法的第一个后悔上界。两个真实数据集上的实验表明,我们的算法优于其他算法,只使用日志数据或在线反馈,或算法不正确使用的数据。
2020-11-07 cs.LG stat.ML
Online Policy Learning and Inference by Matrix Completion
Hong Kong University of Science and Technology(香港科技大学);University of Michigan(密歇根大学)
针对缺乏个性化协变量的在线决策问题,提出矩阵补全bandit框架,结合$\varepsilon$-greedy策略与在线梯度下降进行两阶段策略学习,并开发基于逆倾向加权的在线去偏推断方法,在旧金山停车定价项目中表现优于基准策略。
2024-12-19 cs.LG stat.ML
Statistical Inference for Online Decision Making via Stochastic Gradient Descent
Department of Statistics, North Carolina State University(北卡罗来纳州立大学统计系)
在线决策旨在通过个性化决策和递归更新决策规则来学习最优决策规则。在大数据的帮助下,这变得比以前更容易,但新的挑战也随之而来。由于决策规则应该每步更新一次,因此使用所有历史数据的离线更新在计算和存储方面是低效的。为此,我们提出了一个完全在线的算法,可以通过随机梯度下降在线决策和更新决策规则。它不仅是有效的,而且支持各种参数奖励模型。针对在线决策的统计推断问题,建立了算法产生的参数估计量和用于估计最优值的在线逆概率加权值估计量的渐近正态性。在线插件估计的参数和值估计的方差也被提供,并显示是一致的,使区间估计和假设检验是可能的,使用我们的方法。通过仿真和新闻文章推荐的实际数据应用,对所提出的算法和理论结果进行了测试。
2020-10-14 cs.LG stat.ML
BLaST: High Performance Inference and Pretraining using BLock Sparse Transformers
ETH Zurich(苏黎世联邦理工学院);Fujitsu Pvt. Ltd.(Fujitsu私人有限公司)
BLaST通过块稀疏化方法高效剪除Transformer线性层冗余权重,实现高达95%稀疏度、精度损失极小,并显著提升推理速度与降低内存及成本。
2025-10-26 cs.DC cs.LG
An Explanation of In-context Learning as Implicit Bayesian Inference
Stanford University(斯坦福大学)
大语言模型(LMs),如GPT-3,具有令人惊讶的上下文学习能力,其中模型仅通过由输入-输出示例组成的提示来学习完成下游任务。LM从这些示例中学习,而无需明确地预先训练学习。因此,目前还不清楚是什么使上下文学习。在本文中,我们研究了如何上下文学习可以出现时,预训练文档具有长程一致性。在这里,LM必须推断潜在的文档级概念,以在预训练期间生成连贯的下一个标记。在测试时,当LM也推断提示中的示例之间的共享潜在概念时,上下文学习发生。我们证明了这种情况发生时,尽管提示和预训练数据之间的分布不匹配的设置中,预训练分布是一个混合的障碍。与用于训练具有上下文学习能力的LM的杂乱大规模数据集相比,我们生成了一个小规模合成数据集(GINC),其中Transformers和LSTM都表现出上下文学习。除了理论之外,GINC的实验还展示了大规模的现实世界现象,包括模型缩放(尽管有相同的预训练损失),对示例顺序的敏感性,以及zero-shot优于Few-Shot上下文学习的实例。
2022-07-21 cs.CL cs.LG
Wasserstein-Splitting Gaussian Process Regression for Heterogeneous Online Bayesian Inference
Virginia Polytechnic Institute and State University(弗吉尼亚理工学院暨州立大学);U.S. Army Research Laboratory(美国陆军研究实验室)
高斯过程(Gaussian processes,GP)是一种著名的非参数贝叶斯推断技术,但对于大样本量,GP存在可扩展性问题,对于非平稳或空间异构数据,GP的性能会降低。在这项工作中,我们试图克服这些问题,通过(i)采用变分自由能近似的GP与在线期望传播步骤的串联操作;和(ii)引入一个本地分裂步骤,每当后验分布变化显着量化的Wasserstein度量超过后验分布,实例化一个新的GP。然后,随着时间的推移,这产生了稀疏GP的集合,其可以增量地更新,并且适应训练数据中的局部性、异质性和非平稳性。
2021-07-26 cs.LG stat.ML
Online Estimation and Inference for Robust Policy Evaluation in Reinforcement Learning
School of Mathematics, Shanghai University of Finance and Economics(上海财经大学数学学院);Stern School of Business, New York University(纽约大学斯特恩商学院);Daniels School of Business, Purdue University(普渡大学丹尼尔斯商学院)
针对强化学习中存在异常值污染和重尾奖励的问题,提出一种完全在线的鲁棒策略评估程序,建立估计量的 Bahadur 型表示并支持基于渐近分布的在线统计推断,经实验验证有效提升了在线策略评估的可靠性与通用性。
2025-03-01 cs.LG stat.ML
Self-supervised Synthetic Pretraining for Inference of Stellar Mass Embedded in Dense Gas
Center for Interdisciplinary Theoretical and Mathematical Sciences (iTHEMS) RIKEN(交叉学科理论与数学科学中心(iTHEMS)RIKEN);Department of Earth and Planetary Sciences(地球与行星科学系);Department of Astronomy(天文学系)
针对恒星形成区恒星质量估算难、监督学习所需高分辨率MHD模拟标注数据计算成本高的问题,提出用DINOv2在百万合成分形图上预训练视觉Transformer再迁移的方法,提升了恒星质量预测效果,还可实现无监督分割。
2025-10-28 astro-ph.GA astro-ph.IM cs.AI
Online Statistical Inference for Contextual Bandits via Stochastic Gradient Descent
New York University(纽约大学);University of Texas at Austin(得克萨斯大学奥斯汀分校);Purdue University(普渡大学)
本文提出了一种基于随机梯度下降的在线统计推断框架,通过逆概率权重提高估计效率,并分析了自适应数据收集对收敛速度的影响。
2026-01-21 cs.LG stat.ML
Model-Based Reinforcement Learning with Multi-Task Offline Pretraining
Shanghai Jiao Tong University(上海交通大学)
提出一种基于模型的强化学习方法,通过世界模型衡量任务相关性并利用相似性权重自适应迁移物理动力学知识和源动作演示,显著提升新任务的在线训练效率。
2024-06-05 cs.AI cs.LG cs.RO
Adaptive Training Distributions with Scalable Online Bilevel Optimization
Apple(苹果公司)
本文提出一种基于在线双层优化的算法,通过优先计算能改善目标分布损失的梯度来调整预训练数据分布,在部分情况下优于现有领域适应策略,并提供了适用性测试方法。
2023-11-20 cs.CL cs.LG
Pretraining Deep Actor-Critic Reinforcement Learning Algorithms With Expert Demonstrations
Tsinghua University(清华大学)
由于需要较少的在线仿真数据,因此已发现使用专家演示的预训练在加速深度强化学习算法的训练过程中是有用的。有些人使用监督学习来加快特征学习的过程,另一些人通过模仿专家演示来预训练策略。然而,这些方法是不稳定的,不适合演员-评论家强化学习算法。此外,一些现有的方法依赖于全局最优假设,这在大多数情况下是不正确的。在本文中,我们采用专家示范的行动者-批评强化学习框架,同时确保性能不受影响的事实,专家示范是不是全局最优的。我们从理论上推导出一种仅通过专家演示即可计算策略梯度和价值估计量的方法。我们的方法在理论上是可行的演员-评论家强化学习算法,预训练的政策和价值函数。将该方法应用于两种典型的actor-critic强化学习算法DDPG和ACER,实验结果表明,该方法不仅比没有预训练过程的RL算法性能更好,而且仿真效率更高.
2018-02-09 cs.AI cs.LG stat.ML
Replay on Demand: An Emergent Curriculum for Balancing Adaptation and Forgetting in Continued Pretraining
University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心);Helmholtz Munich(亥姆霍兹慕尼黑中心);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Thomson Reuters Foundational Research(汤森路透基础研究);Imperial College London(伦敦帝国理工学院);Technical University of Munich(慕尼黑工业大学)
本文提出按需重放(RoD)方法,根据模型学习动态动态分配重放样本,以平衡持续预训练中的适应与遗忘,无需预设重放比例,达到或优于固定重放基线和模型合并。
2026-10-01 cs.LG
Marginal and Joint Cross-Entropies & Predictives for Online Bayesian Inference, Active Learning, and Active Sampling
University of Oxford(牛津大学)
当我们只关注边际预测分布(边际预测)时,原则贝叶斯深度学习(BDL)并没有发挥出它的潜力。最近的工作突出了联合预测(贝叶斯)顺序决策的重要性,从理论和合成的角度。我们提供了更多的实际论据,立足于现实世界的应用,专注于联合预测:我们讨论在线贝叶斯推理,这将使我们能够作出预测,同时考虑到额外的数据,而无需再培训,我们提出了新的具有挑战性的评估设置使用主动学习和主动采样。这些设置的动机是检查边缘和联合预测,他们各自的交叉熵,以及他们在离线和在线学习的地方。它们比以前建议的更现实,建立在Wen等人的工作基础上。(2021)和Osband等人。(2022),并专注于评估在线监督环境中近似BNN的性能。然而,最初的实验,这些想法在高维参数空间与当前BDL推理技术的可行性提出了问题,我们建议的实验,可能有助于进一步阐明这些问题的实用性,目前的研究。重要的是,我们的工作突出了当前研究中以前未发现的差距,以及对更好的近似联合预测的需求。
2022-05-18 cs.LG stat.ML
Online Inference in Distributional Temporal-Difference Learning
Yau Mathematical Sciences Center, Tsinghua University(清华大学丘成桐数学科学中心);School of Statistics and Data Science, Shanghai University of Finance and Economics(上海财经大学统计与数据科学学院)
该研究针对固定策略下回报分布泛函的在线推断,通过非参数分布时序差分学习估计回报分布,证明了Polyak–Ruppert平均估计量的收敛性,为光滑泛函提供自举推断依据,并建立非光滑泛函的局部渐近理论以开展推断。
2026-10-19 cs.LG stat.ML
LEAP: Layer-wise Exit-Aware Pretraining for Efficient Transformer Inference
Walmart Inc.(沃尔玛公司)
LEAP通过分层退出感知预训练解决传统蒸馏与早退机制的兼容性问题,实现显著的推理加速与效率提升。
2026-05-01 cs.AI cs.CL cs.LG
Online Statistical Inference for Parameters Estimation with Linear-Equality Constraints
Texas Tech University(德州理工大学);North Dakota State University(北达科他州立大学);New Jersey Institute of Technology(新泽西理工学院)
随机梯度下降(SGD)和投影随机梯度下降(PSGD)是计算无约束和约束优化问题中模型参数的可扩展算法。与SGD相比,PSGD通过投影将其迭代值强制到约束参数空间中。本文从统计的角度研究了当真参数满足线性等式约束时,基于PSGD的估计的极限分布。我们的理论研究结果揭示了投影的PSGD为基础的估计的不确定性中发挥的作用。作为一个副产品,我们提出了一个在线的假设检验过程来测试线性等式约束。对合成数据的模拟研究和对真实世界数据集的应用证实了我们的理论。
2022-03-22 cs.LG stat.ML
Simulation Distillation: Pretraining World Models in Simulation for Rapid Real-World Adaptation
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Washington(华盛顿大学);FieldAI
本文提出SimDist框架,利用物理模拟器生成大量动作条件机器人经验,通过蒸馏结构先验提升世界模型性能,实现高效真实世界适应。
2026-05-12 cs.AI cs.LG cs.RO
AnimalCLAP: Taxonomy-Aware Language-Audio Pretraining for Species Recognition and Trait Inference
The University of Osaka(大阪大学);The University of Tokyo(东京大学);Institute of Science Tokyo(东京科学研究院)
AnimalCLAP通过整合生物层级信息,利用新的数据集和模型提升物种识别和特征推断性能,优于CLAP模型。
2026-03-23 cs.LG cs.SD
Zebra: In-Context Generative Pretraining for Solving Parametric PDEs
Sorbonne Université, CNRS, ISIR(索邦大学、国家科学研究中心、ISIR研究所);Naver Labs Europe(Naver欧洲实验室);Critéo AI Lab(Critéo人工智能实验室)
提出Zebra,一种生成式自回归Transformer,通过上下文学习在无需梯度适应的情况下求解参数化PDEs,展现出优越的适应性、鲁棒性和性能。
2025-06-26 cs.LG
VITaL Pretraining: Visuo-Tactile Pretraining for Tactile and Non-Tactile Manipulation Policies
Carnegie Mellon University(卡内基梅隆大学)
本文提出视觉-触觉预训练方法,证明在模仿学习中引入触觉预训练不仅能提升触觉策略性能,还能使非触觉策略在推理时不依赖触觉信息即可达到甚至超越视觉-触觉智能体的水平。
2024-09-26 cs.LG cs.RO
Megalodon: Efficient LLM Pretraining and Inference with Unlimited Context Length
AI at Meta(Meta人工智能部门);University of Southern California(南加州大学);Carnegie Mellon University(卡内基梅隆大学);University of California San Diego(加州大学圣迭戈分校)
提出无限上下文长度的高效序列架构 Megalodon,通过 CEMA、时间步归一化等组件改进 Mega,并在 7B、2T token 设置下取得优于 Llama2 基线的效率与中间损失。
2024-04-16 cs.CL cs.LG
Pretraining Reusable Inference Across Views with Synthetic Task Priors
Hong Kong Baptist University(香港浸会大学);Zhejiang University(浙江大学)
本文提出SIMPLE模型,将多视图推理预训练为可复用过程,在多视图与多组学基准上,其冻结变体具竞争力,轻量级适配器校准性能领先。
2026-08-20 cs.LG cs.MM
PROTO: Iterative Policy Regularized Offline-to-Online Reinforcement Learning
Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR))
PROTO 通过在标准 RL 目标中加入迭代演化的正则化项,以信赖域式更新逐步放宽约束,实现稳定且高效的离线到在线强化学习微调,并可与任意离线预训练方法对接。
2023-05-25 cs.AI cs.LG cs.RO
The Simulacrum: Decision-Theoretic Pretraining for Near-Optimal Time-Series Forecasting and Inference
Google(谷歌)
提出一种通过决策理论预训练学习时间序列估计器的神经网络框架,通过指定生成世界和决策目标,训练网络逼近最优决策规则,在零样本推断中实现近乎最优风险、偏差控制和均匀校准。
2026-06-29 cs.AI cs.LG stat.CO
Online Tensor Inference
New York University(纽约大学);Purdue University(普渡大学)
本文提出了一种低秩张量在线推断框架,利用随机梯度下降实现高效实时数据处理,并通过去偏差方法和谱表示工具提升统计推断性能。
2026-02-12 cs.LG stat.ME stat.ML
Online Statistical Inference in Decision-Making with Matrix Context
Daniels School of Business, Purdue University(普渡大学丹尼尔斯商学院)
本研究针对矩阵上下文在线决策问题,提出一种在线去偏推断方法,同时处理低秩结构偏差和自适应数据偏差,实现参数与最优策略值的渐近正态推断。
2025-04-18 cs.LG math.ST stat.ML
Online Adaptive Reinforcement Learning with Echo State Networks for Non-Stationary Dynamics
Department of Computer Science, Nagoya Institute of Technology(名古屋技术大学计算机科学系);Nagoya Institute of Technology(名古屋技术大学);International Research Center for Neurointelligence, The University of Tokyo(神经智能国际研究中心,东京大学)
本文提出基于回声状态网络的在线自适应强化学习框架,通过共振计算实现快速适应,适用于非平稳动态环境中的实时机器人控制。
2026-02-06 cs.LG
Continual Inference: A Library for Efficient Online Inference with Deep Neural Networks in PyTorch
Aarhus University(奥胡斯大学)
本文介绍了Continual Inference,一个在PyTorch中实现CINs的Python库,专为在线和批处理场景的高效推理设计,并提供了全面的实践指南、最佳实践和代码示例。
2022-04-07 cs.AI cs.LG
OCEAN: Online Task Inference for Compositional Tasks with Context Adaptation
Stanford University(斯坦福大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Nvidia(英伟达);California Institute of Technology(加州理工学院);University of Toronto(多伦多大学);Vector Institute(向量研究所)
现实世界的任务通常表现出一种组合结构,其中包含一系列更简单的子任务。例如,开门需要伸手、抓住、旋转和拉动门把手。这样的组合任务需要一个智能体对手头的子任务进行推理,同时相应地编排全局行为。这可以作为一个在线任务推理问题,其中当前的任务身份,表示的上下文变量,估计从代理的过去的经验与概率推理。先前的方法采用简单的潜在分布,例如,高斯,为整个任务建模单个上下文。然而,这种表述缺乏表现力来捕捉子任务的组成和过渡。我们提出了一个变分推理框架OCEAN进行组合任务的在线任务推理。OCEAN在联合潜在空间中对全局和局部上下文变量进行建模,其中全局变量表示任务所需的子任务的混合,而局部变量捕获子任务之间的转换。我们的框架支持基于任务结构的先验知识的灵活潜在分布,并且可以以无监督的方式进行训练。实验结果表明,OCEAN提供了更有效的任务推理与顺序上下文自适应,从而导致复杂的,多阶段的任务的性能提升。
2020-08-17 cs.AI cs.LG stat.ML
Online Bootstrap Inference For Policy Evaluation in Reinforcement Learning
Purdue University(普渡大学);UCLA(加利福尼亚大学洛杉矶分校);Yale University(耶鲁大学);Northwestern University(西北大学)
最近出现的强化学习产生了强大的统计推断方法的参数估计使用这些算法计算的需求。在线学习中的现有统计推断方法仅限于涉及独立采样观测的设置,而强化学习(RL)中的现有统计推断方法仅限于批量设置。在线自举是线性随机逼近算法中统计推断的一种灵活而有效的方法,但其在涉及马尔可夫噪声(如RL)的设置中的有效性还有待探索。在本文中,我们研究使用在线引导方法的统计推断在RL。特别是,我们专注于时间差(TD)学习和梯度TD(GTD)的学习算法,这本身是特殊的情况下的线性随机逼近马尔可夫噪声。该方法被证明是分布一致的统计推断的政策评估,并包括数值实验,以证明该算法的有效性,在统计推断任务在一系列真正的RL环境。
2022-06-28 cs.AI cs.LG math.ST
A Generalization Bound for Online Variational Inference
CREST, ENSAE, Institut Polytechnique de Paris(巴黎综合理工学院国立统计与经济行政学院 CREST);RIKEN Center for AI Project(理化学研究所人工智能项目中心)
贝叶斯推断提供了一个有吸引力的在线学习框架来分析序列数据,并提供了泛化保证,即使在模型不匹配和对手。不幸的是,精确的贝叶斯推断在实践中很少是可行的,并且通常采用近似方法,但是这样的方法保持了贝叶斯推断的泛化特性吗?在本文中,我们表明,这确实是一些变分推断(VI)算法的情况。我们认为一些现有的在线,回火VI算法,以及一个新的算法,并推导出其泛化界。我们的理论结果依赖于变分目标的凸性,但我们认为,该结果应持有更普遍的,目前的经验证据支持这一点。在本文中,我们的工作提出了理论上的理由,有利于在线算法依赖于近似贝叶斯方法。
2019-12-10 cs.LG math.ST stat.CO
A Granular Study of Safety Pretraining under Model Abliteration
Data and Web Science Group, University of Mannheim(曼海姆大学数据与网络科学组);Vision and AI Lab, Indian Institute of Science(印度科学院视觉与人工智能实验室);Carnegie Mellon University(卡内基梅隆大学);Max-Planck-Institute for Informatics, Saarland Informatics Campus(马克斯·普朗克信息研究所,萨尔兰信息校园)
该研究针对开放权重LLM推理阶段激活编辑可能削弱安全干预的问题,通过模型消融技术对SmolLM2-1.7B等20个系统开展细粒度评估,刻画了安全预训练组件的鲁棒性,量化了评判器选择的影响,并提出了整合推理编辑的安全评估协议。
2025-10-03 cs.CL cs.LG
Online MAP Inference and Learning for Nonsymmetric Determinantal Point Processes
Northwestern University(西北大学);Adobe Research(Adobe研究院);Intel Labs(英特尔实验室)
在本文中,我们介绍了在线和流式MAP推理和学习问题的非对称决定性点过程(NDPP)的数据点到达任意顺序和算法被限制为使用一个单一的通过数据以及次线性记忆。在线设置还有一个额外的要求,即在任何时间点维护有效的解决方案。为了解决这些新问题,我们提出了具有理论保证的算法,在几个真实世界的数据集上对其进行了评估,并表明它们的性能与最先进的离线算法相当,这些算法将整个数据存储在内存中并对其进行多次传递。
2021-11-29 cs.AI cs.DS cs.LG
Stabilizing Native Low-Rank LLM Pretraining
Concordia University, Montreal, Canada(Concordia 大学);Mila Quebec AI Institute, Montreal, Canada(Quebec AI 研究院);Sorbonne University, CNRS , Paris , France(Sorbonne 大学)
本文提出Spectron方法,通过谱归一化实现稳定原生低秩大语言模型预训练,显著提升推理效率并优化计算资源使用。
2026-07-17 cs.LG
Rethinking Data Curation in LLM Training: Online Reweighting Offers Better Generalization than Offline Methods
University of Cambridge(剑桥大学);OATML, University of Oxford(牛津大学OATML实验室);University of Toronto(多伦多大学);Shanghai Jiao Tong University(上海交通大学);Samsung AI Center(三星人工智能中心)
本文提出ADAPT框架,通过动态在线重加权提升模型泛化能力,实验显示其在指令微调和大规模预训练中优于传统离线方法。
2026-04-19 cs.AI cs.LG
When Dynamics Shift, Robust Task Inference Wins: Offline Imitation Learning with Behavior Foundation Models Revisited
University of Southern California(南加州大学)
本文提出了一种基于行为基础模型(BFM)的框架,通过将任务推断建模为鲁棒最小最大优化问题,以应对动态变化,从而在不修改预训练的情况下实现对最坏动态扰动的适应。该方法在动态变化下显著优于标准BFM和鲁棒离线模仿学习基线。
2026-05-16 cs.AI cs.LG
Fast and Robust Online Inference with Stochastic Gradient Descent via Random Scaling
Columbia University(哥伦比亚大学);Rutgers University(罗格斯大学);Seoul National University(首尔国立大学);McMaster University(麦克马斯特大学)
我们开发了一种新的方法在线推断的参数估计的Polyak-Ruppert平均过程的随机梯度下降(SGD)算法的向量。我们利用计量经济学中时间序列回归的见解,通过随机尺度构建渐近关键统计。我们的方法是完全可操作的在线数据,并严格支持的功能中心极限定理。我们提出的推理方法与现有方法相比具有几个关键优势。首先,检验统计量以仅SGD迭代的在线方式计算,并且可以在没有任何重新排序方法的情况下获得临界值,从而允许适合于大量在线数据的高效实现。其次,没有必要估计渐近方差和我们的推理方法被证明是强大的SGD算法在模拟实验中的调整参数的变化与合成数据。
2021-10-07 cs.LG econ.EM math.ST
AdaLRS: Loss-Guided Adaptive Learning Rate Search for Efficient Foundation Model Pretraining
ByteDance Inc.(字节跳动公司)
AdaLRS通过优化损失下降速度实现高效基础模型预训练,无需大量超参数调优,显著提升模型性能和鲁棒性。
2025-12-20 cs.CL cs.LG
Scaling Laws for Precision
Harvard University(哈佛大学);Stanford University(斯坦福大学);MIT(麻省理工学院);Databricks(Databricks公司);Carnegie Mellon University(卡内基梅隆大学)
针对当前缩放定律未考虑低精度训练推理影响的问题,本研究提出精度感知缩放定律,通过有效参数数量预测损失,统一量化规律并在大模型上验证,为计算最优训练提供指导。
2024-11-30 cs.CL cs.LG