Offline reinforcement learning with uncertainty for treatment strategies in sepsis
The Johns Hopkins University(约翰斯·霍普金斯大学)
基于指南的脓毒症和脓毒性休克的治疗是困难的,因为脓毒症是一种不同范围的危及生命的器官功能障碍,其病理生理学尚未完全了解。脓毒症的早期干预对患者的预后至关重要,但这些干预措施具有不良反应,并且经常过度使用。更大的个性化是必要的,因为没有一个单一的行动是适合所有患者。我们提出了一种新的强化学习应用,其中我们从数据中识别脓毒症治疗的最佳建议,估计其置信水平,并识别在训练数据中很少观察到的治疗方案。而不是一个单一的建议,我们的方法可以提出几种治疗方案。我们研究了学习的政策,发现强化学习对积极干预有偏见,因为死亡率和接受的治疗水平之间存在混杂关系。我们使用子空间学习来减轻这种偏见,并开发出可以在医疗保健应用中产生更准确的学习策略的方法。
2021-09-22 cs.AI cs.LG
Personalized Adaptation via In-Context Preference Learning
University of Toronto(多伦多大学);Stanford University(斯坦福大学)
本文提出偏好预训练Transformer(PPT),通过离线历史依赖训练与在线上下文学习两阶段实现个性化自适应,在上下文赌博机中优于现有方法并显著降低计算成本。
2024-10-17 cs.CL cs.LG
The Generalization Gap in Offline Reinforcement Learning
FAIR at Meta(Meta FAIR研究院);UCL(伦敦大学学院)
本文通过对比实验和首个基准,揭示离线学习算法在新环境中的泛化能力弱于在线RL,并发现数据多样性比规模更能提升泛化性能。
2024-03-15 cs.AI cs.LG
Non-Stationary Latent Bandits
Google Research(谷歌研究院)
推荐系统的用户经常表现在一个非固定的方式,由于他们的不断变化的喜好和口味随着时间的推移。在这项工作中,我们提出了一个实用的方法,快速个性化的非固定用户。关键的想法是将这个问题框定为潜在的强盗,其中用户行为的原型模型是离线学习的,用户的潜在状态是从其与模型的交互中在线推断的。我们称这个问题为一个非平稳的潜在的强盗。我们提出了汤普森采样算法的遗憾最小化在非平稳的潜在土匪,分析他们,并评估他们在现实世界的数据集。我们方法的主要优势在于它可以与丰富的离线学习模型相结合,这些模型可能会被错误指定,然后使用后验采样在线微调。通过这种方式,我们自然地结合了线下和在线学习的优势。
2020-12-01 cs.AI cs.LG
Behavioral Priors and Dynamics Models: Improving Performance and Domain Transfer in Offline RL
UC Berkeley(加州大学伯克利分校);Facebook AI Research(脸书人工智能研究院);University of Washington(华盛顿大学)
离线强化学习(Offline Reinforcement Learning,RL)的目标是从不完美的离线数据中提取接近最优的策略,而不需要额外的环境交互。从不同的离线数据集中提取策略有可能通过使训练过程更安全,更快,更简化来扩大RL的适用范围。我们研究如何提高离线RL算法的性能,其对离线数据质量的鲁棒性,以及其泛化能力。为此,我们引入了基于离线模型的RL与自适应行为先验(MABE)。我们的算法是基于这样的发现,动力学模型,支持内领域泛化,和行为先验,支持跨领域泛化,是互补的。当结合在一起时,它们大大提高了离线RL策略的性能和泛化能力。在广泛研究的D4RL离线RL基准测试中,我们发现MABE与先前的无模型算法和基于模型的算法相比具有更高的平均性能。在需要跨领域泛化的实验中,我们发现MABE优于先前的方法。我们的网站是https://sites.google.com/berkeley.edu/mabe。
2021-06-18 cs.LG
Multimodal Web Navigation with Instruction-Finetuned Foundation Models
The University of Tokyo(东京大学);Google DeepMind(谷歌DeepMind)
本文提出多模态网页导航智能体 WebGUM,通过联合微调指令语言模型和视觉编码器实现离线训练,在 MiniWoB 和 WebShop 等基准上显著超越现有方法,并公开 347K 条演示数据。
2024-02-25 cs.AI cs.LG stat.ML
Ensuring Safety in Automated Mechanical Ventilation through Offline Reinforcement Learning and Digital Twin Verification
School of Engineering, University of Warwick, Coventry, UK(沃里克大学工程学院,英国考文垂);School of Computer Science, Chongqing University, China(重庆大学计算机科学学院,中国);School of Computer Science and Technology, Hainan University, China(海南大学计算机科学与技术学院,中国);Institute for Computational Biomedicine, RWTH Aachen University, Germany(鲁姆哈根工业大学计算生物医学研究所,德国)
本文提出基于Transformer的保守Q学习框架,通过整合时间建模、保守正则化和数字孪生验证,实现安全高效的机械通气自动化。
2026-03-11 cs.LG
Towards Data-Driven Offline Simulations for Online Reinforcement Learning
Microsoft Azure AI(微软Azure人工智能部门);Microsoft Research NYC(微软研究院纽约分院);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
现代决策系统,从机器人到网络推荐引擎,都需要适应用户偏好、不断变化的环境甚至新的任务。然而,将动态学习代理(而不是固定策略)部署到生产系统中仍然很少见,因为它被认为是不安全的。使用历史数据来推理学习算法,类似于应用于固定策略的离线策略评估(OPE),可以帮助从业者评估并最终将此类自适应代理部署到生产环境中。在这项工作中,我们正式离线学习者模拟(OLS)的强化学习(RL),并提出了一种新的评估协议,衡量保真度和效率的模拟。对于具有复杂高维观测的环境,我们提出了一种半参数方法,该方法利用了潜在状态发现的最新进展,以实现准确有效的离线模拟。在初步的实验中,我们展示了我们的方法相比完全非参数基线的优势。重现这些实验的代码将在https://github.com/microsoft/rl-offline-simulation上提供。
2022-11-14 cs.LG
Occupancy Reward Shaping: Improving Credit Assignment for Offline Goal-Conditioned Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);The University of Hong Kong(香港大学);INFIFORCE Intelligent Technology(INFIFORCE智能技术);Princeton University(普林斯顿大学)
本文提出占用奖励塑造方法,通过提取世界模型中的时间信息,改进稀疏奖励下的信用分配问题,在13种长周期运动和操作任务中提升了2.2倍性能。
2026-04-22 cs.LG cs.RO
Weblica: Scalable and Reproducible Training Environments for Visual Web Agents
Apple(苹果公司)
Weblica提出一种可扩展且可重复的视觉网络代理训练框架,通过HTTP级缓存和LLM环境合成技术,实现大规模多样化的网络环境训练,其最佳模型在多个网络导航基准中表现优异。
2026-05-07 cs.AI cs.CV cs.LG
Beyond Reward: Offline Preference-guided Policy Optimization
Zhejiang University(浙江大学);Westlake University(西湖大学)
针对离线偏好强化学习中单独学习奖励函数的信息瓶颈问题,提出OPPO范式,通过双目标迭代优化直接建模轨迹与偏好,性能优于现有基准方法。
2023-06-09 cs.LG
AdaptArena: Evaluating Test-Time Personalization of Web Agents
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);ServiceNow Research(ServiceNow研究院);Université Laval(拉瓦尔大学)
AdaptArena通过隐含偏好推断评估Web代理的测试时个性化,发现性能差距大,强调推断与动作接地是关键挑战。
2026-09-30 cs.LG
Prototype-Aligned Federated Soft-Prompts for Continual Web Personalization
Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);Hunan University(湖南大学)
本文提出ProtoFed-SP框架,通过双时间尺度软提示实现隐私保护的持续个性化,提升NDCG和HR指标,降低遗忘率并保持准确性。
2026-03-29 cs.LG
Uni-O4: Unifying Online and Offline Deep Reinforcement Learning with Multi-Step On-Policy Optimization
Shanghai Qi Zhi Institute(上海期智研究院);Tsinghua University(清华大学);Shanghai AI Lab(上海人工智能实验室);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本研究提出Uni-o4,通过统一在线策略目标实现离线和在线强化学习的无缝融合,利用集成策略和离线策略评估实现安全多步改进,在模拟和真实机器人任务中达到最先进性能。
2024-03-17 cs.LG cs.RO
DeepEN: A Deep Reinforcement Learning Framework for Personalized Enteral Nutrition in Critical Care
Institute of Data Science(数据科学研究所);Saw Swee Hock School of Public Health, National University of Singapore, Singapore(Saw Swee Hock公共卫生学院,新加坡国立大学,新加坡);National University Hospital, Singapore(新加坡国立医院)
提出DeepEN框架,利用深度强化学习从电子健康记录中学习个性化肠内营养方案,在MIMIC-IV数据集上相比临床实践降低绝对死亡率4.0个百分点。
2026-05-25 cs.AI cs.LG
Guided Flow Policy: Learning from High-Value Actions in Offline Reinforcement Learning
Inria and DI-ENS, PSL Research University(Inria和DI-ENS,PSL研究大学);Sorbonne Université, CNRS, ISIR, France(索邦大学,CNRS,ISIR,法国)
引导流策略通过结合多步流匹配与提炼的演员,有效区分高价值动作,从而在多个基准测试中实现卓越性能。
2026-03-05 cs.AI cs.LG
Q-Transformer: Scalable Offline Reinforcement Learning via Autoregressive Q-Functions
Google DeepMind(谷歌DeepMind)
提出 Q-Transformer 方法,利用 Transformer 对离散化动作维度的 Q 值进行自回归序列建模,实现从大型离线数据集中训练多任务策略,在真实机器人操作任务上优于现有离线 RL 和模仿学习算法。
2023-10-17 cs.AI cs.LG cs.RO
Learning from Visual Observation via Offline Pretrained State-to-Go Transformer
BAAI(北京智源人工智能研究院);PKU(北京大学)
提出两阶段框架,离线预训练STG变换器预测演示转移,为强化学习提供内在奖励,在Atari和Minecraft上超越基线,部分任务媲美环境奖励策略。
2023-06-22 cs.CV cs.LG
Datasets and Benchmarks for Offline Safe Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Google Deepmind(谷歌DeepMind)
本文提出一套离线安全强化学习综合基准套件,含安全策略、D4RL风格数据集、基线算法实现,经大量实验评估基线性能,为安全关键场景的相关研究提供资源支持。
2023-06-16 cs.AI cs.LG cs.RO
Noisy-Space Policy Gradient for Diffusion Policies in Offline Reinforcement Learning
TRATON CV AB(特拉顿CV公司);KTH Royal Institute of Technology(瑞典皇家理工学院)
针对扩散策略与强化学习整合的挑战,提出噪声空间Q函数和策略梯度(NSPG),通过KL正则化回归形式优化噪声潜在变量,在D4RL和OGBench基准上验证了有效性。
2026-09-09 cs.AI cs.LG cs.RO
What Matters in Learning from Offline Human Demonstrations for Robot Manipulation
Stanford University(斯坦福大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
模仿人的演示是赋予机器人各种操作能力的一种很有前途的方法。虽然最近在模仿学习和批量(离线)强化学习方面取得了进展,但缺乏开源的人类数据集和可重复的学习方法使得评估该领域的状态变得困难。在本文中,我们进行了广泛的研究,六个离线学习算法机器人操作的五个模拟和三个真实世界的多阶段操作任务的复杂性不同,并与不同质量的数据集。我们的研究分析了从离线人类数据中学习进行操作时面临的最关键挑战。基于这项研究,我们得出了一系列的教训,包括不同的算法设计选择的敏感性,对演示质量的依赖性,以及由于训练和评估的不同目标而导致的基于停止标准的可变性。我们还强调了从人类数据集学习的机会,例如能够学习超出当前强化学习方法范围的具有挑战性的多阶段任务的熟练策略,以及能够轻松扩展到只有原始感官信号可用的自然,真实世界的操纵场景。我们已经开源了我们的数据集和所有算法实现,以促进未来的研究和从人类演示数据中学习的公平比较。代码库、数据集、训练模型以及更多信息,请访问https://arise-initiative.github.io/robomimic-web/
2021-09-25 cs.AI cs.LG cs.RO
TGPO: Tree-Guided Preference Optimization for Robust Web Agent Reinforcement Learning
East China Normal University(东华大学);Alibaba Group(阿里巴巴集团);University of Electronic Science and Technology of China(电子科技大学);Wuhan University(武汉大学);Sun Yat-sen University(中山大学)
本文提出树引导偏好优化(TGPO)框架,通过树结构轨迹表示、过程奖励模型和动态加权机制,解决 Web Agent 强化学习中的信用分配错位、标注成本高和奖励稀疏问题,并在两个数据集上取得更高成功率和更少冗余步骤。
2025-09-19 cs.AI cs.LG
Coloring Between the Lines: Personalization in the Null Space of Planning Constraints
Cornell University(康奈尔大学)
针对机器人个性化需兼顾安全与能力的问题,提出CBTL方法,利用规划约束零空间,通过在线交互学习参数化约束实现高效适配,经多场景验证其个性化效果更优且交互更少。
2025-05-21 cs.LG cs.RO
LASER: Latent Space Adjoint Matching for Support-Constrained Entropy-Regularized Offline RL
MIT(麻省理工学院);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
LASER通过潜空间伴随匹配实现熵正则化的离线RL,避免时间反向传播,在40个OGBench任务上以固定超参数达到最先进性能。
2026-10-16 cs.AI cs.LG cs.RO
Efficient Personalization of Generative User Interfaces
Carnegie Mellon University(卡内基梅隆大学);Purdue University(普渡大学)
本文研究了生成用户界面个性化难题,提出基于历史设计师偏好样本的高效方法,在技术评估中优于预训练模型,并能生成更多用户偏好界面。
2026-09-15 cs.AI cs.CV cs.HC
"An Image is Worth a Thousand Features": Scalable Product Representations for In-Session Type-Ahead Personalization
Coveo(科维奥);Coveo Labs(科维奥实验室);Bocconi University(博科尼大学)
我们解决了在数字商务环境中个性化查询完成的问题,其中跳出率通常很高,经常性用户很少。我们专注于会话中的个性化,并通过在查询时注入从产品图像计算的密集向量来改进标准的噪声信道模型。我们认为,基于图像的个性化显示几个优势,替代方案(从数据的可用性业务的可扩展性),并提供定量证据和定性支持的有效性,所提出的方法。最后,我们展示了如何使用相似商店之间的共享向量空间来改善用户跨网站浏览的体验,从而打开了应用zero-shot无监督个性化来增加转化的可能性。这将被证明与管理多个品牌和/或网站的零售集团以及在同一空间为多个客户提供服务的多租户SaaS提供商特别相关。
2020-03-11 cs.IR cs.LG stat.ML
Know Your Personalization: Learning Topic level Personalization in Online Services
Bell Labs Research(贝尔实验室研究院)
在线服务平台(OSP),例如搜索引擎、新闻网站、广告提供商等,基于从用户与OSP的历史中提取的简档,向用户提供高度个性化的内容。虽然个性化(通常)会带来更好的用户体验,但它也会引起用户的隐私问题-他不知道他的个人资料中有什么,更重要的是,他不知道什么被用来个性化内容。在本文中,我们捕获OSP的个性化用户在一个新的数据结构,称为个性化向量($η$),这是一个加权向量的一组主题,并提出技术来计算它的用户的OSP。我们的方法将OSP视为黑盒,并通过只挖掘其输出来提取$η$,具体地,个性化(针对用户)和普通(没有任何用户信息)内容以及这些内容的差异。我们制定了一个新的模型,称为潜在主题个性化(LTP),捕捉到一个学习框架的个性化向量,并提出了有效的推理算法it.We做了大量的实验,搜索结果个性化使用的数据,从真正的谷歌用户和合成数据集。我们的研究结果表明,高精度(R-pre = 84%)的LTP在寻找个性化的主题。对于Google数据,我们的定性结果显示了LTP如何也可以识别证据--对具有高$η$值的主题结果的查询被重新排序。最后,我们展示了我们的方法可以用来建立一个新的隐私评估框架,专注于最终用户的隐私商业OSP。
2012-12-14 cs.IR cs.LG
EXACT: Explicit Attribute-Guided Decoding-Time Personalization
Department of Statistics, the Pennsylvania State University, PA, USA(统计系,宾夕法尼亚州立大学);University of Southern California, CA, USA(南加州大学)
EXACT通过显式属性引导解码时个性化,利用预定义可解释属性提升生成质量,有效缓解上下文偏好变化。
2026-02-06 cs.AI cs.IR cs.LG
adSformers: Personalization from Short-Term Sequences and Diversity of Representations in Etsy Ads
Etsy(Etsy公司)
本研究提出包含三部分的ADPM模块,通过编码用户短期行为序列与多样化表征实现广告个性化,在CTR和PCCVR模型上离线ROC-AUC显著优于生产基线,并已全量部署到Etsy广告流量中。
2023-06-09 cs.LG
FinTRec: Transformer Based Unified Contextual Ads Targeting and Personalization for Financial Applications
Capital One, AI Foundations(Capital One人工智能基础研究)
针对金融服务实时推荐的特殊挑战,提出基于Transformer的统一框架FinTRec,经实验验证其性能优于生产级树模型基线,可降低成本并支持跨产品信号共享。
2025-11-18 cs.LG
asanAI: In-Browser, No-Code, Offline-First Machine Learning Toolkit
Center for Interdisciplinary Digital Sciences (CIDS)(跨学科数字科学中心);Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI) Dresden/Leipzig(德累斯顿/莱ipzig可扩展数据分析与人工智能中心)
针对机器学习技术门槛高、非专业人士难以应用的问题,研究推出离线优先、开源无代码的浏览器端工具包asanAI,支持全流程模型开发,保障隐私且适配多设备,可应用于科研、培训与教学场景。
2025-01-07 cs.AI cs.LG cs.SE
Discovery of Web Usage Profiles Using Various Clustering Techniques
P.A. College of Engineering(P.A.工程学院);J.N.T. University(J.N.T.大学)
万维网(WWW)的爆炸式增长,有必要开发Web个性化系统,以了解用户的喜好,动态地为个人用户提供定制的内容。为了从Web使用数据中揭示用户偏好信息,Web使用挖掘(WUM)技术被广泛应用于Web日志数据。聚类技术被广泛用于WUM中,以捕获访问Web站点的用户之间的相似兴趣和趋势。聚类的目的是将数据集划分为组或簇,其中簇间相似性最小化,而簇内相似性最大化。本文综述了四种常用的聚类技术:k-Means,k-Medoids,Leader和DBSCAN。这些技术的实现和测试对Web用户的导航数据。每种技术的性能和有效性的结果进行了介绍和比较。
2015-09-01 cs.DB cs.IR cs.LG
From Clicks to Intent: Cross-Platform Session Embeddings with LLM-Distilled Taxonomy for Financial Services Recommendations
Capital One
针对金融服务中网页匿名浏览与移动端登录行为差异导致的意图信号利用不足问题,提出自监督Transformer编码会话嵌入与LLM提炼分类法生成可解释标签的双用途框架,在移动端首页排序和用户转化预测任务上显著提升性能。
2026-10-15 cs.AI cs.CE cs.CL
Online and Offline Evaluations of Collaborative Filtering and Content Based Recommender Systems
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of Calgary(卡尔加里大学)
本研究对伊朗约70个网站的大规模推荐系统进行离线与在线评估,比较基于内容、协同过滤、趋势及混合方法,并分析冷启动与流行度偏差。
2024-11-02 cs.AI cs.CL cs.IR
COUPA: An Industrial Recommender System for Online to Offline Service Platforms
Ant Group(蚂蚁集团)
本文提出工业推荐系统 COUPA,通过时间感知点过程和个性化位置选择器刻画用户偏好并缓解位置偏差,已在支付宝 O2O 场景部署并验证效果。
2023-04-25 cs.IR cs.LG
Weasel: Out-of-Domain Generalization for Web Agents via Importance-Diversity Data Selection
Seoul National University(首尔国立大学);McGill University(麦吉尔大学);Mila -- Quebec AI Institute(蒙特利尔AI研究所);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
提出Weasel方法,通过优化平衡单步重要性与状态、网站、交互模式成对多样性的目标,选择固定预算的轨迹子集,结合目标中心AXTree剪枝和风格一致理由替换,提升Web智能体离线训练的域外泛化性能并降低训练成本。
2026-05-26 cs.LG
An Adaptive Framework of Geographical Group-Specific Network on O2O Recommendation
DAMO Academy, Alibaba Group(阿里巴巴达摩院);Alibaba Group(阿里巴巴集团);Institute of Microelectronics, Chinese Academy of Sciences(中国科学院微电子研究所)
针对O2O推荐中统一模型难以捕捉地理差异的问题,提出GeoGrouse自适应分组框架,同时学习共性与分组特定知识,经离线与在线实验验证,取得显著商业提升。
2023-12-28 cs.IR cs.LG
Offline Evaluation of Ranking Policies with Click Models
The Chinese University of Hong Kong(香港中文大学);Adobe Research(奥多比研究院);Rutgers University(罗格斯大学)
从推荐系统到搜索和广告,许多网络系统对项目列表进行排名并向用户呈现。实践中的一个重要问题是离线评估新的排名策略,并在部署之前对其进行优化。我们解决这个问题,提出评估算法,估计预期的点击排名列表从历史记录的数据。现有的算法不能保证在我们的问题中是统计有效的,因为推荐列表的数量可以随着它们的长度呈指数增长。为了克服这一挑战,我们使用用户与项目列表交互的模型,即所谓的点击模型,来构建统计学上有效学习的估计器。我们分析我们的估计,并证明他们是更有效的估计,不使用的点击模型的结构,点击模型的假设下。我们评估我们的估计在一系列的实验中对现实世界的数据集,并表明他们一贯优于先验估计。
2018-06-13 cs.LG stat.ML