GTA: Generative Trajectory Augmentation with Guidance for Offline Reinforcement Learning
KAIST(韩国科学技术院)
GTA是一种基于扩散模型的生成式轨迹增强方法,通过部分加噪和回报引导去噪生成高奖励且动态合理的轨迹,提升离线强化学习算法的性能和数据质量。
2024-11-07 cs.AI cs.LG
Learning Where to Steer: Noise-Space Geometry for Efficient Offline Multi-Objective Optimization with Generative Models
Halıcıoğlu Data Science Institute, UC San Diego(加州大学圣迭戈分校哈勒奇奥卢数据科学研究所);Department of Computer Science & Engineering, UC San Diego(加州大学圣迭戈分校计算机科学与工程系)
提出基于噪声空间几何的离线多目标优化方法,通过递归特征机估计敏感方向并位移初始噪声,以低采样成本引导扩散模型生成帕累托前沿解,在47个任务上取得最佳平均超体积排名。
2026-10-01 cs.LG
Offline Reinforcement Learning with Generative Trajectory Policies
School of Computing, Data Sciences;Computer Engineering Department, UCLA, Los Angeles, USA
本文提出生成轨迹策略(GTP),通过统一扩散、流匹配和一致性模型为常微分方程驱动的连续时间生成轨迹,并引入两种理论自适应方法,在D4RL基准上达到最先进性能。
2026-05-28 cs.AI cs.LG
Generative OOD-regularized Model-based Policy Optimization
University of California, San Diego(加州大学圣地亚哥分校);Abiomed(阿比omed)
提出GORMPO算法,利用生成式密度估计在稀疏状态-动作空间中限制策略更新到高密度区域,以解决离线强化学习中的分布外动作问题,并在真实医疗数据集和离线RL数据集上优于基线方法。
2026-11-10 cs.AI cs.LG
Mitigating Data Scarcity in Spaceflight Applications for Offline Reinforcement Learning Using Physics-Informed Deep Generative Models
Aerospace Engineering Department, Worcester Polytechnic Institute(沃斯彻斯特理工学院航空航天工程系);Aerospace Engineering Department(航空航天工程系)
本文提出基于互信息的分裂变分自编码器(MI-VAE),通过引入物理约束生成符合物理规律的合成数据集,提升空间飞行任务中离线强化学习的性能。
2026-05-09 cs.LG
Self-recovery of memory via generative replay
University of Pennsylvania(宾夕法尼亚大学)
大脑的一个非凡能力是它在离线期间自主重组记忆的能力。记忆重放是一种被假设为生物离线学习的基础的机制,它激发了在持续学习环境中减少人工神经网络遗忘的离线方法。一个记忆效率和神经合理的方法是生成重放,它在持续学习基准上实现了最先进的性能。然而,与大脑不同的是,标准的生成回放在离线训练自己的回放样本时不会自我重组记忆。我们提出了一种新的架构,增强了自适应的,类似大脑的能力,自主恢复记忆的生成重放。我们在几个持续学习任务和环境中展示了该架构的这种能力。
2023-01-15 cs.AI cs.LG cs.NE
Evaluating Generative AI Tools for Personalized Offline Recommendations: A Comparative Study
University of Cuenca(昆卡大学);Universidad Santiago de Compostela(圣地亚哥德孔波斯特拉大学)
本研究比较五种主流生成式AI工具在个性化离线推荐中的性能与用户满意度,针对重复性劳损风险个体,采用GQM范式评估推荐准确性和用户感知。
2025-07-22 cs.IR cs.LG
Generative Support Realignment for Cross-Domain Offline Reinforcement Learning
Ulsan National Institute of Science and Technology, UNIST(乌山国立科学技术研究院,UNIST)
本文提出TCE框架,通过目标对齐生成扩展状态覆盖,有效缓解领域差异,提升跨领域离线强化学习性能。
2026-09-30 cs.AI cs.LG
ParetoTransport: Generative Optimization by Mass Transport Toward The Pareto Front
LIT AI Lab(LIT人工智能实验室);Institute for Machine Learning(机器学习研究所);JKU Linz(约翰开普勒大学林茨分校)
提出ParetoTransport,一种免训练的流匹配引导方法,通过Wasserstein匹配迭代输运离线分布至帕累托前沿,控制分布位移与质量分配,在标准离线多目标优化基准上取得最先进性能。
2026-09-09 cs.LG
PAC-Bayesian Offline Contextual Bandits With Guarantees
Criteo AI Lab(Criteo人工智能实验室);CREST(经济与统计研究中心);ENSAE(法国国立统计与经济管理学校);IPP(巴黎政治学院);ESSEC Business School(埃塞克商学院)
本文通过PAC-Bayesian视角将策略建模为决策规则混合,提出更紧的泛化界及可直接优化的算法,实现离线上下文赌博机中具有性能保证且无需额外超参数调优的策略学习。
2023-05-27 cs.LG stat.ML
Offline-to-Online Creative Optimization with Generative Models and Adaptive Testing
University of Michigan(密歇根大学);Meta
研究如何利用历史A/B测试数据,通过性能驱动的离线到在线工作流程,用预测模型指导生成测试广告位候选创意,经实验验证该方法能有效提升创意参与度,为创意优化提供设计原则。
2026-07-28 cs.AI cs.LG
Enhancing Generative Auto-bidding with Offline Reward Evaluation and Policy Search
Taobao & Tmall Group of Alibaba(阿里巴巴淘宝与天猫集团);Department of Automation, Tsinghua University(清华大学自动化系)
针对现有生成式自动出价方法无法超越静态数据集进行探索的性能瓶颈,提出AIGB-Pearl方法,通过轨迹评估器和KL-Lipschitz约束的分数最大化方案实现安全高效探索,在模拟和真实广告系统中取得最优性能。
2026-06-19 cs.AI cs.LG
Generative Actor Critic
Department of Automation, Tsinghua University(清华大学自动化系);Beijing Institute of General Artificial Intelligence (BIGAI)(北京通用人工智能研究院);Department of Statistics and Data Science, UCLA(UCLA统计与数据科学系);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Department of Computer Science, UCLA(UCLA计算机科学系)
生成性行为批判者通过学习轨迹和回报的联合分布生成模型,实现离线预训练模型与在线经验的高效结合,提升离线到在线的改进能力。
2025-12-25 cs.LG
CASP: Learning-Augmented Offline Approximation with Verifiable Certificates and Bounded-Loss PAC Guarantees
School of Information, Central University of Finance and Economics(中央财经大学信息学院)
研究利用 CASP 方法,通过可验证证书和有界损失 PAC 保证来加速离线 NP 难优化,发展其学习理论,经实验验证该方法在处理噪声预测及分布变化时优于标准方法,能保证正确性且避免最优解损失。
2026-07-17 cs.LG
Continual Offline Reinforcement Learning via Diffusion-based Dual Generative Replay
Nanjing University(南京大学);Chinese University of Hong Kong(香港中文大学)
本研究提出双生成回放框架,结合扩散模型与行为克隆,解决持续离线强化学习中的遗忘与迁移问题,实现高保真回放并提升性能。
2024-04-18 cs.AI cs.LG
Refined PAC-Bayes Bounds for Offline Bandits
KTH Royal Institute of Technology(瑞典皇家理工学院)
针对离线赌博机离策略学习的经验奖励估计,本文结合事件空间离散化参数优化,提出基于 Hoeffding-Azuma 与 Bernstein 不等式的两个无参数 PAC-Bayes 界,并证明其几乎最优。
2025-02-17 cs.LG stat.ML
Generative Pretraining for Black-Box Optimization
University of California, Los Angeles(加州大学洛杉矶分校)
针对高维黑盒优化中离线数据预训练方法泛化性不足的问题,提出生成式框架BONET,通过自回归模型和单调轨迹采样预训练优化器,在Design-Bench上取得最优平均表现。
2023-08-21 cs.AI cs.LG
OM2P: Offline Multi-Agent Mean-Flow Policy
Institute for Interdisciplinary Information Sciences (IIIS), Tsinghua University(交叉信息研究院,清华大学);ByteDance Inc.(字节跳动公司)
OM2P提出了一种离线多智能体强化学习算法,通过均流匹配损失和奖励感知优化,实现高效动作采样和内存优化,提升训练效率。
2026-02-27 cs.AI cs.LG
Aligning Flow Map Policies with Optimal Q-Guidance
Imperial College London(帝国理工学院伦敦分校);Mila
本文提出流映射策略,通过学习任意大小的跳跃提升动作生成速度,并引入FMQ和QGBS方法,在12个机器人任务中实现最优性能。
2026-05-12 cs.LG
MyGO: Memory Yielding Generative Offline-consolidation for Lifelong Learning Systems
MyGO通过生成式离线巩固方法,有效缓解终身学习中的灾难性遗忘问题,提升隐私和存储效率。
2026-01-07 cs.AI cs.LG
Distributional Offline Policy Evaluation with Predictive Error Guarantees
Cornell University(康奈尔大学)
针对离线策略评估中回报分布估计问题,提出拟合似然估计(FLE)算法,通过序列最大似然估计集成生成模型,在有限与无限时域下分别保证总变差与Wasserstein距离误差,实验验证高斯混合与扩散模型的有效性。
2023-12-29 cs.LG
Diffusion Offline Reinforcement Learning for Fair and Energy-Efficient UAV-Assisted Wireless Networks
Centre for Wireless Communications (CWC), University of Oulu(奥卢大学无线通信中心(CWC))
提出扩散软演员-评论家方法,结合保守Q学习与扩散模型,在离线强化学习中优化无人机轨迹与调度,降低能耗并提升公平性,性能优于现有算法。
2026-06-16 cs.LG
Provably Efficient Generative Adversarial Imitation Learning for Online and Offline Setting with Linear Function Approximation
University of Science and Technology of China(中国科学技术大学);Northwestern University(西北大学);Princeton University(普林斯顿大学)
在生成对抗模仿学习(GAIL)中,智能体的目标是从专家演示中学习策略,使得其性能在某个预定义的奖励集上不能与专家策略区分开。在本文中,我们研究了GAIL在在线和离线设置与线性函数近似,其中的过渡和奖励函数是线性的特征映射。除了专家演示之外,在在线设置中,代理可以与环境交互,而在离线设置中,代理仅访问由先前收集的附加数据集。针对在线GAIL,我们提出了一种乐观生成式对抗策略优化算法(OGAP),并证明了OGAP实现了$\widetilde{\mathcal{O}}(H^2 d^{3/2}K^{1/2}+KH^{3/2}dN_1^{-1/2})$遗憾.这里,$N_1$表示专家演示的轨迹的数量,$d$是特征维度,并且$K$是情节的数量。对于离线GAIL,我们提出了一个悲观生成对抗策略优化算法(PGAP)。对于任意的附加数据集,我们得到了PGAP的最优性差距,实现了附加数据集利用率的极大极小下界。假设在额外的数据集上有足够的覆盖率,我们证明了PGAP实现了$\widetilde{\mathcal{O}}(H^{2}dK^{-1/2} +H^2d^{3/2}N_2^{-1/2}+H^{3/2}dN_1^{-1/2} \ )$最优性差距。这里,$N_2$表示具有足够覆盖的附加数据集的轨迹的数量。
2021-08-19 cs.AI cs.LG math.OC
Consistency Models as a Rich and Efficient Policy Class for Reinforcement Learning
Princeton University(普林斯顿大学)
本文提出将一致性模型作为强化学习中的高效策略类,通过演员-评论家算法应用于离线、离线到在线及在线三种设置,实现计算加速且性能优于扩散策略。
2024-03-14 cs.LG
Robotic and Generative Adversarial Attacks in Offline Writer-independent Signature Verification
Nottingham Trent University(诺丁汉特伦特大学)
本研究探讨如何机器人和生成方法可以用来安装成功的虚假接受对抗攻击签名验证系统。最初,探索和调整了卷积神经网络拓扑结构和数据增强策略,为2,640个人类签名的验证产生了87.12%的准确率模型。然后,两个机器人的任务是伪造50个签名,其中25个用于验证攻击,其余25个用于调整模型以抵御它们。对系统的对抗攻击表明存在信息安全风险; Line-us机器人手臂可以在24%的时间内欺骗系统,iDraw 2.0机器人可以在32%的时间内欺骗系统。一个有条件的GAN发现了类似的成功,大约30%的伪造签名被误分类为真实签名。在对机器人和生成数据进行微调迁移学习之后,机器人和GAN都将对抗攻击降低到模型阈值以下。据观察,调整模型可以将机器人攻击的风险降低到8%和12%,当呈现25张图像时,条件生成对抗攻击可以降低到4%,当呈现1000张图像时,可以降低到5%。
2022-04-14 cs.CV cs.LG cs.RO
Variance-Averse $n$-Step Offline Reinforcement Learning for Sparse Long-Horizon Environments
Sungkyunkwan University(成均馆大学)
针对生成式离线强化学习在异构数据中高方差动作不可靠的问题,提出VAN-Flow框架,结合分类分布评论家、方差厌恶期望算子与流匹配生成行动者,在40余个任务上优于强基线,尤其提升长时域场景性能。
2026-10-07 cs.AI cs.LG
Unified PAC-Bayesian Study of Pessimism for Offline Policy Learning with Regularized Importance Sampling
CREST(CREST(法国统计研究中心));ENSAE(法国国立统计与经济管理学校);IP Paris(巴黎理工学院);Criteo AI Lab(Criteo人工智能实验室)
针对离线策略学习悲观主义缺乏统一分析框架的问题,提出全面的PAC-Bayesian框架,推导出适用于常见重要性权重正则化的泛化界,并在单一框架内比较,实证证明了标准IW正则化技术的有效性。
2024-06-05 cs.AI cs.LG stat.ML
DeFlow: Decoupling Behavior-Prior Modeling and Value Maximization for Offline Policy Extraction
Peking University, Institute of Artificial Intelligence, China, Beijing(北京大学人工智能研究所)
DeFlow通过解耦流形建模与价值最大化,利用流匹配技术实现高效离线策略提取,提升复杂行为流形的捕捉与生成能力。
2026-10-16 cs.LG
When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning
University of Minnesota(明尼苏达大学);Texas A&M University(德克萨斯农工大学)
针对离线IRL中世界模型误差会放大奖励估计偏差的问题,提出结合保守专家策略与最大似然的双层优化框架,并在MuJoCo和D4RL上显著超越现有基准。
2024-02-28 cs.AI cs.LG
Stochastic Feature Mapping for PAC-Bayes Classification
Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学)
数据分布的概率生成建模可以潜在地利用对判别分类有用的隐藏信息。这一观察激发了将生成模型和判别模型结合起来进行分类的方法的发展。在本文中,我们提出了一种新的方法来耦合生成和歧视性模型在一个统一的框架的基础上PAC-Bayes风险理论。我们首先从一个实际的MAP分类器上生成模型的操作模型参数无关的随机特征映射。然后,我们构造了一个线性随机分类器配备的特征映射,并推导出明确的PAC-Bayes风险界,这种分类器的监督和半监督学习。最小化风险界,使用EM-样的迭代过程,导致一个新的后验隐藏变量(E-步骤)和模型参数的更新规则(M-步骤)。由于采用了特征映射的方法和边界风险的显式形式,使得后验概率的推导总是可行的。导出的后验允许调整生成模型,随后调整特征映射以获得更好的分类。由于特征映射是与模型参数无关的,因此导出的模型参数更新规则与非耦合模型相同。我们的实验表明,数据建模生成模型和判别式分类器之间的耦合,通过在这个框架中的随机特征映射,导致一个一般的分类工具与国家的最先进的性能。
2012-04-16 cs.LG
Generative Adversarial Model-Based Optimization via Source Critic Regularization
Perelman School of Medicine(佩雷尔曼医学院);University of Pennsylvania(宾夕法尼亚大学);The Wharton School(沃顿商学院)
针对离线模型优化中代理模型预测不准确的问题,提出自适应源评论家正则化(aSCR)框架,将优化轨迹约束在代理函数可靠的设计空间区域内,结合标准贝叶斯优化在离线生成设计任务上优于现有方法。
2024-09-25 cs.AI cs.LG
Offline Model-Based Optimization: Comprehensive Review
Mila - Quebec AI Institute/KAIST(魁北克AI研究所/韩国科学技术院);Mila - Quebec AI Institute/McGill University(魁北克AI研究所/麦吉尔大学);Mila - Quebec AI Institute/University of Montreal(魁北克AI研究所/蒙特利尔大学);University of Washington(华盛顿大学)
本文综述了离线模型驱动优化的现状,分析了替代建模和生成建模两种方法,并探讨了该领域的发展方向。
2026-01-06 cs.LG
Scaling Offline RL via Efficient and Expressive Shortcut Models
Cornell University(康奈尔大学);Carnegie Mellon University(卡内基梅隆大学);Harvard University(哈佛大学)
提出SORL算法,利用新型捷径模型生成模型在一阶段训练中高效捕获复杂数据分布,并通过Q函数验证器实现序列与并行推理扩展,显著提升了离线强化学习的性能。
2025-05-28 cs.AI cs.LG
GAS: Enhancing Reward-Cost Balance of Generative Model-assisted Offline Safe RL
The Hong Kong University of Science and Technology, Hong Kong SAR, China(香港科学与技术大学);South China University of Technology, Guangdong, China(华南理工大学)
GAS通过增强数据集和引入目标函数,提升生成模型辅助离线安全强化学习中奖励与成本的平衡能力。
2026-02-05 cs.AI cs.LG
Generative Auto-Bidding with Value-Guided Explorations
City University of Hong Kong(香港城市大学);Nanyang Technological University(南洋理工大学);Kuaishou Technology(快手科技);The Chinese University of Hong Kong(香港中文大学);Unaffiliated(无隶属机构)
针对现有自动出价策略适应性差及离线训练行为崩溃问题,提出生成式自动出价框架GAVE,利用基于评分的RTG模块和可学习价值函数引导动作探索,在离线评估和在线A/B测试中超越基线,并在NeurIPS 2024竞赛中夺冠。
2025-04-25 cs.IR cs.LG
Bridging Model-Based Optimization and Generative Modeling via Conservative Fine-Tuning of Diffusion Models
Genentech(基因泰克公司);Princeton University(普林斯顿大学);University of California Berkeley(加州大学伯克利分校)
针对离线设置下AI驱动设计问题中奖励模型未知易致过度优化,提出扩散模型保守微调方法BRAID,通过优化带分布外惩罚的保守奖励模型,结合外推能力避免生成无效设计,超越离线数据最佳设计。
2024-05-31 cs.AI cs.LG stat.ML
CoDrift: Compositional Drifting for Offline Reinforcement Learning
Xi’an Jiaotong University(西安交通大学)
CoDrift是面向离线强化学习的组合框架,通过组合三类目标场生成策略,在OGBench和D4RL的73个任务中,于离线和离线转在线设置均取得最优平均排名。
2026-08-26 cs.LG cs.RO
Preference-Guided Diffusion for Multi-Objective Offline Optimization
TU Munich(慕尼黑技术大学);Stanford University(斯坦福大学);Helmholtz AI(海德堡人工智能研究所);Gladstone Institutes(加利福尼亚大学旧金山分校格拉德石研究所)
本文提出基于偏好的扩散模型,用于生成多目标离线优化中的帕累托最优解,通过引入多样性感知的偏好引导,提升生成解的质量与分布性。
2025-12-17 cs.AI cs.LG
Structural Information-based Hierarchical Diffusion for Offline Reinforcement Learning
State Key Laboratory of Software Development Environment(软件开发环境国家重点实验室);Beihang University(北京航空航天大学);Zhongguancun Laboratory(中关村实验室)
本文提出SIHD框架,通过分析离线轨迹中的结构信息自适应构建分层扩散层级,并以结构信息增益作为条件信号,结合结构熵正则化器,在长时程稀疏奖励离线强化学习任务中显著提升决策性能与泛化能力。
2025-09-26 cs.LG
PAC-Bayesian Generalization Bounds for Adversarial Generative Models
Université Laval(拉瓦尔大学);McGill University(麦吉尔大学)
本文扩展PAC-Bayesian理论至生成模型,基于Wasserstein距离和全变差距离推导泛化界,为Wasserstein GAN和能量基GAN提供新训练目标,并通过实验验证非空界。
2023-11-13 cs.AI cs.LG stat.ML
Flow-Based Single-Step Completion for Efficient and Expressive Policy Learning
Iowa State University(爱荷华州立大学)
SSCP是一种基于流的单步完成策略,通过增强的流匹配目标实现高效且表达性的策略学习,适用于多种RL场景。
2026-02-24 cs.LG cs.RO
VGFM: Expressive Robot Policies via Dense Value Guidance in Flow Matching
Cornell University(康奈尔大学)
VGFM提出一种离线强化学习框架,利用条件流匹配模型在动作空间中实现密集值引导,避免时间反向传播,在OGBench任务上展现高效且可扩展的策略学习性能。
2026-09-15 cs.LG cs.RO
Flow Matching for Offline Reinforcement Learning with Discrete Actions
Department of Computer Science, University of Kentucky(计算机科学系,肯塔基大学);Department of Computing and Information Sciences, Rochester Institute of Technology(计算与信息科学系,罗切斯特理工学院)
本文提出一种适用于离散动作空间的流匹配框架,通过连续时间马尔可夫链和因子化条件路径,扩展了离线强化学习的应用范围,并在多种任务中展示了优越性能。
2026-11-17 cs.LG
One-Step Generative Policies with Q-Learning: A Reformulation of MeanFlow
针对离线强化学习中单步高斯策略难以捕捉复杂多模态动作分布、现有流方法依赖两阶段训练的问题,提出重新表述MeanFlow的残差单步生成式策略,通过集成速度场与噪声-动作转换到单个网络实现直接生成,在73个任务上取得优异性能。
2025-11-17 cs.AI cs.LG
PAC-Bayes Bounds for Bandit Problems: A Survey and Experimental Comparison
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Southern Denmark(南丹麦大学);Technische Universität Darmstadt(达姆施塔特工业大学)
本文综述了多臂老虎机问题中的PAC-Bayes界并开展实验比较,发现其在离线上下文老虎机算法中能提供非空洞性能保证,而在线算法的累积遗憾界仍较宽松。
2023-07-16 cs.LG stat.ML
PacGAN: The power of two samples in generative adversarial networks
Carnegie Mellon University(卡内基梅隆大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
生成对抗网络(GANs)是用于从样本中学习复杂数据分布的生成模型的创新技术。尽管最近在生成逼真图像方面取得了显着的进步,但它们的主要缺点之一是,在实践中,即使在不同的数据集上进行训练,它们也倾向于生成几乎没有多样性的样本。这种被称为模式坍塌的现象一直是GANs最近几项进展的主要焦点。然而,对于为什么模式坍塌会发生以及为什么现有的方法能够减轻模式坍塌的理解很少。我们提出了一个原则性的方法来处理模式坍塌,我们称之为包装。其主要思想是修改神经网络,使其基于来自同一类的多个样本(真实或人工生成)做出决策。我们借用二元假设检验的分析工具-特别是Blackwell [Bla 53]的开创性结果-来证明填充和模式坍塌之间的基本联系。我们表明,包装自然惩罚发电机与模式坍塌,从而有利于发电机分布与较少的模式坍塌在训练过程中。在基准数据集上的数值实验表明,打包在实践中也提供了显着的改进。
2018-11-02 cs.IT cs.LG math.IT
Is Conditional Generative Modeling all you need for Decision-Making?
Massachusetts Institute of Technology(麻省理工学院);Improbable AI Lab(Improbable AI实验室);Operations Research Center(运筹学中心);Computer Science and Artificial Intelligence Lab(计算机科学与人工智能实验室)
本文将决策问题重新表述为条件生成建模,提出回报条件扩散模型以规避动态规划,并展示其在离线RL基准上的优势及对约束和技能组合的泛化能力。
2023-07-10 cs.AI cs.LG
arfpy: A python package for density estimation and generative modeling with adversarial random forests
Leibniz Institute for Prevention Research and Epidemiology – BIPS(莱布尼茨预防研究与流行病学研究所 – BIPS);University of Bremen(不来梅大学);University of Copenhagen(哥本哈根大学)
本文介绍arfpy,一个Python包,实现了对抗随机森林(ARF)方法,用于密度估计和生成建模,特别适用于表格数据,具有低调参需求和计算资源消耗,并提供用户友好的接口。
2023-11-13 cs.LG stat.ML
ParetoPilot: Zero-Surrogate Offline Multi-Objective Optimization via Infer-Perturb-Guide Diffusion
Nanyang Technological University(南洋理工大学)
提出ParetoPilot,一种无需外部代理模型的零代理扩散框架,通过推断-扰动-引导引擎在无条件去噪步骤中隐式推断目标方向、正交化并行引力场和边缘感知排斥力,实现离线多目标优化的帕累托最优设计。
2026-07-07 cs.AI cs.LG cs.NE
Entropy-Regularized Adjoint Matching for Offline Reinforcement Learning
College of Computing(计算学院);Mohammed VI Polytechnic University(穆莱·阿卜杜勒阿齐兹技术大学)
本文提出最大熵对偶匹配框架,通过镜像下降熵最大化和混合行为先验机制,缓解流行偏差和支撑绑定问题,提升离线数据中最优策略的提取能力。
2026-05-08 cs.AI cs.LG
SEGB: Self-Evolved Generative Bidding with Local Autoregressive Diffusion
Beijing China(中国北京)
SEGB通过自适应生成性竞价与局部自回归扩散,实现动态市场中的高效竞价策略,显著提升广告效果与商业价值。
2025-12-31 cs.IR cs.LG
S2P: State-conditioned Image Synthesis for Data Augmentation in Offline Reinforcement Learning
Seoul National University(首尔国立大学)
离线强化学习(Offline RL)由于无法在训练过程中与物理环境交互,因此会受到先天分布偏移的影响。为了缓解这种限制,基于状态的离线RL利用从记录的经验中学习的动态模型,并增强预测的状态转换以扩展数据分布。为了在基于图像的RL上利用这种好处,我们首先提出了一个生成模型S2P(State2Pixel),它从代理的相应状态合成代理的原始像素。它能够弥合RL算法中状态和图像域之间的差距,并通过状态空间中基于模型的转换来虚拟地探索不可见的图像分布。通过实验,我们证实了我们的基于S2P的图像合成不仅提高了基于图像的离线RL性能,而且在看不见的任务上显示出强大的泛化能力。
2022-09-30 cs.CV cs.LG cs.RO
Efficient Adversarial Attacks on High-dimensional Offline Bandits
Department of Computer Engineering, Sharif University of Technology(技术学院计算机工程系)
研究离线bandit训练在奖励模型被对抗扰动时的脆弱性,提出高维威胁模型,证明维度增加时攻击所需扰动范数减小,实验验证了针对性攻击的高成功率。
2026-06-03 cs.AI cs.LG
A General Offline Reinforcement Learning Framework for Interactive Recommendation
Westlake University(西湖大学)
针对交互式推荐难以在线探索的问题,本文提出通用离线强化学习框架,结合概率生成模型、随机策略推理及五种分布失配缓解方法,并在两个真实数据集上验证其优于现有方法。
2023-10-01 cs.IR cs.LG