Model-Based Offline Meta-Reinforcement Learning with Regularization
Arizona State University（亚利桑那州立大学）；The Ohio State University（俄亥俄州立大学）
现有的离线强化学习（RL）方法面临着一些主要的挑战，特别是学习策略和行为策略之间的分布变化。离线元强化学习正在成为解决这些挑战的一种有前途的方法，旨在从一系列任务中学习信息元策略。然而，正如我们的实证研究所示，离线元RL可以在具有良好数据集质量的任务上优于离线单任务RL方法，这表明必须在通过遵循元策略来“探索”分布外状态动作和通过接近行为策略来“利用”离线数据集之间进行微妙的平衡。受这种实证分析的启发，我们探索了基于模型的离线Meta-RL与正则化策略优化（MerPO），它学习了一个元模型，用于有效的任务结构推理和一个信息元策略，用于安全探索分布外的状态动作。特别是，我们设计了一个新的元正则化的基于模型的演员-评论（RAC）的方法内的任务政策优化，作为MerPO的关键组成部分，使用保守的政策评估和正则化的政策改进;和内在的权衡，其中实现了通过两个正则化之间的正确平衡，一个基于行为的政策和其他的元政策。我们从理论上表明，学习的政策提供了保证改善的行为政策和元政策，从而确保通过离线元RL的新任务的性能提高。实验证实了MerPO优于现有离线Meta-RL方法的性能。
2022-07-13 cs.LG
Federated Distributional Reinforcement Learning with Distributional Critic Regularization
Dept. of Mechanical Engineering, Rochester Institute of Technology（机械工程系，罗切斯特理工学院）；Dept. of Psychology and School of Information, Rochester Institute of Technology（心理学系和信息学院，罗切斯特理工学院）；Department of Engineering Science, University West（工程科学系，西大学）；Golisano College of Computing and Information Sciences, Rochester Institute of Technology（计算与信息科学学院，罗切斯特理工学院）
本文提出FedDistRL和TR-FedDistRL，通过分布批评正则化提升安全性和稳定性，在多任务环境中表现出更低的均值模糊和更高的安全指标。
2026-03-18 cs.LG
Safety Aware Reinforcement Learning (SARL)
Intel AI（英特尔人工智能）；Partnership on AI（人工智能合作组织）
随着强化学习代理越来越多地集成到复杂的现实环境中，安全设计成为一个关键的考虑因素。我们特别专注于研究代理在主要任务上执行策略时可能导致不良副作用的场景。由于可以为给定的环境动态定义多个任务，因此存在两个重要的挑战。首先，我们需要抽象出安全的概念，它广泛适用于独立于正在执行的特定任务的环境。其次，我们需要一种抽象的安全概念的机制来调节执行不同策略的代理的操作，以最大限度地减少它们的副作用。在这项工作中，我们提出了安全意识强化学习（SARL）-一个框架，其中虚拟安全代理调制的主要奖励为基础的代理的行动，以尽量减少副作用。安全代理学习给定环境的任务独立的安全概念。然后，使用由两个代理的本地动作概率之间的距离给出的正则化损失来训练主代理。由于安全代理通过其动作概率有效地抽象了任务无关的安全概念，因此可以将其移植为在给定环境中调节解决不同任务的多个策略，而无需进一步训练。我们将此与依赖于特定任务的正则化度量的解决方案进行对比，并在基于Conway的生命游戏的SafeLife Suite上测试我们的框架，该框架包括动态环境中的许多复杂任务。我们表明，我们的解决方案是能够匹配的性能的解决方案，依赖于特定于任务的副作用的处罚的主要和安全目标，同时还提供了可推广性和可移植性的好处。
2020-10-06 cs.AI cs.LG
Memory-Efficient Meta-Reinforcement Learning for Adaptive Safety-Critical Control in Adversarial Spacecraft Proximity Operations
MIT（麻省理工学院）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究利用元强化学习调整输入约束控制屏障函数的类K函数，比较三种循环网络架构和两种训练算法，发现Mamba与PPO组合在合作与非合作场景中均能提升任务完成率、安全性和燃料效率。
2026-06-17 cs.LG math.DS
Safe Meta-Reinforcement Learning via Information Space Reachability
Massachusetts Institute of Technology（麻省理工学院）
本文提出一种安全元强化学习框架，通过在信息空间中推理安全性并学习安全值函数，实现适应过程中的安全过滤与约束策略优化，实验验证了其有效性。
2026-09-15 cs.LG cs.SY eess.SY
FOCAL: Efficient Fully-Offline Meta-Reinforcement Learning via Distance Metric Learning and Behavior Regularization
Tencent AI Lab（腾讯AI实验室）；Department of Automation, Tsinghua University（清华大学自动化系）
我们研究了离线Meta强化学习（OMRL）问题，这种范式使强化学习（RL）算法能够快速适应看不见的任务，而无需与环境进行任何交互，使RL在许多现实世界的应用中真正实用。这一问题仍未得到充分理解，为此需要应对两大挑战。首先，离线RL通常遭受自举错误的分布外的状态动作，导致发散的价值函数。其次，元RL需要与控制策略联合学习的高效和鲁棒的任务推理。在这项工作中，我们对学习策略进行行为正则化，作为离线RL的一般方法，结合确定性上下文编码器进行有效的任务推理。在有界上下文嵌入空间上提出了一种新的负幂距离度量，其梯度传播与Bellman备份无关。我们提供的分析和见解表明，一些简单的设计选择可以产生实质性的改进，最近的方法涉及元RL和距离度量学习。据我们所知，我们的方法是第一个无模型和端到端的OMRL算法，它在计算上是高效的，并且在几个元RL基准测试中表现出优于先前的算法。
2021-05-06 cs.LG stat.ML
Constrained Meta-Reinforcement Learning for Adaptable Safety Guarantee with Differentiable Convex Programming
Mississippi State University（密西西比州立大学）
针对非平稳环境下带约束场景的AI安全与适配性难题，提出结合可微凸规划的逐次凸约束策略更新方法，实现带约束元学习的端到端微分，保障智能体快速适配新任务的同时满足安全约束。
2023-12-15 cs.AI cs.LG
Near-Constant Strong Violation and Last-Iterate Convergence for Online CMDPs via Decaying Safety Margins
School of Informatics, University of Edinburgh, Edinburgh, United Kingdom（爱丁堡大学信息学院）；School of Mathematics, University of Edinburgh, Edinburgh, United Kingdom（爱丁堡大学数学学院）
FlexDOME算法通过递减安全边际和正则化项，在在线CMDP中实现了近常数强约束违反、次线性强遗憾和非渐近最后迭代收敛。
2026-03-03 cs.LG
Guardrails in Logit Space: Safety Token Regularization for LLM Alignment
Applied Artificial Intelligence Initiative (A2I2)（应用人工智能倡议（A2I2））；Deakin University（德克萨斯大学）
本文提出安全令牌正则化（STR）方法，通过约束关键令牌的logits来保持细调模型的安全性，实验显示其在安全性和任务性能方面表现优异。
2026-04-19 cs.LG
Q-learning Penalized Transformer for Safe Offline Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；Jilin University（吉林大学）；Nanyang Technological University（南洋理工大学）
本文提出 Q-learning 惩罚 Transformer（QPT）框架，通过 Q 形惩罚将安全约束融入条件序列建模，在 DSRL 基准 38 个任务上优于基线并实现零样本阈值适应。
2026-09-30 cs.LG
Ensuring Safety in Automated Mechanical Ventilation through Offline Reinforcement Learning and Digital Twin Verification
School of Engineering, University of Warwick, Coventry, UK（沃里克大学工程学院，英国考文垂）；School of Computer Science, Chongqing University, China（重庆大学计算机科学学院，中国）；School of Computer Science and Technology, Hainan University, China（海南大学计算机科学与技术学院，中国）；Institute for Computational Biomedicine, RWTH Aachen University, Germany（鲁姆哈根工业大学计算生物医学研究所，德国）
本文提出基于Transformer的保守Q学习框架，通过整合时间建模、保守正则化和数字孪生验证，实现安全高效的机械通气自动化。
2026-03-11 cs.LG
VLMLight: Safety-Critical Traffic Signal Control via Vision-Language Meta-Control and Dual-Branch Reasoning Architecture
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shanghai AI Laboratory（上海人工智能实验室）；Nanyang Technological University（南洋理工大学）；Nokia Bell Labs（诺基亚贝尔实验室）；Fourier Intelligence（Fourier智能）
VLMLight通过视觉-语言元控制与双分支推理架构，实现安全关键的交通信号控制，显著减少紧急车辆等待时间并提升系统安全性。
2025-10-17 cs.LG cs.MA cs.SY
Assured Learning-enabled Autonomy: A Metacognitive Reinforcement Learning Framework
Michigan State University（密歇根州立大学）；Ford Research and Innovation Center, Ford Motor Company（福特汽车公司研究与创新中心）
具有预先指定的奖励函数的强化学习（RL）代理不能在不确定系统可能遇到的各种情况下提供有保证的安全性。为了保证性能，同时确保满足各种情况下的安全约束，本文提出了一个有保证的自主控制框架，通过授权RL算法与元认知学习能力。更具体地说，自适应的RL代理的奖励函数参数进行元认知决策层，以确保RL代理的可行性。也就是说，确保RL代理学习的策略满足信号时序逻辑指定的安全约束，同时实现尽可能多的性能。元认知层监控RL代理的行为下任何可能的未来安全违规，并采用高层贝叶斯RL算法主动适应较低层RL代理的奖励函数。为了最小化高层贝叶斯RL干预，元认知层利用适应度函数作为度量来评估低层RL代理在满足安全性和活性规范方面的成功，并且仅当存在低层RL失败的风险时，高层贝叶斯RL才进行干预。最后通过仿真实例验证了该方法的有效性。
2021-04-17 cs.AI cs.LG cs.SY
RAMAC: Multimodal Risk-Aware Offline Reinforcement Learning and the Role of Behavior Regularization
University of California, Davis（加州大学戴维斯分校）
提出RAMAC框架，结合分布性评论家与生成式演员（如扩散模型），通过条件风险价值与行为克隆的复合目标实现离线强化学习中的风险敏感学习，抑制分布外动作并提升CVaR。
2026-06-15 cs.AI cs.LG
Identifiability and Generalizability in Constrained Inverse Reinforcement Learning
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文构建约束马尔可夫决策过程下的 IRL 理论框架，分析不同正则化与安全约束对奖励可辨识性及跨环境泛化性的影响，并给出有限样本保证与 gridworld 验证。
2023-06-01 cs.AI cs.LG cs.SY
Learning Unknown Constraints without Unsafe Data via Optimality and Counterfactual Regularization
Georgia Institute of Technology（佐治亚理工学院）
本文提出CF-KKT框架，利用学习动力学和局部最优示范，在不需已知动力学或额外探索的情况下恢复未知约束，结合CIOC与ICRL优势，在高维机器人任务中提升安全性和数据效率。
2026-10-08 cs.LG cs.RO
Runtime Safety Assurance Using Reinforcement Learning
Stanford University（斯坦福大学）；GE Research（通用电气研究）
非血统自动驾驶仪的适航性和安全性必须得到验证，但正式这样做的成本可能令人望而却步。我们可以通过将安全性保证（RTSA）作为确保安全性的机制来绕过非血统组件的形式化验证。RTSA由一个元控制器组成，它观察非血统组件的输入和输出，并在系统运行时验证正式指定的行为。当系统被触发时，部署经验证的恢复控制器。恢复控制器的设计是安全的，但很可能破坏系统的操作目标，因此RTSA系统必须平衡安全和效率。本文的目的是设计一个元控制器，能够识别不安全的情况下，具有较高的准确性。高维和非线性动态，其中现代控制器部署随着黑盒子性质的名义控制器，使这是一个困难的问题。目前的方法在很大程度上依赖于领域专业知识和人类工程。我们用马尔可夫决策过程（MDP）框架设计RTSA，并使用强化学习（RL）来解决它。我们学习的元控制器在我们的实验中始终表现出优于我们的基线，人类工程方法。
2020-10-20 cs.AI cs.LG cs.SY
Feedback Manipulation Regularization: Enabling Offline Agent Alignment for Imitation Learning
研究聚焦强化学习智能体行为与人类价值观对齐。提出反馈操纵正则化算法，利用评估反馈校正模仿学习策略。通过改编安全体育馆环境测试，该方法能提升适应性、减少对齐错误，在有限数据下也保持稳健。
2026-07-10 cs.AI cs.HC cs.LG
Robust Behavior Cloning Via Global Lipschitz Regularization
针对行为克隆在部署时易受观测误差或对抗干扰影响的问题，提出全局Lipschitz正则化方法构建Lipschitz神经网络，为策略提供针对有界范数扰动的鲁棒性证书，并在Gymnasium环境中验证了有效性。
2025-08-09 cs.AI cs.LG
MetaCipher: A Time-Persistent and Universal Multi-Agent Framework for Cipher-Based Jailbreak Attacks for LLMs
New York University Abu Dhabi（纽约大学阿布扎比分校）；New York University Tandon School of Engineering（纽约大学坦顿工程学院）
本文提出低成本多智能体越狱框架 MetaCipher，利用强化学习实现模块化与自适应，在少至 10 次查询内于近期恶意提示基准上达到最先进攻击成功率，有效应对查询成本高与攻击寿命短的挑战。
2025-08-13 cs.CR cs.LG
Policy Optimization for $\mathcal{H}_2$ Linear Control with $\mathcal{H}_\infty$ Robustness Guarantee: Implicit Regularization and Global Convergence
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
策略优化（PO）是强化学习（RL）的关键组成部分。对于控制设计，通常对策略施加某些约束以进行优化，考虑系统的稳定性，鲁棒性或安全性问题。因此，PO在大多数情况下本质上是一个约束（非凸）优化，其整体收敛通常很难分析。更重要的是，一些安全关键的约束，例如，保证系统鲁棒性的$\mathcal{H}_\infty$ -范数约束在PO方法进行时难以强制执行。最近，政策梯度法已被证明收敛到线性二次型调节器（LQR）的全局最优值，一个经典的最优控制问题，没有正则化/投影的控制迭代到稳定集，其（隐式）的可行集。这个惊人的结果是建立在成本的强制属性上的，确保迭代在成本降低时保持可行。本文研究了具有$\mathcal{H}_\infty$ -范数鲁棒性保证的$\mathcal{H}_2$线性控制的PO收敛性理论。这个问题的一个重要的新特征是缺乏连续性，即，成本在可行集边界附近可能具有有限值，打破了现有的LQR分析。有趣的是，我们证明了两种PO方法具有隐式正则化性质，即，迭代保持$\mathcal{H}_\infty$鲁棒性约束，就好像它们被算法正则化一样。此外，尽管问题的非凸性，我们表明，这些算法收敛到全局最优的政策与全局次线性率，避免所有次优驻点/局部极小值，并与局部（超）线性率在一定条件下。
2021-02-15 cs.LG cs.SY eess.SY
MrCoM: A Meta-Regularized World-Model Generalizing Across Multi-Scenarios
本文提出元正则化上下文世界模型MrCoM，通过状态空间分解、元状态正则化和元值正则化，实现跨多场景的统一世界模型泛化，并在实验中显著超越现有方法。
2025-11-09 cs.AI cs.LG
Learning to Stay Safe: Adaptive Regularization Against Safety Degradation during Fine-Tuning
Indian Institute of Technology Jodhpur（印度理工学院乔浦尔）
本文提出一种自适应正则化框架，通过评估安全风险来维持模型在微调过程中的安全性，实验表明该方法能有效降低攻击成功率并保持下游性能。
2026-05-11 cs.CL cs.LG
Parseval Regularization for Continual Reinforcement Learning
Mila, McGill University（米拉，麦吉尔大学）
针对持续强化学习中神经网络可塑性丧失等问题，提出用保持权重矩阵正交性的 Parseval 正则化改善训练，并通过多类任务和消融验证其收益与机制。
2024-12-10 cs.AI cs.LG
Progressive Safeguards for Safe and Model-Agnostic Reinforcement Learning
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
受家长渐进式保护孩子的模式启发，提出一种模型无关的安全强化学习元学习框架，通过基于安全规范的有限状态机防护机制和任务间安全偏好迁移，实现少样本适配新安全规范并显著降低安全违规次数，在多类场景验证有效。
2024-10-31 cs.LG cs.LO
Learning Barrier Certificates: Towards Safe Reinforcement Learning with Zero Training-time Violations
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）
当我们在现实世界中部署强化学习算法时，训练时间安全违规一直是一个主要问题。本文探讨了在具有挑战性的环境中零训练时间安全违规的安全RL算法的可能性，在这种环境中，我们只得到一个安全但微不足道的初始策略，而没有任何动力学模型和额外离线数据的先验知识。我们提出了一种算法，共同训练的屏障证书安全RL（CRABS），迭代学习屏障证书，动态模型和政策。通过对抗训练学习的屏障证书确保了策略的安全性，假设校准的学习动力学模型。我们还添加了一个正则化项，以鼓励更大的认证区域进行更好的探索。经验模拟表明，零安全违规已经具有挑战性的一套简单的环境，只有2-4维的状态空间，特别是如果高回报的政策必须访问安全边界附近的区域。以前的方法需要数百次违规才能在这些任务上获得体面的奖励，而我们提出的算法则不会产生违规行为。
2022-03-11 cs.AI cs.LG cs.RO
Provable Safe Reinforcement Learning with Binary Feedback
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
安全性在强化学习（RL）的许多应用中都是至关重要的，无论是机器人、汽车还是医疗。许多现有的安全RL方法依赖于接收数字安全反馈，但在许多情况下，这种反馈只能采用二进制值;也就是说，给定状态下的动作是安全的还是不安全的。当反馈来自人类专家时，情况尤其如此。因此，我们考虑可证明的安全RL的问题时，给予访问离线oracle提供二进制反馈的安全状态，动作对。我们提供了一种新的Meta算法，SABRE，它可以应用于任何MDP设置访问黑盒PAC RL算法的设置。SABRE应用从主动学习到强化学习的概念，以可证明地控制对安全预言的查询数量。SABRE通过迭代地探索状态空间来找到代理当前不确定安全性的区域。我们的主要理论结果表明，在适当的技术假设下，SABRE在训练过程中从不采取不安全的行动，并保证以高概率返回一个接近最优的安全策略。我们提供了一个讨论，我们的元算法可以应用到各种设置研究的理论和实证框架。
2022-10-26 cs.AI cs.LG stat.ML
Learning diverse attacks on large language models for robust red-teaming and safety tuning
KAIST（韩国科学技术院）；Mila – Québec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；National University of Singapore（新加坡国立大学）；University of Edinburgh（爱丁堡大学）；CIFAR（加拿大高级研究所）
该研究针对现有红队测试方法存在的模式崩塌或攻击有效性不足问题，提出GFlowNet微调加二次平滑的方法生成多样化攻击提示，其攻击对各类LLM有效且可迁移，用该攻击提示调优的模型对其他攻击方法具有鲁棒性。
2026-09-01 cs.CL cs.CR cs.LG
Meta SAC-Lag: Towards Deployable Safe Reinforcement Learning via MetaGradient-based Hyperparameter Tuning
University of Victoria（维多利亚大学）
针对基于拉格朗日的安全强化学习阈值调优难、易次优收敛的问题，提出Meta SAC-Lag架构，通过元梯度自动更新安全超参数，在模拟和机械臂倒咖啡真实任务中均表现优异。
2024-08-15 cs.AI cs.LG cs.RO
Quantum Multi-Agent Meta Reinforcement Learning
Korea University（高丽大学）；Deakin University（迪肯大学）
虽然量子霸权尚未到来，但最近人们越来越关注在即将到来的实用量子计算时代识别量子机器学习（QML）的潜力。受此启发，在本文中，我们基于量子神经网络（QNN）的独特特性重新设计了多智能体强化学习（MARL），该网络具有两个独立的可训练参数维度：影响输出量子比特状态的角度参数和与输出测量基础相关的极点参数。利用这种二元可训练性作为元学习能力，我们提出了量子Meta MARL（QM2ARL），它首先将角度训练应用于元QNN学习，然后将极点训练应用于Few-Shot或局部QNN训练。为了避免过拟合，我们开发了一种角度到极点正则化技术，在角度训练期间将噪声注入极点域。此外，通过利用极点作为每个训练的QNN的存储器地址，我们引入了极点存储器的概念，允许仅使用两个参数的极点值来保存和加载训练的QNN。我们从理论上证明了角度训练在角度到极点正则化下的收敛性，并通过仿真证实了QM2ARL在实现高回报和快速收敛方面的有效性，以及极点记忆在快速适应时变环境方面的有效性。
2022-11-25 cs.AI cs.LG cs.MA
Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent
Peking University（北京大学）
我们提出了\textit{Meta-Regularization}，一种新的方法，自适应选择的学习率在一阶梯度下降方法。我们的方法通过在学习率上增加正则化项来修改目标函数，并将参数和学习率的联合更新过程转化为最大最小问题。给定任何正则化项，我们的方法有利于生成实用的算法。当\textit{Meta-Regularization}把$φ$ -散度作为正则化子时，所得到的算法具有与其他一阶梯度算法相当的理论收敛性能.此外，我们从理论上证明了一些设计良好的正则化可以改善收敛性能的目标函数的强凸性条件下。基准问题的数值实验表明，从一些常见的$φ$ -发散算法在全批以及在线学习设置的有效性。
2021-04-12 cs.LG
AlignGuard-LoRA: Alignment-Preserving Fine-Tuning via Fisher-Guided Decomposition and Riemannian-Geodesic Collision Regularization
BITS Goa；Manipal University（曼尼帕尔大学）；Meta AI；Amazon AI
针对LoRA微调导致的对齐漂移问题，提出AlignGuard-LoRA框架，结合Fisher信息正则化与黎曼测地线碰撞正则化，在安全基准上减少最多50%的对齐漂移且不损性能，并开源实现。
2025-08-04 cs.AI cs.LG
Towards Unbiased Calibration using Meta-Regularization
Amazon（亚马逊公司）
针对深度神经网络校准偏差问题，提出元正则化方法，结合gamma网络输出连续样本级gamma值与基于高斯核的无偏可微SECE代理，在三个数据集上实现最优校准性能并保持预测竞争力。
2024-06-25 cs.LG
The Advantage of Conditional Meta-Learning for Biased Regularization and Fine-Tuning
Istituto Italiano di Tecnologia（意大利技术研究院）
有偏正则化和微调是最近的两种元学习方法。它们已被证明是有效的，以解决任务的分布，其中任务的目标向量都接近一个共同的元参数向量。然而，这些方法在任务的异构环境中可能表现不佳，其中任务分布的复杂性不能由单个元参数向量捕获。我们通过条件元学习来解决这个限制，推断条件函数将任务的边信息映射到适合手头任务的元参数向量。我们的环境下，有条件的方法带来了很大的优势，比标准的元学习的特性，我们突出的例子，如那些具有多个集群，满足这些属性的环境。然后，我们提出了一个凸元算法提供了一个比较的优势，也在实践中。数值实验证实了我们的理论发现。
2020-08-25 cs.LG stat.ML
Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；College of Computing & Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；School of Cyber Science and Technology, Sun Yat-sen University（中山大学网络空间科学与技术学院）；University of Maryland, College Park（马里兰大学帕克分校）；Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程学系）
针对无数据元学习中预训练模型异构性引发的任务冲突与异构-同构权衡问题，提出任务分组正则化方法，通过任务空间嵌入分组、组内隐式梯度正则化学习跨任务共享表征，在多基准多场景下取得更优性能。
2024-12-09 cs.LG
Self-supervised Meta-Prompt Learning with Meta-Gradient Regularization for Few-shot Generalization
Zhejiang University（浙江大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Worcester Polytechnic Institute（伍斯特理工学院）
本文提出自监督元提示学习框架SUPMER，通过自监督元学习学习通用提示初始化并联合元学习梯度正则化函数，缓解少样本场景下软提示初始化依赖和过拟合问题，提升下游任务的泛化能力。
2023-10-23 cs.CL cs.LG
Meta-Regularization by Enforcing Mutual-Exclusiveness
Stanford University（斯坦福大学）；Argonne National Laboratory（阿贡国家实验室）；Ford Greenfield Labs（福特绿谷实验室）
元学习模型有两个目标。首先，它们需要能够在仅利用少量训练数据的情况下对一系列任务分布进行预测。其次，他们还需要在元测试时再次适应新的未知任务，只使用来自该任务的少量训练数据。这是第二个目标，其中元学习模型由于任务过拟合而无法执行非互斥任务。考虑到保证互斥任务通常很困难，因此非常需要正则化方法来帮助减少元学习中任务记忆的影响。例如，在N-way，K-shot分类问题的情况下，当与每个任务相关联的标签固定时，任务变得不互斥。在这种设计下，模型将简单地记住所有训练任务的类标签，因此在元测试时无法识别新任务（类）。这种记忆的一个直接可观察的结果是，元学习模型简单地忽略了特定于任务的训练数据，而倾向于基于测试数据输入直接分类。在我们的工作中，我们提出了一种元学习模型的正则化技术，使模型设计者在元训练期间对信息流有更多的控制。我们的方法包括一个正则化函数，该函数是通过最大化任务汇总统计数据（在黑盒模型的情况下）和任务特定网络参数（在元训练期间基于优化的模型的情况下）之间的距离来构建的。我们提出的正则化函数在Omniglot数据集上显示了$\sim$ $36\%$的精度提升，用于使用黑盒方法的5路1次分类和使用基于优化的方法的20路1次分类问题。
2021-01-24 cs.AI cs.CV cs.LG
Revisiting Robustness for LLM Safety Alignment via Selective Geometry Control
National University of Singapore（新加坡国立大学）；Hefei University of Technology（合肥工业大学）；ST Engineering Ltd., Singapore（新加坡ST工程有限公司）
本文通过优化几何视角重新审视LLM安全对齐的鲁棒性，提出ShaPO框架，通过选择性几何控制在对齐关键参数子空间上强制最坏对齐目标，提升安全鲁棒性。
2026-05-21 cs.LG
Overlap-Adaptive Regularization for Conditional Average Treatment Effect Estimation
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Munich, Germany（德国慕尼黑）
本文提出重叠自适应正则化方法，通过调整正则化强度以应对低重叠问题，提升CATE估计的性能。
2026-03-11 cs.LG stat.ML
Know Thy Judge: On the Robustness Meta-Evaluation of LLM Safety Judges
Dynamo AI
本文研究LLM安全裁判的鲁棒性元评估，揭示实际环境因素与对抗性攻击对其评估可靠性的影响，发现微小输出风格变化和攻击可导致高假阴性率，暴露现有基准空白并警示虚假安全感。
2025-03-06 cs.CR cs.LG
Meta-Embedding as Auxiliary Task Regularization
University of Liverpool（利物浦大学）
词嵌入已被证明受益于对多个词嵌入源进行采样，通常使用词向量集上的直接数学运算来执行。最近，自监督学习已被用于寻找低维表示，其大小类似于集合中的单个词嵌入。然而，这些方法不使用通常仅用于评估目的的可用手动标记的数据集。我们建议重建一个整体的词嵌入作为一个辅助任务，regularises一个主要的任务，而这两个任务共享学习元嵌入层。我们进行内在评估（6个单词相似度数据集和3个类比数据集）和外在评估（4个下游任务）。对于内在任务评估，监督来自各种标记的单词相似性数据集。我们的实验结果表明，与自监督学习方法相比，所有单词相似度数据集的性能都有所提高，Spearman相关性平均增加了$11.33$。具体而言，该方法显示出最好的性能在4的6个字相似性数据集时，使用余弦重建损失和Brier的字相似性损失。此外，在序列标注和句子元嵌入中进行词元嵌入重构时也进行了改进，用于句子分类。
2020-01-24 cs.CL cs.LG
DAC-MR: Data Augmentation Consistency Based Meta-Regularization for Meta-Learning
Xi’an Jiaotong University（西安交通大学）
提出DAC-MR，通过数据增强一致性编码不变性作为元知识，构建元正则化目标，以改善噪声、稀疏或缺失元数据下的元学习泛化性能，并在10个任务上验证有效性。
2023-05-13 cs.AI cs.CV cs.LG
PixMix: Dreamlike Pictures Comprehensively Improve Safety Measures
UC Berkeley（加州大学伯克利分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Harvard University（哈佛大学）
在机器学习的实际应用中，可靠和安全的系统必须考虑超出标准测试集精度的性能度量。这些其他目标包括分布外（OOD）鲁棒性，预测一致性，对对手的弹性，校准的不确定性估计以及检测异常输入的能力。然而，提高这些目标的性能通常是一种平衡行为，当今的方法无法在不牺牲其他安全轴性能的情况下实现。例如，对抗训练提高了对抗鲁棒性，但严重降低了其他分类器的性能指标。类似地，强大的数据增强和正则化技术通常会提高OOD的鲁棒性，但会损害异常检测，从而提出了一个问题，即是否可以对所有现有的安全措施进行帕累托改进。为了应对这一挑战，我们设计了一种新的数据增强策略，利用分形等图像的自然结构复杂性，其性能优于众多基线，接近帕累托最优，并全面提高了安全措施。
2022-03-29 cs.CV cs.LG
On Training Implicit Meta-Learning With Applications to Inductive Weighing in Consistency Regularization
University of Edinburgh（爱丁堡大学）；School of Informatics（信息学院）
本文系统分析了隐式元学习中 Hessian 近似方法的稳定性与效率，并提出一种基于置信网络的半监督学习算法，可归纳加权一致性正则化损失并优于 FixMatch。
2023-10-28 cs.AI cs.LG
Meta-Learning Priors for Safe Bayesian Optimization
ETH Zurich（苏黎世联邦理工学院）；inspire AG（Inspire股份公司）
针对机器人领域安全约束下控制器参数优化的挑战，提出基于F-PACOH的元学习先验框架，通过数据驱动方式选安全先验，在保障安全的同时加快安全贝叶斯优化收敛。
2023-06-12 cs.AI cs.LG cs.RO
MANGO: Meta-Adaptive Network Gradient Optimization for Online Continual Learning
Purdue University（普渡大学）；TU Delft（代尔夫特理工大学）
本文提出MANGO框架，通过梯度门控和元学习正则化平衡持续学习中的稳定性与可塑性，实现对过去任务遗忘的克服和新任务高效学习。
2026-05-18 cs.AI cs.LG
Who Analyses the Analyser? Self-Validating LLM Hazard Analysis with Constitutional Meta-STPA
研究针对大语言模型辅助安全分析工具自身缺乏分析的问题，提出结构化元安全分析过程，通过运行元安全分析过程推导治理章程，包含21条工具原则和8条元安全原则，还报告了自推导等四个发现。
2026-07-10 cs.AI cs.LG
Objective Matters: Fine-Tuning Objectives Shape Safety, Robustness, and Persona Drift
University of Cincinnati（辛辛那提大学）；University of Toronto（多伦多大学）；University of Oxford（牛津大学）
本文研究了微调目标对LLM安全性和鲁棒性的影响，发现目标选择在不同训练规模下对安全、鲁棒性和人格漂移有显著影响。
2026-01-19 cs.CL cs.LG
Improved Adversarial Robustness via Logit Regularization Methods
University of Auckland（奥克兰大学）
虽然在使神经网络有效地处理各种视觉任务方面取得了很大进展，但大多数模型都非常脆弱。这种脆弱性表现为对输入的小的、精心选择的扰动，称为对抗性示例，这代表了野外学习视觉模型的安全威胁--在计算机视觉的安全关键型应用中，应该负责任地防御这种威胁。在本文中，我们倡导并实验性地研究了使用一系列logit正则化技术作为对抗性防御，该技术可以与其他方法结合使用，以很少或没有边际成本的方式创建对抗性鲁棒性。我们还证明了最近的一种对抗性防御机制的有效性实际上可以归因于logit正则化，并展示了如何提高其对白盒和黑盒攻击的防御能力，在此过程中创建更强大的黑盒攻击。我们在三个数据集上验证了我们的方法，包括无梯度攻击和基于梯度的迭代攻击的结果，这些攻击多达1,000步。
2019-06-10 cs.CR cs.LG stat.ML
Function-Space Regularization for Deep Bayesian Classification
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technical University of Darmstadt（达姆施塔特工业大学）
针对权重空间先验难以解释和设定的问题，本文提出在预测空间使用 Dirichlet 先验并进行近似函数空间变分推断，使先验可跨模型复用，并提升不确定性量化与对抗鲁棒性。
2023-07-12 cs.LG stat.ML
MaMa: A Game-Theoretic Approach for Designing Safe Agentic Systems
Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所）
提出MaMa算法，通过将安全智能体系统设计形式化为系统设计者与对手之间的Stackelberg博弈，利用基于LLM的对抗搜索自动生成鲁棒安全的系统设计。
2026-05-22 cs.GT cs.LG
Semi-Supervised Learning with Meta-Gradient
Nankai University（南开大学）；University of California, Merced（加州大学默塞德分校）；Tongji University（同济大学）
在这项工作中，我们提出了一个简单而有效的元学习算法在半监督学习。我们注意到，大多数现有的基于一致性的方法遭受过拟合和有限的模型泛化能力，特别是当训练只有少量的标记数据。为了缓解这个问题，我们提出了一个学习泛化正则化项，利用标签信息和优化的元学习方式的问题。具体来说，我们寻求未标记数据的伪标签，使模型可以很好地推广标记数据，这是一个嵌套的优化问题。我们使用连接伪标签和正则化项的元梯度来解决这个问题。此外，我们引入了一个简单的一阶近似，以避免计算高阶导数，并提供理论收敛性分析。对SVHN、CIFAR和ImageNet数据集的广泛评估表明，该算法与最先进的方法相比表现良好。
2021-03-17 cs.LG stat.ML
Spectral regularization for adversarially-robust representation learning
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·保尔森工程与应用科学学院）；Center for Brain Science, Harvard University（哈佛大学脑科学中心）；Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University（哈佛大学肯普ner自然与人工智能研究所）
针对神经网络对抗脆弱性，提出面向表示学习的谱正则化方法，提升下游分类任务的黑盒对抗鲁棒性，实验证明其优于全层正则化。
2024-05-27 cs.CV cs.LG
Lifelong Safety Alignment for Language Models
Sea AI Lab, Singapore（新加坡海智实验室）；Tsinghua University（清华大学）；The Hong Kong University of Science and Technology（香港科学与技术大学）
提出终身安全对齐框架，通过元攻击者与防御者的竞争训练，使大语言模型持续适应新越狱策略，最终将攻击成功率降至7%，提升部署安全性。
2025-05-26 cs.AI cs.CL cs.CR
