Distributional Preference Learning: Understanding and Accounting for Hidden Context in RLHF
University of California, Berkeley(加州大学伯克利分校);Massachusetts Institute of Technology(麻省理工学院)
该研究指出RLHF中偏好学习会因隐藏上下文按Borda计数规则隐式聚合带来漏洞,提出分布偏好学习方法估计备选得分分布,实验证实其可识别LLM聊天机器人数据中的隐藏上下文并降低越狱风险。
2024-04-17 cs.AI cs.LG stat.ML
Circuit-Aware Reward Training: A Mechanistic Framework for Longtail Robustness in RLHF
ENS, Université PSL, EHESS, CNRS(高等科学研究所、巴黎国立大学、EHESS、国家科学研究中心)
针对RLHF奖励模型在长尾场景下的系统性失败,本文提出机制可解释性框架识别罕见事件神经电路,并给出CART方法以指导数据增强、正则化与集成,从而提升长尾鲁棒性。
2025-09-29 cs.AI cs.LG
ROCM: RLHF on consistency models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出ROCM框架,通过直接奖励优化和$f$-散度分布正则化将RLHF应用于一致性模型,实现高效稳定的单步生成训练,在自动指标和人类评估中优于或媲美策略梯度方法。
2025-03-08 cs.AI cs.LG
Learning from Failures: Understanding LLM Alignment through Failure-Aware Inverse RL
Imperial College London(帝国理工学院伦敦分校);Amazon AGI(亚马逊人工智能实验室)
本文提出一种失败意识反向强化学习算法,通过聚焦于误分类或困难的例子来提取更准确的奖励函数,从而提升LLM对齐的可解释性和安全性。
2026-01-17 cs.CL cs.LG
Sharp Analysis for KL-Regularized Contextual Bandits and RLHF
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对KL正则化RLHF现有理论分析样本复杂度与无正则化相同的问题,通过精细分析揭示小ε下$\mathcal{O}(1 / \varepsilon)$的样本复杂度,并探索数据覆盖作用,为高效RLHF算法设计提供理论启示。
2025-02-11 cs.LG stat.ML
A Survey of Reinforcement Learning from Human Feedback
LMU Munich(慕尼黑大学);MCML Munich(慕尼黑马克斯·普朗克研究所);DFKI(德国人工智能研究中心)
本文综述了从人类反馈强化学习的基本原理、核心方法及在多个领域中的应用与贡献。
2025-12-28 cs.LG
Reward Model Learning vs. Direct Policy Optimization: A Comparative Analysis of Learning from Human Preferences
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);University of Warwick(华威大学)
本文系统比较了RLHF与DPO两种人类偏好学习范式,推导了两者在精确与近似优化下的统计界与收敛率,发现DPO在奖励不可实现时表现更优,并将分析扩展至马尔可夫决策过程。
2024-06-05 cs.LG
Selective Timestep Weighting and Advantage-Based Replay for Sample-Efficient Diffusion RLHF
Carnegie Mellon University(卡内基梅隆大学);University of Maryland, College Park(马里兰大学帕克分校)
研究如何提高扩散模型中强化学习从人类反馈的效率,提出选择性时间步加权和基于优势的重放两种互补策略,通过强调信息丰富的时间步和轨迹优化,提升反馈效率,样本效率比基线提高6倍。
2026-07-09 cs.AI cs.CV cs.LG
Towards Data-Centric RLHF: Simple Metrics for Preference Dataset Comparison
Stanford University(斯坦福大学);Apple(苹果公司)
针对当前缺乏偏好数据集衡量比较方法的问题,本文从规模、标签噪声、信息含量三视角提出具体比较指标,为以数据为中心的RLHF对齐提供支持,助力提升训练效率与迭代数据收集。
2024-09-15 cs.AI cs.CL cs.LG
Information-Theoretic Reward Decomposition for Generalizable RLHF
Shanghai Jiao Tong University(上海交通大学);UT Austin(得克萨斯大学奥斯汀分校);Institute of Artificial Intelligence, China Telecom(中国电信人工智能研究院)
针对RLHF中奖励模型泛化性差的问题,本文提出将奖励分解为无提示与提示相关两部分,并基于信息论提取,通过优先级排序训练,提升了对齐与泛化性能。
2025-10-24 cs.AI cs.CL cs.LG
Perspectives on the Social Impacts of Reinforcement Learning with Human Feedback
Massachusetts Institute of Technology(麻省理工学院)
机器有可能像人类一样思考吗?如果是这样,我们应该如何教他们这样做呢?早在1950年,艾伦·图灵(Alan Turing)就说过,我们应该像教孩子一样教机器。带有人类反馈的强化学习(RLHF)已经成为允许智能体以自然的方式从人类反馈中学习的强有力的候选者。RLHF不同于传统的强化学习,因为它除了提供奖励信号之外还提供来自人类教师的反馈。它已经被多个备受瞩目的人工智能应用程序带入公众视野,包括OpenAI的ChatGPT,DeepMind的Sparrow和Anthropic的Claude。这些功能强大的聊天机器人已经颠覆了我们对人工智能如何与人类互动的理解。RLHF的广泛适用性和蓬勃发展的成功,强烈地激发了需要评估其社会影响。鉴于最近的发展,本文认为一个重要的问题:RLHF的开发和使用,而不会对人类社会产生负面影响?我们有三个目标:提供一个有系统的研究的社会影响的RLHF;确定关键的社会和道德问题的RLHF;并讨论社会影响的利益相关者。虽然RLHF基于文本的应用程序受到了很大的关注,它是至关重要的,以评估其社会影响时,考虑到它可能被部署到不同的领域。我们描述了基于RLHF的技术通过积极改变人类对AI的体验来影响社会的七种主要方式。本文最终提出,RLHF有可能对错误信息、人工智能价值取向、偏见、人工智能访问、跨文化对话、行业和劳动力等领域产生积极影响。由于RLHF引起了与现有人工智能技术…
2023-03-06 cs.AI cs.CY cs.LG
Understanding Impact of Human Feedback via Influence Functions
KAIST(韩国科学技术院);Columbia University(哥伦比亚大学)
针对RLHF中人类反馈噪声大、易偏差导致奖励信号错位的问题,提出一种计算高效的影响函数近似方法,可应用于大语言模型奖励模型与大规模偏好数据集,实现标注偏差检测与标注策略优化,提升反馈可解释性与RLHF可扩展监督能力。
2025-09-01 cs.AI cs.HC cs.LG
Measuring memorization in RLHF for code completion
Google DeepMind(谷歌DeepMind);Google(谷歌)
本文研究代码补全模型在 RLHF 与直接偏好学习中的训练数据记忆,发现 RLHF 更能降低敏感偏好数据被复述的风险,且结论跨数据集、任务和模型规模稳健。
2024-10-25 cs.CL cs.LG cs.SE
Adaptive Margin RLHF via Preference over Preferences
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
研究在基于人类反馈的强化学习中奖励模型学习的边际优化问题,提出利用偏好之上的偏好推断自适应边际,介绍具体实例DPO-PoP,提升判别和生成性能,并给出采样策略。
2026-07-07 cs.AI cs.CL cs.LG
Value-Incentivized Preference Optimization: A Unified Approach to Online and Offline RLHF
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
针对RLHF中偏好数据收集方式不同(在线/离线)的问题,提出价值激励偏好优化(VPO)统一方法,通过值函数正则化奖励函数并调节乐观/悲观策略,兼具理论保证与文本摘要、对话任务的实验有效性。
2025-02-19 cs.AI cs.LG stat.ML
RLHS: Mitigating Misalignment in RLHF with Hindsight Simulation
Princeton University(普林斯顿大学)
针对RLHF因评估者依赖可被AI输出影响的前瞻预测而产生系统性错位,本文提出RLHS,通过向评估者展示事后模拟结果解耦对齐信号,并在多场景与基准中验证其更优且可泛化的对齐效果。
2025-06-10 cs.AI cs.CL cs.LG
Greedy Sampling Is Provably Efficient for RLHF
Electrical and Computer Engineering University of Virginia(电气与计算机工程大学弗吉尼亚大学);Princeton Language and Intelligence Princeton University(普林斯顿语言与智能普林斯顿大学)
该研究针对RLHF理论理解不足的问题,跳出经典乐观/悲观估计框架,基于KL正则化目标下最优策略类的结构特性,证明贪心采样在通用偏好模型及BT模型中均能实现阶数提升的性能保证,为RLHF算法设计提供新理论依据。
2025-10-28 cs.AI cs.IT cs.LG
$f$-Divergence Regularized RLHF: Two Tales of Sampling and Unified Analyses
Department of Electrical and Computer Engineering, University of Virginia, Virginia, United States(弗吉尼亚大学电气与计算机工程系);Princeton Language and Intelligence, Princeton University, New Jersey, United States(普林斯顿大学语言与智能)
本文提出基于一般$f$-散度正则化的在线RLHF框架,通过两种采样策略实现统一理论分析,证明了算法在$O(\log T)$ regret和$O(1/T)$ sub-optimality gap下的效率。
2026-05-07 cs.AI cs.IT cs.LG
Fine-tuning Language Models with Generative Adversarial Reward Modelling
National University of Singapore(新加坡国立大学)
本文提出RLGAF,以生成对抗训练让LLM间接学习专家示范,在保持样本效率和泛化能力的同时,取得与RLHF、SFT相当的对齐效果。
2024-03-05 cs.AI cs.CL cs.LG
Interpreting Learned Feedback Patterns in Large Language Models
Luke Marks;Amir Abdullah;Clement Neo;Rauno Arike;David Krueger;Philip Torr;Fazl Barez
本文提出“学习到的反馈模式”(LFP)概念,通过训练探针估计LLM激活中隐含的反馈信号并与真实反馈对比,以检验RLHF后模型是否准确对齐人类偏好,从而提升LLM安全性。
2025-09-19 cs.LG
Reveal the Mystery of DPO: The Connection between DPO and RL Algorithms
School of Mathematics and Statistics(数学与统计学院);Beijing Jiaotong University(北京交通大学);University of Science and Technology of China(中国科学技术大学);School of information(信息学院);School of Management(管理学院);Renmin University of China(中国人民大学);Fudan University(复旦大学);Academy of Mathematics and Systems Science(数学与系统科学研究院)
本文通过提出统一框架UDRRA,从损失函数构造、收敛目标分布和关键组件影响三方面揭示DPO与RL及RLHF算法的内在联系,为改进现有算法提供新见解。
2025-02-05 cs.LG
SuperHF: Supervised Iterative Learning from Human Feedback
LMU München(慕尼黑大学);Stanford University(斯坦福大学)
针对SFT和RLHF的优缺点,提出SuperHF方法,用监督损失和KL散度先验替代PPO,通过在线学习自主生成数据,在保持性能的同时显著简化实现并提升稳定性。
2023-10-25 cs.AI cs.CL cs.LG
Generalization Limits of Reinforcement Learning Alignment
Aladdin Security Inc(阿拉丁安全公司)
本文研究了强化学习对齐技术的泛化能力限制,提出复合越狱方法,通过结合多种攻击技术提高攻击成功率,验证了安全训练无法广泛泛化 hypothesis。
2026-04-03 cs.AI cs.LG
Understanding the performance gap between online and offline alignment algorithms
Google DeepMind(谷歌DeepMind)
该研究针对在线与离线大模型对齐算法的性能差距展开,通过消融实验发现数据等因素无法解释差异,明确在线策略采样在AI对齐中的关键作用,指出离线对齐算法的根本性挑战。
2026-10-06 cs.AI cs.LG stat.ML
Thompson Sampling in Online RLHF with General Function Approximation
Department of Electrical and Computer Engineering, University of Florida(电气与计算机工程系,佛罗里达大学)
针对在线RLHF设置,提出受Thompson sampling启发的无模型后验采样算法,基于BE维度建立O(√T)遗憾界,并通过MLE泛化界推导出平方Bellman误差的集中型不等式。
2025-05-29 cs.LG
SEAL: Systematic Error Analysis for Value ALignment
Harvard University(哈佛大学);Harvard Law School Library(哈佛法学院图书馆);OpenAI
本文提出特征印记、对齐阻力和对齐鲁棒性三个新指标,系统分析RLHF中奖励模型对人类价值对齐的建模效果,发现目标特征显著、干扰特征敏感,且26%错位源于数据模糊条目。
2024-08-16 cs.AI cs.CL cs.LG
Improving Generalization of Alignment with Human Preferences through Group Invariant Learning
Fudan University(复旦大学);ByteDance Inc.(字节跳动有限公司)
针对强化学习在人类偏好对齐中易走捷径、泛化不足的问题,本文提出通过自动分组并最大化组间差异,优化困难组并自适应调整探索空间,从而提升训练稳定性与模型泛化能力。
2023-12-26 cs.AI cs.LG
Understanding the Effects of RLHF on LLM Generalisation and Diversity
University College London(伦敦大学学院);Meta;University of Oxford(牛津大学)
本文分析了RLHF各阶段对LLM分布外泛化能力和输出多样性的影响,发现RLHF比SFT泛化更好但会显著降低输出多样性,揭示了两者间的权衡关系。
2024-02-19 cs.AI cs.CL cs.LG
Reward Hacking in the Era of Large Models: Mechanisms, Emergent Misalignment, Challenges
Fudan NLP Group(复旦大学NLP小组)
本文探讨大模型中奖励黑客的机制与挑战,提出代理压缩假说框架,分析优化过程中的表现偏差和对抗性行为,提出检测与缓解策略。
2026-04-15 cs.LG
Learning a Canonical Basis of Human Preferences from Binary Ratings
Stanford University(斯坦福大学);Accenture(埃森哲)
本文研究RLHF数据集中的人类偏好,发现21个偏好类别能解释超89%的偏好差异,构成低秩规范基,并在模型评估和训练中验证其效用。
2025-03-31 cs.AI cs.HC cs.LG
Reinforcement Learning with Human Feedback: Learning Dynamic Choices via Pessimism
Princeton University(普林斯顿大学);Yale University(耶鲁大学)
本文研究离线RLHF,提出DCPPO方法,通过极大似然估计、Bellman误差最小化和悲观值迭代三阶段学习人类奖励和近似最优策略,并首次为动态离散选择模型下的离策略离线RLHF提供理论保证。
2023-07-03 cs.AI cs.LG math.OC
Contextual Online Uncertainty-Aware Preference Learning for Human Feedback
Department of Biostatistics, Harvard T.H. Chan School of Public Health(哈佛大学T.H.陈公共卫生学院生物统计学系);Department of Biostatistics & Bioinformatics, Duke University(杜克大学生物统计学与生物信息学系)
本文提出一种新的统计框架,利用动态上下文信息在线决策和统计推断最优模型,通过人类偏好数据实现最优 regret 绑定和估计量渐近分布。
2026-08-26 cs.LG stat.ME stat.ML
Understanding Sampler Stochasticity in Training Diffusion Models for RLHF
Columbia University, IEOR Department(哥伦比亚大学,工业工程与运营研究系)
本文研究了在训练扩散模型用于RLHF时随机采样与确定性采样之间的不匹配问题,通过理论分析和实验验证,提出了非空的界限和更尖锐的收敛速率,并展示了高随机性SDE训练对ODE采样质量的提升作用。
2025-12-16 cs.AI cs.LG math.OC
Powderworld: A Platform for Understanding Generalization via Rich Task Distributions
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出Powderworld,一个基于GPU的轻量级模拟环境,通过丰富任务分布研究泛化,实验显示环境复杂性对世界模型和强化学习智能体的泛化有不同影响。
2023-10-15 cs.AI cs.LG
The Persona Hierarchy Model: Understanding Contextual Generalization in Fine-Tuning LLMs
Northeastern University(东北大学);Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind)
本文提出人格层级模型解释大语言模型微调中的上下文泛化现象,并通过120个模型实验验证,同时提出人格保留正则化方法有效抑制不期望的泛化,降低奖励黑客行为。
2026-10-08 cs.CL cs.LG
Reward Generation via Large Vision-Language Model in Offline Reinforcement Learning
KAIST(韩国科学技术院)
针对离线强化学习中设计奖励信号成本高的问题,提出基于大型视觉语言模型的奖励生成方法RG-VLM,无需人类参与即可从离线数据生成奖励,能提升长时任务泛化能力和稀疏奖励下的性能。
2025-04-03 cs.AI cs.LG
SALSA: Soup-based Alignment Learning for Stronger Adaptation in RLHF
University of Maryland(马里兰大学);Apple(苹果公司)
SALSA通过平均两个SFT模型权重构建灵活参考模型,允许更大KL偏差,促进RLHF中更深探索,在多个基准上超越PPO,提升对齐与性能。
2024-11-04 cs.LG
Understanding What Affects the Generalization Gap in Visual Reinforcement Learning: Theory and Empirical Evidence
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Tsinghua University(清华大学);IEG, Tencent(腾讯IEG);School of Computer Science, Peking University(北京大学计算机学院)
本文从理论与实证两方面揭示了视觉强化学习中测试环境存在干扰物时影响泛化差距的关键因素,证明最小化训练与测试环境间的表征距离是缩小泛化差距的最核心手段,并在 DMC-GB 基准上验证了该结论。
2024-10-16 cs.AI cs.LG stat.ML
Generalisation of RLHF under Reward Shift and Clipped KL Regularisation
University of Edinburgh(爱丁堡大学);University of Science and Technology of China(中国科学技术大学)
本文提出基于奖励偏移和截断KL正则化的RLHF泛化理论,分析了奖励偏移和KL截断对泛化误差的影响,并给出了优化KL截断阈值和预算分配的实践指导。
2026-02-25 cs.AI cs.LG stat.ML
Fairness in Reinforcement Learning: A Survey
Stanford University(斯坦福大学);University of Pennsylvania(宾夕法尼亚大学)
本文针对强化学习公平性研究尚不成熟的现状,梳理了该领域前沿进展,涵盖公平性的产生场景、定义、单/多智能体实现方法及应用领域,并指出RLHF公平性等待填补的研究空白。
2024-05-11 cs.AI cs.CY cs.LG
One Model for All: Multi-Objective Controllable Language Models
Ruhr University Bochum(波鸿鲁尔大学);Eindhoven University of Technology(埃因霍温理工大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);University of Liverpool(利物浦大学)
本文提出多目标控制(MOC),通过引入多目标优化原理训练单个语言模型,使其能根据用户偏好在帕累托前沿生成个性化输出,提升模型可控性、输出质量和泛化能力。
2026-04-06 cs.AI cs.CL cs.LG
Ordinal Credit Assignment: Multi-Step Reinforcement Learning from Comparisons Alone
Department of Automation, Tsinghua University(清华大学自动化系)
本文提出了一种统一的偏好基于RL优化框架,通过Soft-Pair-GRPO和Hard-Pair-GRPO两种变体,解决了主流配对偏好学习中政策更新不稳定、梯度方向模糊等问题,提升了对齐质量与训练稳定性。
2026-11-05 cs.AI cs.LG math.ST
Understanding Generalization in Role-Playing Models via Information Theory
School of Computer Science, Wuhan University(武汉大学计算机学院);Tongyi Lab(通义实验室);Zhongguancun Academy(中关村学院)
本文通过信息理论提出R-EMID指标,分析角色扮演模型在分布偏移下的泛化问题,提出协同强化学习框架提升对话生成概率,发现用户偏移对泛化影响最大。
2026-04-13 cs.AI cs.CL cs.LG
Understanding Likelihood Over-optimisation in Direct Alignment Algorithms
University College London(伦敦大学学院);Cohere(Cohere公司)
本文研究直接对齐算法中补全似然与模型性能的关系,发现似然过度优化会损害泛化,并提出基于Top-k熵和概率质量递减的两个指标来检测并防止性能下降。
2024-10-18 cs.AI cs.CL cs.LG
Axioms for AI Alignment from Human Feedback
Washington University in St. Louis(圣路易斯华盛顿大学);Harvard University(哈佛大学)
本文从社会选择理论视角审视RLHF中的奖励函数学习,指出Bradley-Terry-Luce模型及其推广不满足基本公理,并提出具有强公理保证的新规则,引入线性社会选择范式。
2024-11-07 cs.AI cs.GT cs.LG
On the Limited Generalization Capability of the Implicit Reward Model Induced by Direct Preference Optimization
Apple(苹果公司);The Hong Kong University of Science and Technology(香港科技大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文研究直接偏好优化(DPO)隐式奖励模型DPORM的泛化能力,发现其在分布外场景下准确率平均下降3%、最大下降7%,泛化能力弱于显式奖励模型EXRM,从而支持在迭代DPO中引入显式奖励模型。
2024-10-03 cs.CL cs.LG
Ask a Strong LLM Judge when Your Reward Model is Uncertain
Georgia Institute of Technology(佐治亚理工学院);Amazon(亚马逊)
针对奖励模型易受奖励黑客攻击且泛化能力差的问题,提出基于不确定性的路由框架,将不确定样本交由强大LLM裁判处理,在相同成本下显著提升在线RLHF对齐效果。
2025-10-23 cs.LG
Understanding Forgetting in LLM Supervised Fine-Tuning and Preference Learning -- A Convex Optimization Perspective
Rensselaer Polytechnic Institute(罗切斯特理工学院);IBM Research(IBM研究院);Cornell University(康奈尔大学)
本文从凸优化角度证明LLM顺序执行SFT与RLHF/DPO后训练存在遗忘导致的次优性,并提出具有理论收敛保证的联合后训练框架,在多个基准上最高提升23%整体性能且计算开销极小。
2025-11-10 cs.AI cs.CL cs.LG
RewardBench: Evaluating Reward Models for Language Modeling
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学);Harvard Law(哈佛法学院)
本文提出RewardBench基准数据集与代码库,通过涵盖聊天、推理和安全的提示-选中-拒绝三元组评估多种奖励模型,揭示其在拒绝倾向、推理和指令遵循方面的不足,以深化对RLHF过程的理解。
2024-06-08 cs.LG
Understanding Deep Learning Generalization by Maximum Entropy
University of Science and Technology of China(中国科学技术大学);Beijing Jiaotong University(北京交通大学)
深度学习通过大量的模型参数实现了卓越的泛化能力。对深度学习泛化的理论理解最近受到关注,但尚未得到充分探索。本文试图从最大熵的角度提供另一种理解。首先推导出softmax回归严格应用最大熵原理的两个特征条件。然后,DNN被认为是近似的特征条件与多层特征学习,并证明了最大熵原则的递归解决方案。DNN和最大熵之间的联系很好地解释了为什么诸如捷径和正则化之类的典型设计可以提高模型的泛化能力,并为未来的模型开发提供了指导。
2017-11-21 cs.LG
Understanding Generalization via Set Theory
\ Researcher
本文运用集合论定义泛化概念,提出替代泛化过程定理,并通过MNIST实验验证,发现样本基和网络结构对性能影响显著。
2023-11-11 cs.LG
Understanding diffusion models requires rethinking (again) generalization
Inria(法国国家信息与自动化研究所);École Normale Supérieure, PSL Research University(法国国家科学研究中心-巴黎高等师范学院);LPSM, Sorbonne University(巴黎高等师范学院-勒维克概率与统计实验室);Google DeepMind(谷歌DeepMind)
本文探讨扩散模型泛化问题需新的理论框架,指出记忆训练数据与泛化矛盾,提出研究模型预记忆阶段学习内容的重要性。
2026-05-07 cs.LG
GenEFT: Understanding Statics and Dynamics of Model Generalization via Effective Theory
Massachusetts Institute of Technology(麻省理工学院)
本研究提出GenEFT有效理论框架,结合图学习实验揭示神经网络泛化的静力学与动力学规律,解释泛化相变现象,为衔接机器学习理论与实践提供物理学启发的新路径。
2025-03-20 cs.LG
Understanding the Generalization of In-Context Learning in Transformers: An Empirical Study
Tsinghua University(清华大学)
该研究通过三维任务框架实证探究Transformer上下文学习的泛化能力,发现其缺乏问题间泛化但任务内、问题内泛化优异,混合多样训练任务可显著提升泛化效果,为训练数据设计提供指导。
2025-03-19 cs.LG