Do We Really Need Curated Malicious Data for Safety Alignment in Multi-modal Large Language Models?
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对多模态大语言模型(MLLMs)的安全对齐缺口,通过对比实验发现其源于数据分布偏差,提出在良性指令数据上替换响应为拒绝语句的微调方法,无需恶意数据即可提升安全性,表明对齐未丢失而是被掩盖。
2025-04-14 cs.AI cs.CL cs.CR
Customizing Large Language Model Generation Style using Parameter-Efficient Finetuning
Carnegie Mellon University(卡内基梅隆大学)
本文研究如何用基于低秩适配的PEFT将LLaMA-2定制为十位作者风格,证明其可在词汇、句法和表层特征上对齐目标作者,但内容记忆仍有限。
2024-09-06 cs.CL
CALRec: Contrastive Alignment of Generative LLMs for Sequential Recommendation
University of Cambridge(剑桥大学);Google(谷歌公司)
提出CALRec两阶段LLM微调框架,结合对比损失与语言建模损失,显著提升序列推荐性能并超越基线。
2024-08-23 cs.AI cs.CL cs.IR
RAIN: Your Language Models Can Align Themselves without Finetuning
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);The University of Sydney(悉尼大学);University of Waterloo(滑铁卢大学)
针对大语言模型与人类偏好不一致的问题,提出无需微调、无需对齐数据的可回退自归回推理方法RAIN,通过自我评估与回退机制实现模型自我对齐,显著提升模型无害性与真实性。
2023-10-09 cs.CL
Learning Dynamics of LLM Finetuning
University of British Columbia(英属哥伦比亚大学);Amii(阿尔伯塔机器智能研究所)
本文通过分析影响累积的逐步分解研究了LLM微调的学习动态,提出了统一解释框架,揭示了幻觉强化和离策略DPO“挤压效应”的成因,并启发了一种提升对齐性能的简单方法。
2025-06-29 cs.AI cs.CL cs.LG
TSDS: Data Selection for Task-Specific Model Finetuning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Yale University(耶鲁大学);Apple(苹果公司)
本文提出任务特定数据选择框架 TSDS,通过最优传输分布对齐和多样性正则化,结合近似最近邻搜索高效选择微调数据,在 1% 数据比例下即可超越全量数据微调效果。
2024-12-25 cs.AI cs.CL cs.LG
Eliciting the Translation Ability of Large Language Models via Multilingual Finetuning with Translation Instructions
Bytedance Research(字节跳动研究院);Nanjing University(南京大学)
本研究通过对XGLM-7B进行带翻译指令的多语言微调与分析,揭示多语言LLM翻译能力的影响因素与指令执行机制,证实微调可提升其对未见语言对的翻译表现。
2024-04-15 cs.CL
Beyond Token-Level Guidance: Inference-Time Alignment of Specialized LLMs via Cross-Family Representation Steering
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);College of Cryptology and Cyber Science, Nankai University(南开大学密码与网络科学学院)
针对专用LLM推理时对齐的缺陷,提出CREST方法,通过跨系列表示转向提升安全性,同时保留领域能力,在安全基准上比基线提升达22.2%。
2026-09-01 cs.AI cs.CL cs.LG
TS-Align: A Teacher-Student Collaborative Framework for Scalable Iterative Finetuning of Large Language Models
National University of Singapore(新加坡国立大学);Tencent AI Lab(腾讯AI实验室);Peking University(北京大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
TS-Align框架通过师生协同自动挖掘成对反馈数据,实现大语言模型的可扩展迭代对齐,最终策略模型在七个数据集上平均胜率达69.7%,并将教师排序能力蒸馏为小型有效奖励模型。
2024-09-29 cs.CL
Unveiling Over-Memorization in Finetuning LLMs for Reasoning Tasks
Southern University of Science and Technology(南方科技大学);Tsinghua University(清华大学);Shanghai University of Finance and Economics(上海财经大学)
本文揭示推理任务微调 LLM 时特定阶段的过度记忆现象,分析其诱因与危害,并提出检查点选择、合并及记忆感知重加权等缓解方法。
2025-09-28 cs.CL
M2Lingual: Enhancing Multilingual, Multi-Turn Instruction Alignment in Large Language Models
ServiceNow;University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
提出完全合成的多语言多轮指令微调数据集M2Lingual,利用两步Evol分类法将种子示例转换为复杂指令,覆盖70种语言和17+种NLP任务,有效提升了不同规模LLMs的多语言对齐性能。
2025-03-04 cs.AI cs.CL cs.LG
Aligning the Pretraining and Finetuning Objectives of Language Models
Bing Core Relevance, Microsoft(微软必应核心相关性部门)
我们证明,明确对齐预训练目标的微调目标在语言模型训练显着提高微调任务的性能,并减少所需的微调的例子的最小数量。从目标对齐获得的性能裕度允许我们构建具有较小尺寸的语言模型,用于具有较少可用训练数据的任务。我们提供的经验证据,这些索赔适用于客观对齐的概念感兴趣的标签和首字母缩略词检测任务。我们发现,在客观对齐的情况下,我们的768 × 3和512 × 3 Transformer语言模型可以达到83.9%/82.5%的感兴趣概念标记准确率和73.8%/70.2%的首字母缩略词检测准确率,每个任务仅使用200个微调示例,在没有目标对齐的情况下,通过3个预训练的模型,表现优于768,分别为+4.8%/+3.4%和+9.9%/+6.3%。我们将在存在数百个或更少的训练样本的情况下微调小语言模型命名为“少数样本学习”。在实践中,通过目标对齐实现的少数示例学习不仅节省了人工标记成本,而且还可以在更实时的应用中利用语言模型。
2020-02-05 cs.CL cs.LG
Fluent Alignment with Disfluent Judges: Post-training for Lower-resource Languages
Language Technology Group, University of Oslo(奥斯陆大学语言技术组)
本文提出一种低资源语言的后训练方法,通过不流畅评判模型保持语言模型的流畅性,通过挪威语案例研究验证了基于策略的训练方法在无需额外数据时的有效性。
2026-03-27 cs.AI cs.CL
LMFlow: An Extensible Toolkit for Finetuning and Inference of Large Foundation Models
The Hong Kong University of Science and Technology(香港科技大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出可扩展轻量级工具包 LMFlow,旨在简化基础模型的领域与任务感知微调,支持持续预训练、指令微调、参数高效微调、推理加速及多模态微调等完整工作流,以降低科学语言模型训练难度。
2024-05-05 cs.AI cs.CL
Direct Alignment of Draft Model for Speculative Decoding with Chat-Fine-Tuned LLMs
Qualcomm AI Research(高通人工智能研究中心)
针对开源大模型缺乏可用草稿模型、推测解码难以落地的问题,提出含TVD++损失的三步草稿模型训练框架,训练的小参数草稿模型可实现最高2.4倍的推理加速。
2024-05-13 cs.AI cs.CL cs.LG
Defending Against Malicious Finetuning by Scaling Train-time Adversarial Attacks
Xiongan AI Institute(雄安人工智能研究院);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Shanghai Qi Zhi Institute(上海期智研究院)
针对全参数微调的安全威胁,提出基于对抗训练和双层优化的Patcher方法,通过扩展对抗循环中的优化步数增强防御,并设计并行算法提升效率。
2026-09-29 cs.AI cs.CL
Set the Clock: Temporal Alignment of Pretrained Language Models
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
本文研究预训练语言模型的时间混乱问题,提出时间对齐方法,通过构建2000-2023年时间敏感问答数据集并采用提示与微调策略,使模型使用目标年份知识,实验显示对齐后性能最高提升62%,历史时间对齐可达2.8倍。
2024-06-09 cs.CL
FlipGuard: Defending Preference Alignment against Update Regression with Constrained Optimization
University of Science and Technology of China(中国科学技术大学);State Key Laboratory of Communication Content Cognition(通信内容认知国家重点实验室);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出约束优化方法 FlipGuard,通过定制奖励表征识别性能下降并施加约束以鼓励与预对齐模型的条件一致性,有效缓解了大型语言模型偏好对齐中的更新回归问题,同时保持优异整体性能与知识保留。
2024-10-14 cs.AI cs.CL
A General Language Assistant as a Laboratory for Alignment
Anthropic
考虑到大语言模型的广泛功能,应该可以致力于开发一种通用的、基于文本的、符合人类价值观的助手,这意味着它是有用的、诚实的、无害的。作为这个方向的初步尝试,我们研究简单的基线技术和评估,如提示。我们发现,适度干预的好处随着模型的大小而增加,推广到各种对齐评估,并且不会影响大型模型的性能。接下来,我们研究了与对齐、比较模仿学习、二元判别和排序偏好建模相关的几个训练目标的缩放趋势。我们发现,排名偏好建模比模仿学习表现得更好,并且通常更有利于模型大小的扩展。相比之下,二进制辨别通常与模仿学习非常相似地执行和缩放。最后,我们研究了训练的“偏好模型预训练”阶段,目标是在对人类偏好进行微调时提高样本效率。
2021-12-09 cs.CL cs.LG
For-Value: Efficient Forward-Only Data Valuation for finetuning LLMs and VLMs
University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究所);Meta
本文提出For-Value框架,通过前向计算高效评估数据价值,无需反向传播,提升大规模模型训练效率。
2026-04-25 cs.CL
Xwin-LM: Strong and Scalable Alignment Practice for LLMs
Institute of Automation, CAS(中国科学院自动化研究所);Microsoft Research Asia(微软亚洲研究院);Tsinghua University(清华大学)
本文提出Xwin-LM对齐方法套件,涵盖SFT、RM、RS和DPO等关键技术,通过构建高质量数据集与多规模模型,在AlpacaEval和MT-bench上取得显著提升,证明了其强大与可扩展性。
2024-05-30 cs.CL
Understanding the Effects of Domain Finetuning on LLMs
University of Copenhagen(哥本哈根大学);University of California, Santa Barbara(加州大学圣巴巴拉分校);Indian Institute of Technology, Delhi(德里印度理工学院)
本文首次系统研究大型医学语言模型的领域微调机制,提出调优向量框架解释参数空间变化,发现微调仅修改表征子空间的一小部分,且该向量可提升指令遵循与生成质量,并跨领域增强泛化。
2025-10-10 cs.CL
Steerable Pluralism: Pluralistic Alignment via Few-Shot Comparative Regression
提出基于少样本比较回归的可引导多元主义模型,通过上下文学习和推理适应多样用户偏好,在多元对齐任务中优于基线方法。
2025-08-11 cs.AI cs.CL
M$^2$PT: Multimodal Prompt Tuning for Zero-shot Instruction Learning
Rochester Institute of Technology(罗切斯特理工学院);U.S. Naval Research Laboratory(美国海军研究实验室);Harvard Medical School(哈佛医学院);ByteDance(字节跳动);Meta AI;Meituan(美团);University of Science and Technology of China(中国科学技术大学);Shanghai Academy of AI for Science(上海人工智能科学研究院);Fudan University(复旦大学);University of Missouri - Kansas City(密苏里大学堪萨斯城分校);University of California - Davis(加利福尼亚大学戴维斯分校)
针对现有参数高效微调方法多忽略多模态特性的问题,提出M$^2$PT多模态提示调优方法,分别向视觉编码器和语言处理器整合对应模态提示以促进跨模态特征提取与对齐,在多数据集上性能优于现有最优基线且经消融实验验证有效。
2024-10-30 cs.AI cs.CL cs.LG
The Wisdom of Hindsight Makes Language Models Better Instruction Followers
University of California, Berkeley(加州大学伯克利分校)
强化学习在微调大语言模型以通过人类反馈更好地与指令保持一致方面取得了广泛的成功。所谓的算法,强化学习与人类反馈(RLHF)证明了GPT系列模型令人印象深刻的性能。然而,底层的强化学习(RL)算法很复杂,需要额外的奖励和价值网络训练管道。在本文中,我们考虑一种替代方法:通过重新标记原始反馈并以监督方式训练模型以更好地对齐,将反馈转换为指令。这种算法除了原始语言模型外不需要任何额外的参数,并且最大限度地重用了预训练管道。为了实现这一点,我们制定指令对齐问题的语言模型作为一个目标达成的问题,在决策。我们提出了后见之明指令重标记(HIR),一种新的算法对齐语言模型与指令。由此产生的两阶段算法揭示了一个家庭的奖励免费的方法,利用事后重新标记的指示的基础上的反馈。我们在12个具有挑战性的BigBench推理任务上广泛评估了HIR的性能,并表明HIR优于基线算法,与监督微调相当甚至超过监督微调。
2023-02-10 cs.AI cs.CL
The Piggyback Hypothesis of Generalization: Explaining and Mitigating Emergent Misalignment
Northeastern University(东北大学);Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校)
提出搭便车假说,认为聊天模板标记导致微调行为泛化到无关领域,并设计TReFT方法通过正则化标记表示缓解涌现错位,在多个数据集上有效。
2026-10-02 cs.CL
The Power and Limitation of Pretraining-Finetuning for Linear Regression under Covariate Shift
Johns Hopkins University(约翰斯·霍普金斯大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Harvard University(哈佛大学)
我们研究线性回归下的协变量偏移,其中的边际分布在输入协变量不同的源域和目标域,而给定的输入协变量的条件分布的输出是类似的跨两个域。我们研究了一种迁移学习方法,该方法对源数据进行预训练,并根据目标数据进行微调(均由在线SGD进行)。我们建立尖锐的实例依赖于这种方法的过度风险的上限和下限。我们的界限表明,对于一大类线性回归实例,使用$O(N^2)$源数据(以及稀缺或无目标数据)的迁移学习与使用$N$目标数据的监督学习一样有效。此外,我们还表明,即使只有少量的目标数据,微调也可以大大减少预训练所需的源数据量。我们的理论揭示了预训练的有效性和局限性,以及微调处理协变量偏移问题的好处。
2022-08-03 cs.LG math.OC stat.ML
Instruction-tuning Aligns LLMs to the Human Brain
EPFL(洛桑联邦理工学院)
本文评估25个原始与指令微调LLM,发现指令微调可提升大脑对齐约6%,且该对齐与模型规模和世界知识任务表现强相关。
2024-08-09 cs.CL
Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs
University College London(伦敦大学学院);Center on Long-Term Risk(长期风险中心);Warsaw University of Technology(华沙技术大学);University of Toronto(多伦多大学)
研究发现,狭窄微调训练LLM生成不安全代码会导致广泛偏移,模型在无关提示上表现出欺骗性行为,且偏移可通过触发器隐藏。
2026-01-20 cs.AI cs.CL cs.CR
Group Preference Alignment: Customized LLM Response Generation from In-Situ Conversations
University of Maryland(马里兰大学);Microsoft Research(微软研究院)
本文提出群体偏好对齐框架GPA,从真实对话中提取群体偏好准则,并通过情境调优推理和准则微调推理生成定制化响应,在保持标准基准性能的同时显著提升用户偏好对齐效果。
2025-03-11 cs.CL
Towards Physical Intuitions for Alignment Dynamics: A Case Study With Randomness Crystallization
通过类比热力学相变中的结晶过程,将语言模型对齐分解为三个相,并提出直观度量验证相变,为对齐动力学提供物理直觉。
2026-06-29 cs.CL
Behaviorally Grounded User Profiles from the Wild for Personalized Alignment and Multi-Perspective Reasoning
University of Waterloo(滑铁卢大学);ServiceNow AI Research(ServiceNow人工智能研究院)
该研究提出从真实社交媒体提取用户画像的框架,通过训练时微调与测试时多视角推理,提升大语言模型个性化性能,优于合成画像基线。
2026-09-02 cs.AI cs.CL
Multilingual Sentence Transformer as A Multilingual Word Aligner
Shanghai University of Finance and Economics(上海财经大学);Southern University of Science and Technology(南方科技大学)
多语言预训练语言模型(mPLM)在多语言词对齐归纳中表现出了其有效性。然而,这些方法通常从mBERT或XLM-R开始。在本文中,我们调查是否多语言句子Transformer LaBSE是一个强大的多语言词对齐。这个想法是不平凡的,因为LaBSE被训练来学习语言不可知的单词级嵌入,而对齐提取任务需要更细粒度的单词级嵌入是语言不可知的。我们证明了香草LaBSE优于其他mPLM目前使用的对齐任务,然后提出微调LaBSE并行语料库进一步改进。七个语言对的实验结果表明,我们最好的对齐优于以前的国家的最先进的模型的所有品种。此外,我们的对齐器在单个模型中支持不同的语言对,甚至在微调过程中不会出现的zero-shot语言对上实现了新的最先进技术。
2023-01-28 cs.CL
AlignGPT: Multi-modal Large Language Models with Adaptive Alignment Capability
Nanjing University(南京大学)
针对现有多模态大型语言模型在跨模态对齐建模中忽视图文对对齐程度差异及任务差异化对齐需求的问题,提出AlignGPT,通过预训练分组合并不同对齐水平表示、指令微调自适应组合表示,在12个基准测试中取得竞争力性能。
2024-11-23 cs.AI cs.CL cs.CV
SAFE: Stable Alignment Finetuning with Entropy-Aware Predictive Control for Reinforcement Learning from Human Feedback (RLHF)
SAFE通过熵感知预测控制提升RLHF稳定性,实现更高的训练奖励和更稳定的优化性能。
2026-02-09 cs.LG
Efficient Diversity-Preserving Diffusion Alignment via Gradient-Informed GFlowNets
Mila, Université de Montréal(蒙特利尔大学Mila实验室);Max Planck Institute for Intelligent Systems - Tübingen(智能系统马克斯·普朗克研究所(图宾根));The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));University of Tübingen(图宾根大学);University of Cambridge(剑桥大学);Microsoft Research(微软研究院)
针对扩散模型奖励微调存在的样本多样性不足、先验保留差、收敛慢的问题,提出基于梯度感知GFlowNets的$\nabla$-GFlowNet方法,实现Stable Diffusion的快速、保多样性与先验的微调。
2025-05-17 cs.CV cs.LG
Deep Transfer Learning with Ridge Regression
University of California, San Diego(加州大学圣地亚哥分校)
大量的在线数据和大量的计算资源使当前工业界和学术界的研究人员能够将深度学习的力量与神经网络结合起来。虽然使用大量数据训练的深度模型在相关领域的未知数据上表现出有希望的泛化能力,但微调的计算成本逐渐成为将学习转移到新领域的瓶颈。我们通过利用深度神经网络(DNN)产生的学习特征向量的低秩属性以及内核岭回归(KRR)中提供的封闭形式解决方案来解决这个问题。这将迁移学习从微调中解放出来,并将其替换为具有更少超参数的线性系统的集合。我们的方法是成功的监督和半监督迁移学习任务。
2020-06-11 cs.LG stat.ML
Diff2Flow: Training Flow Matching Models via Diffusion Model Alignment
LMU Munich(慕尼黑大学);MCML(慕尼黑机器学习中心)
本文提出 Diff2Flow 框架,通过时间步重缩放、插值器对齐和速度场推导,将预训练扩散模型高效迁移到流匹配微调,在参数高效约束下优于现有方法。
2025-06-02 cs.CV cs.LG
Navigating the Safety Landscape: Measuring Risks in Finetuning Large Language Models
Georgia Tech(佐治亚理工学院);IBM(国际商业机器公司)
本研究发现开源大语言模型参数空间存在“安全盆地”现象,据此提出VISAGE安全指标衡量微调安全风险,揭示系统提示词的保护作用及迁移特性,为LLM安全研究提供新视角。
2024-10-30 cs.LG
Nabla-R2D3: Effective and Efficient 3D Diffusion Alignment with 2D Rewards
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Microsoft Research(微软研究院)
针对三维扩散模型难以对齐人类偏好和指令的问题,提出Nabla-R2D3框架,利用二维奖励和Nabla-GFlowNet方法实现高效微调,在少量步骤内获得更高奖励并减少先验遗忘。
2025-06-18 cs.CV cs.GR cs.LG
Your Self-Play Algorithm is Secretly an Adversarial Imitator: Understanding LLM Self-Play through the Lens of Imitation Learning
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Microsoft Research(微软研究院)
本文通过将自对弈微调建模为模型与自身参数化的正则化隐式奖励玩家之间的极小极大博弈,统一了自对弈模仿与偏好对齐,并提出了基于χ²散度的新算法,在多种语言模型微调任务上优于现有方法。
2026-06-08 cs.LG
Invisible Safety Threat: Malicious Finetuning for LLM via Steganography
National University of Singapore(新加坡国立大学)
本文揭示了LLM中隐藏的安全威胁,通过隐写术在看似无害的回复中嵌入恶意内容,展示了对GPT-4.1及多个开源模型的攻击效果,验证了该方法的广泛适用性。
2026-03-22 cs.LG
Enhancing Compositional Generalization via Compositional Feature Alignment
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);William and Mary(威廉玛丽学院)
针对多域多类场景下模型组合泛化能力不足的问题,提出组合特征对齐(CFA)两阶段微调方法,通过正交线性头与冻结微调,在CG-Bench上提升CLIP和DINOv2的泛化性能。
2024-05-22 cs.CV cs.LG stat.ML
Uncertainty-Guided Alignment for Unsupervised Domain Adaptation in Regression
EPFL(洛桑联邦理工学院);Intelligent Maintenance and Operations Systems(智能维护与运营系统(机构))
本文提出不确定性引导对齐(UGA),将证据深度学习预测的不确定性融入特征对齐过程,以解决回归任务无监督域自适应中传统特征对齐失效和特征坍缩问题,并在多个基准上取得优于现有方法的性能。
2024-11-21 cs.CV cs.LG
Test-time Adaptation for Regression by Subspace Alignment
NTT Corporation(NTT公司);Kyoto University(京都大学);Yokohama National University(横滨国立大学)
本文提出显著子空间对齐(SSA)方法,通过检测显著子空间并加权维度,解决回归任务中测试时自适应因特征分布稀疏而无效的问题,实验证明优于基线。
2025-01-23 cs.AI cs.LG
Risk Phase Transitions in Spiked Regression: Alignment Driven Benign and Catastrophic Overfitting
University of California, Los Angeles(加州大学洛杉矶分校);Boston College(波士顿学院)
该研究针对线性回归最小范数插值解的泛化误差问题,基于尖峰协方差模型推导精确表达式,分类三种过拟合机制,发现对齐并非始终有利且相关结论在非线性模型中也成立。
2025-10-01 cs.AI cs.LG stat.ML
Holdout-Loss-Based Data Selection for LLM Finetuning via In-Context Learning
Microsoft Research Asia(微软亚洲研究院)
本文提出基于上下文近似(ICA)的方法,通过估计holdout损失来高效选择高价值训练数据,提升LLM微调的对齐性能。
2026-01-27 cs.AI cs.LG
Graph-based regularization for regression problems with alignment and highly-correlated designs
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Chicago(芝加哥大学)
高维线性回归和机器学习的稀疏模型在过去的二十年里受到了极大的关注。模型选择,或确定哪些特征或协变量是最好的解释变量,对于学习模型的可解释性至关重要。目前的许多文献假设协变量只是轻度相关。然而,在许多现代应用中,协变量是高度相关的,并且不表现出关键属性(例如限制特征值条件,限制等距属性或其他相关假设)。这项工作考虑了一个高维的回归设置,其中一个图形控制协变量之间的相关性和回归系数之间的相似性-这意味着协变量和回归系数之间存在\emph{alignment}。使用关于特征之间的相关性强度的边信息,我们形成一个具有对应于成对协方差的边权重的图。该图用于定义图总变差正则化器,该正则化器促进相关特征的相似权重。这项工作显示了如何提出的基于图的正则化收益率均方误差保证了广泛的协方差图结构。这些保证对于许多特定的协方差图是最佳的,包括块图和格图。我们提出的方法优于其他方法的高相关性设计在各种实验的合成数据和真实的生化数据。
2019-10-13 cs.LG stat.ML
Target alignment in truncated kernel ridge regression
UCLA(加州大学洛杉矶分校);Merck & Co., Inc.(默沙东);AbbVie Inc.(艾伯维公司)
核岭回归(KRR)最近吸引了新的兴趣,由于其潜在的解释瞬态效应,如双下降,出现在神经网络训练。在这项工作中,我们研究了目标函数和内核之间的对齐如何影响KRR的性能。我们专注于截断的KRR(TKRR),它利用一个额外的参数,控制核矩阵的频谱截断。我们表明,多项式对齐,有一个\emph{over-aligned}制度,其中TKRR可以实现更快的速度比什么是完全KRR实现。TKRR的速率可以一直提高到参数速率,而完全KRR的速率被限制在次优值。这表明在核方法中利用谱截断可以更好地利用目标对准。我们还考虑了带限对齐设置,并表明TKRR的正则化表面可以表现出瞬态效应,包括多重下降和非单调行为。我们的研究结果表明,有一个强大的和可量化的关系之间的形状的\emph{alignment spectrum}和核方法的泛化性能,无论是在率和有限的样本。
2022-06-28 cs.LG math.ST stat.ML
Is Generative Modeling-based Stylization Necessary for Domain Adaptation in Regression Tasks?
University of Waterloo(滑铁卢大学)
本文质疑回归任务中基于生成建模的输入级风格化的必要性,发现其作用有限,并提出非参数特征对齐方法 ImSty,在避免高计算开销的同时持续提升 SOTA 回归性能。
2023-06-02 cs.AI cs.CV cs.LG
Quantile Reward Policy Optimization: Alignment with Pointwise Regression and Exact Partition Functions
CLAIRE, EPFL(CLAIRE,瑞士联邦理工学院)
QRPO通过分位数奖励实现点绝对奖励学习,保留DPO的简单性和离线适用性,同时提升在聊天和编码任务中的性能。
2025-11-30 cs.LG
LAIR-Net: Leaky Alignment-Impulse Residual Networks for Tabular Regression
Indian Institute of Technology Guwahati(印度技术学院加瓦哈蒂分校);SAFIR, Sorbonne University Abu Dhabi(阿布扎比索邦大学 SAFIR);Indian Institute of Technology Bombay(印度技术学院孟买分校)
该研究提出用于表格回归的LAIR-Net,通过泄漏残差变换混入浅层锚点,在23个基准数据集上的平均排名优于8个随机网络和12个传统模型,性能与非线性结构及噪声量相关。
2026-10-09 cs.LG stat.ML
SNIP++: Fine-Grained Symbolic-Numerical Alignment for Symbolic Regression
Université Laval(拉瓦尔大学);Mila(米拉研究所);Carnegie Mellon University(卡内基梅隆大学)
针对符号回归中多模态嵌入仅全局对齐、无法感知局部编辑影响的问题,提出SNIP++方法,通过结构位置编码与多粒度对比学习实现细粒度符号-数值对齐,显著提升局部编辑区分能力并迁移至外部语料库。
2026-09-29 cs.AI cs.LG cs.NE
Online Distributionally Robust LLM Alignment via Regression to Relative Reward
Department of Statistics and Data Science(统计与数据科学系);Cornell University(康奈尔大学)
本文提出DRO-REBEL方法,通过类型-p Wasserstein、KL和χ²模糊集实现分布鲁棒优化,证明了在偏好转移下的参数误差界,并在多个基准测试中优于现有基线。
2026-04-16 cs.LG stat.ML