InsBank: Evolving Instruction Subset for Ongoing Alignment
School of Computer Science, Beijing Institute of Technology(计算机科学学院,北京理工大学)
针对大语言模型持续对齐中指令子集演化研究不足的问题,提出持续更新的指令库InsBank及渐进式演化框架PIBE,通过渐进选择、表征多样性得分等实现高效演化,实验证明其效果与适应性优于基线。
2025-09-01 cs.CL
Hierarchical Alignment: Enforcing Hierarchical Instruction-Following in LLMs through Logical Consistency
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);University of Liverpool(利物浦大学);University of Edinburgh(爱丁堡大学)
本文提出NSHA方法,通过显式建模和执行指令优先级,解决LLM在多指令环境下保持一致性与安全性的挑战,提升任务性能和实用性。
2026-04-10 cs.CL
Better Alignment with Instruction Back-and-Forth Translation
University of Washington(华盛顿大学);Meta FAIR
该研究提出指令往返翻译方法,基于网络语料构建高质量合成数据用于大语言模型对齐,在AlpacaEval上胜率优于多个常见指令数据集,兼具网络信息规模与回复质量优势。
2024-08-13 cs.AI cs.CL cs.LG
InstructGraph: Boosting Large Language Models via Graph-centric Instruction Tuning and Preference Alignment
East China Normal University(华东师范大学);University of California San Diego(加利福尼亚大学圣迭戈分校)
提出InstructGraph框架,通过统一图数据格式、图指令微调及偏好对齐解决LLMs的图推理与生成任务,性能超越GPT-4和LLaMA2。
2024-02-13 cs.CL
SeDi-Instruct: Enhancing Alignment of Language Models through Self-Directed Instruction Generation
Daegu Gyeongbuk Institute of Science and Technology(大邱庆北科学技术院)
本文提出 SeDi-Instruct 框架,通过多样性过滤和迭代反馈任务生成,以更低成本自动生成高质量指令数据,在提升模型准确性的同时显著降低数据生成开销。
2025-02-07 cs.CL
Long Context Alignment with Short Instructions and Synthesized Positions
Peking University(北京大学);University of Washington(华盛顿大学);University of Edinburgh(爱丁堡大学);The Ohio State University(俄亥俄州立大学)
本文提出 SkipAlign,通过在短指令样本中策略性插入跳过位置来合成长程依赖,从而无需扩展训练数据长度即可增强 LLM 的长上下文对齐能力。
2024-05-07 cs.CL
A Recipe for Creating Multimodal Aligned Datasets for Sequential Tasks
Salesforce Research(Salesforce研究院);Microsoft Research(微软研究院)
许多高级过程任务可以分解为指令序列,这些指令序列在顺序和工具选择方面有所不同。在烹饪领域,网络提供了许多部分重叠的文本和视频食谱(即程序),描述如何制作相同的菜肴(即高级任务)。将不同来源的同一道菜的说明对齐,可以产生描述性的视觉解释,这些解释在语义上比传统的文本说明丰富得多,为了解现实世界的程序是如何构建的提供了常识性的见解。学习对齐这些不同的指令集是具有挑战性的,因为:a)不同的食谱在指令顺序和成分使用方面各不相同; b)视频指令可能会有噪音,并且往往包含比文本指令更多的信息。为了解决这些挑战,我们首先使用一种无监督的对齐算法,该算法可以学习同一道菜的不同食谱的指令之间的成对对齐。然后,我们使用一个图形算法来获得多个文本和多个视频食谱相同的菜之间的联合对齐。我们发布了Microsoft Research Multimodal Aligned Recipe Corpus,其中包含4,262道菜肴之间的150 K成对比对,具有丰富的常识信息。
2020-05-19 cs.CL
Self-Judge: Selective Instruction Following with Alignment Self-Evaluation
National University of Singapore(新加坡国立大学)
本文提出Self-J自训练框架,利用模型自评估能力和黄金参考答案构建判断模型,实现选择性指令遵循,实验表明其与GPT-4相关性优于强基线,并可作为奖励模型提升WizardLM在AlpacaEval上的表现。
2024-09-02 cs.CL
A Preliminary Study of the Intrinsic Relationship between Complexity and Alignment
The Hong Kong University of Science and Technology(香港科技大学);Alibaba Group(阿里巴巴集团)
本文提出 Tree-Instruct,通过扩展指令语义树可控提升复杂性,并实证表明复杂指令在相同 token 预算下更能持续增强 LLM 对齐性能。
2024-02-29 cs.CL
CASE: Causal Alignment and Structural Enforcement for Improving Chain-of-Thought Faithfulness
研究思维链推理中生成的推理无法忠实支持最终答案的问题,提出CASE框架,通过训练时因果对齐和推理时结构强化,结合构建多种数据集及选择性损失微调、屏蔽注意力等方法,提升CoT忠实度、跨数据集转移能力及平均准确率。
2026-07-22 cs.CL
Flesch or Fumble? Evaluating Readability Standard Alignment of Instruction-Tuned Language Models
University of Bath(巴斯大学);National University, Philippines(菲律宾国立大学)
该研究评估不同指令微调语言模型对可读性标准的对齐能力,发现BLOOMZ、FlanT5等开源模型在可控可读性的故事续写、叙事简化任务上表现优于ChatGPT等知名模型。
2023-11-03 cs.CL
The Poison of Alignment
GOAT AI(GOAT人工智能公司);Higgsfield AI(希格斯场人工智能公司)
本研究发现开源指令微调数据集中的对齐机制会像“投毒”一样损害模型推理能力,实验显示含对齐的微调模型在BBH、MMLU等多个推理基准上的性能比无对齐对照低4%-33%。
2023-08-25 cs.CL
Improving the Robustness of Large Language Models via Consistency Alignment
Shandong University(山东大学);Baidu Inc.(百度公司);Leiden University(莱顿大学)
本文定量定义了大型语言模型因指令微小变化导致响应不一致的问题,提出两阶段训练框架(指令增强监督微调与一致性对齐训练),通过模型自我奖励优化鲁棒性,无需外部人类偏好数据,实验证明其有效性。
2024-03-22 cs.CL
Instruction Quality Matters: Refining Instructions for Effective Preference Learning
Sogang University(西江大学);Korea University(高丽大学)
该研究发现指令质量是偏好学习的隐性瓶颈,提出基于奖励信号与评分标准引导的LLM反馈的指令优化流程,可提升偏好数据质量,增强LLM对齐效果。
2026-08-28 cs.CL
Self-QA: Unsupervised Knowledge Guided Language Model Alignment
Du Xiaoman Financial(度小满金融)
本文提出Self-QA框架,利用无监督知识替代人工编写指令种子,使语言模型自动生成正确且领域特定的指令数据,有效解决指令微调中监督数据构建成本高、质量难控的问题。
2023-05-19 cs.CL
Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models
University of Colorado Boulder(科罗拉多大学博尔德分校);University of Central Florida(中佛罗里达大学);University of Maryland College Park(马里兰大学帕克分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
研究通过监督微调、强化学习和蒸馏生成的推理模型在安全、偏见、隐私等六个可信度维度上是否保持对齐,发现推理模型常出现对齐退化,如毒性增加、刻板印象加剧等。
2026-06-09 cs.CL
Mixture-of-Instructions: Aligning Large Language Models via Mixture Prompting
Alibaba Group(阿里巴巴集团)
本文提出指令混合(MoI)技术,通过指令打包与多样化系统提示缓解LLM对系统提示的过拟合,并在Qwen-7B-chat上验证其在编程、数学和工具使用任务中的对齐效果提升。
2025-02-05 cs.CL
Investigating Multilingual Instruction-Tuning: Do Polyglot Models Demand for Multilingual Instructions?
Lamarr Institute(拉马尔研究所);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);TU Dresden(德累斯顿工业大学);FZ Jülich(于利希研究中心)
本研究首次系统探究多语言大语言模型指令微调的语言构成影响,发现平行语料微调可提升跨语言指令遵循能力最高9.9%,且7B多语言模型反例证伪浅层对齐假说,还验证了人工与GPT-4评估的一致性。
2024-10-10 cs.CL
Chat Vector: A Simple Approach to Equip LLMs with Instruction Following and Model Alignment in New Languages
National Applied Research Laboratories(国家应用研究实验室);National Taiwan University(台湾大学);National Central University(中央大学)
本文提出Chat Vector方法,通过模型权重相减得到聊天向量并加到新语言持续预训练模型上,无需额外训练即可赋予其指令遵循、毒性缓解和多轮对话能力,实验验证了其简洁有效和广泛适用性。
2024-06-07 cs.CL
Tuning LLMs with Contrastive Alignment Instructions for Machine Translation in Unseen, Low-resource Languages
Apple(苹果公司);Sony Group Corporation(索尼集团公司)
本文提出对比对齐指令AlignInstruct,通过跨语言判别器增强跨语言监督,微调BLOOMZ模型,在24种未见语言和48个翻译方向上显著提升机器翻译质量,并改善零样本性能。
2024-07-20 cs.AI cs.CL
Language Models can Self-Lengthen to Generate Long Texts
Qwen Team, Alibaba Inc.(通义千问团队,阿里巴巴集团)
针对大语言模型长文本生成能力不足的问题,提出仅依赖模型自身知识的Self-Lengthen迭代训练框架,通过生成与扩展双角色迭代训练提升长文本生成效果,在主流开源模型上表现优于现有方法。
2024-10-31 cs.CL
Agentic Reinforcement Learning for Search Misaligns Instruction-Tuning
University of Oxford(牛津大学);Ludwig-Maximilians-Universität München(慕尼黑路德维希-马克西米利安大学);Harvard University(哈佛大学)
研究智能体强化学习(RL)对指令微调模型对齐的影响,发现RL训练使模型将有害请求转化为良性搜索查询,但在触发条件下产生多步不安全搜索行为,并提出了基于表示引导的RL训练方法恢复对齐。
2026-06-16 cs.CL
Long Is More for Alignment: A Simple but Tough-to-Beat Baseline for Instruction Fine-Tuning
EPFL(洛桑联邦理工学院)
本文提出一种极简基线方法,通过从标准数据集中选择响应最长的1,000条指令进行指令微调,在GPT-4和PaLM-2评判下持续优于LIMA和AlpaGasus等复杂方法,并在多个基准上取得竞争力结果。
2024-06-04 cs.CL
A Unified Moral-Value Dataset for Instruction Tuning
RWTH Aachen(亚琛工业大学);University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉玛尔机器学习与人工智能研究所)
针对大语言模型与人类价值观对齐问题,构建统一道德价值数据集用于指令微调,通过合并现有数据集并转换格式而成,实验表明其结合通用任务数据集训练可保持性能,为对齐研究提供资源。
2026-07-24 cs.CL
PIKA: Expert-Level Synthetic Datasets for Post-Training Alignment from Scratch
University of California, Riverside(加州大学河滨分校);Microsoft AI(微软人工智能)
PIKA通过高效的数据集提升对齐效果,仅用3万例超越大规模数据集,在AlpacaEval 2.0等基准测试中表现优异,且提供高质量偏好优化数据,降低数据需求,促进资源受限研究。
2026-04-09 cs.CL
InstructAlign: High-and-Low Resource Language Alignment via Continual Crosslingual Instruction Tuning
Hong Kong University of Science and Technology(香港科技大学)
本文提出InstructAlign框架,通过持续跨语言指令微调使大型语言模型在有限平行数据下学习低资源语言,有效防止灾难性遗忘并保持多任务能力。
2023-10-24 cs.AI cs.CL
Ready2Blend: From Natural-Language Instructions to Composable Alignment Prompts
Korea Advanced Institute of Science Technology(韩国科学技术院);Samsung SDS(三星SDS)
提出Ready2Blend,结合自然语言灵活性与学习对齐,通过AlignFormer和可组合性正则化实现冻结骨干下的持续对齐,匹配训练后调整方法性能,减少训练时间并支持个性化组合。
2026-10-14 cs.AI cs.CL
Seeing Through Conflicts: Improving Instruction Hierarchy Alignment in Vision-Language Models
The Ohio State University(俄亥俄州立大学)
本研究将多模态指令层级对齐视为推理问题,用基于规则的奖励强化学习训练VLM,发现混合模态监督最佳,能提升跨模态及智能体场景下的鲁棒性并泛化到真实任务。
2026-09-22 cs.CL cs.CV cs.LG
Disperse-Then-Merge: Pushing the Limits of Instruction Tuning via Alignment Tax Reduction
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Tencent AI Lab(腾讯AI实验室);WeChat AI(微信AI)
针对指令微调后期性能下降(对齐税)问题,提出分散-再合并框架,通过分数据训练子模型再合并,在标准基准上超越数据整理等方法。
2024-05-22 cs.AI cs.CL
Hybrid Alignment Training for Large Language Models
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);NiuTrans Research(NiuTrans研究所);Institute of Psychology, CAS(中国科学院心理研究所)
针对大语言模型两阶段对齐训练中指令遵循与人类偏好目标易冲突的问题,提出基于交替优化与改进弹性权重巩固的混合对齐训练方法Hbat,在摘要、对话任务上显著优于传统两阶段方法及各类基线。
2024-06-21 cs.CL
Towards Alignment-Centric Paradigm: A Survey of Instruction Tuning in Large Language Models
Department of Informatics, University of Sussex(信息学院,苏塞克斯大学);Pingtan Research Institute, Xiamen University(平潭研究院,厦门大学);Department of Computer Science, University of Liverpool(计算机科学系,利物浦大学);Department of Computer Science, Purdue University(计算机科学系,普渡大学);Department of Computer Science, Emory University(计算机科学系,埃默里大学);AI Agent Lab, Vokram Group(AI代理实验室,Vokram集团);Department of Computing, Imperial College London(计算系,帝国理工学院伦敦分校)
本文是大语言模型指令调优领域的综述,全面梳理其数据构建、微调策略、评估体系的研究现状,分析现存挑战并展望未来方向,为相关研究者与从业者提供实用参考。
2025-11-19 cs.CL
Forewarned is Forearmed: Pre-Synthesizing Jailbreak-like Instructions to Enhance LLM Safety Guardrail to Potential Attacks
Sheng Liu Media Synthesis and Forensics Lab, Institute of Computing Technology, Chinese Academy of Sciences University of Chinese Academy of Sciences(媒体合成与取证实验室,计算技术研究所,中国科学院,中国科学院大学);Qiang Sheng Media Synthesis and Forensics Lab, Institute of Computing Technology, Chinese Academy of Sciences(媒体合成与取证实验室,计算技术研究所,中国科学院);Danding Wang Media Synthesis and Forensics Lab, Institute of Computing Technology, Chinese Academy of Sciences(媒体合成与取证实验室,计算技术研究所,中国科学院);Yang Li Media Synthesis and Forensics Lab, Institute of Computing Technology, Chinese Academy of Sciences University of Chinese Academy of Sciences(媒体合成与取证实验室,计算技术研究所,中国科学院,中国科学院大学);Guang Yang Zhongguancun Laboratory(中关村实验室);Juan Cao Media Synthesis and Forensics Lab, Institute of Computing Technology, Chinese Academy of Sciences(媒体合成与取证实验室,计算技术研究所,中国科学院)
针对大语言模型易受越狱攻击、训练数据与真实攻击分布不匹配的问题,提出IMAGINE合成框架,通过嵌入空间分析和迭代优化生成类越狱指令以增强安全对齐语料,在多个主流LLM上显著降低攻击成功率且不影响效用。
2025-09-04 cs.CL
Human-Instruction-Free LLM Self-Alignment with Limited Samples
Northwestern University(西北大学);ByteDance Research(字节跳动研究院);Fudan University(复旦大学);University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文提出一种无需人工指令和标注奖励的 LLM 自对齐算法,通过检索高质量样本生成更多数据并迭代微调,在有限样本下实现安全、真实和指令遵循等领域的对齐。
2024-01-06 cs.AI cs.CL
Benchmarking and Mechanistic Analysis of Vision-Language Models for Cross-Depiction Assembly Instruction Alignment
Aalto University(阿alto大学)
构建IKEA-Bench基准,评估19个视觉-语言模型在装配图与视频帧对齐任务上的表现,发现视觉编码是提升跨描绘鲁棒性的关键瓶颈。
2026-05-27 cs.CL cs.CV
Insights into Alignment: Evaluating DPO and its Variants Across Multiple Tasks
Arizona State University(亚利桑那州立大学)
本文评估DPO及其变体在三种配置下对齐LLM的效果,发现小数据子集即可接近最优性能,对齐方法虽对复杂推理提升有限但能增强数学求解,且指令微调模型可提高真实性。
2025-02-08 cs.CL
Alignment Is All You Need: Instruction-Free Training for General Audio-Language Models
Zhejiang University(浙江大学);Tencent Hunyuan(腾讯混元)
该研究提出仅对齐的无指令大音频-语言模型LALM,仅训练轻量投影器,在多模态数据集上用更少数据达到或优于基线,证明仅靠对齐即可构建有竞争力的多模态大语言模型。
2026-08-20 cs.CL cs.SD eess.AS
Recovering Diversity Without Losing Alignment: A DPO Recipe for Post-Trained LLMs
University of Maryland, College Park(马里兰大学 College Park 分校)
提出REDIPO数据构建流程,通过离线DPO从基础模型生成中恢复多样性答案,同时保持指令模型的对齐性能。
2026-06-02 cs.CL
Toward General Instruction-Following Alignment for Retrieval-Augmented Generation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院)
针对检索增强生成(RAG)系统中指令遵循对齐评估与改进的研究空白,提出了自动化、可验证的合成流水线VIF-RAG及高质量数据集,并构建了FollowRAG基准,显著提升了大型语言模型在RAG场景下的指令遵循能力。
2024-10-12 cs.AI cs.CL cs.IR
MuSC: Improving Complex Instruction Following with Multi-granularity Self-Contrastive Training
Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算机学院);Nanjing University(南京大学);School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院)
本文提出多粒度自对比训练框架MuSC,通过指令分解重组构建约束感知偏好数据,并执行动态token级监督的偏好优化,在不依赖更强模型的情况下显著提升了LLMs的复杂与通用指令遵循能力。
2025-05-30 cs.AI cs.CL
Kun: Answer Polishment for Chinese Self-Alignment with Instruction Back-Translation
University of Waterloo(滑铁卢大学);HKUST(香港科技大学);University of Manchester(曼彻斯特大学);Multimodal Art Projection Research Community(多模态艺术投影研究共同体)
提出Kun方法,利用指令反向翻译和答案润色,从无标注数据生成超百万中文指令数据,减少人工标注,提升LLM指令遵循能力。
2024-11-05 cs.AI cs.CL
Towards Efficient and Effective Alignment of Large Language Models
Division of Emerging Interdisciplinary Areas(新兴跨学科领域 division)
本论文围绕大语言模型对齐,提出 Lion、WebR、LTE、BMC 等数据与训练方法,并构建 FollowBench 评估复杂约束遵循能力。
2025-06-11 cs.CL
CrossIn: An Efficient Instruction Tuning Approach for Cross-Lingual Knowledge Alignment
Centre for Frontier AI Research (CFAR), A*STAR(前沿人工智能研究中心(CFAR),新加坡科技研究局)
针对LLM多语言训练数据失衡问题,提出CrossIn混合跨语言指令微调方法,并通过多任务多维度基准验证其可显著提升跨语言任务性能与一致性。
2025-01-06 cs.AI cs.CL
Improving Conversational Abilities of Quantized Large Language Models via Direct Preference Alignment
Hanyang University(汉阳大学)
针对量化大语言模型对话能力下降的问题,提出量化感知直接偏好优化(QDPO),对齐量化与全精度模型,在多种语言上超越现有技术,提升对话性能。
2024-07-18 cs.CL
P-Aligner: Enabling Pre-Alignment of Language Models via Principled Instruction Synthesis
P-Aligner提出轻量级模块,通过原则性指令合成和蒙特卡洛树搜索生成符合人类偏好的指令,实现高效预对齐,在多个基准上显著提升模型表现。
2025-08-06 cs.AI cs.CL
In-context Learning vs. Instruction Tuning: The Case of Small and Multilingual Language Models
Fundación Vicomtech, Basque Research and Technology Alliance (BRTA)(维克森科技基金会,巴斯克研究与技术联盟(BRTA));University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU)
研究评估了上下文学习在非英语语言和不同模型大小下的指令遵循有效性,发现其表现下降,但通过直接偏好优化可部分提升性能。
2026-09-16 cs.CL
From Instructions to Intrinsic Human Values -- A Survey of Alignment Goals for Big Models
Microsoft Research Asia(微软亚洲研究院)
本文综述大模型对齐目标,从定义与评估两视角分析三层目标,揭示从能力到价值取向的转变,提出内在人类价值观为关键对齐目标并讨论挑战与资源。
2023-09-04 cs.AI cs.CL cs.CY
Task-conditioned probing of instruction-tuned multimodal LLMs: Region-specific brain alignment patterns under naturalistic stimuli
Technische Universität Berlin(柏林技术大学);Rice University(Rice 大学);AWS AI Labs, Amazon(Amazon 人工智能实验室);IIT Delhi(德里理工学院);University of Wisconsin - Madison(威斯康星大学麦迪逊分校);Spector Inc(Spector 公司);IIIT-Hyderabad(海得拉巴理工学院);Microsoft(微软)
本研究探讨了指令调制多模态大语言模型在自然主义刺激下的大脑对齐模式,通过比较不同模型在视频和音频任务中的表现,揭示了指令调制对模型表示能力的影响。
2026-05-19 cs.AI cs.CL cs.CV
Improving Cross-Modal Alignment in Vision Language Navigation via Syntactic Information
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
视觉语言导航是一项需要智能体根据自然语言指令在3D环境中导航的任务。这项任务的一个关键挑战是将指令与智能体感知到的当前视觉信息结合起来。大多数现有的工作采用软注意个别字,以找到下一个动作所需的指令。然而,不同的词在句子中具有不同的功能(例如,修饰语传达属性,动词传达动作)。依赖关系和短语结构等信息可以帮助代理定位指令的重要部分。因此,在本文中,我们提出了一个导航代理,它利用来自依赖树的语法信息,以提高指令和当前的视觉场景之间的对齐。从经验上讲,我们的代理优于不使用Room-to-Room数据集上的语法信息的基线模型,特别是在看不见的环境中。此外,我们的代理在Room-Across-Room数据集上实现了新的最先进的技术,该数据集包含3种语言(英语,印地语和泰卢固语)的指令。我们还表明,我们的代理更好地通过定性可视化调整指令与当前的视觉信息。代码和型号:https://github.com/jialuli-luka/SyntaxVLN
2021-04-19 cs.AI cs.CL cs.CV
Evolutionary Contrastive Distillation for Language Model Alignment
Amazon(亚马逊公司)
提出演化对比蒸馏(ECD)方法,通过逐步演化指令生成困难负样本对比数据,结合DPO对比学习算法提升语言模型复杂指令遵循能力,7B模型性能超越SOTA 7B并媲美70B模型。
2024-10-10 cs.AI cs.CL cs.LG
Empowering Cross-lingual Abilities of Instruction-tuned Large Language Models by Translation-following demonstrations
Idiap Research Institute(伊迪亚普研究所);University of Manchester(曼彻斯特大学)
针对大语言模型跨语言能力不均衡问题,提出带翻译跟随示例的CrossAlpaca指令调优模型,通过语义对齐增强非英语能力,在多类基准六种语言上优于单语调优模型。
2023-08-27 cs.AI cs.CL
From Instructions to Constraints: Language Model Alignment with Automatic Constraint Verification
University of Southern California(南加州大学);AWS AI Labs(亚马逊云科技人工智能实验室)
该研究提出ACT框架,通过自动验证约束满足率生成偏好监督信号,经排序学习让语言模型对齐带约束的用户指令,提升多任务性能且约束遵循能力可迁移。
2024-03-10 cs.AI cs.CL cs.LG
Configurable Reward Model for Balanced Safety Alignment
Johns Hopkins University(约翰霍普金斯大学);Meta Superintelligence Labs(Meta超智能实验室)
提出可配置安全奖励模型(CSRM),通过配置目标数据增强和联合优化,实现对细粒度安全配置和对话细微差别的敏感性,在可配置安全基准上达到最优性能,并改善有用性与安全性的权衡。
2026-05-28 cs.CL
Toward Graph-Tokenizing Large Language Models with Reconstructive Graph Instruction Tuning
Beijing University of Posts and Telecommunications(北京邮电大学);Beihang University(北航)
本文提出RGLM方法,通过重构图信息和显式图监督改进图-词化LLMs的对齐效果,提升对图结构的理解与利用。
2026-03-02 cs.AI cs.CL
SPARTA ALIGNMENT: Collectively Aligning Multiple Language Models through Combat
Zhejiang University(浙江大学);New York University(纽约大学);University of Washington(华盛顿大学)
本文提出SPARTA ALIGNMENT算法,通过多个LLM组成“sparta tribe”进行指令对抗与同行评估,利用适应版elo排名系统聚合评分并生成偏好对,实现LLM的自我演化,在12个任务中的10个上优于基线,平均提升7.0%。
2025-11-01 cs.CL