语言大模型 / LLM

On the Entropy Dynamics in Reinforcement Fine-Tuning of Large Language Models

在大型语言模型强化微调中的熵动态研究

Shumin Wang, Yuexiang Xie, Wenhao Zhang, Yuchang Sun, Yanxi Chen, Yaliang Li, Yanyong Zhang

机构 * University of Science（科学大学） ； Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了大型语言模型强化微调中熵动态的理论框架，提出了熵变化的判别表达式，并设计了熵控制方法以优化探索与利用的平衡。

FedKRSO: Communication and Memory Efficient Federated Fine-Tuning of Large Language Models

FedKRSO: 在联邦学习中实现高效通信和内存的大型语言模型微调

Guohao Yang, Tongle Wu, Yuanxiong Guo, Ying Sun, Yanmin Gong

机构 * University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校） ； Penn State University（宾夕法尼亚州立大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 FedKRSO通过在联邦学习中利用随机子空间优化，实现了高效通信和内存的LLM微调，兼顾性能与资源节约。

Comments Accepted by INFOCOM 2026

TMS: Trajectory-Mixed Supervision for Reward-Free, On-Policy SFT

TMS：轨迹混合监督用于无奖励、在线策略微调

Rana Muhammad Shahroz Khan, Zijie Liu, Zhen Tan, Charles Fleming, Tianlong Chen

专题命中 指令微调 ：SFT(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 TMS通过轨迹混合监督在无奖励的情况下提升大语言模型的保留能力，有效弥补了传统SFT与RL之间的差距。

Merging Beyond: Streaming LLM Updates via Activation-Guided Rotations

超越合并：通过激活引导的旋转进行流式LLM更新

Yuxuan Yao, Haonan Sheng, Qingsong Lv, Han Wu, Shuqi Liu, Zehua Liu, Zengyan Liu, Jiahui Gao, Haochen Tan, Xiaojin Fu, Haoli Bai, Hing Cheung So, Zhijiang Guo, Linqi Song

机构 * City University of Hong Kong, Hong Kong SAR（香港城市大学） ； Tsinghua University（清华大学） ； Huawei Noah’s Ark Lab, Hong Kong SAR（华为诺亚实验室（香港）） ； University of Hong Kong（香港大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 本文提出ARM策略，通过激活引导的旋转实现流式LLM更新，有效超越收敛模型，提供高效适应框架。

Self-Hinting Language Models Enhance Reinforcement Learning

自我提示语言模型增强强化学习

Baohao Liao, Hanze Dong, Xinxing Xu, Christof Monz, Jiang Bian

机构 * Microsoft Research（微软研究院） ； Language Technology Lab, University of Amsterdam（语言技术实验室，阿姆斯特丹大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SAGE通过注入自我提示提升GRPO在稀疏奖励下的表现，有效增强大语言模型的对齐能力。

Monotonicity as an Architectural Bias for Robust Language Models

单调性作为提升语言模型鲁棒性的架构偏倚

Patrick Cooper, Alireza Nadali, Ashutosh Trivedi, Alvaro Velasquez

机构 * Department of Computer Science, University of Colorado Boulder, Boulder, CO, USA（计算机科学系，科罗拉多大学波尔德分校，波尔德，科罗拉多州，美国） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究通过在Transformer模型中引入单调性约束，提升语言模型对对抗攻击的鲁棒性，同时保持预训练性能。

Comments 12 pages, 1 figure

Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning

赢得剪枝赌局：一种联合样本和token剪枝的统一方法用于高效监督微调

Shaobo Wang, Jiaming Wang, Jiajun Zhang, Cong Wang, Yue Min, Zichen Wen, Xingzhang Ren, Fei Huang, Huiqiang Jiang, Junyang Lin, Dayiheng Liu, Linfeng Zhang

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 Q-Tuning通过联合样本和token剪枝，提升LLM监督微调效率，在SmolLM2-1.7B上实现38%的性能提升。

Comments 26 pages, 9 figures, 15 tables

A2D: Any-Order, Any-Step Safety Alignment for Diffusion Language Models

A2D: 任意顺序、任意步长的安全对齐用于扩散语言模型

Wonje Jeung, Sangyeon Yoon, Yoonjun Cho, Dongjae Jeon, Sangwoo Shin, Hyesoo Hong, Albert No

机构 * Department of Artificial Intelligence, Yonsei University（人工智能系，延世大学） ； Department of Computer Science and Engineering, Yonsei University（计算机科学与工程系，延世大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 A2D通过令牌级对齐方法，在扩散语言模型中实现任意顺序和步长攻击的鲁棒防御，显著降低有害输出生成概率并提升安全终止效率。

Comments Accepted at ICLR 2026. Code and models are available at https://ai-isl.github.io/A2D

SWE-World: Building Software Engineering Agents in Docker-Free Environments

SWE-World：在无Docker环境中构建软件工程代理

Shuang Sun, Huatong Song, Lisheng Huang, Jinhao Jiang, Ran Le, Zhihao Lv, Zongchao Chen, Yiwen Hu, Wenyang Luo, Wayne Xin Zhao, Yang Song, Hongteng Xu, Tao Zhang, Ji-Rong Wen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学耿丽学校人工智能学院） ； BOSS Zhipin, Beijing, China（BOSS智聘，北京，中国） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 SWE-World提出了一种无Docker环境的框架，利用学习模型预测执行结果，提升软件工程代理性能。

Rethinking Bottlenecks in Safety Fine-Tuning of Vision Language Models

重新审视视觉语言模型安全微调中的瓶颈

Yi Ding, Lijun Li, Bing Cao, Jing Shao

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Purdue University（普渡大学） ； Tianjin University（天津大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出多图像安全数据集，通过增强视觉推理能力，提升模型在安全关键任务中的性能与通用能力。

Journal ref ICLR 2026

The Trigger in the Haystack: Extracting and Reconstructing LLM Backdoor Triggers

haystack中的触发器：提取和重建LLM后门触发器

Blake Bullwinkel, Giorgio Severi, Keegan Hines, Amanda Minnich, Ram Shankar Siva Kumar, Yonatan Zunger

机构 * Microsoft, Redmond, Washington, USA（微软） 纠错

专题命中 指令微调 ：LLM(title)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种无需先验知识的LLM后门触发器扫描方法，通过记忆提取和输出分布分析来检测和恢复后门触发器。

Task--Specificity Score: Measuring How Much Instructions Really Matter for Supervision

任务特异性分数：衡量指令在监督中的实际重要性

Pritam Kadasi, Abhishek Upperwal, Mayank Singh

机构 * Lingo Research Group, Indian Institute of Technology Gandhinagar（林戈研究组，印度理工学院冈德hinagar分校） ； Soket AI（Soket人工智能公司） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.AI

AI总结 任务特异性分数用于衡量指令在监督学习中的重要性，通过对比真实指令与替代指令来提升模型性能。

Preferences for Idiomatic Language are Acquired Slowly -- and Forgotten Quickly: A Case Study on Swedish

对习语语言的偏好是缓慢获得的——并且很快被遗忘：一项关于瑞典语的案例研究

Jenny Kunz

机构 * Department of Computer and Information Science（计算机与信息科学系） ； Linköping University（林雪平大学） 纠错

专题命中 指令微调 ：language model(abstract)；instruction tuning(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 本研究发现，语言模型在习语识别能力上发展缓慢且易遗忘，尤其在从英语适应到瑞典语时，机器翻译数据的微调会迅速削弱其对习语的偏好。

Comments Accepted to TACL. Note that the arXiv version is a pre-MIT Press publication version

Reinforcement Fine-Tuning for History-Aware Dense Retriever in RAG

强化微调用于历史感知密集检索器在RAG中

Yicheng Zhang, Zhen Qin, Zhaomin Wu, Wenqi Zhang, Shuiguang Deng

机构 * College of Computer Science and Technology, Zhejiang University, Hangzhou, China（浙江大学计算机科学与技术学院） ； Ningbo Global Innovation Center, Zhejiang University, Ningbo, China（浙江大学宁波全球创新中心） ； Department of Computer Science, National University of Singapore, Singapore（新加坡国立大学计算机科学系） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出通过强化学习优化RAG中的检索器，通过引入随机采样和历史状态缓解状态别名问题，提升检索性能。

Comments On going work. Codes are released at https://github.com/zyc140345/HARR

Co-Evolving Agents: Learning from Failures as Hard Negatives

共进化代理：从失败中学习作为困难负例

Yeonsung Jung, Trilok Padhi, Sina Shaham, Dipika Khullar, Joonhyun Jeong, Ninareh Mehrabi, Eunho Yang

机构 * Georgia State University（佐治亚州立大学） ； Independent Researcher（独立研究者） 纠错

专题命中 指令微调 ：foundation model(abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 本文提出共进化代理框架，通过辅助失败代理生成困难负例，提升目标代理的决策边界和泛化能力。

DWIM: Towards Tool-aware Visual Reasoning via Discrepancy-aware Workflow Generation & Instruct-Masking Tuning

DWIM: 向工具感知的视觉推理迈进：通过差异感知的工作流生成与指令遮蔽微调

Fucai Ke, Vijay Kumar B G, Xingjian Leng, Zhixi Cai, Zaid Khan, Weiqing Wang, Pari Delir Haghighi, Hamid Rezatofighi, Manmohan Chandraker

专题命中 指令微调 ：large language model(abstract)；language model(abstract)

AI总结 DWIM通过差异感知的工作流生成与指令遮蔽微调，提升工具感知的视觉推理性能。

Comments ICCV 2025

Journal ref In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) 2025

CRL-VLA: Continual Vision-Language-Action Learning

CRL-VLA：持续视觉-语言-动作学习

Qixin Zeng, Shuo Zhang, Hongyin Zhang, Renjie Wang, Han Zhao, Libang Zhao, Runze Li, Donglin Wang, Chao Huang

机构 * University of Southampton, UK（英国南安普顿大学） ； Westlake University, China（西湖大学） 纠错

专题命中 指令微调 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 CRL-VLA通过双批评者架构和目标条件价值公式，实现VLA模型在持续学习中的稳定与可塑性平衡，优于现有方法。

They Said Memes Were Harmless-We Found the Ones That Hurt: Decoding Jokes, Symbols, and Cultural References

他们说迷因是无害的——我们发现了那些有害的：解码笑话、符号和文化参考

Sahil Tripathi, Gautam Siddharth Kashyap, Mehwish Nasim, Jian Yang, Jiechao Gao, Usman Naseem

机构 * Macquarie University（麦考瑞大学） ； The University of Western Australia（西澳大学） ； Stanford University（斯坦福大学） ； Institute for Clarity in Documentation（文档清晰研究所） ； Inria Paris-Rocquencourt（巴黎-罗quentcourt研究所） ； Rajiv Gandhi University（拉贾·甘地大学） ； Tsinghua University（清华大学） ； Palmer Research Laboratories（帕勒尔研究实验室） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL

AI总结 CROSS-ALIGN+通过三阶段框架解决迷因滥用检测中的文化盲区、边界模糊和可解释性问题，实现性能提升和决策可解释性。

Comments Accepted at the The Web Conference 2026 (Research Track)

TinyGuard:A lightweight Byzantine Defense for Resource-Constrained Federated Learning via Statistical Update Fingerprints

TinyGuard：一种轻量级拜占庭防御机制，用于资源受限的联邦学习中的统计更新指纹

Ali Mahdavi, Santa Aghapour, Azadeh Zamanifar, Amirfarhad Farhadi

机构 * Islamic Azad University, Science and Research Branch（伊斯兰 Azad 大学，科学与研究分校） ； Tarbiat Modares University（塔里比亚特莫达雷斯大学） ； Iran University of Science and Technology（伊朗科学技术大学） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.AI

AI总结 TinyGuard通过统计更新指纹实现轻量级拜占庭防御，保持FedAvg收敛性并有效抵御多种攻击场景。