语言大模型 / LLM

In-Context Function Learning in Large Language Models

大型语言模型中的上下文函数学习

Elif Akata, Konstantinos Voudouris, Vincent Fortuin, Eric Schulz

机构 * Helmholtz Munich（海德堡-慕尼黑亥姆霍兹研究中心） ； University of Tübingen（图宾根大学） ； University of Technology Nuremberg（纽伦堡技术大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；post-training(abstract)

AI总结 本研究通过高斯过程视角分析大型语言模型的上下文学习机制，发现其学习曲线受函数生成核影响，并通过训练后处理可调整归纳偏置以提升样本效率。

Improving the Robustness of Large Language Models for Code Tasks via Fine-tuning with Perturbed Data

通过扰动数据微调提升大语言模型在代码任务中的鲁棒性

Yang Liu, Armstrong Foundjem, Xingfang Wu, Heng Li, Foutse Khomh

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 通过扰动数据微调提升大语言模型在代码任务中的鲁棒性，以增强其对对抗性输入的防御能力，同时注意性能的平衡。

CoSA: Compressed Sensing-Based Adaptation of Large Language Models

CoSA: 基于压缩感知的大型语言模型适应

Songtao Wei, Yi Li, Bohan Zhang, Zhichun Guo, Ying Huang, Yuede Ji, Miao Yin, Guanpeng Li, Bingzhe Li

机构 * Department of Computer Science, University of Texas at Dallas, Richardson, United States（计算机科学系，德克萨斯大学达拉斯分校，理查德森，美国） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 CoSA基于压缩感知理论提出了一种新的参数高效微调方法，通过固定随机投影矩阵和紧凑可学习核心实现高效且表达性强的多尺度模型适应。

Patch the Distribution Mismatch: RL Rewriting Agent for Stable Off-Policy SFT

修补分布不匹配：用于稳定离策略SFT的RL重写代理

Jiacheng Wang, Ping Jian, Zhen Yang, Zirong Chen, Keren Liao, Zhongbin Guo

机构 * School of Computer Science & Technology, Beijing Institute of Technology（计算机科学与技术学院，北京理工大学） 纠错

专题命中 指令微调 ：SFT(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出基于强化学习的RL重写代理，通过优化分布对齐和多样性，提升下游SFT效果并减少遗忘。

The Magic Correlations: Understanding Knowledge Transfer from Pretraining to Supervised Fine-Tuning

魔法相关性：从预训练到监督微调的知识转移理解

Simin Fan, Dimitris Paparas, Natasha Noy, Binbin Xiong, Noveen Sachdeva, Berivan Isik

机构 * Google Research（谷歌研究） ； EPFL（瑞士联邦理工学院） 纠错

专题命中 指令微调 ：pretraining(title,abstract)；language model(abstract)；SFT(abstract)；分类 cs.LG

AI总结 本研究通过分析预训练到监督微调的知识转移，揭示了不同能力类别、基准测试和模型规模间转移可靠性的差异，为模型开发和数据整理提供指导。

Charting Empirical Laws for LLM Fine-Tuning in Scientific Multi-Discipline Learning

绘制LLM微调的实证定律以用于科学多学科学习

Lintao Wang, Zhuqiang Lu, Yilin Zhu, Kun Hu, Zhenfei Yin, Shixiang Tang, Zhiyong Wang, Wanli Ouyang, Xinzhu Ma

机构 * The University of Sydney（悉尼大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Edith Cowan University（埃德温·考文大学） ； University of Oxford（牛津大学） ； The Chinese University of Hong Kong（香港中文大学） ； Beihang University（北航大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究通过构建五学科语料库，揭示了多学科LLM微调的四个实证定律，为科学领域通用LLM的发展提供了可操作的指导。

ScalSelect: Scalable Training-Free Multimodal Data Selection for Efficient Visual Instruction Tuning

ScalSelect: 可扩展的无训练多模态数据选择用于高效的视觉指令微调

Changti Wu, Jiahuai Mao, Yuzhuo Miao, Shijie Lian, Bin Yu, Xiaopeng Lin, Cong Huang, Lei Zhang, Kai Chen

机构 * East China Normal University（华东师范大学） ； Zhongguancun Academy（中关村学院） ； The Hong Kong Polytechnic University（香港理工大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Huazhong University of Science and Technology（华中科技大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；language model(abstract)；分类 cs.AI

AI总结 ScalSelect提出一种无训练、可扩展的多模态数据选择方法，通过线性时间复杂度实现高效视觉指令微调，实验显示其性能接近甚至超越全数据训练。

Comments The code is available at \href{https://github.com/ChangtiWu/ScalSelect}{ScalSelect}

Active Zero: Self-Evolving Vision-Language Models through Active Environment Exploration

主动零：通过主动环境探索实现自我进化的视觉-语言模型

Jinghan He, Junfeng Fang, Feng Xiong, Zijun Yao, Fei Shen, Haiyun Guo, Jinqiao Wang, Tat-Seng Chua

机构 * Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所基础模型研究中心） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； National University of Singapore（新加坡国立大学） ； Wuhan AI Research（武汉人工智能研究所） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

AI总结 Active-Zero通过主动环境探索实现视觉-语言模型的自我进化，提升推理和理解任务的性能。

Gradients Must Earn Their Influence: Unifying SFT with Generalized Entropic Objectives

梯度必须赢得其影响：统一监督微调与广义熵目标

Zecheng Wang, Deyuan Liu, Chunshan Li, Yupeng Zhang, Zhengyun Zhao, Dianhui Chu, Bingning Wang, Dianbo Sui

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； WeChat, Tencent（微信、腾讯） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：SFT(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出DEFT方法，通过广义熵目标统一SFT，解决塑性-稳定性困境，提升模型在探索与利用间的平衡性能。

Adapting Vision-Language Models for E-commerce Understanding at Scale

大规模电商理解中的视觉-语言模型适应

Matteo Nulli, Vladimir Orshulevich, Tala Bazazo, Christian Herold, Michael Kozielski, Marcin Mazur, Szymon Tuzel, Cees G. M. Snoek, Seyyed Hadi Hashemi, Omar Javed, Yannick Versley, Shahram Khadivi

机构 * eBay Inc.（eBay公司） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出了一种方法，通过大规模实验研究，展示如何通过针对性适应通用视觉-语言模型以提升电子商务性能，同时保持多模态能力，并提出新的评估套件。

TabSieve: Explicit In-Table Evidence Selection for Tabular Prediction

TabSieve: 表格内证据选择用于表格预测

Yongyao Wang, Ziqi Miao, Lu Yang, Haonan Jia, Wenting Yan, Chen Qian, Lijun Li

专题命中 指令微调 ：LLM(abstract)；SFT(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 TabSieve通过显式选择表格内证据提升预测性能，采用强化学习优化证据选择与预测正确性，实验显示在分类和回归任务中均取得显著提升。

Comments 13 pages

Fine-tuning Quantized Neural Networks with Zeroth-order Optimization

使用零阶优化进行量化神经网络微调

Sifeng Shang, Jiayi Zhou, Chenyu Lin, Minxian Li, Kaiyang Zhou

机构 * Hong Kong Baptist University（香港 Baptist 大学） ； Nanjing University of Science and Technology（南京理工大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出量化零阶优化方法，通过消除梯度和优化器状态来减少内存使用，实现4位LLM在24GB GPU上高效微调。

Comments Accepted by ICLR 2026

Towards Reliable Machine Translation: Scaling LLMs for Critical Error Detection and Safety

迈向可靠的机器翻译：扩展LLMs以检测关键错误和安全

Muskaan Chopra, Lorenz Sparrenberg, Rafet Sifa

机构 * Rheinische Friedrich-Wilhelms-Universität Bonn, Bonn, Germany（莱茵-威斯巴登大学波恩分校） ； Fraunhofer IAIS, Sankt Augustin, Germany（弗劳恩霍夫人工智能研究所） ； Lamarr Institute for Machine Learning（拉马尔人工智能与机器学习研究所） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过扩展LLMs检测关键错误，提升机器翻译的安全性和可靠性，减少虚假信息和语言伤害风险。

Comments Accepted at ECIR 2026

Steering MoE LLMs via Expert (De)Activation

通过专家（去）激活引导MoE LLMs

Mohsen Fayyaz, Ali Modarressi, Hanieh Deilamsalehy, Franck Dernoncourt, Ryan Rossi, Trung Bui, Hinrich Schütze, Nanyun Peng

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Adobe Research（Adobe研究） ； CIS, LMU Munich（慕尼黑大学计算机学院） ； Munich Center for Machine Learning（慕尼黑机器学习中心） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 SteerMoE通过激活或去激活特定专家，在不微调的情况下提升LLM的安全性和忠实性，同时揭示了MoE模型的潜在漏洞。

Comments ICLR 2026

Beyond Parameter Arithmetic: Sparse Complementary Fusion for Distribution-Aware Model Merging

超越参数运算：用于分布感知模型融合的稀疏互补融合

Weihong Lin, Lin Sun, Qilong Shi, Aomufei Yuan, Yuxuan Tian, Zhengyang Wang, Guangxiang Zhao, Xiangzheng Zhang, Tong Yang

机构 * Beijing Qiyuan Technology Co., Ltd.（北京启元科技有限公司） ； Peking University（北京大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出SCF-RKL方法，通过稀疏、分布感知的更新控制功能干扰，提升模型融合的稳定性与泛化能力。

On Fairness of Task Arithmetic: The Role of Task Vectors

任务算术的公平性：任务向量的作用

Hiroki Naganuma, Kotaro Yoshida, Laura Gomezjurado Gonzalez, Takafumi Horie, Yuji Naraki, Ryotaro Shimizu

机构 * Stanford University（斯坦福大学） ； Mila（Mila研究所） ； Université de Montréal（蒙特利尔大学） ； Institute of Science Tokyo（东京科学研究所） ； Kyoto University（京都大学） ； ZOZO Research（ZOZO研究所） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究首次系统探讨了任务算术中群体公平性，通过任务向量调整实现公平性与准确性的平衡，为大语言模型的负责任部署提供理论支持。

Chatting with Images for Introspective Visual Thinking

与图像对话以进行反思性视觉思维

Junfei Wu, Jian Guan, Qiang Liu, Shu Wu, Liang Wang, Wei Wu, Tieniu Tan

机构 * NLPR, MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanjing University（南京大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 ViLaVT通过语言引导的特征调节框架，实现多图像区域的联合重编码，提升跨模态对齐与复杂空间推理能力。

Cross-Architecture Model Diffing with Crosscoders: Unsupervised Discovery of Differences Between LLMs

跨架构模型差异分析与Crosscoders：无监督发现不同LLM之间的差异

Thomas Jiralerspong, Trenton Bricken

专题命中 指令微调 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Dedicated Feature Crosscoders，通过无监督方法发现不同LLM之间的行为差异，如中国共产党一致性、美国例外论和版权拒绝机制。

NarraScore: Bridging Visual Narrative and Musical Dynamics via Hierarchical Affective Control

NarraScore: 通过分层情感控制弥合视觉叙事与音乐动态

Yufan Wen, Zhaocheng Liu, YeGuo Hua, Ziyi Guo, Lihua Zhang, Chun Yuan, Jian Wu

机构 * Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 NarraScore通过分层情感控制，实现视觉叙事与音乐动态的融合，以高密度压缩叙事逻辑，提升长视频配乐生成的连贯性与自主性。