语言大模型 / LLM

PASER: Post-Training Data Selection for Efficient Pruned Large Language Model Recovery

PASER：基于后训练数据选择的高效剪枝大语言模型恢复

Bowei He, Lihao Yin, Hui-Ling Zhen, Xiaokun Zhang, Mingxuan Yuan, Chen Ma

机构 * City University of Hong Kong（香港城市大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；post-training(title,abstract)；instruction tuning(abstract)

AI总结 PASER通过后训练数据选择方法高效恢复剪枝大语言模型的能力，显著优于传统基线方法。

Comments Accepted by ICLR 2026

The Canary's Echo: Auditing Privacy Risks of LLM-Generated Synthetic Text

知更鸟的回声：审计大语言模型生成合成文本的隐私风险

Matthieu Meeus, Lukas Wutschitz, Santiago Zanella-Béguelin, Shruti Tople, Reza Shokri

机构 * Imperial College London（帝国理工学院伦敦分校） ； Microsoft（微软公司） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出通过设计具有分布内前缀和高困惑度后缀的知更鸟，提高基于数据的MIAs的威力，以更准确评估LLM生成合成数据的隐私风险。

Comments 42nd International Conference on Machine Learning (ICML 2025)

Journal ref Proc. Mach. Learn. Res. 267 (2025) 43557-43580

MOSS-Audio-Tokenizer: Scaling Audio Tokenizers for Future Audio Foundation Models

MOSS-Audio-Tokenizer: 为未来音频基础模型扩展音频分词器

Yitian Gong, Kuangwei Chen, Zhaoye Fei, Xiaogui Yang, Ke Chen, Yang Wang, Kexin Huang, Mingshu Chen, Ruixiao Li, Qingyuan Cheng, Shimin Li, Xipeng Qiu

专题命中 预训练与数据 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 MOSS-Audio-Tokenizer通过同质Transformer架构实现端到端音频分词，支持高保真重建并提升语音合成和语音识别性能。

Comments 27 pages, 8 figures

Automated Optimization Modeling via a Localizable Error-Driven Perspective

通过可定位的误差驱动视角实现自动化优化建模

Weiting Liu, Han Wu, Yufei Kuang, Xiongwei Han, Tao Zhong, Jianfeng Feng, Wenlian Lu

机构 * Fudan University（复旦大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MIND通过可定位的误差驱动视角，改进自动化优化建模方法，提升训练后性能。

Sparse Semantic Dimension as a Generalization Certificate for LLMs

稀疏语义维度作为大语言模型的泛化证书

Dibyanayan Bandyopadhyay, Asif Ekbal

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 通过稀疏语义维度理论，揭示大语言模型泛化能力源于内部表示的稀疏结构而非参数数量。

Comments Work in progress (17 pages)

Fully 3D Unrolled Magnetic Resonance Fingerprinting Reconstruction via Staged Pretraining and Implicit Gridding

基于分阶段预训练和隐式栅格化的全3D磁共振指纹重建

Yonatan Urman, Mark Nishimura, Daniel Abraham, Xiaozhi Cao, Kawin Setsompop

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 SPUR-iG通过分阶段预训练和隐式栅格化实现高效3D磁共振指纹重建，提升精度和速度。

Human Behavior Atlas: Benchmarking Unified Psychological and Social Behavior Understanding

人类行为图谱：统一心理与社会行为理解的基准测试

Keane Ong, Wei Dai, Carol Li, Dewei Feng, Hengzhi Li, Jingyao Wu, Jiaee Cheong, Rui Mao, Gianmarco Mengaldo, Erik Cambria, Paul Pu Liang

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；SFT(abstract)；分类 cs.AI

AI总结 人类行为图谱通过统一基准和三种模型提升心理与社会行为理解的多模态性能

Comments Accepted to ICLR 2026 Main Conference

Adaptive Debiasing Tsallis Entropy for Test-Time Adaptation

自适应去偏Tsallis熵用于测试时适应

Xiangyu Wu, Dongming Jiang, Feng Yu, Yueying Tian, Jiaqi Tang, Qing-Guo Chen, Yang Yang, Jianfeng Lu

机构 * Nanjing University of Science and Technology（南京理工大学） ； Alibaba Cloud（阿里云） ； University of Texas at Dallas（德克萨斯大学达拉斯分校） ； University of Sussex（Sussex 大学） ； Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)

AI总结 本文提出自适应去偏Tsallis熵用于测试时适应，通过引入非广延参数q来缓解预训练数据偏差，提升模型适应性能。

Comments Accepted for publication at ICLR 2026; 24 pages; 5 figures

Detecting RLVR Training Data via Structural Convergence of Reasoning

通过推理的结构收敛检测RLVR训练数据

Hongbo Zhang, Yue Yang, Jianhao Yan, Guangsheng Bao, Yue Zhang, Yue Zhang

机构 * Zhejiang University（浙江大学） ； School of Engineering, Westlake University（西湖大学工程学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 通过推理结构收敛检测RLVR训练数据，提出Min-kNN距离方法有效区分训练数据与未见数据。

Comments Preprint

SkillRater: Untangling Capabilities in Multimodal Data

SkillRater: 解构多模态数据中的能力

Naveen Sahi, Jeremy Dohmann, Armen Aghajanyan, Akshat Shrivastava

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 SkillRater通过分解多模态数据质量为多个独立能力维度，提升模型在视觉理解、OCR和STEM推理上的性能。

Vascular anatomy-aware self-supervised pre-training for X-ray angiogram analysis

基于血管解剖的自监督预训练方法用于X射线造影分析

De-Xing Huang, Chaohui Yu, Xiao-Hu Zhou, Tian-Yu Xiang, Qin-Yi Zhang, Mei-Jiang Gui, Rui-Ze Ma, Chen-Yu Wang, Nu-Fang Xiao, Fan Wang, Zeng-Guang Hou

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学） ； Joint Laboratory of Intelligence Science and Technology, Institute of Systems Engineering, Macau University of Science and Technology（智能科学与技术联合实验室，系统工程研究所，澳门科学大学） ； DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 本文提出VasoMIM框架，结合解剖引导掩码策略和一致性损失，用于X射线造影分析，通过XA-170K数据集实现高效预训练并取得最佳性能。

Comments 10 pages, 10 figures, 10 tables. Journal version of VasoMIM (AAAI 2026)

Weakly Supervised Contrastive Learning for Histopathology Patch Embeddings

弱监督对比学习用于病理切片嵌入

Bodong Zhang, Xiwen Li, Hamid Manoochehri, Xiaoya Tang, Deepika Sirohi, Beatrice S. Knudsen, Tolga Tasdizen

机构 * Department of Electrical and Computer Engineering, University of Utah（电气与计算机工程系，犹他大学） ； Scientific Computing and Imaging Institute, University of Utah（科学计算与成像研究所，犹他大学） ； Department of Pathology, University of Utah（病理学系，犹他大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出弱监督对比学习方法，通过结合袋级标签信息提升病理切片嵌入的下游MIL性能。

In-Context Function Learning in Large Language Models

大型语言模型中的上下文函数学习

Elif Akata, Konstantinos Voudouris, Vincent Fortuin, Eric Schulz

机构 * Helmholtz Munich（海德堡-慕尼黑亥姆霍兹研究中心） ； University of Tübingen（图宾根大学） ； University of Technology Nuremberg（纽伦堡技术大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；post-training(abstract)

AI总结 本研究通过高斯过程视角分析大型语言模型的上下文学习机制，发现其学习曲线受函数生成核影响，并通过训练后处理可调整归纳偏置以提升样本效率。

Improving the Robustness of Large Language Models for Code Tasks via Fine-tuning with Perturbed Data

通过扰动数据微调提升大语言模型在代码任务中的鲁棒性

Yang Liu, Armstrong Foundjem, Xingfang Wu, Heng Li, Foutse Khomh

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 通过扰动数据微调提升大语言模型在代码任务中的鲁棒性，以增强其对对抗性输入的防御能力，同时注意性能的平衡。

CoSA: Compressed Sensing-Based Adaptation of Large Language Models

CoSA: 基于压缩感知的大型语言模型适应

Songtao Wei, Yi Li, Bohan Zhang, Zhichun Guo, Ying Huang, Yuede Ji, Miao Yin, Guanpeng Li, Bingzhe Li

机构 * Department of Computer Science, University of Texas at Dallas, Richardson, United States（计算机科学系，德克萨斯大学达拉斯分校，理查德森，美国） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 CoSA基于压缩感知理论提出了一种新的参数高效微调方法，通过固定随机投影矩阵和紧凑可学习核心实现高效且表达性强的多尺度模型适应。

Patch the Distribution Mismatch: RL Rewriting Agent for Stable Off-Policy SFT

修补分布不匹配：用于稳定离策略SFT的RL重写代理

Jiacheng Wang, Ping Jian, Zhen Yang, Zirong Chen, Keren Liao, Zhongbin Guo

机构 * School of Computer Science & Technology, Beijing Institute of Technology（计算机科学与技术学院，北京理工大学） 纠错

专题命中 指令微调 ：SFT(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出基于强化学习的RL重写代理，通过优化分布对齐和多样性，提升下游SFT效果并减少遗忘。

The Magic Correlations: Understanding Knowledge Transfer from Pretraining to Supervised Fine-Tuning

魔法相关性：从预训练到监督微调的知识转移理解

Simin Fan, Dimitris Paparas, Natasha Noy, Binbin Xiong, Noveen Sachdeva, Berivan Isik

机构 * Google Research（谷歌研究） ； EPFL（瑞士联邦理工学院） 纠错

专题命中 指令微调 ：pretraining(title,abstract)；language model(abstract)；SFT(abstract)；分类 cs.LG

AI总结 本研究通过分析预训练到监督微调的知识转移，揭示了不同能力类别、基准测试和模型规模间转移可靠性的差异，为模型开发和数据整理提供指导。

Charting Empirical Laws for LLM Fine-Tuning in Scientific Multi-Discipline Learning

绘制LLM微调的实证定律以用于科学多学科学习

Lintao Wang, Zhuqiang Lu, Yilin Zhu, Kun Hu, Zhenfei Yin, Shixiang Tang, Zhiyong Wang, Wanli Ouyang, Xinzhu Ma

机构 * The University of Sydney（悉尼大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Edith Cowan University（埃德温·考文大学） ； University of Oxford（牛津大学） ； The Chinese University of Hong Kong（香港中文大学） ； Beihang University（北航大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究通过构建五学科语料库，揭示了多学科LLM微调的四个实证定律，为科学领域通用LLM的发展提供了可操作的指导。

ScalSelect: Scalable Training-Free Multimodal Data Selection for Efficient Visual Instruction Tuning

ScalSelect: 可扩展的无训练多模态数据选择用于高效的视觉指令微调

Changti Wu, Jiahuai Mao, Yuzhuo Miao, Shijie Lian, Bin Yu, Xiaopeng Lin, Cong Huang, Lei Zhang, Kai Chen

机构 * East China Normal University（华东师范大学） ； Zhongguancun Academy（中关村学院） ； The Hong Kong Polytechnic University（香港理工大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Huazhong University of Science and Technology（华中科技大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；language model(abstract)；分类 cs.AI

AI总结 ScalSelect提出一种无训练、可扩展的多模态数据选择方法，通过线性时间复杂度实现高效视觉指令微调，实验显示其性能接近甚至超越全数据训练。

Comments The code is available at \href{https://github.com/ChangtiWu/ScalSelect}{ScalSelect}

Active Zero: Self-Evolving Vision-Language Models through Active Environment Exploration

主动零：通过主动环境探索实现自我进化的视觉-语言模型

Jinghan He, Junfeng Fang, Feng Xiong, Zijun Yao, Fei Shen, Haiyun Guo, Jinqiao Wang, Tat-Seng Chua

机构 * Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所基础模型研究中心） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； National University of Singapore（新加坡国立大学） ； Wuhan AI Research（武汉人工智能研究所） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

AI总结 Active-Zero通过主动环境探索实现视觉-语言模型的自我进化，提升推理和理解任务的性能。

Gradients Must Earn Their Influence: Unifying SFT with Generalized Entropic Objectives

梯度必须赢得其影响：统一监督微调与广义熵目标

Zecheng Wang, Deyuan Liu, Chunshan Li, Yupeng Zhang, Zhengyun Zhao, Dianhui Chu, Bingning Wang, Dianbo Sui

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； WeChat, Tencent（微信、腾讯） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：SFT(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出DEFT方法，通过广义熵目标统一SFT，解决塑性-稳定性困境，提升模型在探索与利用间的平衡性能。

Adapting Vision-Language Models for E-commerce Understanding at Scale

大规模电商理解中的视觉-语言模型适应

Matteo Nulli, Vladimir Orshulevich, Tala Bazazo, Christian Herold, Michael Kozielski, Marcin Mazur, Szymon Tuzel, Cees G. M. Snoek, Seyyed Hadi Hashemi, Omar Javed, Yannick Versley, Shahram Khadivi

机构 * eBay Inc.（eBay公司） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出了一种方法，通过大规模实验研究，展示如何通过针对性适应通用视觉-语言模型以提升电子商务性能，同时保持多模态能力，并提出新的评估套件。

TabSieve: Explicit In-Table Evidence Selection for Tabular Prediction

TabSieve: 表格内证据选择用于表格预测

Yongyao Wang, Ziqi Miao, Lu Yang, Haonan Jia, Wenting Yan, Chen Qian, Lijun Li

专题命中 指令微调 ：LLM(abstract)；SFT(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 TabSieve通过显式选择表格内证据提升预测性能，采用强化学习优化证据选择与预测正确性，实验显示在分类和回归任务中均取得显著提升。

Comments 13 pages

Fine-tuning Quantized Neural Networks with Zeroth-order Optimization

使用零阶优化进行量化神经网络微调

Sifeng Shang, Jiayi Zhou, Chenyu Lin, Minxian Li, Kaiyang Zhou

机构 * Hong Kong Baptist University（香港 Baptist 大学） ； Nanjing University of Science and Technology（南京理工大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出量化零阶优化方法，通过消除梯度和优化器状态来减少内存使用，实现4位LLM在24GB GPU上高效微调。

Comments Accepted by ICLR 2026

Towards Reliable Machine Translation: Scaling LLMs for Critical Error Detection and Safety

迈向可靠的机器翻译：扩展LLMs以检测关键错误和安全

Muskaan Chopra, Lorenz Sparrenberg, Rafet Sifa

机构 * Rheinische Friedrich-Wilhelms-Universität Bonn, Bonn, Germany（莱茵-威斯巴登大学波恩分校） ； Fraunhofer IAIS, Sankt Augustin, Germany（弗劳恩霍夫人工智能研究所） ； Lamarr Institute for Machine Learning（拉马尔人工智能与机器学习研究所） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过扩展LLMs检测关键错误，提升机器翻译的安全性和可靠性，减少虚假信息和语言伤害风险。

Comments Accepted at ECIR 2026

Steering MoE LLMs via Expert (De)Activation

通过专家（去）激活引导MoE LLMs

Mohsen Fayyaz, Ali Modarressi, Hanieh Deilamsalehy, Franck Dernoncourt, Ryan Rossi, Trung Bui, Hinrich Schütze, Nanyun Peng

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Adobe Research（Adobe研究） ； CIS, LMU Munich（慕尼黑大学计算机学院） ； Munich Center for Machine Learning（慕尼黑机器学习中心） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 SteerMoE通过激活或去激活特定专家，在不微调的情况下提升LLM的安全性和忠实性，同时揭示了MoE模型的潜在漏洞。

Comments ICLR 2026

Beyond Parameter Arithmetic: Sparse Complementary Fusion for Distribution-Aware Model Merging

超越参数运算：用于分布感知模型融合的稀疏互补融合

Weihong Lin, Lin Sun, Qilong Shi, Aomufei Yuan, Yuxuan Tian, Zhengyang Wang, Guangxiang Zhao, Xiangzheng Zhang, Tong Yang

机构 * Beijing Qiyuan Technology Co., Ltd.（北京启元科技有限公司） ； Peking University（北京大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出SCF-RKL方法，通过稀疏、分布感知的更新控制功能干扰，提升模型融合的稳定性与泛化能力。

On Fairness of Task Arithmetic: The Role of Task Vectors

任务算术的公平性：任务向量的作用

Hiroki Naganuma, Kotaro Yoshida, Laura Gomezjurado Gonzalez, Takafumi Horie, Yuji Naraki, Ryotaro Shimizu

机构 * Stanford University（斯坦福大学） ； Mila（Mila研究所） ； Université de Montréal（蒙特利尔大学） ； Institute of Science Tokyo（东京科学研究所） ； Kyoto University（京都大学） ； ZOZO Research（ZOZO研究所） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究首次系统探讨了任务算术中群体公平性，通过任务向量调整实现公平性与准确性的平衡，为大语言模型的负责任部署提供理论支持。

Chatting with Images for Introspective Visual Thinking

与图像对话以进行反思性视觉思维

Junfei Wu, Jian Guan, Qiang Liu, Shu Wu, Liang Wang, Wei Wu, Tieniu Tan

机构 * NLPR, MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanjing University（南京大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 ViLaVT通过语言引导的特征调节框架，实现多图像区域的联合重编码，提升跨模态对齐与复杂空间推理能力。

Cross-Architecture Model Diffing with Crosscoders: Unsupervised Discovery of Differences Between LLMs

跨架构模型差异分析与Crosscoders：无监督发现不同LLM之间的差异

Thomas Jiralerspong, Trenton Bricken

专题命中 指令微调 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Dedicated Feature Crosscoders，通过无监督方法发现不同LLM之间的行为差异，如中国共产党一致性、美国例外论和版权拒绝机制。