语言大模型 / LLM

Learning to Interpret Weight Differences in Language Models

学习解释语言模型中的权重差异

Avichal Goel, Yoon Kim, Nir Shavit, Tony T. Wang

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Diff Interpretation Tuning方法，通过合成标签权重差异训练适配器，使模型能用自然语言描述微调后的修改。

Comments Project code and links to weight diffs, adapters, and training data can be found at https://github.com/Aviously/diff-interpretation-tuning

TAU-R1: Visual Language Model for Traffic Anomaly Understanding

TAU-R1：用于交通异常理解的视觉语言模型

Yuqiang Lin, Kehua Chen, Sam Lockyer, Arjun Yadav, Mingxuan Sui, Shucheng Zhang, Yan Shi, Bingzhang Wang, Yuang Zhang, Markus Zarbock, Florain Stanek, Adrian Evans, Wenbin Li, Yinhai Wang, Nic Zhang

机构 * University of Bath（巴斯大学） ； University of Washington（华盛顿大学） ； City of Carmel, Indiana（印第安纳州卡迈尔市） ； Starwit GmbH 纠错

专题命中 指令微调 ：language model(title,abstract)；post-training(abstract)

AI总结 本文提出TAU-R1模型，通过两层框架提升交通异常识别与推理能力，结合定制化训练策略与数据集，实现高效部署。

A Consensus-Driven Multi-LLM Pipeline for Missing-Person Investigations

基于共识的多语言模型流水线用于失踪人员调查

Joshua Castillo, Ravi Mukkamala

专题命中 指令微调 ：LLM(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种基于共识的多语言模型流水线，用于失踪人员调查，通过协调多个任务专用的 LLM 模型和共识引擎，提升信息提取和处理的效率与准确性。

Comments Accepted to CAC: Applied Computing & Automation Conferences 2026. 16 pages, 6 figures

ParaS2S: Benchmarking and Aligning Spoken Language Models for Paralinguistic-aware Speech-to-Speech Interaction

ParaS2S：用于基于语篇语言模型的语音到语音交互的基准测试与对齐

Shu-wen Yang, Ming Tu, Andy T. Liu, Xinghua Qu, Hung-yi Lee, Lu Lu, Yuxuan Wang, Yonghui Wu

专题命中 指令微调 ：language model(title)；LLM(abstract)；SFT(abstract)

AI总结 ParaS2S通过强化学习框架提升语音到语音交互中对语篇线索的处理能力，实现响应内容和风格的显著改进。

Comments To appear in ICLR 2026

InstructVLA: Vision-Language-Action Instruction Tuning from Understanding to Manipulation

InstructVLA: 从理解到操作的视觉-语言-动作指令微调

Shuai Yang, Hao Li, Bin Wang, Yilun Chen, Yang Tian, Tai Wang, Hanqing Wang, Feng Zhao, Yiyi Liao, Jiangmiao Pang

机构 * University of Science and Technology of China（中国科学技术大学） ； Zhejiang University（浙江大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；language model(abstract)

AI总结 InstructVLA通过视觉-语言-动作指令微调，实现了在多模态推理和动作生成之间的平衡，提升了机器人在复杂任务中的操控性能和泛化能力。

Comments 48 pages

Regularization Through Reasoning: Systematic Improvements in Language Model Classification via Explanation-Enhanced Fine-Tuning

通过推理进行正则化：通过解释增强微调提升语言模型分类性能

Vivswan Shah, Randy Cogill, Hanwei Yue, Gopinath Chennupati, Rinat Khaziev

机构 * Amazon Central Analytics and Research Science（亚马逊中央分析与研究科学） 纠错

专题命中 指令微调 ：language model(title)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过在微调中加入解释增强，提升语言模型分类的准确性和可靠性，揭示令牌级结构对推理过程的影响。

PointAlign: Feature-Level Alignment Regularization for 3D Vision-Language Models

PointAlign：用于3D视觉-语言模型的特征级对齐正则化

Yuanhao Su, Shaofeng Zhang, Xiaosong Jia, Qi Fan

机构 * University of Science and Technology of China（中国科学技术大学） ； Fuzhou University（福州大学） ； Fudan University（复旦大学） ； Nanjing University（南京大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)

AI总结 PointAlign通过特征级对齐正则化提升3D视觉-语言模型的几何信息保留与任务性能

Comments CVPR 2026 Accepted

Who Controls the Conversation? User Perspectives On Generative AI (LLM) System Prompts

谁控制对话？生成AI（LLM）系统提示的用户视角

Anna Neumann, Yulu Pi, Jatinder Singh

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 本文探讨用户对生成AI系统提示的认知与需求，旨在通过用户视角优化系统提示设计与治理实践。

Comments Accepted to CHI 2026 Paper Track

MERGETUNE: Continued Fine-Tuning of Vision-Language Models

MERGETUNE: 视觉-语言模型的持续微调

Wenqing Wang, Da Li, Xiatian Zhu, Josef Kittler

机构 * University of Surrey（萨里大学） ； Samsung AI Centre Cambridge（三星AI研究中心（剑桥）） ； Queen Mary University of London（伦敦大学女王学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；pretraining(abstract)

AI总结 MERGETUNE通过持续微调和线性模式连接，恢复视觉-语言模型在微调中丢失的预训练知识，提升基础-新样本泛化和稳健微调性能。

Comments 20 pages, 5 figures

Journal ref ICLR2026

Revisiting Backdoor Threat in Federated Instruction Tuning from a Signal Aggregation Perspective

重新审视联邦指令微调中的后门威胁：从信号聚合角度出发

Haodong Zhao, Jinming Hu, Gongshen Liu

专题命中 指令微调 ：instruction tuning(title,abstract)；language model(abstract)

AI总结 本文从信号聚合角度重新审视联邦指令微调中的后门威胁，揭示低浓度污染数据在良性客户端数据集中的危害，并证明现有防御机制对这种威胁无效，需开发新的防御方法。

Comments Accepted by ICASSP 2026

Seeing Radio: From Zero RF Priors to Explainable Modulation Recognition with Vision Language Models

看见无线电：从零RF先验到可解释的调制识别与视觉语言模型

Hang Zou, Bohao Wang, Yu Tian, Lina Bariah, Chongwen Huang, Samson Lasaulce, Mérouane Debbah

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)

AI总结 本文提出利用视觉语言模型直接感知无线电波信号并推断调制模式，通过转换IQ流为图像数据，提升模型准确性至90%，并实现可解释的调制识别。

Gradients Must Earn Their Influence: Unifying SFT with Generalized Entropic Objectives

梯度必须赢得其影响：统一监督微调与广义熵目标

Zecheng Wang, Deyuan Liu, Chunshan Li, Yupeng Zhang, Zhengyun Zhao, Dianhui Chu, Bingning Wang, Dianbo Sui

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； WeChat, Tencent（微信、腾讯） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：SFT(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出DEFT方法，通过广义熵目标统一SFT，解决塑性-稳定性困境，提升模型在探索与利用间的平衡性能。

Low Rank Comes with Low Security: Gradient Assembly Poisoning Attacks against Distributed LoRA-based LLM Systems

低秩带来低安全：针对分布式LoRA-based LLM系统的梯度装配中毒攻击

Yueyan Dong, Minghui Xu, Qin Hu, Yinhao Xiao, Qi Luo, Yechao Zhang, Yue Zhang, Xiuzhen Cheng

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 针对分布式LoRA-based LLM系统，提出GAP攻击，通过构造无害的A和B矩阵乘积产生恶意更新，导致模型输出降级和错误增加。

Comments 8 figures, 8 tables

ADALog: Adaptive Unsupervised Anomaly detection in Logs with Self-attention Masked Language Model

ADALog: 基于自注意力机制的自监督日志异常检测

Przemek Pospieszny, Wojciech Mormul, Karolina Szyndler, Sanjeev Kumar

机构 * NeuroEdge AI ； Cognizant 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 ADALog通过自适应无监督方法在日志中检测异常，利用预训练双向编码器和自适应阈值处理，实现高效准确的异常检测。

Comments Conference paper accepted at ICMLT 2025; to appear in the IEEE Conference Proceedings

Journal ref IEEE ICMLT 2025

A Modular LLM-Agent System for Transparent Multi-Parameter Weather Interpretation

一个模块化的LLM-代理系统用于透明的多参数天气解释

Daniil Sukhorukov, Andrei Zakharov, Nikita Glazkov, Katsiaryna Yanchanka, Vladimir Kirilin, Maxim Dubovitsky, Roman Sultimov, Yuri Maksimov, Ilya Makarov

专题命中 指令微调 ：LLM(title,abstract)；prompting(abstract)

AI总结 本文提出AI-Meteorologist，一个基于LLM-代理的透明天气解释系统，通过多参数分析和结构化解释提升天气预报的可解释性和科学性。

Seeing to Act, Prompting to Specify: A Bayesian Factorization of Vision Language Action Policy

视觉与语言动作政策的贝叶斯分解：看见以行动，提示以指定

Kechun Xu, Zhenjie Zhu, Anzhe Chen, Shuqi Zhao, Qing Huang, Yifei Yang, Haojian Lu, Rong Xiong, Masayoshi Tomizuka, Yue Wang

机构 * Zhejiang University（浙江大学） ； UC Berkeley（伯克利大学） 纠错

专题命中 指令微调 ：prompting(title)；language model(abstract)；foundation model(abstract)

AI总结 本文提出BayesVLA，通过贝叶斯分解策略，解决VLA模型中因模态不平衡导致的灾难性遗忘问题，提升泛化能力和指令遵循性能。

ReCAD: Reinforcement Learning Enhanced Parametric CAD Model Generation with Vision-Language Models

ReCAD: 基于强化学习的参数化CAD模型生成增强框架

Jiahao Li, Yusheng Luo, Yunzhong Lou, Xiangdong Zhou

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract)

AI总结 ReCAD通过强化学习增强参数化CAD模型生成，利用预训练模型生成高精度CAD模型，显著提升几何精度和语义保真度。

Comments Accepted as an Oral presentation at AAAI 2026

Pre-trained Language Models Improve the Few-shot Prompt Ability of Decision Transformer

预训练语言模型提升决策变换器的少样本提示能力

Yu Yang, Pan Xu

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） ； Duke University（杜克大学） ； Department of Biostatistics and Bioinformatics（生物统计学与生物信息学系） ； Department of Computer Science（计算机科学系） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 预训练语言模型提升决策变换器的少样本提示能力，通过初始化和提示正则化增强RL任务区分能力。

Comments 2 figures, 10 tables. Published in Transactions on Machine Learning Research (TMLR)

Journal ref Transactions on Machine Learning Research, 2025

Robust LLM Unlearning with MUDMAN: Meta-Unlearning with Disruption Masking And Normalization

鲁棒大语言模型反学习与MUDMAN：元反学习与干扰掩码与归一化

Filip Sondej, Yushi Yang, Mikołaj Kniejski, Marcel Windys

专题命中 指令微调 ：LLM(title)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MUDMAN通过干扰掩码和归一化技术提升大语言模型反学习的鲁棒性，有效防止危险能力的恢复。

HGAdapter: Hypergraph-based Adapters in Language Models for Code Summarization and Clone Detection

HGAdapter: 基于超图的语言模型代码摘要与克隆检测适配器

Guang Yang, Yujie Zhu

机构 * Data Technology Group, Technology Research and Development Department, Guotai Haitong Securities, China（国泰君安证券数据技术部、技术研发部） ； School of Computer Science and Technology, East China Normal University, China（华东师范大学计算机科学与技术学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 HGAdapter通过引入高阶数据相关性，改进超图神经网络架构，提升预训练语言模型在代码摘要与克隆检测任务中的性能。

Comments Accepted by the 2025 Conference on Empirical Methods in Natural Language Processing (EMNLP 2025) as a findings long paper

Raw Data Matters: Enhancing Prompt Tuning by Internal Augmentation on Vision-Language Models

Haoyang Li, Liang Wang, Chao Wang, Siyu Zhou, Jing Jiang, Yan Peng, Guodong Long

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)

Comments 16 pages, 6 figures, 15 tables

Towards Better Ultrasound Video Segmentation Foundation Model: An Empirical study on SAM2 Finetuning from Data Perspective

Xing Yao, Ahana Gangopadhyay, Hsi-Ming Chang, Ravi Soni

机构 * GE HealthCare（GE医疗） ； Vanderbilt University（范德比大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；prompting(abstract)

Fast and Fluent Diffusion Language Models via Convolutional Decoding and Rejective Fine-tuning

Yeongbin Seo, Dongha Lee, Jaehyung Kim, Jinyoung Yeo

机构 * Department of Artificial Intelligence（人工智能系） ； Yonsei University（延世大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments NeurIPS 2025 spotlight

Falcon: A Remote Sensing Vision-Language Foundation Model (Technical Report)

Kelu Yao, Nuo Xu, Rong Yang, Yingying Xu, Zhuoyan Gao, Titinunt Kitrungrotsakul, Yi Ren, Pu Zhang, Jin Wang, Ning Wei, Chao Li

机构 * Research Center for Space Computing System, ZhejiangLab, Hangzhou, China（空间计算系统研究中心，浙江实验室，杭州，中国） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；SFT(abstract)

VLM-Guided Adaptive Negative Prompting for Creative Generation

Shelly Golan, Yotam Nitzan, Zongze Wu, Or Patashnik

机构 * Adobe Research（Adobe研究院） ； Tel Aviv University（特拉维夫大学） 纠错

专题命中 指令微调 ：prompting(title,abstract)；language model(abstract)

Comments Project page at: https://shelley-golan.github.io/VLM-Guided-Creative-Generation/

Learning to Instruct for Visual Instruction Tuning

Zhihan Zhou, Feng Hong, Jiaan Luo, Jiangchao Yao, Dongsheng Li, Bo Han, Ya Zhang, Yanfeng Wang

机构 * Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学合作中元创新中心） ； Microsoft Research Asia（微软亚洲研究院） ； Hong Kong Baptist University（香港 Baptist 大学） ； School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments NeurIPS 2025

OASIS: Online Sample Selection for Continual Visual Instruction Tuning

Minjae Lee, Minhyuk Seo, Tingyu Qu, Tinne Tuytelaars, Jonghyun Choi

机构 * Seoul National University（首尔国立大学） ； KU Leuven（库尔勒文大学） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；foundation model(abstract)

Uni4D-LLM: A Unified SpatioTemporal-Aware VLM for 4D Understanding and Generation

Hanyu Zhou, Gim Hee Lee

机构 * School of Computing, National University of Singapore（计算学院，新加坡国立大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；language model(abstract)

ExT: Towards Scalable Autonomous Excavation via Large-Scale Multi-Task Pretraining and Fine-Tuning

Yifan Zhai, Lorenzo Terenzi, Patrick Frey, Diego Garcia Soto, Pascal Egli, Marco Hutter

机构 * Robotic Systems Lab, ETH Zürich（苏黎世联邦理工学院机器人系统实验室） 纠错

专题命中 指令微调 ：pretraining(title,abstract)；SFT(abstract)

Embodied Navigation Foundation Model

Jiazhao Zhang, Anqi Li, Yunpeng Qi, Minghan Li, Jiahang Liu, Shaoan Wang, Haoran Liu, Gengze Zhou, Yuze Wu, Xingxing Li, Yuxin Fan, Wenjun Li, Zhibo Chen, Fei Gao, Qi Wu, Zhizheng Zhang, He Wang

机构 * Peking University（北京大学） ； Galbot ； USTC（中国科学技术大学） ； BAAI（百度人工智能研究院） ； University of Adelaide（阿德莱德大学） ； Zhejiang University（浙江大学） ； Differential Robotics Project（差分机器人项目） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；language model(abstract)

Comments Project Page: https://pku-epic.github.io/NavFoM-Web/