语言大模型 / LLM

Optimal Brain Decomposition for Accurate LLM Low-Rank Approximation

用于准确LLM低秩近似的最优脑分解

Yuhang Li, Donghyun Lee, Ruokai Yin, Priyadarshini Panda

机构 * Yale University（耶鲁大学） ； University of Sounthern California（南加州大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出OBD-LLM，通过利用二阶Hessian信息在模型空间中研究分解问题，结合输入输出信息实现更优的低秩近似，比传统方法提升20-40%。

GazeQwen: Lightweight Gaze-Conditioned LLM Modulation for Streaming Video Understanding

GazeQwen: 轻量级 gaze-条件 LLM 调制用于流视频理解

Trong Thang Pham, Hien Nguyen, Ngan Le

机构 * University of Arkansas（阿肯色大学） ； University of Houston（休斯顿大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 GazeQwen 通过隐藏状态调制使开源 MLLM 获得 gaze 意识，采用紧凑的 gaze resampler 和可选 LoRA 调整，在 StreamGaze 基准上达到 63.9% 准确率，优于其他模型。

Lightweight Fairness for LLM-Based Recommendations via Kernelized Projection and Gated Adapters

基于核化投影和门控专家的轻量公平性方法用于基于LLM的推荐

Nan Cui, Wendy Hui Wang, Yue Ning

机构 * Department of Computer Science, Stevens Institute of Technology, Hoboken NJ, USA（计算机科学系，史蒂文斯理工学院，新泽西州霍博肯） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出一种轻量级方法，结合核化投影与门控专家适配器，以减轻LLM推荐系统中的偏见，通过无额外参数的投影去除敏感属性，同时保留任务效用。

PolicySim: An LLM-Based Agent Social Simulation Sandbox for Proactive Policy Optimization

PolicySim：一种基于LLM的代理社会模拟沙盒，用于主动政策优化

Renhong Huang, Ning Tang, Jiarong Xu, Yuxuan Cao, Qingqian Tu, Sheng Guo, Bo Zheng, Huiyuan Liu, Yang Yang

机构 * Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； University of Nottingham（诺丁汉大学） ； PowerChina Huadong Engineering Corporation Limited（国家电网华东工程公司） 纠错

专题命中 指令微调 ：LLM(title,abstract)；SFT(abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 本文提出PolicySim，通过用户代理模块和自适应干预模块，模拟用户行为与平台干预的双向动态，实现对干预政策的主动评估与优化。

LAMB: LLM-based Audio Captioning with Modality Gap Bridging via Cauchy-Schwarz Divergence

LAMB：基于LLM的音频描述通过Cauchy-Schwarz散度弥合模态间隙

Hyeongkeun Lee, Jongmin Choi, KiHyun Nam, Joon Son Chung

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出LAMB框架，通过Cauchy-Schwarz散度弥合音频与文本嵌入空间的模态差距，设计Two-Stream Adapter和Token Guide提升LLM解码器推理能力，在AudioCaps上取得最佳性能。

Comments 5 pages, 2 figures; Accepted to ICASSP 2026

OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging

OptMerge: 通过模型融合统一多模态大语言模型的能力与模态

Yongxian Wei, Runxi Cheng, Weike Jin, Enneng Yang, Li Shen, Lu Hou, Sinan Du, Chun Yuan, Xiaochun Cao, Dacheng Tao

机构 * Tsinghua University（清华大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Sun Yat-sen University（中山大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 OptMerge通过模型融合统一多模态大语言模型的能力与模态，提出基准和算法提升性能2.48%

Individual Turing Test: A Case Study of LLM-based Simulation Using Longitudinal Personal Data

个体图灵测试：基于长期个人数据的LLM模拟案例研究

Minghao Guo, Ziyi Ye, Wujiang Xu, Xi Zhu, Wenyue Hua, Dimitris N. Metaxas

机构 * Rutgers University（罗格斯大学） ； Fudan University（复旦大学） ； Microsoft（微软公司） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出个体图灵测试，通过长期个人数据评估LLM模拟个体的能力，发现不同方法在日常聊天与个人意见上的表现存在显著差异。

Comments 5 pages, 2 figures

Intention-Adaptive LLM Fine-Tuning for Text Revision Generation

意图自适应的LLM微调用于文本修订生成

Zhexiong Liu, Diane Litman

机构 * Department of Computer Science, Learning Research & Development Center University of Pittsburgh（计算机科学系、学习研究与开发中心宾夕法尼亚大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Intention-Tuning框架，通过意图自适应的逐层微调提升文本修订生成效果。

Comments In the Conference of the European Chapter of the Association for Computational Linguistics (EACL), March 2026

EyeLayer: Integrating Human Attention Patterns into LLM-Based Code Summarization

EyeLayer：将人类注意力模式整合到基于LLM的代码摘要中

Jiahao Zhang, Yifan Zhang, Kevin Leach, Yu Huang

机构 * Vanderbilt University（范德比尔特大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 EyeLayer通过整合人类眼动模式提升LLM代码摘要效果，实现13.17%的BLEU-4提升。

Comments Accepted at the 34th IEEE/ACM International Conference on Program Comprehension (ICPC 2026), April 12-13, 2026, Rio de Janeiro, Brazil

Whisper: Courtside Edition Enhancing ASR Performance Through LLM-Driven Context Generation

Whisper：球场版通过LLM驱动的上下文生成提升ASR性能

Yonathan Ron, Shiri Gilboa, Tammuz Dubnov

机构 * Reichman University（里奇曼大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 Whisper：球场版通过LLM驱动的上下文生成提升ASR性能，实现17%的词错误率降低。

This human study did not involve human subjects: Validating LLM simulations as behavioral evidence

这项人研究未涉及人类受试者：验证LLM模拟作为行为证据

Jessica Hullman, David Broska, Huaman Sun, Aaron Shaw

机构 * Northwestern University（西北大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文探讨了使用大型语言模型作为行为证据的有效性，对比了启发式方法与统计校准方法在社会科学实验中的应用及优劣。

Under-resourced studies of under-resourced languages: lemmatization and POS-tagging with LLM annotators for historical Armenian, Georgian, Greek and Syriac

低资源语言的低资源研究：利用LLM标注者进行历史亚美尼亚、格鲁吉亚、希腊和叙利亚语的词形还原与词性标注

Chahan Vidal-Gorène, Bastien Kindt, Florian Cafiero

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文研究了LLM在低资源语言词形还原和词性标注中的表现，发现其在少量样本设置中表现优异，尤其在缺乏数据时能有效辅助标注。

The Magic Correlations: Understanding Knowledge Transfer from Pretraining to Supervised Fine-Tuning

魔法相关性：从预训练到监督微调的知识转移理解

Simin Fan, Dimitris Paparas, Natasha Noy, Binbin Xiong, Noveen Sachdeva, Berivan Isik

机构 * Google Research（谷歌研究） ； EPFL（瑞士联邦理工学院） 纠错

专题命中 指令微调 ：pretraining(title,abstract)；language model(abstract)；SFT(abstract)；分类 cs.LG

AI总结 本研究通过分析预训练到监督微调的知识转移，揭示了不同能力类别、基准测试和模型规模间转移可靠性的差异，为模型开发和数据整理提供指导。

Charting Empirical Laws for LLM Fine-Tuning in Scientific Multi-Discipline Learning

绘制LLM微调的实证定律以用于科学多学科学习

Lintao Wang, Zhuqiang Lu, Yilin Zhu, Kun Hu, Zhenfei Yin, Shixiang Tang, Zhiyong Wang, Wanli Ouyang, Xinzhu Ma

机构 * The University of Sydney（悉尼大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Edith Cowan University（埃德温·考文大学） ； University of Oxford（牛津大学） ； The Chinese University of Hong Kong（香港中文大学） ； Beihang University（北航大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究通过构建五学科语料库，揭示了多学科LLM微调的四个实证定律，为科学领域通用LLM的发展提供了可操作的指导。

What Do Agents Learn from Trajectory-SFT: Semantics or Interfaces?

轨迹SFT中智能体学习了语义还是接口？

Weizheng Gu, Chengze Li, Zhuohao Yu, Mengyuan Sun, Zhibang Yang, Wei Wang, Hongrui Jia, Shikun Zhang, Wei Ye

机构 * National Engineering Research Center for Software Engineering, Peking University, Beijing, China（软件工程国家工程研究中心，北京大学，北京，中国） ； Nanjing University, Nanjing, China（南京大学，南京，中国） ； Tongji University, Shanghai, China（同济大学，上海，中国） 纠错

专题命中 指令微调 ：SFT(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出PIPE协议用于评估智能体在轨迹SFT中对接口的依赖性，发现轨迹SFT显著放大了接口捷径，且引入了接口依赖性指标以量化训练时接口的偏好。

InstructDiff: Domain-Adaptive Data Selection via Differential Entropy for Efficient LLM Fine-Tuning

InstructDiff：通过微分熵实现领域自适应的数据选择以实现高效的LLM微调

Junyou Su, He Zhu, Xiao Luo, Liyu Zhang, Hong-Yu Zhou, Yun Chen, Peng Li, Yang Liu, Guanhua Chen

机构 * Peking University（北京大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Tsinghua University（清华大学） ； SUFE（上海财经大学） ； SUSTech（南方科技大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 InstructDiff通过微分熵实现领域自适应的数据选择，提升LLM微调效率，实验显示在数学推理和通用指令遵循任务上分别提高17%和52%。

SFT Doesn't Always Hurt General Capabilities: Revisiting Domain-Specific Fine-Tuning in LLMs

SFT并不总是损害通用能力：重新审视LLM中的领域特定微调

Jiacheng Lin, Zhongruo Wang, Kun Qian, Tian Wang, Arvind Srinivasan, Hansi Zeng, Ruochen Jiao, Xie Zhou, Jiri Gesi, Dakuo Wang, Yufan Guo, Kai Zhong, Weiqi Zhang, Sujay Sanghavi, Changyou Chen, Hyokun Yun, Lihong Li

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊） ； University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University at Buffalo（布法罗大学） ； Northeastern University（东北大学） 纠错

专题命中 指令微调 ：SFT(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文研究了SFT对LLM通用能力的影响，发现较小学习率可缓解性能下降，提出TALR方法在平衡领域特定性能与通用能力方面表现优异。

Comments Accepted by ICLR 2026

Towards Transparent RAG: Fostering Evidence Traceability in LLM Generation via Reinforcement Learning

迈向透明的RAG：通过强化学习促进LLM生成中的证据可追溯性

Jingyi Ren, Yekun Xu, Xiaolong Wang, Weitao Li, Ante Wang, Weizhi Ma, Yang Liu

机构 * DCST \& AIR, Tsinghua University Beijing, China ； DCST, Tsinghua University Beijing, China ； AIR, Tsinghua University Beijing, China ； DSCT \& AIR, Tsinghua University Beijing, China ； DCST \& AIR, Tsinghua University ； DCST, Tsinghua University ； AIR, Tsinghua University ； DSCT \& AIR, Tsinghua University 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 TRACE通过强化学习提升LLM生成中的证据可追溯性，实现透明输出和准确性提升。

Field Matters: A Lightweight LLM-enhanced Method for CTR Prediction

领域重要性：一种轻量级的LLM增强CTR预测方法

Yu Cui, Feng Liu, Jiawei Chen, Xingyu Lou, Changwang Zhang, Jun Wang, Yuegang Sun, Xiaohu Yang, Can Wang

机构 * Zhejiang University（浙江大学） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 LLaCTR通过领域级增强范式，提出一种轻量级LLM增强CTR预测方法，提升CTR预测的有效性和效率。

MLVTG: Mamba-Based Feature Alignment and LLM-Driven Purification for Multi-Modal Video Temporal Grounding

MLVTG: 基于Mamba的特征对齐与LLM驱动的多模态视频时间定位

Zhiyi Zhu, Xiaoyu Wu, Zihao Liu, Linlin Yang

机构 * State Key Laboratory of Media Convergence and Communication（媒体融合与传播国家重点实验室） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 MLVTG通过结合MambaAligner和LLMRefiner，实现了多模态视频时间定位的高精度定位与语义净化。

From Classification to Ranking: Enhancing LLM Reasoning Capabilities for MBTI Personality Detection

从分类到排序：提升LLM推理能力以进行MBTI性格检测

Yuan Cao, Feixiang Liu, Xinyue Wang, Yihan Zhu, Hui Xu, Zheng Wang, Qiang Qiu

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 本文提出将性格检测视为排序任务，通过改进的强化学习方法提升LLM在MBTI性格检测中的推理能力。

Comments 9 pages, 4 figures, AAAI 2026 Bridge

One LLM to Train Them All: Multi-Task Learning Framework for Fact-Checking

一个模型训练所有：事实核查的多任务学习框架

Malin Astrid Larsson, Harald Fosen Grunnaleite, Vinay Setty

机构 * University of Stavanger（斯塔万格大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出多任务学习框架，通过微调单一模型提升事实核查任务的性能，实现声明检测、证据排名和立场检测的联合优化。

Comments Accepted version in ECIR 2026

HapticLLaMA: A Multimodal Sensory Language Model for Haptic Captioning

HapticLLaMA：一种多模态感官语言模型用于触觉描述

Guimin Hu, Daniel Hershcovich, Hasti Seifi

机构 * University of Copenhagen（哥本哈根大学） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；RLHF(abstract)；分类 cs.CL

AI总结 HapticLLaMA是一种多模态感官语言模型，通过触觉信号生成描述，利用两种分词器和强化学习提升触觉感知描述能力。

Why LoRA Fails to Forget: Regularized Low-Rank Adaptation Against Backdoors in Language Models

为何LoRA无法遗忘：针对语言模型中的后门行为的正则化低秩适应

Hoang-Chau Luong, Lingwei Chen

机构 * Golisano College of Computing and Information Sciences（戈利萨诺计算与信息科学学院） ； Rochester Institute of Technology（罗切斯特理工大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 RoRA通过增强谱强度和纠正对齐，有效提升LoRA在对抗后门攻击时的遗忘能力。

AzeroS: Extending LLM to Speech with Self-Generated Instruction-Free Tuning

AzeroS：通过自生成指令-free微调扩展LLM到语音

Yiwen Shao, Wei Liu, Jiahong Li, Tianzi Wang, Kun Wei, Meng Yu, Dong Yu

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 AZeroS通过自生成指令-free微调方法，无需任务特定数据即可实现语音领域LLM的高效扩展，取得最佳泛化性能。

Comments Technical Report

Is This Collection Worth My LLM's Time? Automatically Measuring Information Potential in Text Corpora

这集合值得我的LLM投入时间吗？自动测量文本语料库中的信息潜力

Tristan Karch, Luca Engel, Philippe Schwaller, Frédéric Kaplan

机构 * EPFL（瑞士联邦理工学院） ； DHLab（数字人文实验室） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出了一种自动化方法，通过生成多项选择题并测量LLM在有无原始材料时的表现差异，来评估文本语料库的信息潜力，以优化数据获取和整合决策。

TrojanStego: Your Language Model Can Secretly Be A Steganographic Privacy Leaking Agent

TrojanStego: 你的语言模型可能 secretly 成为一个隐写术隐私泄露代理

Dominik Meier, Jan Philip Wahle, Paul Röttger, Terry Ruas, Bela Gipp

机构 * University of Göttingen（哥廷根大学） ； LKA NRW（北莱茵-威斯特法伦州检察署） ； Bocconi University（博科尼大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL

AI总结 TrojanStego通过语言隐写术在LLM输出中隐秘泄露敏感信息，展示了一种新型被动且危险的LLM数据外泄攻击方式。

Comments 9 pages, 5 figures To be presented in the Conference on Empirical Methods in Natural Language Processing, 2025

Rendering Data Unlearnable by Exploiting LLM Alignment Mechanisms

通过利用大语言模型对齐机制使数据不可学习

Ruihan Zhang, Jun Sun

机构 * Singapore Management University（新加坡国立管理大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过利用LLM对齐机制，提出免责声明注入方法，使数据对模型不可学习，实现数据保护。

Socratic Students: Teaching Language Models to Learn by Asking Questions

苏格拉底学生：教语言模型通过提问学习

Rajeev Bhatt Ambati, Tianyi Niu, Aashu Singh, Shlok Mishra, Snigdha Chaturvedi, Shashank Srivastava

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； Meta 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 本文提出ODQS框架，通过任务结果训练语言模型提问技能，提升交互推理的准确性和效率。

MCITlib: Multimodal Continual Instruction Tuning Library and Benchmark

MCITlib: 多模态持续指令微调库与基准

Haiyang Guo, Fei Zhu, Hongbo Zhao, Fanhu Zeng, Wenzhuo Liu, Shijie Ma, Da-Han Wang, Xu-Yao Zhang

机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉学科学院） ； State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统国家重点实验室） ； Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science and Innovation, Chinese Academy of Sciences（中国科学院香港创新科学研究院人工智能与机器人中心） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Fujian Key Laboratory of Pattern Recognition and Image Understanding, School of Computer and Information Engineering, Xiamen University of Technology（福建 pattern recognition and image understanding 工程学院，厦门大学科技学院） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 MCITlib提供多模态持续学习的库和基准，支持8种算法并评估3个基准，旨在解决灾难性遗忘和跨模态协调问题。

Comments Preprint