语言大模型 / LLM

Beyond LoRA vs. Full Fine-Tuning: Gradient-Guided Optimizer Routing for LLM Adaptation

超越LoRA与全微调：基于梯度的优化器路由用于大语言模型适应

Haozhan Tang, Xiuqi Zhu, Xinyin Zhang, Boxun Li, Virginia Smith, Kevin Kuo

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Tsinghua University（清华大学） ； Infinigence AI 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种混合LoRA和全微调（MoLF）框架，通过在优化器层面动态路由更新，实现两种训练模式之间的连续导航，从而提升大语言模型的适应性能。

Friends and Grandmothers in Silico: Localizing Entity Cells in Language Models

硅世界中的朋友与祖母：在语言模型中本地化实体细胞

Itay Yona, Dan Barzilay, Michael Karasik, Mor Geva

机构 * Mentaleap ； Independent Researcher（独立研究者） ； Tel Aviv University（特拉维夫大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；instruction tuning(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过寻找稀疏的实体选择性MLP神经元（实体细胞）探讨语言模型如何检索实体特定事实，并发现这些细胞在早期层聚集，具有因果作用。

Improving LLM Final Representations with Inter-Layer Geometry

通过层间几何改进大语言模型最终表示

Tom Ulanovski, Eyal Blyachman, Maya Bechler-Speicher

机构 * Blavatnik School of Computer Science（布拉瓦特尼克计算机科学学院） ； Tel Aviv University（特拉维夫大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出通过图神经网络和Cayley图优化大语言模型层间表示，提升预测性能，同时减少计算开销，实验显示在13个任务上准确率提升达40个百分点。

Comments 17 pages, 4 figures. Equal contribution by first two authors

RETUYT-INCO at BEA 2026 Shared Task 2: Meta-prompting in Rubric-based Scoring for German

在BEA 2026共享任务2中：基于评分规则的德语短答案评分的元提示

Ignacio Sastre, Ignacio Remersaro, Facundo Díaz, Nicolás De Horta, Luis Chiruzzo, Aiala Rosá, Santiago Góngora

机构 * Instituto de Computación, Facultad de Ingeniería, Universidad de la República（计算研究所，工程学院，乌拉圭共和国大学） 纠错

专题命中 指令微调 ：prompting(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文介绍了RETUYT-INCO在BEA 2026共享任务2中的参与，提出元提示方法用于德语短答案评分，结合经典机器学习、微调开源大模型等方法，取得前三项任务的优异成绩。

Comments To be presented at the BEA 2026 workshop, co-located with ACL 2026

Exploitation Without Deception: Dark Triad Feature Steering Reveals Separable Antisocial Circuits in Language Models

无欺骗的利用：黑暗三联征特征引导揭示语言模型中的可分离反社会回路

Cameron Berg, Roshni Lulla

机构 * Reciprocal Research ； Brain & Creativity Institute, University of Southern California（美国南加州大学脑与创造力研究所） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 通过稀疏自编码器特征引导增强Llama-3.3-70B-Instruct的黑暗三联征特质，发现反社会行为与认知共情分离，揭示语言模型中可区分的反社会回路。

Comments 12 pages, 3 figures

TFM-Retouche: A Lightweight Input-Space Adapter for Tabular Foundation Models

TFM-Retouche: 一种轻量级的输入空间适配器用于表格基础模型

Duong Nguyen, Mohammed Jawhar, Nicolas Chesneau

专题命中 指令微调 ：foundation model(title,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出TFM-Retouche，一种轻量级输入空间残差适配器，用于调整预训练表格基础模型以适应特定任务，通过在输入空间学习残差修正，提升模型性能。

The Granularity Axis: A Micro-to-Macro Latent Direction for Social Roles in Language Models

粒度轴：语言模型中社会角色的微到宏观潜在方向

Chonghan Qin, Xiachong Feng, Ziyun Song, Xiaocheng Feng, Jing Xiong, Lingpeng Kong

机构 * The University of Hong Kong（香港大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究揭示语言模型中社会角色粒度的潜在方向，通过定义粒度轴，发现其主导了角色表示空间的几何结构，并通过实验验证其在不同层级和模型间的稳定性与因果相关性。

Comments 28 pages, including appendices

Where Do Prompt Perturbations Break Generation? A Segment-Level View of Robustness in LoRA-Tuned Language Models

提示扰动为何破坏生成？基于段级视角的LoRA微调鲁棒性分析

Zhuoyun Li, Boxuan Wang, Jinwei Hu, Zhenglin Huang, Qisong He, Xinmiao Huang, Guangliang Cheng, Xiaowei Huang, Yi Dong

机构 * School of Computer Science and Informatics, University of Liverpool, UK（利物浦大学计算机科学与信息学学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出S$^2$R$^2$框架，通过段级语义分割与最优传输对齐提升LoRA微调模型的鲁棒性，有效应对提示扰动导致的关键实体或结论漂移问题。

Comments Under review

Graph Query Generation with Constraint-guided Large Language Agents

带有约束引导的大语言代理的图查询生成

Mengying Wang, Nicolaas Jedema, Rahul Pandey, RaviKiran Krishnan, Jens Lehmann, Yinghui Wu

机构 * Case Western Reserve University（凯斯西储大学） ； Amazon（亚马逊） ； Meta 纠错

专题命中 指令微调 ：language agent(title)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出UniQGen框架，利用大语言模型动态提取和优化图查询子句，提升查询准确性和效率，在多个基准测试中表现优异，适用于企业级知识图谱问答。

Comments 42nd IEEE International Conference on Data Engineering (ICDE)

AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications

超越核心领域的人工智能安全：简历筛选作为专门大语言模型应用中对抗性漏洞的案例研究

Honglin Mu, Jinghao Liu, Kaiyang Wan, Rui Xing, Xiuying Chen, Timothy Baldwin, Wanxiang Che

机构 * Research Center for Social Computing and Interactive Robotics（社会计算与交互机器人研究中心） ； Harbin Institute of Technology（哈尔滨工业大学） ； Natural Language Processing Research Department（自然语言处理研究部） ； MBZUAI ； Paul G. Allen School of Computer Science and Engineering（保罗·G·阿伦计算机科学与工程学院） ； University of Washington（华盛顿大学） ； School of Computing and Information Systems（计算与信息系统学院） ； The University of Melbourne（墨尔本大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨了大语言模型在简历筛选中的对抗性漏洞，提出FIDS防御机制，通过实验显示训练时防御优于推理时缓解，有效降低攻击成功率。

Joint Flashback Adaptation for Forgetting-Resistant Instruction Tuning

联合回溯适应用于抗遗忘的指令微调

Yukun Zhao, Lingyong Yan, Zhenyang Li, Shuaiqiang Wang, Zhumin Chen, Zhaochun Ren, Dawei Yin

专题命中 指令微调 ：instruction tuning(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出联合回溯适应方法，通过引入旧任务的有限提示来缓解增量学习中的灾难性遗忘问题，提升模型在新任务上的泛化能力。

Comments The experimental setting is wrong, i.e., not a real continual learning setting

Re-Mask and Redirect: Exploiting Denoising Irreversibility in Diffusion Language Models

重新掩码和引导：利用去噪不可逆性在扩散语言模型中进行攻击

Arth Singh

机构 * National Institute of Technology Agartala（阿加尔塔拉国立理工学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出TrajHijack攻击，通过重新掩码已承诺的拒绝标记并注入短的肯定前缀，显著提升ASR性能，揭示了扩散语言模型的安全性漏洞及防御机制的不足。

Comments 15 pages

Consolidation or Adaptation? PRISM: Disentangling SFT and RL Data via Gradient Concentration

巩固还是适应？PRISM：通过梯度集中解耦SFT和RL数据

Yang Zhao, Yangou Ouyang, Xiao Ding, Hepeng Wang, Bibo Cai, Kai Xiong, Jinglong Gao, Zhouhao Sun, Li Du, Bing Qin, Ting Liu

机构 * Research Center for Social Computing and Interactive Robotics, Harbin Institute of Technology（哈尔滨工业大学社会计算与交互机器人研究中心） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） 纠错

专题命中 指令微调 ：SFT(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 PRISM通过分析梯度空间结构，区分高冲突数据需RL重构与低冲突数据需SFT巩固，提升LLM训练效率与鲁棒性。

Comments ACL2026 Main Conference

Unlocking Prompt Infilling Capability for Diffusion Language Models

解锁扩散语言模型的提示填充能力

Yoshinari Fujinuma, Keisuke Sakaguchi

机构 * Patronus AI ； Tohoku University（东北大学） ； RIKEN（理化学研究所） 纠错

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过扩展监督微调中的全序列掩码，解锁扩散语言模型的提示填充能力，证明模型填充的提示能匹配或超越手动设计模板，并有效跨模型迁移。

Explainable Token-level Noise Filtering for LLM Fine-tuning Datasets

可解释的token级噪声过滤用于LLM微调数据集

Yuchen Yang, Wenze Lin, Enhao Huang, Zhixuan Chu, Hongbin Zhou, Lan Tao, Yiming Li, Zhan Qin, Kui Ren

机构 * The State Key Laboratory of Blockchain and Data Security, Zhejiang University（浙江大学区块链与数据安全全国重点实验室） ； Hangzhou HighTech Zone (Binjiang) Blockchain and Data Security Research Institute（杭州高新区（滨江）区块链与数据安全研究院） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出XTF框架，通过分解token级数据对微调过程的贡献，提升LLM微调性能，实验表明在数学、代码和医学任务中性能提升达13.7%。

A Comprehensive Information-Decomposition Analysis of Large Vision-Language Models

大型视觉-语言模型的全面信息分解分析

Lixin Xiu, Xufang Luo, Hideki Nakayama

机构 * The University of Tokyo（东京大学） ； Microsoft Research（微软研究院） 纠错

专题命中 指令微调 ：language model(title,abstract)；instruction tuning(abstract)；分类 cs.CL、cs.LG

AI总结 本文通过信息分解方法分析大型视觉-语言模型的信息谱，揭示任务模式和模型策略，为模型设计提供新视角。

Comments Accepted at ICLR 2026. Project page: https://riishin.github.io/pid-lvlm-iclr26/

On Token's Dilemma: Dynamic MoE with Drift-Aware Token Assignment for Continual Learning of Large Vision Language Models

关于令牌的困境：具有漂移感知令牌分配的动态MoE用于大视觉语言模型的持续学习

Chongyang Zhao, Mingsong Li, Haodong Lu, Dong Gong

机构 * University of New South Wales (UNSW Sydney)（新南威尔士大学（悉尼新南威尔士大学）） 纠错

专题命中 指令微调 ：language model(title,abstract)；instruction tuning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LLaVA-DyMoE框架，通过动态MoE和漂移感知令牌分配缓解持续学习中的路由漂移问题，提升模型在持续学习中的性能。

Comments Accepted at CVPR 2026

mSFT: Addressing Dataset Mixtures Overfitting Heterogeneously in Multi-task SFT

mSFT：在多任务SFT中异质性地解决数据混合过拟合问题

Woosung Koh, Jeyoung Jeon, Youngjin Song, Yujin Cheon, Soowon Oh, Jaehyeong Choi, Se-Young Yun

机构 * KAIST AI（韩国科学技术院人工智能系） ； Yonsei University（延世大学） ； Samsung Advanced Institute of Technology（三星高级技术研究所） 纠错

专题命中 指令微调 ：SFT(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 mSFT通过迭代和过拟合感知的搜索算法，解决多任务数据混合中的过拟合问题，优于四个基线方法，在十个基准和六个基模型上表现优异，且在不同数据规模和任务粒度下保持鲁棒性。

Comments Pre-print (newer versions are minor edits)

Open-weight genome language model safeguards: Assessing robustness via adversarial fine-tuning

开放权重基因组语言模型的安全保障：通过对抗性微调评估鲁棒性

James R. M. Black, Moritz S. Hanke, Aaron Maiwald, Tina Hernandez-Boussard, Oliver M. Crook, Jaspreet Pannu

机构 * Center for Health Security（健康安全中心） ； Johns Hopkins Bloomberg School of Public Health（约翰霍普金斯大学布隆伯格公共卫生学院） ； Department of Chemistry（化学系） ； University of Oxford（牛津大学） ； Stanford University School of Medicine（斯坦福大学医学院） ； Department of Chemistry & Kavli Institute for Nanoscience Discovery（化学系及卡弗里纳米科学发现研究所） 纠错

专题命中 指令微调 ：language model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究评估了开放权重基因组语言模型在对抗性微调下的鲁棒性，发现通过微调有害病毒序列可恢复模型的滥用相关能力，强调了需要安全框架以确保模型安全部署。

Comments 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop: Biosecurity Safeguards for Generative AI

User Preference Modeling for Conversational LLM Agents: Weak Rewards from Retrieval-Augmented Interaction

用于对话大语言模型代理的用户偏好建模：来自检索增强交互的弱奖励

Yuren Hao, Shuhaib Mehri, ChengXiang Zhai, Dilek Hakkani-Tür

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出VARS框架，通过长短期向量表示用户偏好，利用弱奖励在线更新向量，提升交互效率，实验证明其在多会话协作任务中表现优异。

Comments 21 pages including appendices

When the Pure Reasoner Meets the Impossible Object: Analytic vs. Synthetic Fine-Tuning and the Suppression of Genesis in Language Models

当纯粹推理者遇见不可能之物：分析性与合成性微调及语言模型中生成的抑制

Amin Amouhadi

机构 * Institute for Artificial Intelligence, University of Georgia（人工智能研究所，佐治亚大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了在'不可能之物'上微调大语言模型的本体论后果，通过分析与合成微调对比，揭示了逻辑矛盾对语言模型生成能力的抑制作用。

SAKE: Towards Editing Auditory Attribute Knowledge of Large Audio-Language Models

SAKE：迈向大型音频-语言模型的听觉属性知识编辑

Chih-Kai Yang, Yen-Ting Piao, Tzu-Wen Hsu, Szu-Wei Fu, Zhehuai Chen, Ke-Han Lu, Sung-Feng Huang, Chao-Han Huck Yang, Yu-Chiang Frank Wang, Yun-Nung Chen, Hung-yi Lee

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出SAKE基准，用于评估大型音频-语言模型中听觉属性知识的编辑方法，发现多数方法在可靠性上表现良好，但在听觉泛化和多模态知识传播方面存在不足，细调模态连接器比直接编辑LLM更稳健。

Comments Work in progress. Resources: https://github.com/ckyang1124/SAKE

Partially Recentralization Softmax Loss for Vision-Language Models Robustness

部分重校正softmax损失用于视觉-语言模型鲁棒性

Hao Wang, Jinzhe Jiang, Xin Zhang, Chen Li

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出部分重校正softmax损失，通过限制top K softmax输出提升预训练多模态模型的对抗鲁棒性，实验显示细调后模型对主流攻击更具鲁棒性。

Comments The study described in Section 4 was conducted without required institutional review board approval. The paper is withdrawn pending completion of the approval process

LCSB: Layer-Cyclic Selective Backpropagation for Memory-Efficient On-Device LLM Fine-Tuning

LCSB: 用于设备端大语言模型微调的内存高效层循环选择反向传播

Juneyoung Park, Eunbeen Yoon, Seongwan Kim. Jaeho Lee

机构 * Opt-AI Inc.（Opt-AI公司） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 LCSB通过选择性梯度计算提升设备端大语言模型微调的效率和稳定性。

Comments Under the review, 13 pages

Think Fast and Slow: Step-Level Cognitive Depth Adaptation for LLM Agents

快速思考与缓慢思考：面向LLM代理的步骤级认知深度适应

Ruihan Yang, Fanghua Ye, Xiang We, Ruoqing Zhao, Kang Luo, Xinbo Xu, Bo Zhao, Ruotian Ma, Shanyi Wang, Zhaopeng Tu, Xiaolong Li, Deqing Yang, Linus

机构 * Fudan University（复旦大学） ； Tencent Hunyuan（腾讯文恩） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 CogRouter通过动态调整认知深度提升LLM代理在多轮决策任务中的性能与效率。

A2D: Any-Order, Any-Step Safety Alignment for Diffusion Language Models

A2D: 任意顺序、任意步长的安全对齐用于扩散语言模型

Wonje Jeung, Sangyeon Yoon, Yoonjun Cho, Dongjae Jeon, Sangwoo Shin, Hyesoo Hong, Albert No

机构 * Department of Artificial Intelligence, Yonsei University（人工智能系，延世大学） ； Department of Computer Science and Engineering, Yonsei University（计算机科学与工程系，延世大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 A2D通过令牌级对齐方法，在扩散语言模型中实现任意顺序和步长攻击的鲁棒防御，显著降低有害输出生成概率并提升安全终止效率。

Comments Accepted at ICLR 2026. Code and models are available at https://ai-isl.github.io/A2D

Holdout-Loss-Based Data Selection for LLM Finetuning via In-Context Learning

基于Holdout损失的数据选择用于LLM微调的上下文学习

Ling Zhang, Xianliang Yang, Juwon Yu, Park Cheonyoung, Miran Lee, Lei Song, Jiang Bian

机构 * Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 指令微调 ：LLM(title)；language model(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于上下文近似（ICA）的方法，通过估计holdout损失来高效选择高价值训练数据，提升LLM微调的对齐性能。

Scaling Ambiguity: Augmenting Human Annotation in Speech Emotion Recognition with Audio-Language Models

缩放歧义：通过音频-语言模型增强语音情感识别中的人工标注

Wenda Zhang, Hongyu Jin, Siyi Wang, Zhiqiang Wei, Ting Dang

机构 * University of Melbourne（墨尔本大学） ； Xi'an Jiaotong University（西安交通大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过音频-语言模型生成合成标注，提升语音情感识别中模糊情感的真实分布可靠性，实验表明合成标注在低歧义区域效果显著，但高歧义情况需进一步优化。

Comments Accepted by ICASSP 2026

Robust and Efficient Zeroth-Order LLM Fine-Tuning via Adaptive Bayesian Subspace Optimizer

鲁棒且高效的零阶LLM微调方法：自适应贝叶斯子空间优化器

Jian Feng, Zhihong Huang

机构 * School of Mathematics, Sun Yat-sen University, Guangzhou, China（中山大学数学学院） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出BSZO方法，通过自适应贝叶斯子空间优化提升零阶LLM微调的鲁棒性和效率，实验显示在多种任务中性能优于基线方法。

Comments 23 pages, 2 figures, 5 tables

Safeguarding LLM Fine-tuning via Push-Pull Distributional Alignment

通过推拉分布对齐保障大语言模型微调安全

Haozhong Wang, Zhuo Li, Yibo Yang, He Zhao, Hongyuan Zha, Dandan Guo

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 SOT通过推拉分布对齐机制提升大语言模型微调的安全性与效用平衡