语言大模型 / LLM

Do Large Language Models Reflect Demographic Pluralism in Safety?

大语言模型在安全领域是否反映了人口多样性？

Usman Naseem, Gautam Siddharth Kashyap, Sushant Kumar Ray, Rafiq Ali, Ebad Shabbir, Abdullah Mohammad

机构 * Macquarie University（麦考瑞大学） ； University of Delhi（德里大学） ； DSEU-Okhla 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 Demo-SafetyBench通过在提示级别建模人口多样性，实现了在安全评估中兼顾可扩展性和人口鲁棒性。

Comments Accepted at EACL Findings 2026

Linearization Explains Fine-Tuning in Large Language Models

线性化解释大语言模型中的微调

Zahra Rahimi Afzal, Tara Esmaeilbeig, Mojtaba Soltanalian, Mesrob I. Ohannessian

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文通过线性化视角揭示了大语言模型微调的机制，分析了正则化对NTK特征值谱的影响，并通过LoRA实验证明了微调优化的改进。

Journal ref Afzal, Z.R., Esmaeilbeig, T., Soltanalian, M. and Ohannessian, M.I., 2025. Linearization Explains Fine-Tuning in Large Language Models. In The Thirty-ninth Annual Conference on Neural Information Processing Systems

Revisiting Privacy, Utility, and Efficiency Trade-offs when Fine-Tuning Large Language Models

重新审视在微调大语言模型时隐私、效用和效率之间的权衡

Soumi Das, Camila Kolling, Mohammad Aflah Khan, Mahsa Amani, Bishwamittra Ghosh, Qinyuan Wu, Till Speicher, Krishna P. Gummadi

机构 * MPI-SWS Germany（德国马克斯·普朗克研究所-斯图加特） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了在微调大语言模型时隐私、效用和效率之间的权衡，发现高效微调方法如LoRA在缓解隐私风险方面与差分隐私方法如DP效果相当，挑战了传统观点。

Comments This work has been accepted at IASEAI 2026 (Non-archival)

CausalTAD: Injecting Causal Knowledge into Large Language Models for Tabular Anomaly Detection

CausalTAD: 在表格异常检测中向大语言模型注入因果知识

Ruiqi Wang, Ruikang Liu, Runyu Chen, Haoxiang Suo, Zhiyi Peng, Zhuo Tang, Changjian Chen

机构 * College of Computer Science and Electronic Engineering, Hunan University, China（计算机科学与电子工程学院，湖南大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 CausalTAD通过注入因果知识提升表格异常检测性能，采用因果关系重构与加权策略，实验表明优于现有方法。

SED-SFT: Selectively Encouraging Diversity in Supervised Fine-Tuning

SED-SFT: 在监督微调中选择性鼓励多样性

Yijie Chen, Yijin Liu, Fandong Meng

机构 * Tencent Inc（腾讯公司） 纠错

专题命中 指令微调 ：SFT(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 SED-SFT通过引入选择性熵正则化和掩码机制，在监督微调中提升生成多样性，从而提高后续强化学习的性能。

Comments The code is publicly available at https://github.com/pppa2019/SED-SFT

ABBA-Adapters: Efficient and Expressive Fine-Tuning of Foundation Models

ABBA-Adapters: 高效且表达力强的基础模型微调

Raghav Singhal, Kaustubh Ponkshe, Rohit Vartak, Praneeth Vepakomma

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫德尔·本·扎耶德人工智能大学） ； Duke University（杜克大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 指令微调 ：foundation model(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 ABBA-Adapters通过引入低秩矩阵的Hadamard乘积，实现高效且表达力强的基础模型微调，显著提升适应新领域的性能。

Comments ICLR 2026. Raghav Singhal, Kaustubh Ponkshe, and Rohit Vartak contributed equally to this work

Are Vision Foundation Models Foundational for Electron Microscopy Image Segmentation?

视觉基础模型是否对电子显微镜图像分割具有基础性作用？

Caterina Fuster-Barceló, Virginie Uhlmann

机构 * Department of Molecular Life Sciences, Universität Zürich（分子生命科学系，苏黎世大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)

AI总结 本文研究了视觉基础模型在电子显微镜图像分割中的有效性，发现LoRA能提升单域性能，但多域训练导致性能下降，需额外领域对齐机制。

VidVec: Unlocking Video MLLM Embeddings for Video-Text Retrieval

VidVec：解锁视频MLLM嵌入用于视频-文本检索

Issar Tzachor, Dvir Samuel, Rami Ben-Ari

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.AI

AI总结 VidVec通过利用预训练MLLM的中间层嵌入和校准头部，实现无需训练的视频-文本检索，超越现有方法，达到最佳性能。

Comments Project page: https://iyttor.github.io/VidVec/

When the Model Said 'No Comment', We Knew Helpfulness Was Dead, Honesty Was Alive, and Safety Was Terrified

当模型说'无话可说'时，我们得知有帮助性已死，诚实仍活着，安全性却感到害怕

Gautam Siddharth Kashyap, Mark Dras, Usman Naseem

机构 * School of Computing, Macquarie University（计算学院，麦考瑞大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL

AI总结 AlignX通过两阶段框架解决LLM多目标对齐问题，提升有帮助性、无害性和诚实性，同时减少延迟和内存使用。

Comments Accepted at EACL Mains 2026

Demo-ICL: In-Context Learning for Procedural Video Knowledge Acquisition

Demo-ICL: 用于过程视频知识获取的上下文学习

Yuhao Dong, Shulin Tian, Shuai Liu, Shuangrui Ding, Yuhang Zang, Xiaoyi Dong, Yuhang Cao, Jiaqi Wang, Ziwei Liu

机构 * S-Lab, Nanyang Technological University（南洋理工大学S实验室） ； Shanghai AI Lab（上海人工智能实验室） ； CUHK-MMLab（香港大学多媒体实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 Demo-ICL通过两阶段训练策略提升模型从上下文示例中学习的能力，针对视频理解中的新挑战提出Demo-ICL-Bench基准测试。

Safety Subspaces are Not Linearly Distinct: A Fine-Tuning Case Study

安全子空间并非线性区分：一项微调案例研究

Kaustubh Ponkshe, Shaan Shah, Raghav Singhal, Praneeth Vepakomma

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·扎耶德人工智能大学） ； University of California San Diego（加州大学圣地亚哥分校） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究通过微调案例发现，安全行为与通用学习组件高度交织，基于子空间的防御策略存在根本限制。

Comments ICLR 2026. Kaustubh Ponkshe, Shaan Shah, and Raghav Singhal contributed equally to this work

The Condition Number as a Scale-Invariant Proxy for Information Encoding in Neural Units

条件数作为神经元信息编码的尺度不变代理

Oswaldo Ludwig

机构 * Oswaldo Ludwig（奥沃尔多·路易斯） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.LG；LLM(comments)

AI总结 本文提出条件数作为神经元信息编码的代理，通过分析线性单元和熵界，展示其在缓解灾难性遗忘中的有效性。

Comments This version includes a new experiment using a larger LLM and introducing KappaTune-LoRA

Supervised Fine-Tuning Needs to Unlock the Potential of Token Priority

监督微调需要解锁标记优先的潜力

Zhanming Shen, Zeyu Qin, Jiaqi Hu, Wentao Ye, Hao Chen, Xiaomeng Hu, Haokai Xu, Gang Chen, Yi R. Fung, Haobo Wang

机构 * Zhejiang University（浙江大学） ； Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 指令微调 ：SFT(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出标记优先作为监督微调的关键桥梁，通过分布重塑过程实现数据与理想对齐流形的匹配，并分析了噪声过滤和有毒模式卸载两种不同的研究领域。

UniLiP: Adapting CLIP for Unified Multimodal Understanding, Generation and Editing

UniLiP: 适配CLIP以实现统一的多模态理解、生成与编辑

Hao Tang, Chenwei Xie, Xiaoyi Bao, Tingyu Weng, Pandeng Li, Yun Zheng, Liwei Wang

机构 * Center for Data Science, Peking University（北京大学数据科学中心） ； Alibaba Group（阿里巴巴集团） ； CASIA ； Center for Machine Learning Research, Peking University（北京大学机器学习研究中心） ； State Key Laboratory of General Artificial Intelligence, Peking University（北京大学通用人工智能国家重点实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)

AI总结 UniLIP通过两阶段训练和双条件架构，提升CLIP在多模态理解、生成和编辑任务中的性能，实现高效参数下的高表现。

Language Bottleneck Models for Qualitative Knowledge State Modeling

用于定性知识状态建模的语言瓶颈模型

Antonin Berthon, Mihaela van der Schaar

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 指令微调 ：LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 语言瓶颈模型通过编码器和解码器LLM生成可解释的知识状态摘要，提升教育场景中对学习者知识状态的定性分析与预测能力。

Semantics-Aware Generative Latent Data Augmentation for Learning in Low-Resource Domains

语义感知的生成潜在数据增强用于低资源领域的学习

Jaesung Bae, Minje Kim

机构 * Siebel School of Computing（计算科学系） ； Data Science, University of Illinois Urbana-Champaign, Illinois, USA（数据科学，伊利诺伊大学厄巴纳-香槟分校，伊利诺伊州，美国） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 GeLDA通过语义感知的生成潜在数据增强方法，在低资源领域提升语音情绪识别和图像分类任务的性能。

OLion: Approaching the Hadamard Ideal by Intersecting Spectral and $\ell_{\infty}$ Implicit Biases

OLion：通过谱和ℓ∞隐偏见的交集接近Hadamard理想

Zixiao Wang, Yifei Shen, Huishuai Zhang

机构 * Peking University（北京大学） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 指令微调 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 OLion通过结合谱控制与ℓ∞隐偏见，高效近似在Hadamard-like集上取最大步长，提升大规模语言和视觉任务的优化性能。

Comments 23 pages

Surprisal-Guided Selection: Compute-Optimal Test-Time Strategies for Execution-Grounded Code Generation

惊讶引导的选择：为执行导向代码生成的计算最优测试时间策略

Jarrod Barnes

机构 * Arc Intelligence（Arc智能） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出惊讶引导选择策略，通过提升样本多样性和智能选择，优化执行导向代码生成任务的测试时间策略，实现计算最优的高成功率。

Comments 13 pages, 7 figures, 11 tables. Preprint. Code: https://github.com/jbarnes850/test-time-training

Attractor Patch Networks: Reducing Catastrophic Forgetting with Routed Low-Rank Patch Experts

吸引子补丁网络：通过路由低秩补丁专家减少灾难性遗忘

Shashank

机构 * Shashank 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 吸引子补丁网络通过路由低秩补丁专家减少灾难性遗忘，提升持续学习的适应能力。

Comments 9 pages. Code (APN implementation in nanoGPT transformer): https://github.com/shankch/nanoGPT-apn (baseline: https://github.com/karpathy/nanoGPT) Data prep: https://github.com/karpathy/nanoGPT/tree/master/data/shakespeare_char and https://github.com/karpathy/nanoGPT/tree/master/data/shakespeare

LakeHopper: Cross Data Lakes Column Type Annotation through Model Adaptation

LakeHopper: 通过模型适应实现跨数据湖列类型注释

Yushi Sun, Xujia Li, Nan Tang, Quanqing Xu, Chuanhui Yang, Lei Chen

机构 * HKUST（香港科技大学） ； HKUST(GZ)（香港科技大学（广州）） ； Ant Group（蚂蚁集团） ； HKUST(GZ)/HKUST（香港科技大学（广州）/香港科技大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL

AI总结 LakeHopper通过模型适应技术，有效解决跨数据湖列类型注释问题，减少注释需求并提升适应性。

Towards Understanding Multimodal Fine-Tuning: Spatial Features

迈向多模态微调的理解：空间特征

Lachin Naghashyar, Hunar Batra, Ashkan Khakzar, Philip Torr, Ronald Clark, Christian Schroeder de Witt, Constantin Venhoff

专题命中 指令微调 ：language model(abstract)；分类 cs.LG

AI总结 本文通过分阶段模型差分技术，揭示了多模态微调过程中视觉特征如何形成及空间关系编码，提升了多模态训练的可解释性。

TermiGen: High-Fidelity Environment and Robust Trajectory Synthesis for Terminal Agents

TermiGen: 为终端智能体提供高保真的环境和鲁棒轨迹合成

Kaijie Zhu, Yuzhou Nie, Yijiang Li, Yiming Huang, Jialian Wu, Jiang Liu, Ximeng Sun, Zhenfei Yin, Lun Wang, Zicheng Liu, Emad Barsoum, William Yang Wang, Wenbo Guo

机构 * google（谷歌） ； University of Oxford（牛津大学） 纠错

专题命中 指令微调 ：instruction tuning(abstract)；分类 cs.AI

AI总结 TermiGen通过生成高保真的环境和鲁棒轨迹，提升终端智能体在复杂任务中的表现，达到31.3%的通过率，超越现有基线和专有模型。