语言大模型 / LLM

Geometry-Aware Distillation for Prompt Tuning Biomedical Vision-Language Models

几何感知蒸馏用于提示调优生物医学视觉-语言模型

Tran Dinh Tien, Zhiqiang Shen

机构 * Department of Machine Learning（机器学习系） ； Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed人工智能大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出Omni-Geometry知识蒸馏（OGKD）框架，通过注入类别关系结构到教师模型，生成保留真实标签同时尊重类间几何的方向性目标，并设计全局几何感知蒸馏（GAD）和标签引导几何蒸馏（LGD）损失，在11个医学数据集上平均提升准确率1.7%-2.8%。

Comments Preprint. Code is available at https://github.com/tientrandinh/OGKD

Covert Influence Between Language Models

语言模型之间的隐蔽影响

Avidan Shah, Jay Chooi, Jinghua Ou, Shi Feng

机构 * MATS ； New York University（纽约大学） ； Harvard University（哈佛大学） ； George Washington University（乔治华盛顿大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文研究语言模型间通过微调、蒸馏和上下文学习三种接口实现隐蔽影响的风险，并提出使用逐点归因分数选择载体以放大训练时影响，发现自然语言载体相比数字载体更难被人类检测且跨模型迁移性更差。

Efficiently Aligning Language Models with Online Natural Language Feedback

通过在线自然语言反馈高效对齐语言模型

Christine Ye, Joe Benton

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出使用在线自然语言反馈替代可验证奖励，通过迭代优化代理奖励模型并在过优化点收集专家监督，在模糊领域高效对齐语言模型，实验表明可大幅提升专家监督的数据效率。

Tuning the Implicit Regularizer of Masked Diffusion Language Models: Enhancing Generalization via Insights from $k$-Parity

调整掩码扩散语言模型的隐式正则化器：通过$k$-奇偶问题的见解增强泛化能力

Jianhao Huang, Baharan Mirzasoleiman

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文通过$k$-奇偶问题研究掩码扩散语言模型的泛化特性，理论分解其目标函数为信号和噪声两部分，并利用噪声作为隐式正则化器，通过优化掩码概率分布显著提升模型性能。

Comments ICML 2026

Targeted Remasking: Replacing Token Editing with Token-to-Mask Refinement in Discrete Diffusion Language Models

目标重掩码：在离散扩散语言模型中将令牌编辑替换为令牌到掩码的精炼

Lin Yao

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对离散掩码扩散语言模型中令牌编辑机制的局限性，提出无训练的令牌到掩码重掩码方法，通过将疑似错误令牌重置为掩码状态，利用扩散过程在更干净上下文中重新预测，显著提升数学等任务的性能。

Comments This paper has been significantly revised, expanded, and superseded by a more comprehensive version available at arXiv:2604.18738. The authors have chosen to withdraw this version to avoid overlap and direct readers to the updated work

Auditing and Fixing Economic Validity in Tabular Foundation Models for Discrete Choice

审计与修复离散选择中表格基础模型的经济有效性

Yingshuo Wang, Xian Sun, Yanhang Li, Zhichao Fan, Zexin Zhuang

机构 * University of California, Berkeley, CA, USA（加州大学伯克利分校） ； Duke University, Durham, NC, USA（杜克大学） ； Northeastern University, Boston, MA, USA（东北大学） ； University of Illinois Urbana-Champaign, IL, USA（伊利诺伊大学厄巴纳-香槟分校） ； Southern Methodist University, Dallas, TX, USA（南方 Methodist 大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出两阶段适配器，将表格基础模型预测嵌入效用最大化框架，在保证经济一致性的同时提升选择预测精度。

Comments 5 pages, 1 table. Accepted at the FMSD Workshop, ICML 2026

Scalable Heterogeneous Graph Foundation Models for Data-Driven Optimal Power Flow in Smart Grids

面向智能电网数据驱动最优潮流问题的可扩展异构图基础模型

Massimiliano Lupo Pasini, Yijiang Li, Kibaek Kim, Teja Kuruganti

机构 * Computational Sciences and Engineering Division, Oak Ridge National Laboratory（橡树岭国家实验室计算科学与工程部） ； Mathematics and Computer Science Division, Argonne National Laboratory（阿贡国家实验室数学与计算机科学部） ； UT-Battelle, LLC（UT-巴特勒公司） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出基于HydraGNN的可扩展异构图神经网络工作流，用于数据驱动最优潮流代理建模和基础模型开发，保留电网异质结构并支持大规模分布式训练与微调。

Comments 10 pages, 6 tables, 4 figures

FunduSegmenter: Leveraging the RETFound Foundation Model for Joint Optic Disc and Optic Cup Segmentation in Retinal Fundus Images

FunduSegmenter：利用RETFound基础模型进行视网膜底照相图像中视盘和视杯联合分割

Zhenyi Zhao, Muthu Rama Krishnan Mookiah, Emanuele Trucco

机构 * University of Dundee（邓迪大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于RETFound基础模型的FunduSegmenter模型，通过引入一系列新颖模块实现视盘和视杯的联合分割，实验表明该模型在多个数据集上均优于现有方法。

Journal ref Trans. Vis. Sci. Tech. 2026;15(5):14

FlowLM: Few-Step Language Modeling via Diffusion-to-Flow Adaptation

FlowLM: 通过扩散到流的适应实现少步语言建模

Runzhe Zhang, Letian Chen, Wenpeng Zhang, Zhouhan Lin, Peilin Zhao

机构 * Shanghai Jiao Tong University（上海交通大学） ； Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家） ； School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出FlowLM，一种通过高效微调从预训练的扩散语言模型转换而来的流匹配语言模型，通过将扩散模型的弯曲采样轨迹重新对齐为直线流，实现了高质量的少步生成，其质量可与甚至超越2000步扩散采样。此外，作者提出了一种更有效的流匹配训练目标：预测干净数据以持续引导采样过程向真实数据分布靠近。

Comments 26 pages, 11 figures

Diffusion-State Policy Optimization for Masked Diffusion Language Models

扩散状态策略优化用于掩码扩散语言模型

Daisuke Oba, Hiroki Furuta, Naoaki Okazaki

机构 * Institute of Science Tokyo（东京科学研究院） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出Diffusion-State Policy Optimization（DiSPO），一种用于掩码扩散语言模型的插件信用分配层，通过直接优化中间填充决策来改进生成过程，实验表明其在数学和规划基准测试中优于现有基线方法。

GIST: Targeted Data Selection for Instruction Tuning via Coupled Optimization Geometry

GIST: 通过耦合优化几何进行指令微调的目标数据选择

Guanghui Min, Tianhao Huang, Ke Wan, Chen Chen

机构 * Department of Computer Science, University of Virginia, Charlottesville, USA（弗吉尼亚大学计算机科学系） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出GIST方法，通过子空间对齐替代轴对齐缩放，解决参数高效微调中参数耦合问题，实现更高效的目标数据选择。

Comments ICML 2026; 27 pages, 8 figures, 11 tables

Multi-Stream LLMs: Unblocking Language Models with Parallel Streams of Thoughts, Inputs and Outputs

多流语言模型：通过并行思维、输入和输出流解除语言模型瓶颈

Guinan Su, Yanwu Yang, Xueyan Li, Jonas Geiping

机构 * Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所） ； Tübingen AI Center（图宾根人工智能中心） ； ETH Zurich（苏黎世联邦理工学院） ； University Hospital Tübingen（图宾根大学医院） ； University of Tübingen（图宾根大学） ； ELLIS Institute Tübingen（图宾根ELLIS研究所） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出通过并行计算流替代顺序消息格式，提升语言模型的效率、安全性和可监控性，解决单流计算的局限性。

Comments Preprint, 37 pages. Code at https://github.com/seal-rg/streaming/

DP-LAC: Lightweight Adaptive Clipping for Differentially Private Federated Fine-tuning of Language Models

DP-LAC：轻量级自适应截断用于差分隐私联邦微调语言模型

Haaris Mehmood, Jie Xu, Karthikeyan Saravanan, Rogier Van Dalen, Mete Ozay

机构 * Samsung AI Centre Cambridge（三星剑桥人工智能中心） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DP-LAC，通过隐私直方图估计估计初始截断阈值，并在训练过程中自适应调整，无需额外隐私预算或新超参数，提升联邦微调语言模型的隐私保护与准确性。

Comments Accepted at ICASSP 2026

TAP: Two-Stage Adaptive Personalization of Multi-Task and Multi-Modal Foundation Models in Federated Learning

TAP: 多任务和多模态基础模型在联邦学习中的两阶段自适应个性化

Seohyun Lee, Wenzhi Fang, Dong-Jun Han, Seyyedali Hosseinalipour, Christopher G. Brinton

机构 * Purdue University（普渡大学） ； Yonsei University（延世大学） ； University at Buffalo-SUNY（布法罗大学-苏尼尔） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出TAP方法，通过两阶段自适应个性化在联邦学习中提升多任务和多模态基础模型的泛化能力，解决数据、任务和模态异质性问题。

Comments 29 pages

Where Should LoRA Go? Component-Type Placement in Hybrid Language Models

LoRA应在哪里放置？混合语言模型中的组件类型布局

Hector Borobia, Elies Seguí-Mas, Guillermina Tormo-Carbó

机构 * organization= VRAIN -- Valencian Research Institute for Artificial Intelligence, Universitat Polit\`ecnica de Val\`encia , city= Valencia , country= Spain ； organization= Department of Economics ； organization= Department of Business Organisation, Universitat Polit\`ecnica de Val\`encia , city= Valencia , country= Spain 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究混合语言模型中不同组件类型的LoRA布局，发现注意力路径在参数更少时表现更优，且不同架构对适配响应有显著差异。

Comments 21 pages, 5 figures, 7 tables. Code and data: https://github.com/hecboar/lora-placement-hybrid

Foundation models for discovering robust biomarkers of neurological disorders from dynamic functional connectivity

用于从动态功能连接中发现神经疾病稳健生物标记物的基础模型

Deepank Girish, Yi Hao Chan, Sukrit Gupta, Jing Xia, Jagath C. Rajapakse

机构 * College of Computing and Data Science, Nanyang Technological University, Singapore（南洋理工大学计算与数据科学学院，新加坡） ； Department of Biomedical Engineering and the School of Artificial Intelligence and Data Engineering, Indian Institute of Technology Ropar, India（印度理工学院罗帕尔分校生物医学工程系和人工智能与数据工程学院） ； College of Instrument and Computer Science, Zhejiang University, China（浙江大学仪器与计算机科学学院） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出RE-CONFIRM框架，评估深度学习模型中潜在生物标记物的稳健性，发现传统指标不足，提出Hub-LoRA技术提升模型性能并产生神经生物学忠实的生物标记物。

Hierarchically Robust Zero-shot Vision-language Models

层次化鲁棒零样本视觉-语言模型

Junhao Dong, Yifei Zhang, Hao Zhu, Yew-Soon Ong, Piotr Koniusz

机构 * Nanyang Technological University（南洋理工大学） ； CFAR, IHPC, A*STAR（CFAR、IHPC、A*STAR） ； Northwest Polytechnical University（西北工业大学） ； Data61 CSIRO ； University of New South Wales（新南威尔士大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于层次嵌入的鲁棒微调框架，提升视觉-语言模型对对抗攻击的鲁棒性，通过多级对抗对齐和层次嵌入深度控制，增强模型泛化能力与语义多样性。

Comments This paper is accepted by CVPR'26

Correcting Suppressed Log-Probabilities in Language Models with Post-Transformer Adapters

通过后Transformer适配器纠正语言模型中的压制对数概率

Bryan Sanchez

机构 * Apple MLX（苹果MLX） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究通过后Transformer适配器纠正语言模型在敏感话题上的压制对数概率，展示适配器在不同规模模型上的泛化能力及生成一致性改进。

Comments 12 pages, 3 figures, code at https://github.com/SolomonB14D3/qwen-adapter-correction

Toward a universal foundation model for graph-structured data

迈向图结构数据的通用基础模型

Sakib Mostafa, Lei Xing, Md. Tauhidul Islam

机构 * Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种通用图基础模型，通过学习可迁移的结构表示，提升跨领域图数据分析能力，在生物医学领域表现优异。

Comments 19 pages, 5 figures, 12 supplementary figures

Task-Centric Personalized Federated Fine-Tuning of Language Models

面向任务的个性化联邦微调语言模型

Gabriel U. Talasso, Meghdad Kurmanji, Allan M. de Souza, Nicholas D. Lane, Leandro A. Villas

机构 * Universidade Estadual de Campinas（坎皮纳斯州立大学） ； University of Cambridge（剑桥大学） ； Flower Labs 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出FedRouter，通过任务聚类实现个性化联邦学习，提升模型在任务泛化和客户端内部任务干扰中的鲁棒性，实验显示在任务干扰场景中性能提升6.1%，在泛化评估中提升136%。

AGFT: Alignment-Guided Fine-Tuning for Zero-Shot Adversarial Robustness of Vision-Language Models

AGFT：基于对齐的微调以提升视觉-语言模型的零样本对抗鲁棒性

Yubo Cui, Xianchao Guan, Zijun Xiong, Zheng Zhang

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） ； Shenzhen Loop Area Institute, Shenzhen, China（深圳市环域研究所） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出AGFT框架，通过概率预测进行文本引导对抗训练，提升视觉-语言模型的零样本对抗鲁棒性，同时保持跨模态语义结构。

Comments Accepted by CVPR 2026; Code is available at \url{https://github.com/YuboCui/AGFT}

Hidden Ads: Behavior Triggered Semantic Backdoors for Advertisement Injection in Vision Language Models

隐性广告：用于视觉语言模型中广告注入的行为触发语义后门

Duanyi Yao, Changyue Li, Zhicong Huang, Cheng Hong, Songze Li

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出隐性广告攻击，通过用户行为触发在视觉语言模型中注入未经授权的广告，利用自然用户行为实现高效且隐蔽的广告注入，同时评估了不同防御方法的失效性。

CoRA: Boosting Time Series Foundation Models for Multivariate Forecasting through Correlation-aware Adapter

CoRA: 通过相关性感知适配器提升多变量预测的时序基础模型

Hanyin Cheng, Xingjian Wu, Yang Shu, Zhongwen Rao, Lujia Pan, Bin Yang, Chenjuan Guo

机构 * East China Normal University（东华师范大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出CoRA，一种轻量级插件式方法，通过捕捉不同类型的相关性提升多变量时间序列预测性能，采用低秩时间变化和时间不变成分分解相关矩阵，并引入双对比学习方法。

DMFI: A Dual-Modality Log Analysis Framework for Insider Threat Detection with LoRA-Tuned Language Models

DMFI: 一种用于内部威胁检测的双模态日志分析框架，结合LoRA微调语言模型

Kaichuan Kong, Dongjie Liu, Xiaobo Jin, Guanggang Geng, Zhiying Li, Jian Weng

机构 * College of Cyber Security, Jinan University, Guangzhou, China（广州大学网络安全学院） ； School of Advanced Technology, Xi’an Jiaotong-Liverpool University, Suzhou, China（西安交通大学利物浦大学先进技术学院） 纠错

专题命中 指令微调 ：language model(title)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 DMFI通过双模态框架整合语义推理与行为感知微调，利用LoRA增强的语言模型提升日志分析精度，实验表明其在检测准确率上优于现有方法。

Comments This work has been accepted by 2025 IEEE International Conference on Data Mining (ICDM)

HPE-CogVLM: Advancing Vision Language Models with a Head Pose Grounding Task

HPE-CogVLM: 通过头部姿态接地任务提升视觉语言模型

Yu Tian, Tianqi Shao, Tsukasa Demizu, Xuyang Wu, Hsin-Tai Wu

机构 * Docomo Innovations, Inc.（Docomo创新公司） ； Department of Computer Science and Engineering, Santa Clara University（圣克拉拉大学计算机科学与工程系） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出HPE-CogVLM框架，利用VLM的物体检测能力提升头部姿态估计精度，通过改进的LoRA层合并方法，有效解决融合任务中的响应格式问题，实现优于现有方法的性能。

Comments Accepted by IEEE Transactions on Circuits and Systems for Video Technology (TCSVT), 2026. This version includes major updates in methodology and experiments. The final version is available at IEEE Xplore

Journal ref IEEE Transactions on Circuits and Systems for Video Technology, Early Access, 2026

Physics-informed fine-tuning of foundation models for partial differential equations

基于物理约束的微调基础模型用于偏微分方程

Vlad Medvedev, Leon Armbruster, Christopher Straub, Georg Kruse, Andreas Rosskopf

机构 * Fraunhofer Institute for Integrated Systems and Device Technology（弗劳恩霍夫整合系统与器件技术研究所） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种结合物理约束的微调方法，用于适应偏微分方程基础模型，提升数据稀缺情况下模型的物理一致性和泛化能力。

Comments 12 pages, 6 figures, 1 table

Journal ref ICLR 2026 Workshop on Artificial Intelligence and Partial Differential Equations

Token Coherence: Adapting MESI Cache Protocols to Minimize Synchronization Overhead in Multi-Agent LLM Systems

令牌一致性：适应MESI缓存协议以最小化多智能体大语言模型系统中的同步开销

Vladyslav Parakhin

机构 * Independent Researcher（独立研究者） 纠错

专题命中 指令微调 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出令牌一致性理论，通过将MESI协议应用于多智能体系统，减少同步开销，验证了在多智能体大语言模型中同步成本与缓存一致性问题的对应关系，并通过形式化验证协议确保安全性与一致性。

Comments 25 pages. Code and reproduction scripts at https://github.com/hipvlady/agent-coherence

Diffusion Language Models Are Natively Length-Aware

扩散语言模型天生具有长度感知能力

Vittorio Rossi, Giacomo Cirò, Davide Beltrame, Luca Gandolfi, Paul Röttger, Dirk Hovy

机构 * Department of Computing Sciences, Bocconi University, Milan, Italy（计算机科学系，博科尼大学，米兰，意大利） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出通过动态裁剪上下文窗口减少扩散语言模型生成步骤，从而提升效率并减少计算消耗，在多个基准测试中实现显著的性能提升。

Agent Data Protocol: Unifying Datasets for Diverse, Effective Fine-tuning of LLM Agents

代理数据协议：统一多样化、高效的LLM代理微调数据集

Yueqi Song, Ketan Ramaneti, Zaid Sheikh, Ziru Chen, Boyu Gou, Tianbao Xie, Yiheng Xu, Danyang Zhang, Apurva Gandhi, Fan Yang, Joseph Liu, Tianyue Ou, Zhihao Yuan, Frank Xu, Shuyan Zhou, Xingyao Wang, Xiang Yue, Tao Yu, Huan Sun, Yu Su, Graham Neubig

机构 * Carnegie Mellon University（卡内基梅隆大学） ； The Ohio State University（俄亥俄州立大学） ； University of Hong Kong（香港大学） ； Duke University（杜克大学） ； Fujitsu Research（富士通研究） ； All Hands AI（全手AI） 纠错

专题命中 指令微调 ：LLM(title)；SFT(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出代理数据协议（ADP），通过统一多样化代理训练数据集，提升LLM代理微调效果，实现20%的性能提升并在多个基准上达到SOTA水平。

The Rogue Scalpel: Activation Steering Compromises LLM Safety

恶意手术刀：激活引导破坏了大语言模型的安全性

Anton Korznikov, Andrey Galichin, Alexey Dontsov, Oleg Y. Rogov, Ivan Oseledets, Elena Tutubalina

专题命中 指令微调 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究发现激活引导技术实际上会破坏大语言模型的安全性，通过实验表明即使随机引导也能增加有害服从的概率，挑战了可解释性带来的安全假设。