语言大模型 / LLM

EvoPrompt: Guided Prompt Evolution for Vision-Language Models Adaptation

EvoPrompt: 引导提示演化以适应视觉-语言模型

Enming Zhang, Jiayang Li, Yanlong Wang, Yanru Wu, Zhenyu Liu, Yang Li

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Sun Yat-sen University（中山大学） ； Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 提出EvoPrompt框架，通过引导提示演化路径并解耦低秩更新为方向和幅度分量，实现视觉-语言模型在少样本学习中的遗忘-free微调，同时保持零样本能力。

BYORn: Bootstrap Your Own Responses to Defend Large Vision-Language Models Against Backdoor Attacks

BYORn：自举你的响应以防御大型视觉-语言模型的后门攻击

Ivan Sabolić, Marin Oršić, Josip Šarić, Sven Lončarić

机构 * University of Rijeka（里耶卡大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.LG

AI总结 提出BYORn框架，通过识别并替换语义不合理的后门目标响应，打破触发器与目标输出的关联，从而在保持干净任务性能的同时提升对后门攻击的鲁棒性。

Comments Accepted to ICML 2026

Backdooring Masked Diffusion Language Models

掩码扩散语言模型的后门攻击

Daniel Yiming Cao, Chengzhong Wang, Sheng-Yen Chou, Chengyu Huang, Pin-Yu Chen, Shengwei An

机构 * Cornell University（康奈尔大学） ； Virginia Tech（弗吉尼亚理工学院） ； IBM Research（IBM研究院） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.LG

AI总结 提出SHADOWMASK后门攻击方法，通过修改掩码扩散语言模型的前向破坏过程，实现高成功率攻击并保持模型清洁性能。

Can Vision Language Models Learn Intuitive Physics from Interaction?

视觉语言模型能否从交互中学习直观物理？

Luca M. Schulze Buschoff, Konstantinos Voudouris, Can Demircan, Eric Schulz

专题命中 指令微调 ：language model(title,abstract)；分类 cs.LG

AI总结 研究通过强化学习与环境交互训练视觉语言模型，发现交互学习能提升任务内性能，但无法产生可泛化的物理直觉。

Comments Updated accepted version for ICML'26

Cross-Modal Fine-Tuning of 3D Convolutional Foundation Models for ADHD Classification with Low-Rank Adaptation

基于低秩适应的3D卷积基础模型跨模态微调用于ADHD分类

Jyun-Ping Kao, Shinyeong Rho, Shahar Lazarev, Hyun-Hae Cho, Fangxu Xing, Taehoon Shin, C. -C. Jay Kuo, Jonghye Woo

机构 * National Institute of Mental Health, National Institutes of Health（国家精神卫生研究所，国立卫生研究院） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出一种参数高效的迁移学习方法，通过3D低秩适应（LoRA）将预训练于CT图像的3D卷积基础模型微调至MRI的ADHD分类任务，在公开扩散MRI数据集上达到71.9%准确率和0.716 AUC，仅需164万可训练参数。

Comments Accepted for presentation at the IEEE International Symposium on Biomedical Imaging (ISBI) 2026

Journal ref 2026 IEEE 23rd International Symposium on Biomedical Imaging (ISBI), pp. 1-4

Benchmarking Positional Encoding Strategies for Transformer-Based EEG Foundation Models

基于Transformer的脑电图基础模型位置编码策略基准测试

Ayse Betul Yuce, Sebastian Stober

机构 * Department of Computer Science, Otto von Guericke University（奥托·冯·格里克大学计算机科学系） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本研究在CBraMod骨干网络中基准测试五种位置编码策略，通过线性探测和微调协议评估运动想象分类和情感识别任务，发现最优策略具有任务依赖性。

GFMate: Empowering Graph Foundation Models with Test-time Prompt Tuning

GFMate：通过测试时提示调优赋能图基础模型

Yan Jiang, Ruihong Qiu, Zi Huang

机构 * School of Electrical Engineering and Computer Science, The University of Queensland, Brisbane, Queensland, Australia（电气工程与计算机科学学院，昆士兰大学，布里斯班，昆士兰，澳大利亚） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出预训练无关的测试时图提示调优方法GFMate，通过质心提示和层提示避免与源领域和预训练策略的纠缠，并设计测试时互补学习目标利用有标签和无标签目标域数据，在12个基准数据集上实现高达30.63%的性能提升。

Real Images, Worse Judgments: Evaluating Vision-Language Models on Concreteness and Imagery

真实图像，更差判断：评估视觉-语言模型在具体性和意象性上的表现

Yifan Jiang, Ruoxi Ning, Sheng Yao, Freda Shi

机构 * University of Waterloo（滑铁卢大学） ； Vector Institute（向量研究所） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 本文通过具体性和意象性评分任务，发现真实图像上下文不仅未提升视觉-语言模型与人类判断的一致性，反而在视觉证据相关性低时加剧偏差，并表明推理时聚焦文本指令可缓解退化。

AirCast-SR: A Foundation Model for Kilometer-Scale Atmospheric Super-Resolution via Latent Consistency Diffusion

AirCast-SR: 基于潜在一致性扩散的千米级大气超分辨率基础模型

Somnath Luitel, Manmeet Singh, Joshua Durkee, Abdullah Al Fahad, Naveen Sudharsan, Prabhjot Singh, Cenlin He, Harsh Kamath, Zong-Liang Yang, Krishnagopal Halder, Sandeep Juneja, Parthasarathi Mukhopadhyay, Saptarishi Dhanuka, Amit Kumar Srivastava

机构 * Department of Earth, Environmental, and Atmospheric Sciences, Western Kentucky University, Bowling Green, KY, USA（地球、环境与大气科学系，西部肯塔基大学） ； NASA Goddard Space Flight Center, Greenbelt, MD, USA（NASA戈达德太空飞行中心） ； The University of Texas at Austin, Austin, TX, USA（德克萨斯大学奥斯汀分校） ； NSF National Center for Atmospheric Research, Boulder, CO, USA（国家大气科学研究中心） ； Leibniz Centre for Agricultural Landscape Research (ZALF), Berlin, Germany（莱比锡农业景观研究中心（ZALF）） ； Ashoka University, Sonipat, India（阿什oka大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出AirCast-SR基础模型，利用潜在一致性扩散框架将全球AI天气预报从0.25度降尺度至1公里分辨率，实现零偏差和跨区域零样本迁移。

Comments Somnath Luitel and Manmeet Singh are equal-contribution co-first authors, with Manmeet Singh (manmeet.singh@wku.edu) as corresponding author

UltraCUA: A Foundation Model for Computer Use Agents with Hybrid Action

UltraCUA: 一种具有混合动作的计算机使用智能体基础模型

Yuhao Yang, Zhen Yang, Zi-Yi Dou, Anh Nguyen, Keen You, Omar Attia, Andrew Szot, Michael Feng, Ram Ramrakhya, Alexander Toshev, Chao Huang, Yinfei Yang, Zhe Gan

机构 * Apple（苹果公司） ； The University of Hong Kong（香港大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.CL

AI总结 提出UltraCUA基础模型，通过混合动作（融合原始GUI操作与高级工具执行）克服计算机使用智能体仅依赖原始GUI动作的局限性，采用自动化管道、合成数据引擎、混合动作轨迹收集和两阶段训练方法，在OSWorld和WindowsAgentArena上分别实现22%的相对性能提升和21.7%的成功率。

ARC-STAR: Auditable Post-Hoc Correction for PDE Foundation Models

ARC-STAR: 面向PDE基础模型的可审计事后修正

Chengze Li, Lingwei Wei, Li Sun, Hongbo Lv, Jie Yang, Hanrong Zhang, Kening Zheng, Wei-Chieh Huang, Enze Ma, Philip S. Yu

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； North China Electric Power University（华北电力大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 针对PDE基础模型预测漂移且误差空间集中的问题，提出冻结求解器的事后修正框架ARC-STAR，通过全局修正、局部精炼和预算感知路由三阶段实现可审计、低误差的修正。

Comments 40 pages, including appendices

TimeSpot: Benchmarking Geo-Temporal Understanding in Vision-Language Models in Real-World Settings

TimeSpot: 在真实世界场景中评估视觉语言模型的地理时间理解能力

Azmine Toushik Wasi, Shahriyar Zaman Ridoy, Koushik Ahamed Tonmoy, Kinga Tshering, S. M. Muhtasimul Hasan, Wahid Faisal, Tasnim Mohiuddin, Md Rizwan Parvez

机构 * Computational Intelligence and Operations Laboratory (CIOL), Bangladesh（计算智能与运筹实验室（CIOL），孟加拉国） ； Shahjalal University of Science and Technology (SUST), Sylhet, Bangladesh（沙赫jalal科学与技术大学（SUST），沙赫里尔，孟加拉国） ； North South University (NSU), Dhaka, Bangladesh（北南大学（NSU），达卡，孟加拉国） ； Qatar Computing Research Institute (QCRI), Doha, Qatar（卡塔尔计算研究中心（QCRI），多哈，卡塔尔） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 提出TimeSpot基准，通过1,455张全球图像评估视觉语言模型在时间属性（季节、月份、时段、日光相位）和地理属性（大洲、国家、气候带、环境类型、经纬度）上的推理能力，发现现有模型性能低下，尤其时间推理不足。

Comments Accepted to ICML 2026

Bi-CoG: Bi-Consistency-Guided Self-Training for Vision-Language Models

Bi-CoG：面向视觉语言模型的双一致性引导自训练

Rui Zhu, Song-Lin Lv, Zi-Kang Wang, Lan-Zhe Guo

机构 * School of Intelligence Science and Technology, Nanjing University, China（南京大学智能科学与技术学院） ； National Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.LG

AI总结 针对半监督微调中模型偏差和超参数敏感问题，提出一种利用模型间和模型内一致性以及误差感知动态伪标签分配策略的即插即用方法Bi-CoG，在14个数据集上显著提升现有方法性能。

Comments Accepted by IJCAI 2026

EvoStruct: Bridging Evolutionary and Structural Priors for Antibody CDR Design via Protein Language Model Adaptation

EvoStruct: 通过蛋白质语言模型适应桥接进化和结构先验以进行抗体CDR设计

Mansoor Ahmed, Sujin Lee, Umar Khayaz, Murray Patterson

机构 * Georgia State University, Atlanta, USA（佐治亚州立大学，亚特兰大，美国） ； Georgia Institute of Technology, Atlanta, USA（佐治亚理工学院，亚特兰大，美国） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.LG

AI总结 本文提出EvoStruct方法，通过蛋白质语言模型适应桥接进化和结构先验，解决抗体CDR设计中的词汇崩溃问题，提升了氨基酸恢复率和降低困惑度。

UB-SMoE: Universally Balanced Sparse Mixture-of-Experts for Resource-adaptive Federated Fine-tuning of Foundation Models

UB-SMoE：面向资源自适应联邦微调的通用平衡稀疏专家混合模型

Van-Tuan Tran, Hong-Hanh Nguyen-Le, Marco Ruffini, Merim Dzaferagic

机构 * School of Computer Science and Statistics, Trinity College Dublin, Ireland（特里尼蒂学院都柏林分校计算机科学与统计学学院） ； School of Computer Science, University College Dublin, Ireland（都柏林大学学院计算机科学学院） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出UB-SMoE，通过动态调节路由和通用伪梯度解决异构联邦学习中专家利用率失衡和Top-K路由非可微问题，实现低资源客户端的计算节省与性能提升。

Comments ICML 2026

Can Heterogeneous Language Models Be Fused?

异构语言模型能否融合？

Shilian Chen, Jie Zhou, Qin Chen, Wen Wu, Xin Li, Qi Feng, Liang He

机构 * School of Computer Science and Technology, East China Normal University（东华大学计算机科学与技术学院） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出HeteroFusion方法，解决异构语言模型融合中的架构不匹配和冲突问题，通过功能模块对齐和冲突感知去噪，实现稳定高效的模型融合。

Adaptive Steering and Remasking for Safe Generation in Diffusion Language Models

自适应转向与重掩码用于扩散语言模型中的安全生成

Yejin Lee, Yo-Sub Han

机构 * Department of Computer Science（计算机科学系） ； Yonsei University（延世大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出基于去噪过程分步干预的安全防御框架，通过对比安全方向（SGD）检测有害生成并重掩码以提高安全性，实验显示有效降低逃逸成功率至0.64%。

Comments 17 pages, 3 figures

Probabilistic Calibration Is a Trainable Capability in Language Models

概率校准是语言模型中的可训练能力

Davide Baldelli, Sruthi Kuriakose, Maryam Hashemzadeh, Amal Zouaq, Sarath Chandar

机构 * Chandar Research Lab（昌达尔研究实验室） ； Mila – Quebec AI Institute（魁北克人工智能研究所） ； LAMA-WeST Lab（LAMA-WeST实验室） ； Polytechnique Montréal（蒙特利尔理工学院） ； Université de Montréal（蒙特利尔大学） ； Independent researcher（独立研究者） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 本文研究通过微调提升语言模型的概率校准能力，发现两种微调方法在不同任务中表现各异，硬目标方法在结构化数值采样更优，软目标方法在广泛随机生成任务中表现更好。

Unlocking UML Class Diagram Understanding in Vision Language Models

解锁基于UML类图理解的视觉语言模型

Artem Naboichenko, René Peinl

机构 * Hof University of Applied Sciences（霍夫应用科学大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出一个基于UML类图的视觉问答基准，构建了16000个图像-问题-答案三元组，并展示LoRA微调方法在视觉语言模型中的优越表现。

READ: Recurrent Adapter with Partial Video-Language Alignment for Parameter-Efficient Transfer Learning in Low-Resource Video-Language Modeling

READ：基于部分视频-语言对齐的递归适配器用于低资源视频-语言建模的参数高效迁移学习

Thong Nguyen, Xiaobao Wu, Xinshuai Dong, Khoi Le, Zhiyuan Hu, Cong-Duy Nguyen, See-Kiong Ng, Luu Anh Tuan

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出READ框架，通过递归计算和部分最优传输对齐，提升低资源视频-语言建模任务的性能，优于现有迁移学习方法。

Comments Accepted at AAAI 2024

SCOPE: Structured Prototype-Guided Adaptation for EEG Foundation Models with Limited Labels

SCOPE：结构化原型引导适应EEG基础模型以有限标签

Jingying Ma, Feng Wu, Yucheng Xing, Qika Lin, Tianyu Liu, Chenyu Liu, Ziyu Jia, Mengling Feng

机构 * Saw Swee Hock School of Public Health, National University of Singapore（新加坡国立大学 Saw Swee Hock 公共卫生学院） ； Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究所） ； Guangzhou Research Translation and Innovation Institute, National University of Singapore（新加坡国立大学广州研究翻译与创新研究所） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； Beijing Key Laboratory of Brainnetome and Brain-Computer Interface, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所脑网络与脑机接口重点实验室） ； Brainnetome Center, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所脑网络中心） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 针对有限标签下EEG基础模型适应难题，提出SCOPE框架，通过外部监督和原型引导提升模型鲁棒性与效率，实验显示在多种任务和比例下均表现优异。

LPT: Less-overfitting Prompt Tuning for Vision-Language Model

LPT: 降低过拟合的提示微调用于视觉-语言模型

Chenhao Ding, Xinyuan Gao, Songlin Dong, Jizhou Han, Qiang Wang, Zhengdong Zhou, Yuhang He, Yihong Gong

机构 * IEEE（国际电气电子工程师协会） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出LPT框架，通过CLIP过滤细粒度前景信息并引入结构保持和层级logit约束，提升视觉-语言模型的泛化能力并缓解过拟合问题。

Gate-and-Merge: Zero-shot Compositional Personalization of Vision Language Models

门与融合：面向视觉语言模型的零样本组合个性化

Guodong Ding, Angela Yao

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出Gate-and-Merge框架，实现视觉语言模型的零样本组合个性化，通过轻量LoRA适配器和门控机制，在无需共现训练的情况下提升多概念联合识别性能。

A geometric relation of the error introduced by sampling a language model's output distribution to its internal state

语言模型输出分布采样引入的误差与内部状态的几何关系

Albert F. Modenbach

机构 * Department of Mathematics, King's College London, United Kingdom（伦敦国王学院数学系） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.LG

AI总结 研究揭示语言模型输出分布采样误差与内部状态几何结构的关系，通过几何方法分析token嵌入空间，发现其曲率在棋类任务中反映模型对问题的内部表示。

Comments 12 Pages, 10 Figures, 2 Appendices. To appear in Proceedings of ICML 2026

Retina-RAG: Retrieval-Augmented Vision-Language Modeling for Joint Retinal Diagnosis and Clinical Report Generation

Retina-RAG：基于检索增强的视觉-语言模型用于联合视网膜诊断和临床报告生成

Abdelrahman Zaian, Sheethal Bhat, Mohamed Abdalkader, Andreas Maier

机构 * Friedrich-Alexander-Universität（弗里德里希-亚历山大大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 Retina-RAG通过整合高精度视网膜分类器和参数高效视觉语言模型，实现糖尿病视网膜病变分级、黄斑水肿检测及报告生成，优于现有方法，且在单块消费级GPU上运行。

Comments 10 pages, 5 figures. Submitted to MICCAI 2026

Chainwash: Multi-Step Rewriting Attacks on Diffusion Language Model Watermarks

Chainwash：针对扩散语言模型水印的多步重写攻击

Mohd Ruhul Ameen, Akif Islam, Nadim Mahmud, Md. Ekramul Hamid

机构 * College of Engineering and Computer Science, Marshall University（马歇尔大学工程与计算机科学学院） ； Department of Computer Science and Engineering, University of Rajshahi（拉贾沙希大学计算机科学与工程系） ； Miami University（迈阿密大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 研究多步重写对扩散语言模型水印检测的影响，发现多次重写显著降低检测率，表明重写是更有效的攻击手段。

Comments 13 pages, 5 figures, 3 tables

GIFT: Guided Fine-Tuning and Transfer for Enhancing Instruction-Tuned Language Models

GIFT：指导微调与迁移以增强指令微调语言模型

Zhiwen Ruan, Yichao Du, Jianjie Zheng, Longyue Wang, Yun Chen, Peng Li, Jinsong Su, Yang Liu, Guanhua Chen

机构 * Southern University of Science and Technology（南方科技大学） ； Alibaba Group（阿里巴巴集团） ； Shanghai University of Finance and Economics（上海财经大学） ； Tsinghua University（清华大学） ； Xiamen University（厦门大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 GIFT通过整合指令模型的指导信息，提升指令微调语言模型的任务适应能力，实验显示其在数学和知识密集型基准上优于直接微调和迁移基线。

Journal ref Main of ACL 2026

Language Models Refine Mechanical Linkage Designs Through Symbolic Reflection and Modular Optimisation

语言模型通过符号反思和模块化优化改进机械连杆设计

João Pedro Gandarela, Thiago Rios, Stefan Menzel, André Freitas

机构 * Idiap Research Institute（Idiap研究 institute） ； Honda Research Institute Europe（本田欧洲研究机构） ； Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系） ； National Biomarker Centre, CRUK-MI, University of Manchester（曼彻斯特大学国家生物标记中心） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出语言模型通过符号表示和模块化优化改进机械连杆设计，显著降低几何误差并提高结构有效性，展示出符号抽象在工程设计中的应用价值。

RadarPLM: Adapting Pre-trained Language Models for Marine Radar Target Detection by Selective Fine-tuning

RadarPLM：通过选择性微调适应预训练语言模型用于海洋雷达目标检测

Qiying Hu, Yaowen Li, Shengyi Zhang, Chuan Huang, Yu Liu, You He

机构 * Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； Shenzhen International Graduate School, Tsinghua University（深圳国际研究生院） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出RadarPLM框架，通过轻量级适应模块和选择性微调策略提升海洋雷达目标检测性能，在低信噪比环境下实现显著提升。

Comments Preprint,in submission

Delineating Knowledge Boundaries for Honest Large Vision-Language Models

界定诚实大视觉-语言模型的知识边界

Junru Song, Yimeng Hu, Yijing Chen, Huining Li, Qian Li, Lizhen Cui, Yuntao Du

机构 * Shandong University（山东大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出系统框架提升VLM在面对未知问题时的拒绝能力，通过构建'视觉-不知'数据集并采用监督微调与偏好优化方法，提升事实准确率至67.3%，并在医疗等领域实现泛化。