语言大模型 / LLM

EyeMulator: Improving Code Language Models by Mimicking Human Visual Attention

EyeMulator：通过模仿人类视觉注意力改进代码语言模型

Yifan Zhang, Chen Huang, Yueke Zhang, Jiahao Zhang, Toby Jia-Jun Li, Collin McMillan, Kevin Leach, Yu Huang

机构 * Vanderbilt University（范德比大学） ； National University of Singapore（新加坡国立大学） ； University of Notre Dame（诺丁汉大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出EyeMulator，通过提取眼动数据中的扫描路径，调整代码语言模型的注意力机制，使其更符合人类视觉注意力模式，从而在翻译和摘要任务中取得显著提升。

Probing Chemical Language Models: Effects of Pre-training and Fine-tuning

探测化学语言模型：预训练与微调的影响

Anna Karnysheva, Dietrich Klakow, Ji-Ung Lee

专题命中 指令微调 ：language model(title,abstract)；分类 cs.LG

AI总结 通过探测78种分子子结构，系统研究了预训练和微调对化学语言模型分子结构感知能力的影响，发现预训练提升上层结构意识，微调增强任务相关子结构表征。

Zeus: Towards Tuning-Free Foundation Model for Time Series Analysis

Zeus：面向时间序列分析的无调优基础模型

Yisong Fu, Zezhi Shao, Chengqing Yu, Yujie Li, Yongjun Xu, Xueqi Cheng, Fei Wang

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出统一无调优时间序列基础模型Zeus，通过多尺度Transformer和Multi-Objective Temporal Masking策略，在无需任务特定调优下实现多种分析任务的优异性能。

Comments Accepted by ICML 2026

EO-VGGT: Orbital Ray-Conditioned 3D Foundation Models for Satellite Multi-View Reconstruction

EO-VGGT：用于卫星多视角重建的轨道光线条件化3D基础模型

Qiyan Luo, Yingdong Pi, Lekang Wen, Jie Yang, Xiaoyu Wang, Haiming Zhang, Mi Wang

机构 * State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University（武汉大学测绘遥感信息工程国家重点实验室） ； Hubei Luojia Laboratory（湖北珞珈实验室） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

AI总结 针对卫星遥感中透视模型与轨道几何不匹配的问题，提出EO-VGGT框架，通过几何相关约束选择、传感器射线编码器和射线指向适配器，实现冻结视角驱动模型适应轨道观测，提升多视角卫星3D重建质量。

Comments This article is submitted to journal and under review

Freeze, Prompt, and Adapt: A Framework for Source-free Unsupervised GNN Prompting

冻结、提示与适应：一种无源无监督GNN提示框架

Peyman Baghershahi, Sourav Medya

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 指令微调 ：prompting(title,abstract)；分类 cs.LG

AI总结 本文提出UGPP新场景，无需标签和源数据，通过一致性正则化和伪标签训练提示函数，解决GNN无监督提示问题，实验证明优于有监督方法。

Comments Accepted to TMLR 2026

Embedding Foundation Model Predictions in Discrete-Choice Models with Structural Guarantees

具有结构保证的嵌入基础模型预测的离散选择模型

Yingshuo Wang, Xian Sun, Yanhang Li, Zhichao Fan, Zexin Zhuang

机构 * University of California, Berkeley（加州大学伯克利分校） ； Duke University（杜克大学） ； Northeastern University（东北大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Southern Methodist University（南卫理公会大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出两阶段适配器，将基础模型的预测嵌入多项Logit效用中，通过符号约束保持边际替代率，在三个数据集上平均提升6.4个百分点准确率，并保证成本单调性和合理时间价值。

Comments Extends arXiv:2605.26559 (ICML 2026 FMSD Workshop)

Training Language Models to Use Prolog as a Tool

训练语言模型以使用Prolog作为工具

Niklas Mellgren, Peter Schneider-Kamp, Lukas Galke Poech

机构 * University of Southern Denmark（南丹麦大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 本文探讨通过强化学习训练语言模型使用Prolog进行符号推理，发现正确性与可审计性之间存在权衡，影响模型性能与可解释性。

Comments ACL 2026 Findings (change from last version: corrected year in this comment)

VisNec: Measuring and Leveraging Visual Necessity for Multimodal Instruction Tuning

VisNec: 衡量和利用视觉必要性进行多模态指令微调

Mingkang Dong, Hongyi Cai, Jie Li, Sifan Zhou, Bin Ren, Kunyu Peng, Yuqian Fu

机构 * SJTU（上海交通大学） ； Universiti Malaya（马来亚大学） ； CMU（卡内基梅隆大学） ； MBZUAI（穆萨台普大学人工智能研究所） ； KIT（卡尔斯鲁厄理工学院） ； KAUST（王国立阿联酋科学技术大学） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；分类 cs.AI

AI总结 提出VisNec分数衡量视觉输入在多模态指令微调中的边际贡献，结合语义聚类选择高必要性样本，在15%数据上达到全数据性能的100.2%。

Comments Accepted at ECCV 2026. Project Page: https://dmk041218.github.io/VisNec/

Privacy-Aware Visual Language Models

隐私感知的视觉语言模型

Laurens Samson, Nimrod Barazani, Sennay Ghebreab, Yuki M. Asano

机构 * Socially-Intelligent Artificial Systems Group, University of Amsterdam（智能社会人工智能系统组，阿姆斯特丹大学） ； University of Amsterdam（阿姆斯特丹大学） ； Fundamental AI Lab, University of Technology Nuremberg（基础人工智能实验室，纽伦堡技术大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 针对视觉语言模型隐私理解不足的问题，构建高质量基准数据集PrivBench和指令微调数据集PrivTune，通过少量样本微调显著提升隐私敏感性，性能超越GPT-4。

Comments Accepted at Transactions on Machine Learning Research (TMLR)

When Language Overwrites Vision: Over-Alignment and Geometric Debiasing in Vision-Language Models

语言覆盖视觉：视觉语言模型中的过度对齐与几何去偏

Harshvardhan Saini, Samyak Jha, Yiming Tang, Dianbo Liu

机构 * Indian Institute of Technology Dhanbad（印度理工学院丹巴德分校） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本文研究视觉语言模型中过度对齐导致的幻觉问题，提出几何去偏方法，通过投影消除文本子空间影响，减少幻觉并提升长文本生成性能。

VoidPadding: Let [VOID] Handle Padding in Masked Diffusion Language Models so that [EOS] Can Focus on Semantic Termination

VoidPadding: 让 [VOID] 处理掩码扩散语言模型中的填充，以便 [EOS] 专注于语义终止

Chunyu Liu, Zhengyang Fan, Kaisen Yang, Alex Lamb

机构 * Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：language model(title)；instruction tuning(abstract)；分类 cs.CL

AI总结 提出VoidPadding方法，通过引入[VOID]令牌处理填充，将[EOS]从双重角色中解放，实现大块解码下的早期停止和自适应响应扩展，在数学推理和代码生成任务上平均提升17.84分，并减少55.7%的NFE。

Comments Minor related-work revisions; results unchanged

Actionable Activation Directions for Detecting and Mitigating Emergent Misalignment Across Language Model Families

可操作的激活方向：检测和缓解跨语言模型家族的突发性对齐失调

Abdul Rafay Syed

机构 * Universität des Saarlandes（萨尔大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 通过差分均值方向在最终层实现99.6%的对齐/失调分离，因果干预将代码泄露降低21-51点；跨架构迁移虽有效但缺乏特异性，揭示了两层特异性结构。

Comments 12 pages, 2 figures

Bring My Cup! Personalizing Vision-Language-Action Models with Visual Attentive Prompting

Bring My Cup! 使用视觉注意力提示个性化视觉-语言-动作模型

Sangoh Lee, Sangwoo Mo, Wook-Shin Han

机构 * GSAI, POSTECH（POSTECH 人工智能研究所） ； IME, POSTECH（POSTECH 信息媒体研究所） 纠错

专题命中 指令微调 ：prompting(title,abstract)；分类 cs.AI

AI总结 针对VLA模型难以处理个性化指令的问题，提出无需训练的视觉注意力提示（VAP）方法，通过参考图像作为非参数记忆，利用开放词汇检测和嵌入匹配定位个人物品，并以视觉提示注入模型，在多个仿真和真实场景中显著提升成功率和正确物体操作。

Comments ICML 2026. Project page: https://vap-project.github.io/

Robust and Interpretable Adaptation of Equivariant Materials Foundation Models via Sparsity-promoting Fine-tuning

通过稀疏性促进微调实现等变材料基础模型的鲁棒和可解释适应

Youngwoo Cho, Seunghoon Yi, Wooil Yang, Sungmo Kang, Young-woo Son, Jaegul Choo, Joonseok Lee, Soo Kyung Kim, Hongkee Yoon

机构 * KAIST（韩国科学技术院） ； Seoul National Univ.（首尔国立大学） ； KIAS（韩国宇宙科学研究所） ； Ewha Womans Univ.（成均馆大学） ； Kangwon National Univ.（江原国立大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出稀疏性促进微调方法，利用E(3)等变材料基础模型的结构特性选择性更新参数，在能量和力预测任务中以约3%参数达到或超越全微调性能，并展示在磁矩预测等任务中的泛化性和可解释性。

Comments Accepted by ICLR 2026

Self-Generated Error Training for Token Editing in Diffusion Language Models

扩散语言模型中令牌编辑的自生成错误训练

Lin Yao

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与技术学院） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 指令微调 ：language model(title)；pretraining(abstract)；分类 cs.CL

AI总结 针对LLaDA2.1中令牌编辑的训练-推理不匹配问题，提出自生成T2T方法，通过无梯度草稿传递和自生成错误监督，提升编辑准确率并减少编辑强度。

Understanding Cross-Modal Contributions in Continual Vision-Language Models: A Theoretical Perspective

理解连续视觉-语言模型中的跨模态贡献：一个理论视角

Salimeh Sekeh, Mary Wisell

机构 * San Diego State University（圣地亚哥州立大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.LG

AI总结 本文从理论角度分析连续视觉-语言模型中跨模态（视觉-语言）贡献，提出新视角并通过实验验证其有效性，揭示任务顺序和相似性对贡献鲁棒性的影响，提升泛化性能。

Dense Coordinate-List Fine-Tuning Induces a Controllable Interference Surface in Vision-Language Models

密集坐标列表微调在视觉语言模型中诱导可控干扰面

Chenyu Zhou, Qiliang Jiang, Boguang Pan

机构 * School of Engineering, Institute of Science Tokyo（东京科学大学工学院） ； College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院） ； Graduate School of Information, Production and Systems, Waseda University（早稻田大学信息生产系统研究生院） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 研究密集坐标列表微调对视觉语言模型结构化输出（如重复、终止）的影响，发现其产生结构绑定且跨家族的干扰面，可通过目标信号分离和结构轴探针进行测量与控制。

HD-Prot: A Protein Language Model for Joint Sequence-Structure Modeling with Continuous Structure Tokens

HD-Prot：一种使用连续结构令牌进行联合序列-结构建模的蛋白质语言模型

Yi Zhou, Haohao Qu, Yunqing Liu, Shanru Lin, Le Song, Wenqi Fan

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Mohamed bin Zayed University of Artificial Intelligence（马尔代夫人工智能大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 提出HD-Prot，一种混合扩散蛋白质语言模型，通过连续结构令牌将序列pLM扩展为多模态，实现联合序列-结构建模，在多种任务上取得竞争性能。

Comments This is the long version of the corresponding paper to appear at KDD 2026

Adapting Prithvi-EO for Fallow Detection for Food-Water Nexus: ViT-Adapter Necks and Parameter-Efficient Backbone tuning of Geospatial Foundation Model

为食物-水关系调整Prithvi-EO用于休耕地检测：地理空间基础模型的ViT-Adapter颈部与参数高效骨干微调

Sk Muhammad Asif, Orhun Aydin

机构 * Earth, Atmospheric and Geospatial Science, Saint Louis University（圣路易斯大学地球、大气与地理空间科学系） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

AI总结 针对休耕地检测中多尺度特征需求与基础模型单尺度ViT骨干不匹配的问题，提出结合LoRA和混合PEFT的两种参数高效微调方案与三种颈部设计，其中Lite ViT-Adapter配合单阶段检测头在mAP@50上达到0.9479，优于无适配器方法25.70%。

Comments 10 pages, 6 figures. Preprint. Submitted to ACM SIGSPATIAL 2026

Frames2LoRA: Parametric Video Internalization for Vision-Language Models

Video2LoRA: 视觉-语言模型的参数化视频内化

Manan Suri, Sarvesh Baskar, Dinesh Manocha

机构 * University of Maryland, College Park（马里兰大学学院公园分校） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 提出Video2LoRA方法，通过感知器超网络从视频编码中直接生成LoRA适配器，实现零视觉令牌的视频查询，在保持性能的同时大幅降低计算成本。

Comments https://frames2lora.github.io/

Which LoRA? An Empirical Study on the Effectiveness of LoRA Techniques During Multilingual Instruction Tuning

哪种LoRA？多语言指令微调中LoRA技术有效性的实证研究

Thamali Wijewardhana, Napoleon H. Reyes, Surangika Ranathunga

机构 * School of Mathematical and Computational Sciences, Massey University（梅西大学数学与计算科学学院） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；分类 cs.CL

AI总结 通过实验比较基本LoRA与四种变体在多语言指令微调中的效果，发现复杂变体在平衡跨语言迁移与知识保留方面并无显著优势。

A Unified Adaptive Feature Composition Framework for Multi-Task Generalization in Wireless Foundation Models

无线基础模型中多任务泛化的统一自适应特征组合框架

Yuxuan Shi, Tingting Yang, Kangning Ma, Liwen Jing, Yuwei Wang, Mengfan Zheng, Li Sun

机构 * Department of Broadband Communication, Pengcheng Laboratory（宽带通信系，鹏城实验室） ； Purple Mountain Laboratories（紫金山实验室） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出RAFC路由适配器，通过轻量级任务驱动网络动态组合Transformer各层隐藏特征，实现无线基础模型的多任务泛化，仅增加少于50K参数。

Decoding Pedestrian Crossing Intention from Egocentric Vision via Vision Language Models

通过视觉语言模型从自我中心视觉解码行人过街意图

Danya Li, Xiang Su, Yan Feng, Rico Krueger

机构 * Technical University of Denmark（丹麦技术大学） ； University of Helsinki（赫尔辛基大学） ； Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 利用视觉语言模型（VLM）将行人过街意图预测转化为视觉问答任务，通过参数高效微调并结合自我运动、车辆运动和眼动等上下文线索，在自我中心视频上实现了14.5%的准确率提升，创下新纪录。

Vision Language Model Helps Private Information De-Identification in Vision Data

视觉语言模型助力视觉数据中的隐私信息去标识化

Tiejin Chen, Pingzhi Li, Kaixiong Zhou, Tianlong Chen, Hua Wei

机构 * Arizona State University（亚利桑那州立大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； North Carolina State University（北卡罗来纳州立大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 提出VisShield框架，通过专用指令微调数据集OPTIC和训练策略，使视觉语言模型精准定位并掩码敏感文本，有效保护医学图像等视觉数据中的隐私信息。

Single-Cell Cross-Modal Transfer by Adversarial Fine-Tuning of Foundation Models

通过基础模型的对抗微调实现单细胞跨模态迁移

Joseph Boyd, Matthew Lyon, Martino Mansoldo, Christian Hurry, Finnian Firth

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出利用单细胞基础模型进行对抗微调，实现未配对空间转录组与单细胞RNA测序数据的跨模态翻译，性能优于多组学翻译方法。

Discourse-Role Labels as Presentation-Time Variables for Context Use in Language Models

话语角色标签作为语言模型上下文使用的呈现时间变量

Jianguo Zhu, Xiangmei Li, Wenjie Liu

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 通过固定内容探针实验，研究不同话语角色标签（如Instruction、Reference、Example）如何影响语言模型对误导信息的采纳率，发现标签可导致采纳率变化56-84个百分点，并建议上下文利用和RAG基准应报告和控制包装标签。

Comments Revised version with updated author information, added clean baselines, clarified evaluation metrics, and tightened discussion of context-augmented settings

SS-TPT: Stability and Suitability-Guided Test-Time Prompt Tuning for Adversarially Robust Vision-Language Models

SS-TPT：面向对抗鲁棒视觉语言模型的稳定性和适用性引导的测试时提示微调

Sunoh Kim, Daeho Um

机构 * Dankook University, Yongin, South Korea（首尔大学，韩国永兴） ； University of Seoul, Seoul, South Korea（首尔大学，韩国首尔） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 提出SS-TPT方法，通过稳定性与适用性分数评估增强视图质量，引导测试时提示微调，在保持高吞吐量的同时显著提升对抗鲁棒性。

Comments Accepted in ICML2026

Federated Foundation Models over Vehicular Networks

车辆网络中的联邦基础模型

Kasra Borazjani, Fardis Nadimi, Payam Abdisarabshali, Owen Palinski, Allan Salihovic, Dinh Nguyen, Minghui Liwang, Seyyedali Hosseinalipour

机构 * University of Waterloo（多伦多大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出将多模态多任务联邦基础模型（M3T FedFMs）集成到车辆网络中的愿景，结合基础模型的表达力与联邦学习的隐私保护分布式学习能力，并通过Waymo数据集案例验证其潜力。

Comments 8 pages, 4 figures

Latent-space Attacks for Refusal Evasion in Language Models

潜在空间攻击用于语言模型的拒绝规避

Giorgio Piras, Raffaele Mura, Fabio Brau, Maura Pintor, Luca Oneto, Fabio Roli, Battista Biggio

机构 * University of Cagliari（卡利亚里大学） ； University of Genova（热那亚大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本文研究了如何通过潜在空间攻击来规避语言模型的拒绝行为，提出了一种受控的潜在空间攻击方法，以提高攻击成功率，优于现有方法。

GenFT: A Generative Parameter-Efficient Fine-Tuning Method for Pretrained Foundation Models

GenFT：一种用于预训练基础模型的生成性参数高效微调方法

Guangning Xu, Baoquan Zhang, Michael. K. Ng

机构 * Department of Mathematics, Hong Kong Baptist University, Hong Kong, China（香港 Baptist 大学数学系，香港，中国） ； Department of Computer Science, Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）计算机科学系，中国） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出GenFT，一种基于预训练权重的参数高效微调方法，通过生成任务特定的更新来利用预训练权重中的结构信息，实现高效的模型微调。

Comments paper is accepted at ICANN 2026