语言大模型 / LLM

Epistemic Goggles: A Pretrained Module that Induces an Epistemic Frame via Gradient Editing

认知护目镜：通过梯度编辑诱导认知框架的预训练模块

Joshua Penman

机构 * Independent Researcher（独立研究员） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对微调语言模型时出现的“否定忽视”问题，提出Goggles模块，通过编辑微调梯度而非数据来赋予模型特定的认知框架，使模型在保持能力的同时正确识别虚构内容。

Comments 20 pages, 10 figures, 2 tables. Code at https://github.com/JoshuaSP/epistemic-goggles and generated documents, questions, and teacher rollouts at https://huggingface.co/datasets/joshuapenman/epistemic-goggles-artifacts

TempAct: Advancing Temporal Plausibility in Autoregressive Video Generation via Planner-Executor RL

TempAct: 通过规划器-执行器强化学习推进自回归视频生成中的时间合理性

Jing Wang, Xiangxin Zhou, Jiajun Liang, Kaiqi Liu, Wanyuan Pang, Zhenyu Xie, Tianyu Pang, Xiaodan Liang

机构 * Shenzhen Campus of Sun Yat-Sen University（中山大学深圳校区） ； Tencent Hunyuan（腾讯混元） ； Tsinghua University（清华大学） ； Peking University（北京大学） ； USTB（北京科技大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)

AI总结 提出TempAct框架，利用规划器-执行器强化学习联合优化时间分解与步骤条件执行，解决自回归视频生成中时间指令模糊、延迟反应和错误传播问题，提升时间一致性。

INSPIRE: Intent-aware Neural Sponsored Product Retrieval for E-commerce

INSPIRE：面向电子商务的意图感知神经赞助商品检索

Shasvat Desai, Hong Yao, Utkarsh Porwal, Kuang-chih Lee

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对电商搜索中用户意图与商品不匹配问题，提出INSPIRE框架，利用结构化意图信号（如品牌、口味、饮食限制）增强查询与赞助商品的匹配，通过弱监督意图学习和大模型蒸馏实现精准检索。

Comments Accepted to ACM SIGIR E-commerce Workshop, 2026

dVLA-RL: Reinforcement Learning over Denoising Trajectories for Discrete Diffusion Vision-Language-Action Models

dVLA-RL：基于去噪轨迹的强化学习用于离散扩散视觉-语言-动作模型

Yuhao Wu, Yitian Liu, Weijie Shen, Mishuo Han, Wenjie Xu, Haotian Liang, Zhongshan Liu, Yinan Mao, Lei Xu, Xinping Guan, Ru Ying, Ran Zheng, Wei Sui, Xiaokang Yang, Wenbo Ding, Yao Mu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Baidu AI Cloud D-Robotics Shanghai AI Laboratory（百度AI云D-机器人上海人工智能实验室） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)

AI总结 提出dVLA-RL方法，将离散扩散VLA模型的强化学习目标从边缘动作概率转移到采样生成路径的联合概率，通过将去噪过程建模为马尔可夫决策过程，实现变步长调度，在LIBERO上达到99.7%成功率，在RoboTwin 2.0上相比SFT提升30.6%。

Brain-Adapter: A Dual-Stream Vision-Language MIL Framework for Comprehensive 3D CT Diagnosis of Acute Intracranial Pathologies

Brain-Adapter: 一种用于急性颅内病理综合3D CT诊断的双流视觉-语言MIL框架

Zhenyu Yi, Zhiyun Song, Yusong Sun, Zelin Liu, Manman Fei, Zhenhao Li, Jiaxuan Zhao, Xu Han, Lichi Zhang

机构 * School of Biomedical Engineering, Shanghai Jiao Tong University（上海交通大学生物医学工程学院） ； Department of Computing, Imperial College London（伦敦帝国理工学院计算系） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出Brain-Adapter双流多实例学习框架，利用预训练2D生物医学视觉-语言模型和原始诊断报告，通过文本条件注意力和不确定性感知融合实现3D CT扫描的多标签分类，无需密集标注。

Comments Accepted to MICCAI 2026

PreLort: Prefix-Nested LoRA for Federated Fine-Tuning under Rank Heterogeneity

PreLort: 面向秩异构联邦微调的前缀嵌套LoRA

Muhammad Waseem, Nurbek Tastan, Andrej Jovanovic, Nicholas D. Lane, Nils Lukas, Karthik Nandakumar, Samuel Horvath

机构 * MBZUAI, UAE University of Cambridge, UK（MBZUAI，阿联酋剑桥大学，英国） ； Flower Labs, UK（Flower Labs，英国） ； Michigan State University, USA（密歇根州立大学，美国） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对联邦LoRA中异构秩导致的信息分布不均问题，提出PreLort方法，通过前缀层次化嵌套低秩结构、分段聚合规则和前缀嵌套训练策略，使低秩客户端受益于高秩客户端的丰富信息，在准确率和ROUGE-L上优于现有方法。

Selective Field Transmission: Bandwidth Efficient Communication under Standardized Message Schemas

选择性字段传输：标准化消息模式下的带宽高效通信

David Philipp Klüner, David Murach, Stefan Kowalewski, Alexandru Kampmann

专题命中 指令微调 ：SFT(summary_cn,abstract)

AI总结 提出选择性字段传输（SFT）机制，通过动态适配传输内容至接收方实际需求，在保持标准接口不变的同时显著降低带宽消耗，且无额外延迟开销。

Comments 8 pages, 9 figures, IEEE ETFA

Supervised Fine-tuning with Synthetic Rationale Data Hurts Real-World Disease Prediction

使用合成理由数据进行监督微调损害真实世界疾病预测

Buxin Su, Bingxuan Li, Cheng Qian, Yiwei Wang, Jin Jin, Bingxin Zhao

机构 * University of Pennsylvania（宾夕法尼亚大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California, Merced（加州大学默塞德分校） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现，在临床预测任务中，使用合成理由数据进行监督微调反而显著降低模型性能，根本原因在于叙事合理性与判别优化之间的结构性冲突。

Graph-Guided Selective Unlearning for Language Models: Controlling Support Routes Beyond Forget Seeds

面向语言模型的图引导选择性遗忘：控制遗忘种子之外的支持路径

Waqas Khan, Tabinda Sarwar, Jingyue Cong, Xun Yi, Estrid He

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 提出GRAPHSU图引导控制器，扩展语言模型选择性遗忘的删除范围，在TOFU和PISTOL基准上，相较仅种子基准降低最多49.5个百分点的软泄漏，验证控制支持路径的重要性。

Learning to Look Again: Loss-Gap Supervision for Free-form Crop Routing in Vision-Language Models

重新学习观察：面向视觉语言模型的自由格式裁剪重路由的损失间隙监督

Jinchang Zhu, Rong Fu, Yi Ding, Chenghao Wu, Ying Liu, Menglin Yang

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 提出GapSight框架，利用损失间隙监督让VLMs选择性重读图像局部区域，在多个基准测试中显著提升了LLaVA、InternVL2.5等VLMs的细节类任务性能。

Distilling Aggregate Mobility Statistics into a Language Model Policy for Post-Event Crowd Simulation

将聚合出行统计数据提炼为语言模型策略以用于事件后人群模拟

Tatsuya Amano, Hirozumi Yamaguchi

机构 * The University of Osaka（大阪大学） ； RIKEN Center for Computational Science（理化学研究所计算科学中心） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 该研究针对仅能获取聚合出行统计数据的场景，通过微调语言模型人群智能体并结合迭代比例拟合与低秩适配器，降低了事件后人群模拟的目的地份额误差。

Comments 4 pages, 3 figures. Accepted as a short paper at ACM SIGSPATIAL 2026

Off-Manifold Collapse in Guided Protein Language Models

引导式蛋白质语言模型中的流形外坍塌

Shuibai Zhang, Xinchi Liu, Fred Zhangzhi Peng, Zhihan Yang, Shutong Wu, Yingzi Ma, Jiawei Zhang

机构 * Duke University（杜克大学） ； Cornell University（康奈尔大学） ； University of Wisconsin--Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.LG

AI总结 该研究发现引导式蛋白质语言模型存在流形外坍塌问题，提出无需训练的马氏过滤方法，可低成本提升生成序列的属性得分与结构合理性，且可跨引导方法迁移。

Comments 12 pages

Learning What Not to Learn: Adversarial Disentangled Prompt Tuning for Robust Vision-Language Models

学习无需学习的内容：用于鲁棒视觉-语言模型的对抗性解耦提示调优

Yang Chen, Zhan Zhuang, Yanbin Wei, Zebin Chen, Hua Liu, Yu Zhang

机构 * Southern University of Science and Technology（南方科技大学） ； City University of Hong Kong（香港城市大学） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 针对现有对抗性提示调优存在的鲁棒泛化过拟合问题，提出ADAPT框架，通过双提示机制解耦鲁棒与伪鲁棒特征，提升模型对未见类别对抗样本的鲁棒性。

Market-Information-Aware Gated-LoRA of Foundation Models for Transferable Day-Ahead Electricity Price Forecasting

面向可迁移日前电价预测的、融合市场信息的基础门控低秩适配（Gated-LoRA）模型

Hang Fan, Wei Wei, Shengwei Mei

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出融合市场信息的Gated-LoRA框架，将Chronos-2模型迁移至日前电价预测，经中国四省现货市场验证，可显著降低预测误差，为数据稀缺电力市场提供迁移方案。

Dynamic Context Adapters: Efficiently Infusing History into Vision-and-Language Models

动态上下文适配器：将历史信息高效注入视觉-语言模型

Yuhang Song, Bor-Jiun Lin, Jiaxu Liu, Te-Chuan Chiu, Anh Nguyen, Chun-Yi Lee

机构 * University of Liverpool（利物浦大学） ； National Tsinghua University（国立清华大学） ； Imperial College London（伦敦帝国学院） ； National Taiwan University（国立台湾大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 针对视觉-语言模型整合历史上下文时的计算与信息损失问题，提出动态上下文适配器（DCA），实现高效历史注入，降低注意力FLOPs超25%、内存13%，提升长时序任务性能。

One Adapter Pair per Model: A Universal Activation Interface for Language Models

每个模型一个适配器对：语言模型的通用激活接口

Su-Hyeon Kim, Jiwan Mun, Yo-Sub Han

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本研究提出通用激活总线框架，为兼容语言模型提供通用激活接口，每个模型配备轻量级适配器对，可实现激活工具跨模型共享与复用，为可复用工具建立稳定的激活契约。

ChronoState: Hidden Elapsed-Time Conditioning for Temporal-State Action Selection in Frozen-Backbone Language Models

ChronoState：用于冻结骨干语言模型中时间-状态动作选择的隐式流逝时间条件

Sam Siavoshian, Omar Ramadan, Amir K. Saeed, Benjamin A. Johnson, Amin Mohamed El-Amin Diab, Benjamin M. Rodriguez

机构 * Johns Hopkins University（约翰斯·霍普金斯大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 该研究提出 ChronoState 基准，证实冻结骨干语言模型可在直接监督下将隐式流逝时间与符号状态组合，但其泛化性有限，且性能不及提示注入时间戳基线。

Comments Submitted to SPIE Defense and Commercial Sensing 2027

Unsupervised Adaptation of PDE Foundation Models

PDE基础模型的无监督适配

Ziye Song, Zhao Wei, Xin Yu, Ivor Tsang, Yueming Lyu

机构 * Nanyang Technological University（南洋理工大学） ； CFAR, A*STAR（新加坡科技研究局CFAR） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

AI总结 针对PDE基础模型适配需密集解数据的问题，提出无监督微调框架，引入NSLoRA解决LoRA的物理量学习不均问题，在未见PDE上取得优异性能。

Cautious Context Steering for Language Model Personalization

用于语言模型个性化的谨慎上下文引导（Cautious Context Steering, CCS）

Gihoon Kim, Jeyoung Lee, Suhan Woo, Sekwon Oh, Minsu Jeon, Hyounsoo Han, Euntai Kim

机构 * Yonsei University（延世大学） ； Hyundai Motors Company（现代汽车公司） ； Korea Institute of Science and Technology（韩国科学技术研究院） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出 CCS 方法，通过轻量适配器动态控制语言模型解码时的上下文影响，在单数据集训练后实现领域内及四个分布外基准的个性化提升，且降低推理成本。

Comments 11 pages, 3 figures

GeoReward: Mitigating Contextual Variable Overestimation in Vision-Language Models for Cross-Market Preference Prediction

GeoReward：缓解跨市场偏好预测的视觉语言模型中的上下文变量高估问题

Shuo Liu, Huixiang Cai, Weiru Zhang, Xiaoyi Zeng

机构 * Alibaba International Digital Commerce Group（阿里巴巴国际数字商业集团） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本研究针对视觉语言模型的上下文变量高估问题，提出GeoReward奖励模型，通过三种机制缓解该偏差，在跨市场广告偏好预测任务中性能优于现有基线。

OliveGemma: A 3 Billion Visual Language Model for Recognising the Mediterranean & European Diet

OliveGemma：一款用于识别地中海与欧洲饮食的30亿参数视觉语言模型

Dimitrios I. Zaridis, Traianos Tsiokris, Vasileios C. Pezoulas, Daphni Plati, Eugenia Mylona, Eleni Georga, Nikos Tsiknakis, Antonis Sakellarios, Dimitrios I. Fotiadis

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本研究构建基于PaliGemma-2-3B的OliveGemma，经LoRA微调后在欧洲饮食识别任务上超越多数前沿模型，仅逊于DenseNet-121，小型VLM经PEFT适配可在专业任务超越大模型。

In-Context Collapse in Vision-Language Models and How to Mitigate it?

视觉语言模型中的上下文坍缩及其缓解方法

Mohammad Rostami

机构 * Amazon Generative AI Innovation Center（亚马逊生成式AI创新中心） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本文发现视觉语言模型存在随演示增多的上下文坍缩问题，通过因果定位将其归因于视觉-语言整合通路，提出CircA干预方法可有效缓解该问题并实现抗坍缩能力迁移。

Antares: Foundation Models for Agentic Vulnerability Localization

Antares：用于智能体漏洞定位的基础模型

Supriti Vijay, Aman Priyanshu, Didier Chapoteau, Arthur Goldblatt, Jianliang He, Kimia Majd, Fraser Burch, Baturay Saglam, Takahiro Matsumoto, Zhuoran Yang, Amin Karbasi

专题命中 指令微调 ：foundation model(title)；language model(abstract)；分类 cs.AI

AI总结 该研究提出基于IBM Granite的Antares系列紧凑语言模型，经两阶段训练用于智能体漏洞定位，其30亿参数版本性能接近GPT-5.5且远超更大模型，推理高效低成本。

Comments 57 pages, 12 figures, technical report for antares

SPECTRA: Band-Routed Embedding and Stage-Wise LoRA for Cross-Sensor Fine-Tuning of Geospatial Foundation Models

SPECTRA：用于地理空间基础模型跨传感器微调的波段路由嵌入与分阶段LoRA

Xingyan Li, Jordan A. Caraballo-Vega, Jie Gong, Mark L. Carroll, Jianwu Wang

机构 * University of Maryland, Baltimore County（马里兰大学巴尔的摩分校） ； NASA Goddard Space Flight Center（美国国家航空航天局戈达德太空飞行中心） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文提出SPECTRA框架，通过波段路由嵌入（BRE）解决地理空间基础模型的光谱不匹配问题，利用分阶段可迁移性感知LoRA（ST-LoRA）降低微调成本，在多数据集上验证了方法的有效性。

FedChronos: Federated Fine-Tuning of Time-Series Foundation Models for Privacy-Preserving Commodity Price Forecasting

FedChronos：用于隐私保护商品价格预测的时间序列基础模型联邦微调

Amit Sharma, Nitin Auluck, Akramul Azim

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 FedChronos是用于时间序列基础模型联邦微调的框架，结合LoRA与差分隐私，在非IID商品价格联邦预测中实现隐私与准确性互补，适配边缘部署

Comments 11 pages, 4 figures

A Heuristic Perspective on Debiasing Language Models

语言模型去偏的启发式视角

Tian Lan, Yemin Wang, Chuancheng Shi, Xiangyu Wu, Zesheng Shi, Yuan Wang, Jiang Li, Guanglai Gao, Xiangdong Su

机构 * Inner Mongolia University（内蒙古大学） ； Xiamen University（厦门大学） ； University of Sydney（悉尼大学） ； Nanjing University of Science and Technology（南京理工大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Zhejiang University（浙江大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 该研究针对现有语言模型去偏方法的局限，提出HEIMAT启发式自动去偏框架，经实验验证其可在保留NLU性能的同时有效缓解不同文化下的模型偏见。

Comments 13 pages in total, 5 figures

WALoMA: A Multitask Wireless Foundation Model via Adaptive Low-Rank Masked Autoencoders

WALoMA：一种通过自适应低秩掩码自动编码器实现的多任务无线基础模型

Madi Makin, Asmaa Abdallah, Abdulkadir Celik, Ahmed M. Eltawil

机构 * King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） ； University of Southampton（南安普顿大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 研究针对6G无线物理层架构中特定任务模型局限和标记数据稀缺问题，提出WALoMA模型，利用自适应低秩掩码自动编码器，通过自监督学习从无标签数据中学习可转移表示，在五个下游任务中表现出色，显著优于基线。

Inference-Time Consensus for Mitigating Hidden Behaviors from LLM Fine-Tuning

用于减轻大语言模型微调中隐藏行为的推理时共识

Adhyyan Narang, Artin Tajdini, Claire Zhang, Jamie Morgenstern

机构 * University of Washington（华盛顿大学） 纠错

专题命中 指令微调 ：LLM(title)；language model(abstract)；分类 cs.AI

AI总结 研究针对大语言模型微调中隐藏行为问题，通过从不同源收集多数据集并学习共性，在解码时聚合参考模型下一个token分布，引入两种共识解码器，有效抑制特定源不当行为，保留共享期望行为。

Comments 21 pages, 4 figures. Code: https://github.com/AdhyyanNarang/consensus-aggregation

Robustifying pathology foundation models via fine-tuning

通过微调增强病理学基础模型的鲁棒性

Alexandre Filiot, Oskar Thaeter, Benoit Schmauch, Lionel Guillou

机构 * Waiv ； Institute of Pathology, Technical University of Munich（慕尼黑工业大学病理学研究所） ； School of Computation, Information and Technology, Technical University of Munich（慕尼黑工业大学计算、信息与技术学院） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

AI总结 研究针对病理学基础模型对采集因素敏感问题，开发新颖微调方法，应用于十个不同模型提升鲁棒性与下游性能，平均鲁棒性指数提高23%，综合性能提高43%，并公开两个模型的微调版本。

Comments 17 pages, 4 figures, 7 tables

Dual Adversarial Fine-tuning for Enhancing Robustness of Large Vision Language Model

用于增强大型视觉语言模型鲁棒性的对偶对抗微调

Sibo Wang, Jie Zhang, Shiguang Shan, Xilin Chen, Wen Gao

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 针对大型视觉语言模型视觉输入易受攻击且现有防御方法缺乏通用性的问题，提出对偶对抗微调框架，通过联合优化视觉和语义监督信号增强模型鲁棒性，实验证明该方法在多任务对抗鲁棒性评估中表现优异。