语言大模型 / LLM

When Confidence Misleads: Suffix Anchoring and Anchor-Proximity Confidence Modulation for Diffusion Language Models

当置信度误导时：扩散语言模型的后缀锚定与锚邻近置信度调制

Jungwon Park, Jimyeong Kim, Jungmin Ko, Nojun Kwak, Wonjong Rhee

机构 * RICS（智能研究学院） ； AIIS（人工智能研究所） ； IPAI（人工智能研究所） ； Department of Intelligence and Information（智能与信息系） ； Daegu Gyeongbuk Institute of Science and Technology（大邱庆州市科学技术院） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 针对扩散语言模型中置信度误导导致生成不完整或过早解码的问题，提出后缀锚定与锚邻近置信度调制方法，无需训练即可提升完全非自回归解码性能。

Comments Preprint

Unsupervised Adaptation of PDE Foundation Models

PDE基础模型的无监督适配

Ziye Song, Zhao Wei, Xin Yu, Ivor Tsang, Yueming Lyu

机构 * Nanyang Technological University（南洋理工大学） ； CFAR, A*STAR（新加坡科技研究局CFAR） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

AI总结 针对PDE基础模型适配需密集解数据的问题，提出无监督微调框架，引入NSLoRA解决LoRA的物理量学习不均问题，在未见PDE上取得优异性能。

LoCA: Forward-Only LLM Tuning after One-Shot Calibration with Local Credit Assignment

LoCA：基于局部信用分配的一次性校准后仅前向的大语言模型调优

Linhan Xia, Rui Liu, Zhaofeng Zhang, Yihao Wang, Binrui Shen, Shengxin Zhu

机构 * University of Oklahoma（俄克拉荷马大学） ； Imperial College London（伦敦帝国学院） ； University of Michigan（密歇根大学） ； Tencent（腾讯） ； University of Edinburgh（爱丁堡大学） ； University of Southern California（南加州大学） ； Beijing Normal University（北京师范大学） ； Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院） 纠错

专题命中 指令微调 ：LLM(title)；post-training(abstract)；分类 cs.AI

AI总结 本文提出LoCA方法，通过一次性校准替换大语言模型调优的重复反向传播，在多个基准上优于LoRA，降低了GPU峰值内存、CPU稳态内存与前向传递时间。

Cautious Context Steering for Language Model Personalization

用于语言模型个性化的谨慎上下文引导（Cautious Context Steering, CCS）

Gihoon Kim, Jeyoung Lee, Suhan Woo, Sekwon Oh, Minsu Jeon, Hyounsoo Han, Euntai Kim

机构 * Yonsei University（延世大学） ； Hyundai Motors Company（现代汽车公司） ； Korea Institute of Science and Technology（韩国科学技术研究院） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出 CCS 方法，通过轻量适配器动态控制语言模型解码时的上下文影响，在单数据集训练后实现领域内及四个分布外基准的个性化提升，且降低推理成本。

Comments 11 pages, 3 figures

GeoReward: Mitigating Contextual Variable Overestimation in Vision-Language Models for Cross-Market Preference Prediction

GeoReward：缓解跨市场偏好预测的视觉语言模型中的上下文变量高估问题

Shuo Liu, Huixiang Cai, Weiru Zhang, Xiaoyi Zeng

机构 * Alibaba International Digital Commerce Group（阿里巴巴国际数字商业集团） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本研究针对视觉语言模型的上下文变量高估问题，提出GeoReward奖励模型，通过三种机制缓解该偏差，在跨市场广告偏好预测任务中性能优于现有基线。

DELTA-TTS: Adapting Autoregressive Model into Diffusion Language Model for Text-to-Speech

DELTA-TTS：将自回归模型适配为扩散语言模型以实现文本转语音

Junwon Moon, Yejin Lee, Seungbeom Kim, Hoseong Ahn, Sewoong Park, Heeseung Kim, Kyuhong Shim

机构 * Sungkyunkwan University（首尔大学） ； University of Seoul（首尔大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 针对自回归TTS推理慢、鲁棒性差的问题，提出基于LoRA的轻量适配框架DELTA-TTS，将预训练AR TTS转为离散扩散语言模型，推理速度提升3.3倍且性能更优。

Comments ICML 2026 SPIGM Workshop

OliveGemma: A 3 Billion Visual Language Model for Recognising the Mediterranean & European Diet

OliveGemma：一款用于识别地中海与欧洲饮食的30亿参数视觉语言模型

Dimitrios I. Zaridis, Traianos Tsiokris, Vasileios C. Pezoulas, Daphni Plati, Eugenia Mylona, Eleni Georga, Nikos Tsiknakis, Antonis Sakellarios, Dimitrios I. Fotiadis

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本研究构建基于PaliGemma-2-3B的OliveGemma，经LoRA微调后在欧洲饮食识别任务上超越多数前沿模型，仅逊于DenseNet-121，小型VLM经PEFT适配可在专业任务超越大模型。

In-Context Collapse in Vision-Language Models and How to Mitigate it?

视觉语言模型中的上下文坍缩及其缓解方法

Mohammad Rostami

机构 * Amazon Generative AI Innovation Center（亚马逊生成式AI创新中心） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本文发现视觉语言模型存在随演示增多的上下文坍缩问题，通过因果定位将其归因于视觉-语言整合通路，提出CircA干预方法可有效缓解该问题并实现抗坍缩能力迁移。

Antares: Foundation Models for Agentic Vulnerability Localization

Antares：用于智能体漏洞定位的基础模型

Supriti Vijay, Aman Priyanshu, Didier Chapoteau, Arthur Goldblatt, Jianliang He, Kimia Majd, Fraser Burch, Baturay Saglam, Takahiro Matsumoto, Zhuoran Yang, Amin Karbasi

专题命中 指令微调 ：foundation model(title)；language model(abstract)；分类 cs.AI

AI总结 该研究提出基于IBM Granite的Antares系列紧凑语言模型，经两阶段训练用于智能体漏洞定位，其30亿参数版本性能接近GPT-5.5且远超更大模型，推理高效低成本。

Comments 57 pages, 12 figures, technical report for antares

SPECTRA: Band-Routed Embedding and Stage-Wise LoRA for Cross-Sensor Fine-Tuning of Geospatial Foundation Models

SPECTRA：用于地理空间基础模型跨传感器微调的波段路由嵌入与分阶段LoRA

Xingyan Li, Jordan A. Caraballo-Vega, Jie Gong, Mark L. Carroll, Jianwu Wang

机构 * University of Maryland, Baltimore County（马里兰大学巴尔的摩分校） ； NASA Goddard Space Flight Center（美国国家航空航天局戈达德太空飞行中心） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文提出SPECTRA框架，通过波段路由嵌入（BRE）解决地理空间基础模型的光谱不匹配问题，利用分阶段可迁移性感知LoRA（ST-LoRA）降低微调成本，在多数据集上验证了方法的有效性。

FedChronos: Federated Fine-Tuning of Time-Series Foundation Models for Privacy-Preserving Commodity Price Forecasting

FedChronos：用于隐私保护商品价格预测的时间序列基础模型联邦微调

Amit Sharma, Nitin Auluck, Akramul Azim

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 FedChronos是用于时间序列基础模型联邦微调的框架，结合LoRA与差分隐私，在非IID商品价格联邦预测中实现隐私与准确性互补，适配边缘部署

Comments 11 pages, 4 figures

A Heuristic Perspective on Debiasing Language Models

语言模型去偏的启发式视角

Tian Lan, Yemin Wang, Chuancheng Shi, Xiangyu Wu, Zesheng Shi, Yuan Wang, Jiang Li, Guanglai Gao, Xiangdong Su

机构 * Inner Mongolia University（内蒙古大学） ； Xiamen University（厦门大学） ； University of Sydney（悉尼大学） ； Nanjing University of Science and Technology（南京理工大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Zhejiang University（浙江大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 该研究针对现有语言模型去偏方法的局限，提出HEIMAT启发式自动去偏框架，经实验验证其可在保留NLU性能的同时有效缓解不同文化下的模型偏见。

Comments 13 pages in total, 5 figures

EEG-FM-Compass: Progress, Benchmarking, and Future Directions for EEG Foundation Models

EEG基础模型：进展、基准测试与开放问题

Dingkun Liu, Yuheng Chen, Zhu Chen, Zhenyao Cui, Yaozhi Wen, Jiayu An, Jingwei Luo, Dongrui Wu

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文研究了EEG基础模型的进展、基准测试与开放问题，通过评估12个开源模型和专用基线，发现线性探测不足，专用模型仍具竞争力，且大模型不必然提升泛化性能。

Journal ref National Science Review, 2026

WALoMA: A Multitask Wireless Foundation Model via Adaptive Low-Rank Masked Autoencoders

WALoMA：一种通过自适应低秩掩码自动编码器实现的多任务无线基础模型

Madi Makin, Asmaa Abdallah, Abdulkadir Celik, Ahmed M. Eltawil

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 研究针对6G无线物理层架构中特定任务模型局限和标记数据稀缺问题，提出WALoMA模型，利用自适应低秩掩码自动编码器，通过自监督学习从无标签数据中学习可转移表示，在五个下游任务中表现出色，显著优于基线。

Inference-Time Consensus for Mitigating Hidden Behaviors from LLM Fine-Tuning

用于减轻大语言模型微调中隐藏行为的推理时共识

Adhyyan Narang, Artin Tajdini, Claire Zhang, Jamie Morgenstern

机构 * University of Washington（华盛顿大学） 纠错

专题命中 指令微调 ：LLM(title)；language model(abstract)；分类 cs.AI

AI总结 研究针对大语言模型微调中隐藏行为问题，通过从不同源收集多数据集并学习共性，在解码时聚合参考模型下一个token分布，引入两种共识解码器，有效抑制特定源不当行为，保留共享期望行为。

Comments 21 pages, 4 figures. Code: https://github.com/AdhyyanNarang/consensus-aggregation

Robustifying pathology foundation models via fine-tuning

通过微调增强病理学基础模型的鲁棒性

Alexandre Filiot, Oskar Thaeter, Benoit Schmauch, Lionel Guillou

机构 * Waiv ； Institute of Pathology, Technical University of Munich（慕尼黑工业大学病理学研究所） ； School of Computation, Information and Technology, Technical University of Munich（慕尼黑工业大学计算、信息与技术学院） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

AI总结 研究针对病理学基础模型对采集因素敏感问题，开发新颖微调方法，应用于十个不同模型提升鲁棒性与下游性能，平均鲁棒性指数提高23%，综合性能提高43%，并公开两个模型的微调版本。

Comments 17 pages, 4 figures, 7 tables

Integrating GNSS-Derived Zenith Wet Delay into a Weather Foundation Model Improves Precipitation Forecasting

将全球导航卫星系统（GNSS）导出的天顶湿延迟整合到天气基础模型中可改善降水预报

Leonardo Trentini, Fanny Lehmann, Laura Crocetti, Benedikt Soja

机构 * Weather Foundation（天气基金会） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 研究将GNSS导出的ZWD整合到Aurora天气基础模型中，扩展后的模型学习ZWD能力与预训练变量相当，微调时纳入ZWD可改善降水预报，增益随严重程度增加，能让降水功率谱更现实。

A Three-Phase Foundation Model for Tax-Aware Personalized Portfolio Management

面向税务感知的个性化投资组合管理的三阶段基础模型

Ramin Pishehvar

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出三阶段深度强化学习系统，通过自监督跨资产编码器、MoE策略网络和LoRA个性化层，解决金融RL中标的锁定、单目标优化和静态用户模型三大局限。

Dual Adversarial Fine-tuning for Enhancing Robustness of Large Vision Language Model

用于增强大型视觉语言模型鲁棒性的对偶对抗微调

Sibo Wang, Jie Zhang, Shiguang Shan, Xilin Chen, Wen Gao

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 针对大型视觉语言模型视觉输入易受攻击且现有防御方法缺乏通用性的问题，提出对偶对抗微调框架，通过联合优化视觉和语义监督信号增强模型鲁棒性，实验证明该方法在多任务对抗鲁棒性评估中表现优异。

TellTale: Blending Multi-Instance LoRA Text Encoders and a Zero-Shot LLM Judge for Ambivalence/Hesitancy Recognition in Videos

TellTale：融合多实例LoRA文本编码器和零样本大语言模型判断器用于视频中的矛盾/犹豫识别

Abdel-Karim Al-Tamimi, Ali Rodan

机构 * Sheffield Hallam University（谢菲尔德哈勒姆大学） ； Yarmouk University（亚尔穆克大学） ； The University of Jordan（约旦大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；分类 cs.AI

AI总结 TellTale旨在解决视频中矛盾/犹豫识别问题，它融合多实例LoRA文本编码器和零样本大语言模型判断器，结合三个概率流，在BAH数据集上取得优异成绩，相比官方基于视觉的基线有显著提升。

RegionFM: Interpretable Region-Based Brain MRI Classification Using Foundation Model Embeddings

RegionFM：使用基础模型嵌入进行可解释的基于区域的脑MRI分类

Wei Zhang

机构 * L3S Research Center（L3S研究中心） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 研究针对脑MRI基础模型预测难解释问题，提出RegionFM框架，将解剖分割与基础模型嵌入结合，通过划分区域、编码嵌入及构建模型组合，用于认知障碍分类评估，在保持性能同时使解释与临床推理更好对齐。

Octo-planner: On-device Language Model for Planner-Action Agents

Octo-planner：用于规划-行动智能体的设备端语言模型

Wei Chen, Zhiyuan Li, Zhen Guo, Yikang Shen

机构 * Nexa AI & Stanford（Nexa AI 与 斯坦福大学） ； MIT EECS（麻省理工学院电子工程与计算机科学系） ； MIT-IBM Watson AI Lab（麻省理工-IBM Watson AI 实验室） 纠错

专题命中 指令微调 ：language model(title)；LLM(abstract)；分类 cs.CL

AI总结 研究如何让人工智能智能体有效规划行动，提出设备端规划-行动框架，分离规划与行动执行组件，用模型微调优化性能，多LoRA训练方法应对多域规划挑战，在域内测试成功率达97%，并开源模型权重。

Audio-Native Speech Recognition with a Frozen Discrete-Diffusion Language Model

使用冻结离散扩散语言模型的音频原生语音识别

Harsha Vardhan Khurdula, Abhinav Kumar Singh, Yoeven D Khemlani, Vineet Agarwal

机构 * Interfaze AI（Interfaze人工智能公司） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 探讨离散扩散语言模型能否用于语音识别，训练音频原生接口，用冻结Whisper编码器等，约42M参数。自然训练目标遇问题，连接主义时间分类损失打破僵局，模型在LibriSpeech test-clean上字错误率6.6%，能并行转录多种语言。

Comments 10 pages, 2 figures, 6 tables

GigaAM Multilingual: Foundation Model for Underrepresented Languages

GigaAM多语言：针对低资源语言的基础模型

Andrei Kuzmenko, Alexandr Maximenko, Aleksandr Kutsakov, Georgii Gospodinov, Dmitrii Bolotov, Oleg Kutuzov, Pavel Bogomolov, Fyodor Minkin

机构 * SaluteDevices, Russia（SaluteDevices） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.CL

AI总结 针对多语言ASR中长尾语言数据稀缺问题，提出GigaAM Multilingual，用Conformer编码器在大量音频上预训练，预训练时引入聚类级数据平衡策略，微调时采用领域感知采样方法，在目标语言上优于其他编码器，发布相关模型提供多语言适应方法。

Comments Accepted to Interspeech 2026. Model weights: https://github.com/salute-developers/GigaAM

VoxENES 2026: Benchmarking Generalization of Speech Spoofing Detectors Against LLM-Era TTS and Voice Conversion

VoxENES 2026：针对大语言模型时代文本转语音和语音转换的语音欺骗检测泛化基准测试

Aastha Sharma, Guangjing Wang

机构 * University of South Florida（佛罗里达州立大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究针对大语言模型时代TTS和VC系统合成语音与传统基准测试不匹配问题，引入VoxENES 2026基准测试，对八个预训练检测器测试发现性能大幅下降，凸显当前检测器问题，确立该基准为开发音频欺骗对策的实用平台。

Comments Accepted in InterSpeech 2026

Evaluating the Generalizability of Foundation Models for Extreme Environmental Events: Case Study of California Wildfire PM2.5

评估极端环境事件基础模型的泛化能力：以加利福尼亚野火PM2.5为例

Yongcan Huang, Li Jiang, Ze Yu Liu

机构 * College of Engineering, University of Georgia（佐治亚大学工程学院） ； Information System Department, UMBC（马里兰大学巴尔的摩郡分校信息系统系） ； College of Graduate and Professional Studies, Trine University（特瑞大学研究生与专业研究学院） ； School of Professional Studies, Columbia University（哥伦比亚大学专业研究学院） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 研究以加利福尼亚野火PM2.5为例，比较六种时间序列基础模型配置与全训练基线及朴素持久性方法，通过留一事件法评估泛化能力，发现BiLSTM表现最佳，零样本TSFMs改进有限，LoRA微调有改善但未超循环基线，挑战大预训练模型主导环境预测的假设并提供指导。

TeamTR: Trust-Region Fine-Tuning for Multi-Agent LLM Coordination

TeamTR: 用于多智能体大语言模型协调的信赖区域微调

Yi Xie, Siao Liu, Falong Fan, Yuanqi Yao, Yue Zhao, Bo Liu

机构 * Department of Electrical \& Computer Engineering, University of Arizona ； Engineering College, Soochow University ； INSAIT, Sofia University "St. Kliment Ohridski" ； Department of Electrical ； Computer Engineering, Stony Brook University 纠错

专题命中 指令微调 ：LLM(title,abstract)；分类 cs.LG

AI总结 本文提出TeamTR，通过信赖区域框架在每个组件更新后重采样轨迹并控制每个智能体的发散度，解决多智能体系统中因上下文分布变化导致的性能下降问题，实验表明其在协调回归抑制和组件替换支持方面优于单智能体和序列基线。

Comments 9pages, Accepted at ICML2026

When Do Foundation Models Pay Off? A Break-Even Analysis of Pretrained Time Series Forecasters

基础模型何时能取得成效？预训练时间序列预测器的盈亏平衡分析

Nicholas Tan Jerome, Frank Simon

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 研究何时投资时间序列基础模型能有回报，通过对比基础模型和传统基线在不同训练集规模下的表现，给出部署规则和决策框架，助从业者决策。

Stacked LoRA for Subject-Adaptive EEG Foundation Models in Motor Imagery Decoding

用于运动想象解码中主题自适应脑电基础模型的堆叠式LoRA

Aymen Sarhane, Fouad Lbakali, Mouad Souissi, Jonathan Lys, Giulia Lioi

机构 * IMT Atlantique, Lab-STICC（法国布雷斯特的IMT大西洋学院，Lab-STICC实验室） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 脑机接口的脑电图解码面临受试者间差异大的挑战。基于现有脑电基础模型，研究不同低秩适应策略对运动想象分类的影响，提出堆叠式LoRA框架，有效减轻受试者间差异，在多数组合中获最佳准确率。

Comments 10 pages, 1 figure, 2 tables. Accepted at the 2026 IEEE World Congress on Computational Intelligence (WCCI 2026), Maastricht, Netherlands

VISTA: Auditing Semantic Divergence in Vision-Language Models

VISTA：视觉语言模型中的语义差异审计

Junchi Liao, Jiawen Deng, Fuji Ren

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 研究视觉语言模型中视觉概念条件性差异，提出VISTA黑箱跨模型审计方法，结合语义熵与基于分布的差异标记异常，通过实验验证其有效性并发现新差异模式。

Comments Preprint. 3 figures