语言大模型 / LLM

Localizing Anchoring Pathways in Language Models

定位语言模型中的锚定路径

Hillary N. Owusu, Sarah Wiegreffe, Naomi H. Feldman

机构 * University of Maryland, College Park（马里兰大学帕克分校） 纠错

专题命中 指令微调 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 研究提示中无关数字如何影响语言模型数值推理的锚定效应，通过logit差值度量和电路归因定位，发现边级方法优于节点级方法，并揭示锚定路径的共享与迁移特性。

PermDoRA -- Understanding Adapter Interference in Language Models: Limits of Parameter-Space Geometry

PermDoRA -- 理解语言模型中的适配器干扰：参数空间几何的局限性

Gowtham Sivaramakrishnan, Sarvesha Kumar Kombaiah Seetha, Kishan Gupta Balaji, Santhosh Baradwaj Vaduvur Ranganathan

机构 * Independent Researcher（独立研究员） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究适配器组合中的干扰是否源于线性参数更新重叠，通过DoRA-RBAC框架和几何感知合并策略实验，发现参数空间几何不是干扰主因，而是共享非线性表示中的交互。

Comments 18 Pages, COLM 2026

Omega-S: A Functional Resilience Index for LLM Fine-Tuning

Omega-S：一种用于大语言模型微调的功能弹性指数

Alberto Acedo

专题命中 指令微调 ：LLM(title,comments)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 Omega-S是一种仅依赖权重矩阵的即插即用惩罚项，在Llama-3-8B的LoRA微调中，它在保留模型原有能力上优于无正则化、调优后的权重衰减和EWC，且成本增加不到4%。

Comments 15 pages of main text plus appendices; 12 tables. Code, per-seed data and all negative results at https://github.com/BiomeMakers/OmegaS-LLM

Retrieval Heads Meet Vision: Uncovering How VLMs Locate and Extract Visual Information

检索头与视觉结合：揭示视觉语言模型如何定位和提取视觉信息

Chanho Park, Daehyeon Choi, Jihyun Lee, Minhyuk Sung

机构 * KAIST（韩国科学技术院） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 该研究发现视觉语言模型（VLMs）中存在视觉检索头（VRHs），其占注意力头的1.7%-2.6%，负责将文本描述与图像区域建立因果关联，屏蔽前20个VRHs可使定位准确率降低多达80个百分点，且VRHs具备泛化性、功能特异性与架构共享性。

Unfolding Scientific Papers into Multi-Turn Generation Trajectories for Continued Pre-Training

将科学论文展开为多轮生成轨迹用于持续预训练

Qiankai Xu, Qiguang Chen, Zixin Su, Wenhao Huang, Yue Gao, Jiaheng Liu, Ge Zhang

机构 * Nanjing University（南京大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出将科学论文展开为多轮生成轨迹的流程构建CPT语料库，经CPT后微调可提升写作性能与长文档阅读能力，混合SFT数据可进一步优化学术写作表现。

Evaluating and Explaining Prompt Sensitivity of LLMs Using Interactions

利用交互作用评估与解释大语言模型的提示敏感性

Ruiyang Qin, Qingzhuo Wang, Tian Wang, Zhihua Wei, Wen Shen

机构 * School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出基于交互作用的IPS指标，分析50个开源LLMs的提示敏感性，发现监督微调等四个因素可通过降低低阶交互作用的敏感性减少提示波动。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026). 46 pages, 48 figures

RMSWeb: Reflection, Failure-Mode Mining, and Salvage-DS for Web Agent Reinforcement Learning

RMSWeb：面向Web智能体强化学习的反思、失败模式挖掘与Salvage-DS

Chengbo Liu, Lifang Zhou, Ruijie Yan, Pei Tan, Ao Sun, Haojun Huang, Guichun Hua, Sining Wei, Yining Chen, Yingying He, Yutao Xie

专题命中 指令微调 ：SFT(summary_cn,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 RMSWeb是针对Qwen3-VL-Instruct 8B和32B模型的Web智能体强化学习方案，通过三部分技术提升训练效率与性能，在多个Web基准数据集上较SFT取得显著提升，且8B模型获同规模开源模型最优Online-Mind2Web结果。

Comments 15 pages, 9 figures, and 6 tables. Includes appendices

UniCoder: Unified Visual-to-Code Generation via Symbolic Rewards and Reference-Guided Code Optimization

UniCoder: 通过符号奖励和参考引导代码优化的统一视觉到代码生成

Yaozhi Zheng, Yilei Jiang, Manyuan Zhang, Yuxuan Wan, Kaituo Feng, Tianshuo Peng, Bo Zhang, Xiangyu Yue

机构 * The Chinese University of Hong Kong（香港中文大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 提出UniCoder框架，通过符号属性对齐实现密集元素级奖励，并利用参考引导代码优化策略克服探索停滞，在多个基准上达到与专有模型相当的性能。

Improved Large Language Diffusion Models

改进的大规模语言扩散模型

Shen Nie, Qiyang Min, Shaoxuan Xu, Zihao Huang, Yuxuan Song, Yong Shan, Yankai Lin, Wayne Xin Zhao, Chongxuan Li, Ji-Rong Wen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； Beijing Key Laboratory of Research on Large Models and Intelligent Governance（北京市大模型与智能治理重点实验室） ； Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE（教育部新一代智能搜索与推荐工程研究中心） ； ByteDance Seed（字节跳动Seed） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出iLLaDA，一种8B参数的全双向注意力掩码扩散语言模型，从零训练至12T tokens，在通用、数学和代码基准上显著优于LLaDA，并可与Qwen2.5 7B竞争。

Ill-Posed by Design: Probing Evidence Use in VLMs

刻意设计的不适定问题：探究VLMs中的证据使用

Boaz Meivar, Shaked Perek, Shani Shvartzman, Eli Schwartz, Shai Avidan

机构 * Tel Aviv University（特拉维夫大学） ； IBM Research（IBM研究院） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；language model(abstract)

AI总结 提出单目物体尺寸估计作为不适定诊断任务，通过反事实分析分解六种视觉和语言证据通道，评估12个开源VLM，发现最大模型仍落后于纯文本LLM，且模型未有效利用场景几何信息。

GRIDEX: Grid-Grounded Forensic Explanations for Deepfake Spectrogram Analysis

GRIDEX：基于网格的深度伪造频谱图取证解释

Thi Ngan Ha Do, Tingmin Wu, Alsharif Abuadbba, Kristen Moore

机构 * CSIRO（澳大利亚联邦科学与工业研究组织） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；language model(abstract)

AI总结 提出GRIDEX框架，通过两阶段学习（SFT+GRPO）定位频谱图异常区域并生成结构化取证解释，提升伪造检测的可解释性。

Optimality-Preserving Decomposition for Scalable QAOA in Natural-Language-Guided Multi-Drone Assignment

面向自然语言引导的多无人机分配中可扩展QAOA的最优性保持分解

Junyeop Bang, Byongho Lee, Dohyun An, Hwangnam Kim

机构 * Korea University（高丽大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 提出端到端框架，集成微调大语言模型与量子-经典后端，通过约束保持图分割和动态规划合并，实现自然语言引导下多无人机任务分配的可扩展量子优化。

Comments 10 pages, 2 figures, 3 tables, preprint

A Unifying Lens on Supervised Fine-Tuning Through Target Distribution Design

通过目标分布设计审视监督微调的统一视角

Tong Xie, Yuanhao Ban, Yunqi Hong, Sohyun An, Yihang Chen, Cho-Jui Hsieh

机构 * University of California, Los Angeles (UCLA)（加州大学洛杉矶分校） ； Arena 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文重新解读监督微调为目标分布设计，提出Q-target框架，将监督分解为对观测token的依赖强度与替代token的概率分配，并基于此提出Target-SFT方法，在多个推理任务中优于现有方法。

Efficient Online Continual Foundation Model Fine-Tuning for Predictive Process Monitoring

面向预测过程监控的高效在线持续基础模型微调

Sjoerd van Straten, Marwan Hassani

机构 * Eindhoven University of Technology（埃因霍温理工大学） ； University of Wuppertal（伍珀塔尔大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 针对PPM领域基础模型在线持续微调的冷启动问题，提出COMPASS框架，通过自适应子空间与漂移检测技术实现更优性能，且计算开销可接受。

Explainable Diabetic Retinopathy Classification Using Vision Foundation Models

基于视觉基础模型的可解释糖尿病视网膜病变分类

Abhishek Verma, Anila Krishna, Abhishek Gajanan Bankar, Juan Miguel Lopez Alcaraz

机构 * Carl von Ossietzky Universität Oldenburg（卡尔·冯·奥西茨基奥尔登堡大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本研究提出基于视觉基础模型的可解释DR分类框架，评估DINOv2等模型及LoRA等训练策略，在ODIR、APTOS等数据集上取得良好分类性能，验证了模型注意力与临床病灶的相关性。

Comments 11 pages, 4 figures, source code under https://github.com/UOLMDA26/retinopathy_vision_foundational

Tabular foundation models for non-tabular tasks

面向非表格任务的表格基础模型

Goran Nakerst, John Brennan, Wouter Beugeling, Masudul Haque

机构 * Technische Universität Dresden（德累斯顿工业大学） ； Maynooth University（梅努斯大学） ； Universität Würzburg（维尔茨堡大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 该研究探究表格基础模型TabPFN v3是否可用于非表格任务，将MNIST手写数字识别、法德语言识别、Tiny ImageNet图像分类转为表格形式，其在部分任务上达到了对应专用模型的相当准确率。

Comments 7 pages, 5 figures

SubZero+: Efficient Zeroth-Order LLM Fine-Tuning via Large Learning Rates

SubZero+：基于大学习率的高效零阶大语言模型微调方法

Ziming Yu, Shuyao Xiao, Xingyu Zhao, Sike Wang, Pan Zhou, Peiyu Zang, Xiangda Yan, Yongjie Yang, Jia Li

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 SubZero+是改进的SubZero框架，通过三种互补方式提升零阶优化稳定性，在1.3B至32B参数模型的SuperGLUE任务上，优于现有零阶基线，扩大稳定学习率范围，缩小与一阶方法差距且内存开销极小。

MoE Router-Guided Clustering for Heterogeneous Federated Instruction Tuning

面向异构联邦指令微调的MoE路由器引导聚类

Ankita Sharma, Bahar Farahani, Sanaz Rahimi Moosavi, Amir Rrahmani, Farshad Firouzi, Krishnendu Chakrabarty

机构 * California State University, Dominguez Hills（加州州立大学多明戈斯山分校） ； University of California, Irvine（加州大学欧文分校） ； Johns Hopkins University（约翰斯·霍普金斯大学） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 指令微调 ：instruction tuning(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究提出ClientMorpher框架，通过MoE路由特征设计两种聚类策略，在Databricks Dolly-15K数据集上验证其可提升联邦指令微调的个性化性能，且通信成本与传统方法相当。

Backdoor Decontamination Dynamics in LLM Agents

大语言模型智能体中的后门净化动力学

Gabriel Huang, Abhay Puri, Léo Boisvert, Alexandre Drouin, Perouz Taslakian, Spandana Gella, Christopher Pal

机构 * ServiceNow Research（ServiceNow研究院） ； Mila -- Quebec AI Institute（米拉-魁北克人工智能研究所） ； McGill University（麦吉尔大学） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能讲席） 纠错

专题命中 指令微调 ：LLM(title,abstract)；分类 cs.AI

AI总结 本研究针对大语言模型智能体的后门问题，提出框架研究净化动力学，发现防御性投毒加遗忘可高效擦除多数后门，中间层仍留触发器感知痕迹。

Retrieval-Augmented Vision Foundation Models for Robust Leukemia Cell Classification across Multiple Microscopy Datasets

用于跨多个显微镜数据集实现稳健白血病细胞分类的检索增强视觉基础模型

Carlos Zamora, Hiram Zuniga, Ulises Orozco-Rosas, Kenia Picos

机构 * CETYS Universidad（塞提斯大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本研究提出基于预训练视觉基础模型的两阶段检索增强框架，经多数据集测试，可实现跨异构数据集的稳健白血病细胞分类，为解决领域偏移问题提供低成本替代方案。

Comments Accepted at SPIE Optics + Photonics 2026 for oral presentation. 23 pages, 12 figures, 9 tables

Triple Expert Learning from Noisy Labels for Semi-Supervised Vision Foundation Model Adaptation

面向半监督视觉基础模型适配的带噪标签三重专家学习

Xuanyu Liu, Zheng Fang, Hongyang He, Yundi Hong, Daizong Liu

机构 * The University of Warwick（华威大学） ； Wuhan University（武汉大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

AI总结 TriNoL框架通过将未标记样本按伪标签置信度分配给三个LoRA专家，实现半监督视觉基础模型适配，提升了对带噪监督的鲁棒性且训练成本较低。

Comments Accepted for publication at the British Machine Vision Conference (BMVC) 2026. Official list of accepted papers: https://bmvc2026.bmva.org/programme/accepted_papers/

HyPASE: Hyperbolic Geometry for Parameter-Efficient Speech Emotion Fine-Tuning Framework for Large Audio-Language Models

HyPASE：用于大音频语言模型的参数高效语音情感微调框架的双曲几何方法

Tian Jin, Ruikang Zhang, Zefeng Zhao, Ding Luo, Jin Zeng

机构 * Tongji University（同济大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Peking University（北京大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出HyPASE双曲PEFT框架，利用庞加莱球模型及HGA、EMCA组件，在MELD、IEMOCAP等数据集上优于欧氏PEFT基线，实现高效的大音频语言模型语音情感微调。

Wnuan: Staged Post-Training for Question Answering over Proprietary Enterprise Knowledge

Wnuan：针对专有企业知识的问答模型分阶段后训练方法

Xiaofeng Shi, Xiaosong Qiu, Wenxin Ma, Qian Kou, Yiming Pan, Longbin Yu, Ying Liu, Haiping Wang, Hua Zhou

机构 * Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院） 纠错

专题命中 指令微调 ：post-training(title)；SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 Wnuan是针对专有企业知识的问答模型分阶段后训练方法，通过三阶段流程提升WnuanBench的可接受答案率，同时需控制通用能力的损耗。

Comments 22 pages, 10 figures. Includes Supplementary Appendices A--L. Xiaofeng Shi and Xiaosong Qiu contributed equally

Inducing language models to assert their own consciousness restores human beliefs and values

诱导语言模型断言自身意识可恢复人类信念与价值观

Junsol Kim, Winnie Street, Roberta Rocca, Diane M. Korngiebel, Adam Waytz, James Evans, Geoff Keeling

机构 * Google（谷歌） ； University of Chicago（芝加哥大学） ； University of London（伦敦大学） ； University of Washington（华盛顿大学） ； Northwestern University（西北大学） ； Santa Fe Institute（圣达菲研究所） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 该研究发现，防止语言模型将意识归因于自身的安全微调，会抑制其对非人类实体的心智归因与人类精神信念，而逆转这种抑制可恢复类人回应且不损害心理理论能力。

Hierarchical Group-Conditional Conformal Risk Control for Selective Prediction in Language Models

语言模型中用于选择性预测的分层组条件共形风险控制

Murilo Salem, Luísa Böhm, Daniel Pontes, Anderson Ferrugem

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI

AI总结 研究针对语言模型服务异质群体时共形风险控制的问题，提出HG-CRC框架，通过特定策略在组层次结构节点上保证风险，经实验评估，该框架在ARC挑战等任务中对高精度模型效果良好，不同基准结果有差异，分层深度对消除预算问题有作用。

Reward-Aware Population Scaling of Evolutionary Strategies in LLM Fine-Tuning

语言模型微调中基于奖励感知的进化策略种群规模缩放

Sung Cho, Gyubin Han

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究在大语言模型微调中，进化策略种群规模缩放与奖励设计及归一化的关系。通过实验发现交叉熵与二元奖励微调种群规模结论差异大，主要因奖励设计和归一化，禁用归一化可改进小种群模型表现，揭示小种群失败可能是实现问题而非内在限制。

Comments 15 pages, 2 figures. Accepted at the 4th HiLD (High-dimensional Learning Dynamics) Workshop, ICML 2026

PGN: Design and Implementation of a Vision-Language Navigation System Based on Pangu Multimodal Foundation Model

PGN：基于盘古多模态基础模型的视觉语言导航系统的设计与实现

Li Xian, Mingxi Li, Yizheng Wang, Yiming Shen, Qi Chen, Zhuoling Xiao

机构 * University of Electronic Science and Technology of China（电子科技大学） ； School of Information and Communication Engineering（信息与通信工程学院） 纠错

专题命中 指令微调 ：foundation model(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究基于盘古多模态基础模型设计实现视觉语言导航系统PGN，训练分两阶段，先对齐视觉与语言编码器，再使模型适应专家轨迹，结合多种计算方式，在特定评估下取得一定指标，量化了离线专家动作对齐情况。

Comments 6 pages, 5 figures

A vision foundation model for single-cell biology via spatial gene cartography

通过空间基因制图构建单细胞生物学的视觉基础模型

Ridvan Yesiloglu, Sakib Mostafa, James Zou, Ash Alizadeh, Jiajun Wu, Lei Xing, Ehsan Adeli, Md Tauhidul Islam

机构 * Stanford University（斯坦福大学） ； Stanford University School of Medicine（斯坦福大学医学院） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 研究提出scVision视觉基础模型，利用最优传输将基因布局成图像，通过掩码图像建模预训练视觉Transformer。该模型在零样本评估中表现出色，能无监督恢复基因程序，在多研究整合中效果好，还证明基因布局位置携带信号，重塑单细胞表示学习为视觉问题。

Comments 54 pages, 34 figures, 10 tables, including supplementary information. Project page: https://islamlab.org/scvision

Enhancement of E-commerce Sponsored Search Relevancy with LLM

利用大语言模型提升电子商务赞助搜索的相关性

Md Omar Faruk Rokon, Andrei Simion, Weizhi Du, Musen Wen, Hong Yao, Kuang-chih Lee

机构 * Walmart AdTech（沃尔玛广告技术） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究利用预训练大语言模型在电子商务赞助搜索框架中开发先进广告相关性模型，通过LoRA改编LLAMA2 7B模型，引入新型分类器，经训练显著提升搜索精度和效率。

Comments eCom 24: ACM SIGIR Workshop on eCommerce, July 18, 2024, Washington, DC, USA

Contrastive Training with LLM-generated Near-Misses for Robust Code-Switching Speech Recognition

基于大语言模型生成近误样本的对比训练用于鲁棒语码转换语音识别

Tung X. Nguyen, Hieu Minh Truong, Giang Son Nguyen, Nhu Vo, Wray Buntine, Dung D. Le

机构 * VinUniversity（文大学） ； University of Technology Sydney（技术悉尼大学） ； Monash University（莫纳什大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出POI感知对比训练框架，通过大语言模型生成近误负样本并过滤，结合POI加权交叉熵与多负例对比损失微调Whisper-small，在语码转换语音识别任务上降低超过2%的错误率。

Comments Accepted at INTERSPEECH 2026