语言大模型 / LLM

Parametric Knowledge in RAG-SFT for Domain-Specific Document Generation

参数化知识与检索行为在电子设计自动化RAG微调中的研究

Julian Oestreich, Maximilian Bley, Frank Binder, Lydia Müller, André Alcalde, Maksym Sydorenkoq

机构 * Institute for Applied Informatics (InfAI) at Leipzig University（莱比锡大学应用信息学院） ； CELUS GmbH, Munich（慕尼黑CELUS GmbH） 纠错

专题命中 指令微调 ：SFT(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨RAG微调在电子设计自动化长文本生成中的应用，提出TriFEX评估框架和参数化知识精度指标，揭示传统指标的局限性，并展示小型模型在专用任务中的有效性。

Training Leaves Traces: Centered Residual Signatures for Language Model Lineage Verification

训练留下痕迹：用于语言模型谱系验证的中心化残差特征

Aman Singh Thakur, Rayan Khoury

机构 * Amazon（亚马逊） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出中心化残差特征方法，通过移除残差训练产生的共享身份对齐组件，对比残差块特有结构得到谱系分数，可高效准确验证开源权重语言模型检查点的谱系

Comments Preprint

TEXAS: Task-Expert-Aware Supervision for Downstream Mixture-of-Experts LLM Adaptation

TEXAS：面向下游混合专家大语言模型适配的任务专家感知监督方法

Guanzhi Deng, Haibo Wang, Kuan Wu, Xiangru Jian, Shing Yin Wong, Sichun Luo, Zhuoran Wang, Linqi Song

专题命中 指令微调 ：LLM(title)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 TEXAS 是一种 MoE 大语言模型适配方法，通过对比模型成功与失败实例的专家激活发现任务专家，在微调时提升对应答案 token 权重，在多数基准测试中性能优于基线。

LoCA: Spatially-Aware Low-Rank Convolutional Adaptation of Vision Foundation Models

LoCA：视觉基础模型的空间感知低秩卷积自适应

Sojung An, Junha Lee, Sujeong You, Nam Ik Cho, Donghyun Kim

机构 * Korea University（韩国大学） ； Korea Institute of Industrial Technology（韩国产业技术研究院） ； Seoul National University（首尔国立大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究针对视觉基础模型自适应的挑战，提出低秩卷积自适应框架 LoCA，通过解耦通道与空间自适应，引入低秩通道自适应并优化空间基，在多视觉任务中保留预训练空间先验且性能优异。

Comments Accepted by ECCV 2026

Personalized Federated Sparse Adaptation of Time-Series Foundation Models

时间序列基础模型的个性化联邦稀疏适配

Priyanka Nihalchandani, Naman Srivastava, Varun Ojha, Pandarasamy Arjunan

机构 * Robert Bosch Centre for Cyber-Physical Systems, Indian Institute of Science（罗伯特·博世网络物理系统中心，印度科学学院） ； School of Computing, Newcastle University（纽卡斯尔大学计算学院） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对时间序列基础模型在建筑能源预测联邦适配中存在的参数共享策略适配性不足问题，提出异构混合专家适配器的个性化联邦稀疏适配框架，经50栋建筑及3种主干网络验证，性能优于全局及本地适配方法。

Comments 15 pages

MarsCast: Transfer Learning of AI Weather Foundation Models to Planetary Atmospheres

MarsCast：将AI天气基础模型的迁移学习应用于行星大气

M. L. Carroll, J. Li, S. D. Guzewich, G. Villanueva, J. A. Caraballo-Vega, M. J. Frost

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究将地球天气基础模型GraphCast适配为火星版本MarsCast，经微调后可模拟火星大气动力学，为行星天气预报及相关任务提供支持。

SleepVLM: A Rule-Grounded Vision-Language Model for Auditable Sleep Staging

SleepVLM：基于视觉语言模型的可解释且规则驱动的睡眠分期

Guifeng Deng, Pan Wang, Mengfan Niu, Jiquan Wang, Shuying Rao, Junyi Xie, Xi'ang Chen, Sha Zhao, Gang Pan, Wanjun Guo, Tao Li, Haiteng Jiang

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出SleepVLM，一种基于规则驱动的视觉语言模型，通过多通道PSG波形图像进行睡眠分期，并生成符合AASM评分标准的临床可读解释，在保持高准确率的同时提升可解释性。

Just on Time: Token-Level Early Stopping for Diffusion Language Models

准时完成：扩散语言模型的标记级早期停止

Zakhar Kohut, Severyn Shykula, Mykola Vysotskyi, Serhii Dmytryshyn, Dmytro Khamula, Michal Zakrzewski, Damian Rynczak, Jacek Małecki, Taras Rumezhak, Volodymyr Karpiv

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种无需训练的标记级早期停止方法，通过动态确定标记收敛点，减少扩散步骤并提升生成效率。

Comments Under review

Federated Foundation Models Fine-Tuning with Heterogeneous Compressed Clients

采用异构压缩客户端的联邦基础模型微调

Shengkun Zhu, Jinshan Zeng, Zhihua Allen-Zhao, Mayi Xu, Quanqing Xu, Wei Ren, Qiang Yang, Yang Liu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； OceanBase, Ant Group（蚂蚁集团OceanBase） ； School of Management, Xi’an Jiaotong University（西安交通大学管理学院） ； School of Mathematics and Statistics, Xidian University（西安电子科技大学数学与统计学院） ； School of Computer Science, Wuhan University（武汉大学计算机学院） ； School of Computer Science, China University of Geosciences（中国地质大学计算机学院） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对基础模型联邦学习的资源不对称问题，提出FedSLM框架，通过SVD分解等技术实现异构压缩客户端的联邦微调，实验显示其在多基准上优于现有基线且客户端内存需求更低。

Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning

可检测边界处的后训练：一种用于微调的博弈论方法

Keegan Harris, Brian W. Lee, Ian Waudby-Smith, Philip Amortila, Nika Haghtalab, Michael I. Jordan

机构 * University of California, Berkeley（加州大学伯克利分校） ； Inria（法国国家信息与自动化研究所） ； École Normale Supérieure（巴黎高等师范学院） 纠错

专题命中 指令微调 ：post-training(title)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出博弈论框架解决RL微调中KL正则化系数设置问题，将均衡系数归约为KL正则化RL目标，在Qwen3-8B等模型实验中实现良好奖励-保留权衡，可用于审计开源模型API提供商。

Operational Proto-Introspection in Looped Language Models: Process-Quality Taps, Executable Branching, and the Readout-Control Boundary

循环语言模型中的操作原语内省：过程质量挖掘、可执行分支和读出控制边界

Jan Kirin

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究语言模型能否读取计算质量及外部干预能否改善结果，通过在Ouro-RLTT中实验，利用隐藏状态等预测成功，构建相关机制，虽有可读属性但干预未提升能力，此为操作原语内省。

Comments 73 pages, 13 figures. Version 3 adds a powered and independently replicated Horizon Logic study; within-family and out-of-family recurrent-depth replication; a powered Thinking replication attempt; validated selective-prediction and all-well-formed content-selection conversions; exact-compute loop-allocation and minimal LoRA binding tests; and an expanded evaluation-integrity account

Physically Verifiable Evidence and LLM-Based Reporting for Bearing Fault Diagnosis

基于物理可验证证据和大语言模型的轴承故障诊断报告

Yuntong Chen, Jianyu Liu, Guobin Zhao, Ziang Wang, Chao Chen, Ju Huang, Xitian Tian, Lijiang Huang

专题命中 指令微调 ：LLM(title)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对安全关键型机械系统中AI诊断的验证问题，提出诊断证据网络DENet，将输出扩展为结构化证据记录，包括分类、预测特征频率等，能检测误分类，还通过约束语言模型减少无根据声明率，提升诊断可靠性。

No Optimal Language Set Exists for Multilingual Instruction Tuning: Insights from a Linguistically-Informed Study

多语言指令微调不存在最优语言集：基于语言信息研究的见解

Gürkan Soykan, Gözde Gül Şahin

专题命中 指令微调 ：instruction tuning(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究多语言指令微调中语言集选择问题，通过评估基于多种特征的语言信息选择策略与随机基线对比，发现固定预算下无通用语言选择策略，性能因任务和模型而异，超阈值加语言会致性能下降，还讨论了相关影响和评估陷阱。

Comments 7 pages, 4 figures Updated the title and revised the manuscript for submission to the Workshop on Insights from Negative Results in NLP (Insights 2026)

Small Vision-Language Models Know When They Are Wrong But Cannot Say So: A Two-Model Study of Stated versus Internal Confidence Under Realistic Image Degradation

小视觉语言模型知道自己何时出错但无法表达：在现实图像退化下对陈述置信度与内部置信度的双模型研究

M M Asif Ferdous

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究小型视觉语言模型在现实图像退化下陈述置信度与内部置信度的差异，通过评估两个模型在六种退化情况及三种严重程度下的表现，发现内部概率是更好的延迟信号，严重低光时两种信号都不可信。

Comments 15 pages, 4 figures

Tabular Foundation Models for Discrete Choice Estimation

用于离散选择估计的表格基础模型

Liu Liu, Dan Zhang

机构 * Leeds School of Business, University of Colorado Boulder（科罗拉多大学博尔德分校利兹商学院） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究离散选择估计中表格基础模型的应用，提出编码选择集依赖性和个体异质性的重新表述方法，在酸奶扫描仪面板数据上评估，该方法在预测准确性和速度上优于分层贝叶斯估计，为基础模型应用于消费者选择问题提供原则性方法。

MxGPS: Multiplex Graph Transformers for a Power Grid Foundation Model

MxGPS：用于电网基础模型的多路图变换器

Charilaos Papaioannou, Ioannis Tsantilas, Dimitris Giannakakos, Vasilis Michalakopoulos, Sotiris Pelekis, Vangelis Marinakis, Arsam Aryandoust, Antonello Monti, Ricardo J. Bessa, Perdo P. Vergara, Jochen Cremer, Elissaios Sarmas

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究电网问题中图神经网络单任务微调的拓扑过拟合故障，提出MxGPS多路图变换器，通过自监督预训练和多任务微调联合训练SSE与PF，实验表明其能有效防止拓扑过拟合，以少得多参数实现拓扑无关泛化。

Comments 10 pages, 4 figues

No Time Like the Present: Agentic Test-Time Training for LLM Agents

机不可失：大语言模型智能体的测试时训练

Yanbo Wang, Jinhua Hao, Yuze Shi, Kun Yuan, Ming Sun

机构 * Kuaishou Technology（快手科技） 纠错

专题命中 指令微调 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究多轮智能体情节中的连续测试时训练，提出智能体测试时训练方法，通过token级重加权减少重复文本损失，构建并发服务系统，提升了在ALFWorld和SWE-bench Lite上的成功率。

Comments 15 pages, 10 figures

Out-of-Distribution Generalization of Risk Aversion in Language Models

语言模型中风险规避的分布外泛化

Kristina Zhang, Junior Chinomso Okoroafor, Benjamin Maltbie, Andrew Lin, Abhitej Bokka, Elliott Thornley

专题命中 指令微调 ：language model(title)；SFT(abstract)；分类 cs.AI、cs.LG

AI总结 研究训练人工智能在资源方面规避风险能否泛化至高风险场景。通过引入RiskAverseOOD基准测试，用多种方法使模型在低风险时规避风险，发现其能部分泛化至高风险，不同规模和模型家族也有类似效果，但一致性不足。

Comments ICML 2026 Agents in the Wild workshop

Seeing Is Not Sharing: Some Vision-Language Models Overestimate Common Ground in Asymmetric Dialogue

看见不等于共享：一些视觉-语言模型在非对称对话中高估共同基础

Nan Li, Albert Gatt, Massimo Poesio

机构 * Utrecht University（乌得勒支大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究视觉-语言模型在对话中是否混淆潜在共享与已共享信息，发现模型过度依赖地图内容预测对齐，忽视对话历史中的基础建立过程。

Comments 17 pages, 9 figures, 8 tables; accepted to SIGDIAL 2026

ScAle: Attention Head Scaling as a Minimal Adapter for Spatial Reasoning in Vision Language Models

ScAle: 注意力头缩放作为视觉语言模型中空间推理的最小适配器

Rahul Chowdhury, Timothy A Rupprecht, Xuan Shen, Pu Zhao, Yanzhi Wang

机构 * Northeastern University（东北大学） ； EmbodyX Inc.（EmbodyX公司） ； Zhejiang University（浙江大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出ScAle，一种超轻量适配方法，通过学习少量标量系数调节冻结骨干网络中的注意力头和MLP激活，仅用1K可训练参数在空间推理任务上实现高达134.1%的相对精度提升。

Comments Accepted by ECCV 2026

Memory Depth, Not Memory Access: Selective Parametric Consolidation for Long-Running Language Agents

记忆深度，而非记忆访问：面向长时间运行语言代理的选择性参数巩固

Haoliang Han

专题命中 指令微调 ：language agent(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出选择性参数巩固机制EVAF，通过惊奇和效价门控的LoRA写入，在长时间运行中维持目标导向行为，与检索互补，实验显示在目标持久性上优于检索。

Comments Main paper with supplementary material included as ancillary file

Mitigating Hallucinations via Inter-Layer Consistency Aggregation in Large Vision-Language Models

通过层间一致性聚合缓解大型视觉-语言模型中的幻觉

Kai Tang, Jinhao You, Yichen Guo, Yiding Sun, Dongxu Zhang, Wenya Wang, Hanze Li, Tao Luo, Renyuan Li, Xiande Huang, Shanghang Zhang

机构 * Peking University（北京大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Nanyang Technological University（南洋理工大学） ； Tsinghua University（清华大学） ； Virginia Tech（弗吉尼亚理工大学） ； University of Electronic Science and Technology of China（电子科技大学） ； De Artificial Intelligence Lab（人工智能实验室） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出训练无关的解码方法DCLA，通过聚合前层表示构建动态语义参考并纠正语义偏差层，增强层间一致性，在多个LVLM和基准上显著降低幻觉。

Retrieval-Augmented Personalization with Foundation Models for Wearable Stress Detection

基于检索增强个性化与基础模型的可穿戴压力检测

Louis Simon, Mohamed Chetouani

机构 * Institut des Systèmes Intelligents et de Robotique（智能系统与机器人研究所） ； Sorbonne University（索邦大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对可穿戴压力检测中个体差异大的问题，提出基于检索增强的轻量级个性化方法，利用冻结的基础模型从用户历史中检索相似模式生成紧凑嵌入，在WESAD数据集上准确率提升3.92%，宏F1提升4.76%，接近监督微调性能且无需标签数据。

Matching Tasks to Objectives: Fine-Tuning and Prompt-Tuning Strategies for Encoder-Decoder Pre-trained Language Models

匹配任务与目标：编码器-解码器预训练语言模型的微调和提示调优策略

Ahmad Pouramini, Hesham Faili

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出MTO框架，通过匹配任务与预训练目标，在少样本和全数据集场景下显著提升编码器-解码器模型的生成与问答性能，性能增益超120%。

Journal ref Appl Intell 54(20):9783-9810, 2024

Scheduling Thoughts: Learning the Order of Thought in Diffusion Language Models

调度思维：在扩散语言模型中学习思维的顺序

Jiawei Xu, Minghui Liu, Aakriti Agrawal, Yifan Chen, Furong Huang

机构 * University of Maryland, College Park（马里兰大学帕克分校） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出自感知调度（SAS），通过策略优化学习扩散语言模型中的去掩码顺序，显著提升Sudoku和数学推理任务的生成质量。

Distributional Regression with Tabular Foundation Models: Evaluating Probabilistic Predictions via Proper Scoring Rules

基于表格基础模型的分布回归：通过适当评分规则评估概率预测

Jonas Landsgesell, Pascal Knoll, Tizian Wenzel

机构 * University of Stuttgart（斯图加特大学） ； Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对表格基础模型（如TabPFN、TabICL）生成完整预测分布但基准仅用点估计指标的问题，提出使用适当评分规则进行训练、微调和排名，证明不同评分规则在有限数据上导致不同归纳偏差和模型性能。

PromptMN: Pseudo Prompting Language

PromptMN: 伪提示语言

Enkhzol Dovdon

机构 * ICT Group（ICT集团） 纠错

专题命中 指令微调 ：prompting(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出PromptMN，一种伪提示领域特定语言，通过紧凑的%前缀类型指令注释自然语言，减少上下文歧义，提升人机交互的清晰度和可审查性。

Comments 32 pages, 2 figures

Clay-CNN Hybrids: Leveraging Geospatial Foundation Models as Auxiliary Context for Landslide Detection

Clay-CNN混合模型：利用地理基础模型作为滑坡检测的辅助上下文

Huong Binh Vu

机构 * Harvard University（哈佛大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对滑坡检测中的极端类别不平衡问题，提出将地理基础模型Clay v1.5作为辅助上下文注入U-Net瓶颈的混合方法，在Landslide4Sense基准上达到64.5% F1，优于纯Clay或U-Net基线。

Comments 9 pages, 7 figures, 2 tables

Code2LoRA: Hypernetwork-Generated Adapters for Code Language Models under Software Evolution

Code2LoRA：用于软件演化下代码语言模型的超网络生成适配器

Liliana Hotsko, Yinxi Li, Yuntian Deng, Pengyu Nie

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出Code2LoRA超网络框架，通过生成仓库特定的LoRA适配器注入仓库知识，无需推理时令牌开销，支持静态和演化两种场景，在RepoPeftBench上达到与逐仓库LoRA相当或更优的性能。

No Need to Train Your RDB Foundation Model

无需训练你的关系数据库基础模型

Linjie Xu, Yanlin Zhang, Quan Gan, Minjie Wang, David Wipf

机构 * University of Hong Kong, Shanghai X-Lab（香港大学，上海X实验室） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于上下文学习的关系数据库编码器，能够在不重新训练的情况下，与现有的单表上下文学习基础模型结合，实现对多张相关表的高效处理。

Comments International Conference on Machine Learning (ICML) 2026