语言大模型 / LLM

DeepONet as a Multi-Operator Extrapolation Model: Distributed Pretraining with Physics-Informed Fine-Tuning

Zecheng Zhang, Christian Moya, Lu Lu, Guang Lin, Hayden Schaeffer

专题命中 指令微调 ：pretraining(title)；分类 cs.LG

MuAP: Multi-step Adaptive Prompt Learning for Vision-Language Model with Missing Modality

Ruiting Dai, Yuqiao Tan, Lisi Mo, Tao He, Ke Qin, Shuang Liang

专题命中 指令微调 ：language model(title)；分类 cs.AI

Game On: Towards Language Models as RL Experimenters

Jingwei Zhang, Thomas Lampe, Abbas Abdolmaleki, Jost Tobias Springenberg, Martin Riedmiller

专题命中 指令微调 ：language model(title)；分类 cs.AI

Robust Federated Finetuning of Foundation Models via Alternating Minimization of LoRA

Shuangyi Chen, Yue Ju, Hardik Dalal, Zhongwen Zhu, Ashish Khisti

专题命中 指令微调 ：foundation model(title)；分类 cs.LG

Comments Presented at ES-FOMO-II@ICML2024

Rescue: Ranking LLM Responses with Partial Ordering to Improve Response Generation

Yikun Wang, Rui Zheng, Haoming Li, Qi Zhang, Tao Gui, Fei Liu

专题命中 指令微调 ：LLM(title)；分类 cs.CL

Comments ACL 2024 SRW

SAM-OCTA: Prompting Segment-Anything for OCTA Image Segmentation

Xinrun Chen, Chengliang Wang, Haojian Ning, Shiying Li, Mei Shen

专题命中 指令微调 ：prompting(title)；分类 cs.LG

Comments arXiv admin note: text overlap with arXiv:2309.11758

Improving Prompt Tuning with Learned Prompting Layers

Wei Zhu, Ming Tan

专题命中 指令微调 ：prompting(title)；分类 cs.CL

Comments Accepted by EMNLP-2023

DN at SemEval-2023 Task 12: Low-Resource Language Text Classification via Multilingual Pretrained Language Model Fine-tuning

Daniil Homskiy, Narek Maloyan

专题命中 指令微调 ：language model(title)；分类 cs.CL

Towards a Foundation Model for Neural Network Wavefunctions

Michael Scherbela, Leon Gerard, Philipp Grohs

专题命中 指令微调 ：foundation model(title)；分类 cs.LG

SpeechCLIP: Integrating Speech with Pre-Trained Vision and Language Model

Yi-Jen Shih, Hsuan-Fu Wang, Heng-Jui Chang, Layne Berry, Hung-yi Lee, David Harwath

专题命中 指令微调 ：language model(title)；分类 cs.CL

Comments Accepted to IEEE SLT 2022

Multilingual Transformer Language Model for Speech Recognition in Low-resource Languages

Li Miao, Jian Wu, Piyush Behre, Shuangyu Chang, Sarangarajan Parthasarathy

专题命中 指令微调 ：language model(title)；分类 cs.CL

DualPrompt: Complementary Prompting for Rehearsal-free Continual Learning

Zifeng Wang, Zizhao Zhang, Sayna Ebrahimi, Ruoxi Sun, Han Zhang, Chen-Yu Lee, Xiaoqi Ren, Guolong Su, Vincent Perot, Jennifer Dy, Tomas Pfister

专题命中 指令微调 ：prompting(title)；分类 cs.LG

Comments Published at ECCV 2022 as a conference paper

Tip-Adapter: Training-free CLIP-Adapter for Better Vision-Language Modeling

Renrui Zhang, Rongyao Fang, Wei Zhang, Peng Gao, Kunchang Li, Jifeng Dai, Yu Qiao, Hongsheng Li

专题命中 指令微调 ：language model(title)；分类 cs.CL

Comments preprints

A Layer-wise Analysis of Supervised Fine-Tuning

对监督微调的分层分析

Qinghua Zhao, Xueling Gong, Xinyu Chen, Zhongfeng Kang, Xinlu Li

机构 * Hefei University（合肥大学） ； Lanzhou University（兰州大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文通过信息论、几何和优化指标分析模型规模，揭示了中间层稳定而顶层敏感的分层特性，并提出Mid-Block Efficient Tuning方法，在GSM8K数据集上优于LoRA，证明有效对齐是局部而非分布的。

Comments Accepted by ACL 2026 main conference

Names Can Hurt: Spotting Slopsquatting Risks Caused by Package Name Hallucinations in Local Coding LLMs

名称会造成危害：检测本地编码大语言模型中包名幻觉引发的slopsquatting风险

Akash Raj, Sargam Sahu

专题命中 指令微调 ：language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.AI

AI总结 本文针对本地编码大语言模型的包名幻觉引发的slopsquatting风险，提出双层检测器结合LangGraph状态机，在300个提示词上实现76%无幻觉代码，用户满意度达4.4分，21/24用户有采用意向。

Comments 14 pages, 2 figures, 6 tables. Code and data at https://github.com/sargamsahu1011/package-hallucination-detector

When Can One Neuron Fix Repetition Loops in LLMs?

编辑1个神经元能修复LLM中的重复循环吗？

Aristotelis Lazaridis, Aman Sharma, Dylan Bates, Brian King, Vincent Lu, Jack FitzGerald

机构 * Edgerunner AI 纠错

专题命中 指令微调 ：LLM(title_cn)；分类 cs.AI、cs.LG

AI总结 本文发现Gemma 4模型在长事实列举任务中高达95%的概率陷入重复循环，通过逐层消融和逐神经元归因定位到少量MLP神经元，并用静态权重编辑（小至单个神经元符号反转）消除循环，但无法解决因知识缺失导致的“末日循环”。

What Models Know, How Well They Know It: Knowledge-Weighted Fine-Tuning for Learning When to Say "I Don't Know"

什么模型知道，它知道得有多好：基于知识加权的微调方法用于学习何时说“我不知道”

Joosung Lee, Hwiyeol Jo, Donghyeon Ko, Kyubyung Chae, Cheonbok Park, Jeonghoon Kim

机构 * NAVER CLOUD（NAVER云） ； Seoul National University（首尔国立大学） ； KAIST（韩国科学技术院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种基于知识加权的微调方法，通过估计实例级知识评分来提升模型在知识不足时的不确定性表达能力，同时保持对已知问题的准确性。

Comments Findings of EMNLP 2026

From Isolation to Alignment: Unified LoRA for Efficient Multi-Task Learning

从孤立到对齐：用于高效多任务学习的统一LoRA

Jinda Liu, Yi Chang, Yuan Wu

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究针对多任务PEFT中复杂LoRA变体的范式提出挑战，提出统一高效的Align-LoRA框架，通过显式对齐损失实现表示对齐，保留标准LoRA架构并实现零推理延迟，性能优于现有方法。

Comments Accepted by EMNLP

How to Train a Real-World Silicon Concierge? Internalizing Complex Business Workflow to Only OneModel

如何训练一个实用的硅基智能管家？将复杂业务工作流内化至单个模型

Chang Liu, Chaoyang Ning, Dayi Jiang, Enrui Gu, Fang Ran, Hongyan Xue, Huaqing Li, Hui Cai, Jia Liu, Jiang-Ming Yang, Jianshe Li, Jiawei Luo, Jin Zhou, Leshen Zhu, Lihui Chen, Liying Ma, Lyuxin Xue, Mengjian Ji, Ruijia Xu, Wei Ren, Wei Wu, Xiaoling Qu, Xiaoyun Feng, Xin Zhang, Xixie Zhou, Xuanwei Hu, Yan Chen, Yichao Wang, Yongqi Tong, Yu Liu, Yuhong Zhou, Zemin Sun, Zhenwen Xu, Zhiling Liu, Zifan Wang

机构 * Ant International（蚂蚁国际） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 该研究针对传统工业智能体模块化流水线的缺陷，提出OneModel范式，将业务逻辑与SOP内化至模型，在金融服务系统中实现延迟大幅降低、解决率提升，为工业智能体架构升级提供蓝图。

Comments Accepted to the ACL 2026 Industry Track (Oral). To appear in Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Industry Track)

Projector Is All You Train

仅训练投影器就足够

Nyx Iskandar, Saathvik Selvan, Slater Victoroff

机构 * Ramen VR（拉面VR公司） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 该研究探究多模态大语言模型适配新模态是否需微调主干，经实验发现仅训练投影器即可实现强多模态性能，还能避免联合训练导致的语言模型能力漂移，且训练样本吞吐量约为联合训练的两倍，通过多类基准验证了结论。

Efficient Adaptation of LLMs for Hate Speech Detection in Low-Resource Languages: A Comparative Study on Roman Urdu

低资源语言仇恨言论检测的大语言模型高效适配：以罗马乌尔都语为例的比较研究

Toneema Zubair, Muhammad Junaid Asif, Faisal Kamiran, Hafiz Hassan Saeed, Rana Fayyaz Ahmad

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文针对罗马乌尔都语仇恨言论检测的低资源语言场景，对比评估Mistral等大语言模型，发现采用LoRA参数高效微调可显著提升性能，且计算效率优异。

First-Token Broadcasters: Mechanistic Origins of Language Identity and Distributed Robustness in Transformers

首个令牌广播者：Transformer中语言身份与分布式鲁棒性的机制起源

Arjun Pillai, Christian Hoang, Anjelo Jann Laroza

机构 * Irvington High School（欧文顿高中） ； GenAI4E ； Mapua University（马普阿大学） 纠错

专题命中 指令微调 ：language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.AI

AI总结 通过因果干预方法LIHA，发现Transformer中少量注意力头（如GPT-2的L6H1）持续关注首个令牌并广播语言信号，且消融后补偿呈现层级前馈模式；指令微调将语言身份电路重组至早期层。

Comments Under review at Interp4Discovery @ NeurIPS 2026

FiLoRA: Focus-and-Ignore LoRA for Controllable Feature Reliance

FiLoRA: 专注与忽略LoRA用于可控的特征依赖

Hyunsuk Chung, Soyeon Caren Han, Seungyeon Ji, Jinwoo Kim, Eun-Jung Holden, Kyungreem Han

机构 * University of Melbourne, Melbourne, Australia ； Brain Science Institute, Korea Institute of Science ； Department of Computer Science ； Engineering, Korea University, Seoul, Republic of Korea ； Division of Bio-Medical Science \& Technology, University of Science ； Technology KIST School, Seoul, Republic of Korea 纠错

专题命中 指令微调 ：foundation model(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 FiLoRA通过指令条件门控实现对多模态模型内部特征依赖的可控调节，提升模型在虚假特征干预下的鲁棒性。

J-Miner: Recovering Executable Decision Knowledge from Language-Model Classifiers

J-Miner：从语言模型分类器中恢复可执行的决策知识

Yunfan Gao, Xinyi Huang, Tao Sheng, Haorui Song, Yun Xiong, Haofen Wang

机构 * Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University（同济大学上海智能自主系统研究院） ； Shanghai Key Laboratory of Data Science, College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机与人工智能学院上海市数据科学重点实验室） ； Meituan（美团） ； College of Design and Innovation, Tongji University（同济大学设计创意学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 J-Miner可从微调后的语言模型分类器中挖掘隐含的决策知识，生成可执行规则，规则复现源分类器决策精度高、保真度优，还能迁移至轻量级模型并保留高准确率。

Comments 19 pages, 12 figures, and 13 tables; includes appendices

Step-Level On-Policy Distillation: Interpolating Between On-Policy Distillation and Supervised Fine-Tuning

步骤级在线策略蒸馏：在线策略蒸馏与监督微调的插值方法

Changhui Sun, Lanbo Liu, Hang Lei, Tong Ling, Jiahang Xie, Zhiyong Zheng, Yujia Wang, Hao Liu, Feng Xiao, Lu Liu, Yanlong Du, Zifeng Cheng, Ziwei Jiang, Qing Gu

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（南京大学现代软件技术国家重点实验室） ； XingYun Lab, HUJING Digital Media & Entertainment Group（星云实验室，沪景数字媒体娱乐集团） ； University of Chinese Academy of Sciences（中国科学院大学） ； School of Data Science, Fudan University（复旦大学数据科学学院） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 该研究针对令牌级在线策略蒸馏的局限，提出步骤级在线策略蒸馏SOPD，结合监督微调与在线策略蒸馏的优势，在推理和智能体任务上显著优于传统方法，为蒸馏研究提供新视角。

FedPA-LoRA: Product-Aligned Framework for Mitigating Aggregation and Initialization Errors in Heterogeneous Federated LoRA

FedPA-LoRA：用于缓解异构联邦LoRA中聚合与初始化误差的产品对齐框架

Juseok Jeon, Ramy E. Ali, Doyun Kwon, Myungbeom Her, Jinhwi Kim, Jinhyun So

机构 * DGIST（大邱庆北科学技术院） ； Samsung（三星） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 FedPA-LoRA是缓解异构联邦LoRA聚合与初始化误差的产品对齐框架，在多任务实验中较基线方法平均GLUE准确率最高提升6.82个百分点。

Comments 35 pages, 6 figures. Code: https://github.com/Juseok-Jeon/FedPA-LoRA

Automatic or Controlled? Repetition Priming Reveals Divergent Processing in Base LLMs, Instruct LLMs, and Humans

自动还是受控？重复启动揭示基础大语言模型、指令调优大语言模型与人类的加工差异

Jinglei Ren, Yuyue Wang

机构 * University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

专题命中 指令微调 ：language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 该研究通过重复启动实验对比基础大语言模型、指令调优大语言模型与人类的重复信息加工差异，发现训练后模型加工模式发生质变，且Qwen 2.5家族中该差异随规模增大而增强。

mR$^2$AG: Multimodal Retrieval-Reflection-Augmented Generation for Knowledge-Based VQA

mR²AG：用于基于知识的视觉问答的多模态检索-反思增强生成

Tao Zhang, Ziqi Zhang, Zongyang Ma, Yuxin Chen, Zhongang Qi, Chunfeng Yuan, Bing Li, Junfu Pu, Yuxuan Zhao, Zehua Xie, Jin Ma, Ying Shan, Weiming Hu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Beijing Key Laboratory of Super Intelligent Security of Multi-Modal Information（多模态信息超级智能安全北京市重点实验室） ； Tencent Inc.（腾讯公司） ； Huawei Noah’s Ark Laboratory（华为诺亚方舟实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对多模态大语言模型在基于知识的视觉问答中的缺陷，提出mR²AG框架，通过两种反思操作实现自适应检索与信息定位，在相关基准任务上性能优于现有方法。

Comments Accepted for publication in IEEE Transactions on Multimedia (TMM)

Steering the Language Axis: From Linear Decodability to Causal Control

操控语言轴：从线性可解码到因果控制

Arnav Srivastav

机构 * University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究探究大语言模型的语言身份是否可通过紧凑激活方向因果控制，在Qwen、Llama等模型的126万次生成上证实，分离的PCA导出语言轴可可靠操控语言切换，且语言选择具层特异性与语言对依赖性。

Comments 22 pages, 14 figures, Under review

Logit-Boundary Geometric Belief Interfaces and Sparse Sheaf-Enclave Protocols: A Self-Contained Substrate for Secure Network Electronic Health Record (EHR) Interoperability

Logit边界几何置信接口与稀疏层束 enclaves 协议：安全网络电子健康记录（EHR）互操作性的自包含底层架构

Alvin Spivey, Yu Huang

机构 * Light Imaging Technologies, Inc.（光成像技术公司） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 该研究提出Logit边界几何置信接口与稀疏层束 enclaves 协议，构建EHR互操作的自包含底层架构，经GBI BoundaryBench v0.1评估，Qwen3-4B-Instruct-2507在该接口下无符合要求的输出，为接受边界提供实证证据。

Comments 39 pages; executable Julia verification code included as ancillary material; companion public benchmark: https://github.com/AlvinSpivey/GBI-BoundaryBench