语言大模型 / LLM

Spatial-MLLM: Boosting MLLM Capabilities in Visual-based Spatial Intelligence

Spatial-MLLM: 提升基于视觉的空域智能的MLLM能力

Diankun Wu, Fangfu Liu, Yi-Hsin Hung, Yueqi Duan

机构 * Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Spatial-MLLM，一种基于纯2D观测的视觉空域推理框架，通过双编码器架构和空间感知帧采样策略提升空域理解能力，实验表明其在多种视觉空域任务中达到SOTA性能。

Comments 22 pages

Fair outputs, Biased Internals: Causal Potency and Asymmetry of Latent Bias in LLMs for High-Stakes Decisions

公平的输出，偏见的内部：在高风险决策中LLM中的因果潜能与潜在偏见的不对称性

Jagdish Tripathy, Marcus Buckmann

机构 * Bank of England（英格兰银行） 纠错

专题命中 指令微调 ：LLM(title_cn)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究发现，尽管指令微调的语言模型在高风险决策中表现公平，但其内部表示仍保留并放大了种族相关的偏见，且这种偏见在不同群体中不对称，需通过双层测试框架进行治理。

Comments 39 pages, 16 figures, 2 tables

Safety Anchor: Defending Harmful Fine-tuning via Geometric Bottlenecks

安全锚：通过几何瓶颈防御有害微调

Guoxin Lu, Letian Sha, Qing Wang, Peijie Sun, Hao Zhou, Hua Dai, Fu Xiao

机构 * Nanjing University of Posts and Telecommunications（南京邮电大学） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出安全瓶颈正则化(SBR)，通过几何瓶颈层限制有害查询的隐藏状态，以对抗有害微调攻击，实验表明单个安全锚即可显著降低有害分数。

Comments Accepted to ICML 2026

CRAFT: Forgetting-Aware Intervention-Based Adaptation for Continual Learning

CRAFT：面向持续学习的遗忘感知干预式适应

Md Anwar Hossen, Fatema Siddika, Juan Pablo Munoz, Tanya Roosta, Ali Jannesari

机构 * Iowa State University（爱荷华州立大学） ； Maro Systems（Maro系统） ； University of California, Berkeley（加州大学伯克利分校） ； AMD 纠错

专题命中 指令微调 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 CRAFT通过在隐藏表示上学习低秩干预，避免更新模型权重，通过输出分布分歧路由任务、KL散度正则化和合并干预，减少遗忘并提升性能。

Comments 24 pages

ZAYA1-8B Technical Report

ZAYA1-8B 技术报告

Robert Washbourne, Rishi Iyer, Tomas Figliolia, Henry Zheng, Ryan Lorig-Roach, Sungyeon Yang, Pritish Yuvraj, Quentin Anthony, Yury Tokpanov, Xiao Yang, Ganesh Nanduru, Stephen Ebert, Praneeth Medepalli, Skyler Szot, Srivatsan Rajagopal, Alex Ong, Bhavana Mehta, Beren Millidge

机构 * Zyphra 纠错

专题命中 指令微调 ：pretraining(abstract)；post-training(abstract)；SFT(abstract)；分类 cs.CL、cs.AI

AI总结 ZAYA1-8B 是基于 MoE++ 架构的推理聚焦混合专家模型，通过全栈 AMD 平台训练，在数学和编程基准中表现优异，采用 RL 策略和 Markovian RSA 方法提升推理性能。

Distilling Self-Consistency into Verbal Confidence: A Pre-Registered Negative Result and Post-Hoc Rescue on Gemma 3 4B

将自我一致性融入言语自信：Gemma 3 4B上的预注册负结果及事后补救

Jon-Paul Cacioli

机构 * Independent Researcher, Melbourne, Australia（墨尔本独立研究者） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究发现，小规模指令微调LLM在最小激发下产生退化言语自信，通过自我一致性衍生目标的自信条件监督微调未能缩小内部信息与言语输出间的差距，但事后去除过滤器后在TriviaQA上提升了AUROC2至0.774，支持目标依赖性解释。

Comments 12 pages, 3 figures, 4 tables. Pre-registered on OSF (https://osf.io/mpcr5). Code and data: https://github.com/synthiumjp/metacog-engineering

Verbal Confidence Saturation in 3-9B Open-Weight Instruction-Tuned LLMs: A Pre-Registered Psychometric Validity Screen

3-9B开放权重指令微调LLM中的言语自信饱和：一项预注册的心理计量效度筛查

Jon-Paul Cacioli

机构 * Independent Researcher（独立研究员） 纠错

专题命中 指令微调 ：LLM(title_cn,abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究测试了七种指令微调的开放权重模型在最小数值提示下产生言语化自信是否满足最低效度标准，发现所有模型在数值自信上无效，且类别提示未能恢复效度。

Comments 10 pages, 3 figures, 4 tables, 1 appendix. Pre-registered: osf.io/azbvx. Code and data: github.com/synthiumjp/koriat

Location Not Found: Exposing Implicit Local and Global Biases in Multilingual LLMs

位置未找到：揭示多语言大语言模型中的隐含本地和全球偏见

Guy Mor-Lan, Omer Goldman, Matan Eyal, Adi Mayrav Gilady, Sivan Eiger, Idan Szpektor, Avinatan Hassidim, Yossi Matias, Reut Tsarfaty

机构 * Google Research（谷歌研究） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过LocQA测试集研究多语言模型的本地和跨语言偏见，发现模型对美国本地信息有全球偏见，并在指令微调模型中更显著，同时在同一种语言内优先考虑人口多的地区。

Comments ACL 2026 main conference

ShadowPEFT: Shadow Network for Parameter-Efficient Fine-Tuning

ShadowPEFT：用于参数高效微调的影子网络

Xianming Li, Zongxi Li, Tsz-fung Andrew Lee, Jing Li, Haoran Xie, Qing Li

机构 * COMP, PolyU（PolyU计算机科学系） ； Division of Artificial Intelligence, Lingnan University（岭南大学人工智能学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 ShadowPEFT提出了一种集中化参数高效微调框架，通过共享的影子模块实现层级细化，相比LoRA等方法更高效灵活，实验表明其在参数预算下表现优异。

When Can LLMs Learn to Reason with Weak Supervision?

大语言模型何时能通过弱监督学习推理？

Salman Rahman, Jingyan Shen, Anna Mordvina, Hamid Palangi, Saadia Gabriel, Pavel Izmailov

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； New York University（纽约大学） ； Google（谷歌） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨了在弱监督下大语言模型推理能力的提升条件，发现训练奖励饱和动态决定泛化能力，通过分离预训练和微调发现显式推理轨迹的监督微调是关键。

Parameter Importance is Not Static: Evolving Parameter Isolation for Supervised Fine-Tuning

参数重要性并非静态：为监督微调设计的演进参数隔离

Zekai Lin, Chao Xue, Di Liang, Xingsheng Han, Peiyang Liu, Xianjie Wu, Lei Jiang, Yu Lu, Haibo Shi, Shuang Liang, Minlong Peng

机构 * Tencent Hunyuan（腾讯文言） ； Tencent Yuanbao（腾讯元宝） ； Peking University（北京大学） ； UESTC ； University of New South Wales（新南威尔士大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出EPI框架，通过动态调整参数隔离策略，减少训练中的任务干扰和遗忘，提升模型泛化能力。

From Imitation to Discrimination: Progressive Curriculum Learning for Robust Web Navigation

从模仿到鉴别：面向鲁棒网络导航的渐进课程学习

Chuang Peng, Wei Zhang, Renshuai Tao, Xinhao Zhang, Jian Yang

机构 * Beijing Jiaotong University（北京交通大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；preference optimization(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出Triton数据集和渐进训练课程，通过结构-语义硬负样本挖掘和双代理共识流程构建，提升网络导航中对复杂页面的鉴别能力与泛化能力，最终在Mind2Web上验证了专用数据课程优于单纯参数规模的优势。

Comments 17 pages, 10 figures

New Hybrid Fine-Tuning Paradigm for LLMs: Algorithm Design and Convergence Analysis Framework

大语言模型的新混合微调范式：算法设计与收敛分析框架

Shaocong Ma, Peiran Yu, Heng Huang

机构 * University of Maryland（马里兰大学） ； University of Texas Arlington（德克萨斯大学阿灵顿分校） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种混合微调方法，结合零阶和一阶优化方法更新LLM和PEFT模块，通过混合平滑条件理论分析其收敛性，并在多种下游任务中验证了有效性。

Comments Accepted by ICLR 2026

Synthetic Sandbox for Training Machine Learning Engineering Agents

合成沙盒用于训练机器学习工程代理

Yuhang Zhou, Lizhu Zhang, Yifan Wu, Jiayi Liu, Xiangjun Fan, Zhuokai Zhao, Hong Yan

机构 * Meta AI 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出SandMLE框架，通过生成多样化的合成机器学习工程环境，显著提升机器学习工程代理的训练效率，实现大规模在线策略学习，并在多个基准测试中取得显著性能提升。

Comments 28 pages, 9 tables, 8 figures

Theory of Mind and Self-Attributions of Mentality are Dissociable in LLMs

语言模型中理论思维与自我归因的意识能力是可分离的

Junsol Kim, Winnie Street, Roberta Rocca, Daine M. Korngiebel, Adam Waytz, James Evans, Geoff Keeling

机构 * Google, Paradigms of Intelligence Team（Google，智能范式团队） ； Knowledge Lab, University of Chicago（芝加哥大学知识实验室） ； Institute of Philosophy, School of Advanced Study, University of London（伦敦大学高等研究院哲学研究所） ； Department of Biomedical Informatics and Medical Education and Department of Bioethics and Humanities, School of Medicine, University of Washington（华盛顿大学医学院生物医学信息学与医学教育系及生物伦理学与人文学系） ； Kellogg School of Management, Northwestern University（西北大学凯洛格管理学院） ； Santa Fe Institute（圣塔菲研究所） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究发现，抑制语言模型的意识归因倾向不会影响其理论思维能力，但会降低其对非人类动物的归因和精神信念。

KARMA: Knowledge-Action Regularized Multimodal Alignment for Personalized Search at Taobao

KARMA：面向淘宝个性化搜索的知识-行动正则化多模态对齐

Zhi Sun, Wenming Zhang, Yi Wei, Liren Yu, Zhixuan Zhang, Dan Ou, Haihong Tang

机构 * Taobao \& Tmall Group of Alibaba Hangzhou China ； Taobao \& Tmall Group of Alibaba 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 KARMA通过知识-行动正则化多模态对齐框架，解决个性化搜索中知识与行动冲突问题，提升语义可解性与行动指标，实现GMV增长。

Merge and Conquer: Instructing Multilingual Models by Adding Target Language Weights

合并与征服：通过添加目标语言权重来指导多语言模型

Eneko Valero, Maria Ribalta i Albado, Oscar Sainz, Naiara Perez, German Rigau

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨通过合并语言特定基础模型与指令微调模型，以实现低资源语言的有效指令跟随和多语言能力，减少计算成本并提升性能。

Comments This paper was accepted at the 15th edition of the Language Resources and Evaluation Conference (LREC 2026)

Mapping the Course for Prompt-based Structured Prediction

基于提示的结构预测路径映射

Matt Pauk, Maria Leonor Pacheco

机构 * University of Colorado Boulder（科罗拉多大学博尔德分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出结合大语言模型与组合推理，提升结构预测的准确性和一致性，并通过实验验证符号推理在下游任务中的有效性。

Parameter-Efficient Fine-Tuning for Medical Text Summarization: A Comparative Study of Lora, Prompt Tuning, and Full Fine-Tuning

参数高效微调用于医学文本摘要：LoRA、提示微调和全微调的比较研究

Ulugbek Shernazarov, Rostislav Svitsov, Bin Shi

机构 * Telecom SudParis, Institut Polytechnique de Paris, France（电信巴黎大学，巴黎理工学院，法国） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文比较了LoRA、提示微调和全微调在医学摘要任务上的性能，发现LoRA在参数效率和效果上均优于全微调。

Comments 9 pages, 5 figures, presented at 6th International Conference on NLP & Text Mining (NLTM 2026), March 21-22, Sydney, Australia. Published in Computer Science & Information Technology (CS & IT), pp. 01-09, 2026

Journal ref Computer Science & Information Technology (CS & IT) 16(06), 01-09 (2026)

TACOS: Open Tagging and Comparative Scoring for Instruction Fine-Tuning Data Selection

TACOS：用于指令微调数据选择的开放标签和比较评分

Xixiang He, Hao Yu, Qiyao Sun, Ao Cheng, Tailai Zhang, Cong Liu, Shuxuan Guo

机构 * National University of Defense Technology（国防科技大学） ； Intelligent Game and Decision Lab（智能游戏与决策实验室） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 TACOS通过开放标签和比较评分方法提升指令微调数据选择的效率与效果，通过开放域标签和去噪处理增强数据多样性，并通过比较评分避免单一标准的不一致性，实验显示其在多个数据集和模型架构上均表现优异。

Journal ref 2025 IEEE International Conference on Multimedia and Expo (ICME)

Complexity-aware fine-tuning

基于复杂度的微调

Andrey Goncharov, Daniil Vyazhev, Petr Sychev, Edvard Khalafyan, Alexey Zaytsev

机构 * Applied AI Institute（应用人工智能研究所） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出一种高效微调方法，通过熵识别复杂数据进行推理，使用小模型分割训练数据并提升大模型性能，数据使用减少81%，准确率优于传统SFT和蒸馏方法。

Journal ref 2026.findings-eacl.34

Aggregation Alignment for Federated Learning with Mixture-of-Experts under Data Heterogeneity

在数据异质性下基于混合专家的联邦学习聚合对齐

Zihan Fang, Qianru Wang, Haonan An, Zheng Lin, Yiqin Deng, Xianhao Chen, Yuguang Fang

机构 * Hong Kong JC STEM Lab of Smart City（香港JC STEM实验室） ； Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） ； School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院） ； Department of Electrical and Computer Engineering, The University of Hong Kong（香港大学电子与计算机工程系） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文针对联邦学习中混合专家模型因数据异质性导致的聚合挑战，提出FedAlign-MoE框架，通过路由一致性和专家语义对齐提升模型收敛速度和准确性。

Comments 14 pages, 14 figures

A Comedy of Estimators: On KL Regularization in RL Training of LLMs

估计器的喜剧：关于在LLM训练中的KL正则化

Vedant Shah, Johan Obando-Ceron, Vineet Jain, Brian Bartoldson, Bhavya Kailkhura, Sarthak Mittal, Glen Berseth, Pablo Samuel Castro, Yoshua Bengio, Nikolay Malkin, Moksh Jain, Siddarth Venkatraman, Aaron Courville

机构 * McGill University（麦吉尔大学） ； LawZero（法零） ； LLNL（劳伦斯利弗莫尔国家实验室） ； University of Edinburgh（爱丁堡大学） ； CIFAR AI Chair（CIFAR人工智能主席） ； CIFAR Fellow 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了在LLM训练中使用KL正则化的估计器方法，分析了不同配置对训练稳定性及下游性能的影响，发现偏导数估计器可能导致训练不稳定，而无偏导数估计器能提升模型在领域内外任务的表现。

Offline Exploration-Aware Fine-Tuning for Long-Chain Mathematical Reasoning

离线探索感知微调用于长链数学推理

Yongyu Mu, Jiali Zeng, Fandong Meng, JingBo Zhu, Tong Xiao

机构 * NLP Lab, School of Computer Science and Engineering, Northeastern University, Shenyang, China（东北大学计算机科学与工程学院自然语言处理实验室，中国沈阳） ； Pattern Recognition Center, WeChat AI, Tencent Inc, China（腾讯公司微信人工智能部门模式识别中心，中国） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出OXA微调方法，通过优化两个目标提升数学推理能力，实验显示在六个基准测试中OXA相比传统SFT在Pass@1和Pass@$k$上平均提升6和5分。

Comments Working in process

Pragma-VL: Towards a Pragmatic Arbitration of Safety and Helpfulness in MLLMs

Pragma-VL：迈向多模态大语言模型中安全与助人的务实仲裁

Ming Wen, Kun Yang, Xin Chen, Jingyu Zhang, Dingding Han, Shiwen Cui, Yuedong Xu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Ant Group（蚂蚁集团） ； Zhejiang University（浙江大学） ； UCLA（加州大学洛杉矶分校） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

AI总结 Pragma-VL通过引入一种端到端的对齐算法，解决了多模态大语言模型在安全与助人之间的平衡问题，通过增强视觉风险感知和理论保证的奖励模型，在多数多模态安全基准上提升了性能。

Comments 31 pages, ICLR2026

Speak or Stay Silent: Context-Aware Turn-Taking in Multi-Party Dialogue

说话还是沉默：多方对话中的情境感知发言轮换

Kratika Bhagtani, Mrinal Anand, Yu Chen Xu, Amit Kumar Singh Yadav

机构 * School of Electrical and Computer Engineering, Purdue University, United States（帕克大学电气与计算机工程学院） ； Ishiki Labs Inc.（Ishiki实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种基于上下文的情境感知发言轮换方法，通过监督微调和推理痕迹提升模型在多方对话中的发言准确性，发现现有大语言模型在零样本条件下无法有效实现该能力。

Comments Submitted for review to Interspeech 2026

CTIGuardian: A Few-Shot Framework for Mitigating Privacy Leakage in Fine-Tuned LLMs

CTIGuardian：一种缓解微调大语言模型隐私泄露的少样本框架

Shashie Dilhara Batan Arachchige, Benjamin Zi Hao Zhao, Hassan Jameel Asghar, Dinusha Vatsalan, Dali Kaafar

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 CTIGuardian通过少样本监督整合隐私分类器和红员，提升微调大语言模型的隐私保护与效用平衡。

Comments Accepted at the 18th Cybersecurity Experimentation and Test Workshop (CSET), in conjunction with ACSAC 2025

Journal ref 2025 Annual Computer Security Applications Conference Workshops (ACSAC Workshops), Honolulu, HI, USA, 2025, pp. 510-522

One Model, Many Skills: Parameter-Efficient Fine-Tuning for Multitask Code Analysis

一个模型，多种技能：用于多任务代码分析的参数高效微调

Amal Akli, Maxime Cordy, Mike Papadakis, Yves Le Traon

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出多任务PEFT方法，通过共享模块在代码分析中实现性能与效率的平衡，验证了其在多任务场景下的有效性。

Training with Pseudo-Code for Instruction Following

通过伪代码训练指令跟随

Prince Kumar, Rudra Murthy, Riyaz Bhat, Danish Contractor

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 通过伪代码训练提升LLM指令跟随能力，实现8-21%的提升并在数学和常识推理中取得平均30%的提升。

Comments Under Review

ESAinsTOD: A Unified End-to-End Schema-Aware Instruction-Tuning Framework for Task-Oriented Dialog Modeling

ESAinsTOD: 一种统一的端到端模式感知指令微调框架用于任务导向对话建模

Dechuan Teng, Chunlin Lu, Libo Qin, Wanxiang Che

机构 * Research Center for Social Computing and Information Retrieval, Harbin Institute of Technology（社会科学与信息检索研究中心，哈尔滨工业大学） ； School of Computer Science and Engineering, Central South University（计算机科学与工程学院，中南大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 ESAinsTOD提出一种统一的端到端模式感知指令微调框架，提升任务导向对话建模的性能与泛化能力。

Comments Published at International Journal of Machine Learning and Cybernetics (IJMLC)

Journal ref Int. J. Mach. Learn. & Cyber. 17, 127 (2026)