语言大模型 / LLM

Transformers with RL or SFT Provably Learn Sparse Boolean Functions, But Differently

带RL或SFT的Transformer可证明学习稀疏布尔函数，但方式不同

Bochen Lyu, Yiyang Jia, Xiaohao Cai, Zhanxing Zhu

机构 * School of Electronics and Computer Science, University of Southampton, United Kingdom（南安普顿大学电子与计算机科学学院，英国） ； Independent Researcher（独立研究员） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；分类 cs.LG

AI总结 本文通过统一分析RL（过程奖励）和SFT微调Transformer学习可递归分解的k-稀疏布尔函数的动态，证明两者都能学习k-PARITY、k-AND、k-OR等函数，但RL同时学习整个CoT链，而SFT逐步学习。

Comments ICML 2026 final version. 50 pages

From Fact to Judgment: Investigating the Impact of Task Framing on LLM Conviction in Dialogue Systems

从事实到判断：探讨任务框架对对话系统中LLM确信度的影响

Parisa Rabbani, Nimet Beyza Bozdag, Dilek Hakkani-Tür

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.CL

AI总结 研究探讨了任务框架对LLM在对话系统中判断确信度的影响，发现对话上下文显著改变模型判断，强调了对话框架在评估中的重要性。

Comments 11 pages, 3 figures

Journal ref Proceedings of the 16th International Workshop on Spoken Dialogue System Technology (IWSDS 2026), pages 193-204

Shared SFT Lessons Across Alignment, Model Organisms, and Toy Models

对齐、模型有机体与玩具模型中的共享SFT经验教训

Anton de la Fuente, Arthur Conmy

专题命中 指令微调 ：SFT(title,title_cn)；分类 cs.LG

AI总结 本研究探讨对齐训练、模型有机体与玩具模型间SFT经验的三类迁移，发现跨领域迁移SFT经验可推动各领域发展，建议研究者借鉴域外技术。

Comments 31 pages, 13 figures

Generative Artificial Intelligence (GenAI) to convert images of queuing networks into verifiable simulation models: an open-weight LLM workflow approach

生成式人工智能（GenAI）将排队网络图像转换为可验证的仿真模型：一种开放权重的大语言模型工作流方法

Thomas Monks, Alison Harper, Amy Heather, Navonil Mustafee

专题命中 指令微调 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究提出Sketch2DES工作流，利用开放权重LLMs将排队网络图像转换为可验证仿真模型，经多阶段处理，在多图表评估中各阶段可靠性高，相比直接代码生成提升多项性能，证明结构化工作流模型生成对LLM辅助仿真建模的可行性。

Supervised Fine-Tuning vs. In-Context Learning: An Equilibrium Analysis of LLM Personalization under Congestion

监督微调与上下文学习：拥塞下大语言模型个性化的均衡分析

Fengzhuo Zhang, Zhuoran Yang, Dirk Bergemann

专题命中 指令微调 ：LLM(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 研究大语言模型个性化中监督微调与上下文学习的选择问题，通过构建框架分析用户面临的统计 - 经济权衡，得出不同方法占优情况、资源消耗特性及平台策略等结论，实验与平台调研验证了相关理论。

Spinning Straw into Gold: Relabeling LLM Agent Trajectories in Hindsight for Successful Demonstrations

化腐朽为神奇：事后重新标记大语言模型智能体轨迹以实现成功示范

Zichao Li, Gang Wu, Zichao Wang, Ruiyi Zhang, Wanrong Zhu, Ryan A. Rossi, Vlad I Morariu, Jihyung Kil

机构 * Mila, McGill University（米拉，麦吉尔大学） ； Adobe Research（Adobe研究院） 纠错

专题命中 指令微调 ：LLM(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对大语言模型智能体监督瓶颈，利用智能体展开中隐含的成功目标，引入事后监督学习（HSL），通过辅助大语言模型重新标记轨迹及目标并微调，提出两种技术减轻数据次优性，实验证明其优势。

Comments Accepted to ICLR 2026

Do LLM Embedding Spaces Recover Expert Structure?

LLM嵌入空间是否恢复了专家结构？

Yixuan Zhu, Zhenke Duan, Fanghen Li

机构 * Zhongnan University of Economics and Law（中南财经政法大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.CL

AI总结 研究LLM嵌入空间能否恢复心理健康领域的专家定义类别结构，通过对比预训练和微调Qwen3嵌入，发现对齐程度依赖于粒度级别且需控制混杂因素。

CodeTeam: An LLM-Powered Multi-Agent Framework for Repository-Level Code Generation

CodeTeam: 一个基于LLM的多智能体框架用于仓库级代码生成

Yifei Wang, Ruiyin Li, Peng Liang, Qiong Feng, Zengyang Li, Mojtaba Shahin, Arif Ali Khan

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； School of Computer Science, Nanjing University of Science and Technology（南京理工大学计算机学院） ； School of Computer Science, Central China Normal University（中央财经大学计算机学院） ； School of Computing Technologies, RMIT University（皇家墨尔本理工学院计算技术学院） ； M3S Research Group, SEIS Unit, University of Oulu（奥卢大学M3S研究组，SEIS单元） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 提出CodeTeam框架，通过分离规划、决策和实现阶段，结合多智能体协作与依赖感知调度，解决仓库级代码生成中的长程规划与跨文件一致性问题，在SketchEval和NL2Repo-Bench上取得显著提升。

Comments 36 pages, 5 images, 9 tables, Manuscript submitted to a Journal (2026)

From Memorization to Creation: Evaluating the Cognitive Depth of LLM-Generated Educational Questions

从记忆到创造：评估LLM生成的教育问题的认知深度

Xiaolong Wang, Zhe Zhao, Song Lai, Chaoli Zhang, Zijie Geng, Yu Tong, Ye Wei, Qingsong Wen

机构 * City University of Hong Kong（香港城市大学） ； Zhejiang Normal University（浙江师范大学） ； Squirrel Ai Learning ； University of Science and Technology of China（中国科学技术大学） ； Wuhan University（武汉大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.AI

AI总结 通过布鲁姆认知分类学评估六种LLM生成问题的认知层次，提出细粒度提示策略减少重复性并提升高阶认知比例，引入认知转移强度和类别漂移指标，揭示链式思维提示的可解释性。

Comments Accepted by KDD 2026

Journal ref KDD 2026

ProCUA-SFT Technical Report

ProCUA-SFT 技术报告

Jaehun Jung, Ximing Lu, Brandon Cui, Muhammad Khalifa, Shaokun Zhang, Hao Zhang, Jin Xu, Amala Sanjay Deshmukh, Karan Sapra, Andrew Tao, Yejin Choi, Jan Kautz, Mingjie Liu, Yi Dong

机构 * NVIDIA（英伟达） ； University of Washington（华盛顿大学） ； Allen Institute for AI（艾伦人工智能研究所） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；分类 cs.LG

AI总结 提出 ProCUA-SFT 数据集，通过自动化管道从 2484 个应用组合的合成轨迹中蒸馏出 310 万步级 SFT 样本，微调 UI-TARS 7B 在 OSWorld 上达到 45.0% 的成功率，比基线提升 18.7 个百分点。

Comments 15 pages, 5 figures

MobileFineTuner: A Mobile-Native Framework for On-Device LLM Fine-Tuning in Real-World Embedded AI Applications

MobileFineTuner：面向真实世界嵌入式AI应用中设备端大语言模型微调的移动原生框架

Jiaxiang Geng, Lunyu Zhao, Yiyi Lu, Bing Luo

机构 * Duke Kunshan University（Duke昆山大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 指令微调 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出移动原生框架MobileFineTuner，通过C++实现资源感知训练运行时（内存高效注意力、激活检查点等），在商用手机上实现端到端LLM微调，显著降低内存压力并提升可执行性。

Comments 26 pages, 25 figures

Low-Rank Curvature for Zeroth-Order Optimization in LLM Fine-Tuning

低秩曲率用于大语言模型微调中的零阶优化

Hyunseok Seung, Jaewoo Lee, Hyunsuk Ko

机构 * University of Wisconsin – Madison（威斯康星大学麦迪逊分校） ； University of Georgia（佐治亚大学） ； Hanyang University（翰阳大学） 纠错

专题命中 指令微调 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出LOREN方法，通过低秩块对角预条件器捕捉曲率并利用REINFORCE留一法梯度估计器降低方差，在LLM微调中实现更高精度和更快收敛，同时峰值内存使用降低27.3%。

Comments Accepted to the AAAI Conference on Artificial Intelligence (AAAI-2026)

Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents

利用更新并非利用收益：解构自演化LLM智能体中的演化能力

Minhua Lin, Juncheng Wu, Zijun Wang, Zhan Shi, Yisi Sang, Bing He, Zewen Liu, Tianxin Wei, Zongyu Wu, Zhiwei Zhang, Dakuo Wang, Xiang Zhang, Benoit Dumoulin, Cihang Xie, Yuyin Zhou, Suhang Wang, Hanqing Lu

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； UC Santa Cruz（加州大学圣克鲁兹分校） ； Amazon（亚马逊） ； Emory University（埃默里大学） ； UIUC（伊利诺伊大学香槟分校） ； Northeastern University（东北大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文通过分析LLM智能体在外部框架（提示、技能、记忆和工具）上的自演化能力，发现框架更新能力与基础能力无关，而框架收益能力与基础能力呈非单调关系，中等能力模型受益最大。

Comments 24 pages, 9 figures, 12 tables

UniSteer: Text-Guided Flow Matching in Activation Space for Versatile LLM Steering

UniSteer: 文本引导的激活空间流匹配用于多功能LLM引导

Yingdong Shi, Ruiming Zhang, Changming Li, Zhiyu Yang, Kaixing Zhang, Jingyi Yu, Kan Ren

机构 * ShanghaiTech University（上海科技大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出UniSteer，一种文本引导的激活流匹配模型，通过学习残差流激活的条件分布，实现统一的行为控制、真实性引导、细粒度概念引导、多约束指令遵循和激活空间分类。

Comments 16 pages,4 figures

LiteCoder-Terminal: Scaling Long-Horizon Terminal Environments for Learning Language Agents

LiteCoder-Terminal: 扩展用于学习语言代理的长时程终端环境

Xiaoxuan Peng, Kaiqi Zhang, Xinyu Lu, Boxi Cao, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun

机构 * Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所信息处理实验室） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；language agent(title,abstract)；preference optimization(abstract)；分类 cs.CL

AI总结 提出零依赖合成框架LiteCoder-Terminal-Gen，自动生成可执行且可验证的终端训练环境，构建大规模SFT和RL数据集，通过监督微调和直接多轮偏好优化显著提升语言代理在终端任务上的性能。

Rethinking Post-Training Recipes for Multimodal Time-Series Forecasting

重新思考多模态时间序列预测的后训练方法

Haoxin Liu, Yichen Zhou, Rajat Sen, B. Aditya Prakash, Abhimanyu Das

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Google Research（谷歌研究） 纠错

专题命中 指令微调 ：post-training(title,abstract)；LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；foundation model(abstract)

AI总结 提出PostTime后训练方法，结合监督微调和基于可验证奖励的强化学习，利用大语言模型根据多模态上下文修正数值时间序列基础模型的预测，显著提升多模态时间序列预测性能。

Text-Preserving Lossy Text Compression: A Study of Strategic Deletion and LLM Reconstruction

保留文本的有损文本压缩：策略性删除与LLM重建研究

Yuchun Zou, Junhong Tong, Jun Li

机构 * CUNY Graduate Center（纽约大学研究生中心） ； CUNY Queens College（纽约大学皇后学院） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文研究有损语义文本压缩，通过策略性删除文本并用大语言模型重建，比较多种删除策略，发现词频删除是低成本基线，语义方法在中度压缩时优势明显，QLoRA微调可得到强解码器。

Learning Decentralized LLM Collaboration with Multi-Agent Actor Critic

基于多智能体Actor-Critic的分散式LLM协作学习

Shuo Liu, Tianle Chen, Ryan Amiri, Christopher Amato

机构 * Northeastern University, Boston, MA（波士顿马萨诸塞大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.AI

AI总结 针对分散式LLM协作优化，提出两种多智能体Actor-Critic方法（CoLLM-CC和CoLLM-DC），实验表明在长时域或稀疏奖励任务中集中式Critic方法优于蒙特卡洛方法和分散式Critic方法。

Closing the Gap at CRAC 2026: Two-Stage Adaptation for LLM-Based Multilingual Coreference Resolution

在CRAC 2026上缩小差距：基于LLM的多语言核心指代解析的两阶段适应

Antoine Bourgois, Olga Seminck, Thierry Poibeau

机构 * Lattice (CNRS UMR 8094 & ENS-PSL & Université Sorbonne Nouvelle)（Lattice（CNRS UMR 8094 和 ENS-PSL 和 索邦学院新欧）） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.CL

AI总结 本文提出了一种基于LLM的多语言核心指代解析方法，通过两阶段适应策略，在CRAC 2026共享任务中取得了74.32的平均CoNLL F1分数，排名第一。

Revisiting DAgger in the Era of LLM-Agents

重新审视LLM代理时代的DAgger

Changhao Li, Rushi Qiang, Jiawei Huang, Chenxiao Gao, Chao Zhang, Niao He, Bo Dai

机构 * Georgia Institute of Technology（佐治亚理工学院） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；post-training(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出通过DAgger算法改进长周期LLM代理，通过学生与教师策略的回合级插值收集轨迹，并利用教师提供的监督标签训练学生，有效缓解协变量偏移并提升性能。

ConFit v3: Improving Resume-Job Matching with LLM-based Re-Ranking

ConFit v3：通过基于LLM的重排序提升简历-岗位匹配

Xiao Yu, Ruize Xu, Chengyuan Xue, Junyu Chen, Matthew So, Shijun Ma, Bo Liu, Xiangye Liang, Zhou Yu

机构 * Columbia University（哥伦比亚大学） ； John Hopkins University（约翰霍普金斯大学） ； Intellipro Group Inc.（Intellipro集团） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出ConFit v3，通过改进重排序算法和数据处理方法，提升简历与岗位匹配的准确性，优于现有最佳系统和大型语言模型。

The Geometry of Forgetting: Temporal Knowledge Drift as an Independent Axis in LLM Representations

遗忘的几何学：时间知识漂移作为LLM表示中的独立轴

Rania Elbadry, Ahmed Heakl, Fan Zhang, Dani Bouch, Yuxia Wang, Preslav Nakov, Zhuohan Xie

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·扎耶德人工智能大学） ； INSAIT, Sofia University（索菲亚大学INSAIT） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究揭示LLM中时间知识漂移作为独立轴的几何结构，通过验证六种模型发现漂移检测的几何正交性，指出传统方法无法捕捉漂移的局限性。

FedAttr: Towards Privacy-preserving Client-Level Attribution in Federated LLM Fine-tuning

FedAttr: 向联邦LLM微调中实现隐私保护的客户端级归因

Su Zhang, Junfeng Guo, Heng Huang

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 FedAttr提出一种新的联邦学习协议，通过配对子集差分机制识别训练过水印文档的客户端，同时保持隐私保障和性能。该方法在理论和实验上均表现出色，具有高召回率和低误报率。

Comments 39 pages, 4 figures, 21 tables (including appendix)

One Algorithm, Two Goals: Dual Scoring for Parameter and Data Selection in LLM Fine-Tuning

一个算法，两个目标：在LLM微调中用于参数和数据选择的双评分

Xinrui Chen, Liu Yang, Ou Wu

机构 * Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院） ； College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出DualSFT算法，通过共享梯度统计生成参数掩码和数据子集，提升微调性能与稳定性-可塑性平衡。

Training and Agentic Inference Strategies for LLM-based Manim Animation Generation

基于LLM的Manim动画生成的训练与代理推理策略

Ravidu Suien Rammuni Silva, Ahmad Lotfi, Isibor Kennedy Ihianle, Golnaz Shahtahmassebi, Jordan J. Bird

机构 * Department of Computer Science, Nottingham Trent University, Nottingham, United Kingdom（计算机科学系，诺丁汉特伦特大学，诺丁汉，英国） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出ManimTrainer和ManimAgent，结合监督微调与强化学习，提升文本到代码到视频的转换性能，通过ManimBench评估17种模型，结果显示GRPO和RITL-DOC策略显著提升动画生成质量。

MaLoRA: Gated Modality LoRA for Key-Space Alignment in Multimodal LLM Fine-Tuning

MaLoRA：基于关键空间对齐的门控模态LoRA

Xinhan Zheng, Huyu Wu, Xueting Wang, Duo Su, Haiyun Jiang

机构 * University of Science and Technology of China（中国科学技术大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tsinghua University（清华大学） ； Shanghai Jiao Tong University（上海交通大学） ； Institute for Clarity in Documentation（文档清晰研究所） ； Inria Paris-Rocquencourt（巴黎-鲁维尔研究所） ； Rajiv Gandhi University（拉贾·甘地大学） ； Palmer Research Laboratories（帕勒实验室） 纠错

专题命中 指令微调 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 本文提出MaLoRA，通过门控机制对齐多模态LLM微调中的关键空间，揭示文本偏见源于注意力键空间内在不匹配。

Measuring Distribution Shift in User Prompts and Its Effects on LLM Performance

评估用户提示分布转移及其对LLM性能的影响

Parker Seegmiller, Sarah Masud Preum

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.CL

AI总结 研究用户提示分布转移对部署LLM性能的影响，通过大规模评估发现提示行为的适度变化会导致LLM性能显著下降，强调了数据驱动监控的重要性。

Comments Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)

Training Language Models for Bilateral Trade with Private Information

利用私人信息训练语言模型进行双边贸易

Dirk Bergemann, Soheil Ghili, Xinyang Hu, Chuanhao Li, Zhuoran Yang

机构 * Department of Economics, Yale University（耶鲁大学经济学系） ； Yale School of Management, Yale University（耶鲁大学管理学院） ； Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系） ； Department of Industrial Engineering, Tsinghua University（清华大学工业工程系） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)

AI总结 本文研究了在不完全信息下双边谈判中语言模型的能力，通过结构化谈判环境评估模型表现，发现有效策略通过连续报价实现价格歧视，训练实验表明监督微调和强化学习影响收益分配和交易完成率。

Comments 67 pages, 34 figures

Exploring LLM-based Verilog Code Generation with Data-Efficient Fine-Tuning and Testbench Automation

探索基于LLM的Verilog代码生成：数据高效微调与测试平台自动化

Mu-Chi Chen, Po-Hsuan Huang, Yu-Hung Kao, Yen-Fu Liu, Yu-Kai Hung, Cheng Liang, Shao-Chun Ho, Chia-Heng Tu, Shih-Hao Hung

机构 * National Taiwan University（国立台湾大学） ； National Cheng Kung University（国立成功大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出利用多智能体模型生成高质量微调数据的测试平台，实现比现有方法更少训练数据下的Verilog生成性能。

BrailleLLM: Braille Instruction Tuning with Large Language Models for Braille Domain Tasks

Tianyuan Huang, Zepeng Zhu, Hangdi Xing, Zirui Shao, Zhi Yu, Chaoxiong Yang, Jiaxian He, Xiaozhong Liu, Jiajun Bu

机构 * Zhejiang Key Laboratory of Accessible Perception and Intelligent Systems, Zhejiang University（浙江无障碍感知与智能系统重点实验室，浙江大学） ； Alibaba Group（阿里巴巴集团） ； Worcester Polytechnic Institute（沃斯特理工学院） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and DataSecurity（杭州高新技术区（滨江）区块链与数据安全研究院） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(title)；language model(title)；分类 cs.CL

Comments Accepted to EMNLP 2025