语言大模型 / LLM

LinguistAgent Technical Report: A Reflective Multi-Model Platform for Automated Linguistic Annotation

LinguistAgent: 一个用于自动化语言标注的反思多模型平台

Bingru Li

机构 * University of Birmingham（伯明翰大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 LinguistAgent通过反思多模型架构实现自动化语言标注，采用双代理工作流程模拟同行评审，支持多种标注范式并提供实时评估。

SOS-LoRA: Static Orthogonal-Subspace Low-Rank Adaptation with Fixed Multi-Scale Scaling

SOS-LoRA：具有固定多尺度缩放的静态正交子空间低秩自适应

Yupeng Chang, Yuan Wu, Yi Chang

机构 * School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） ； Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE, China（教育部知识驱动的人机智能工程研究中心） ； International Center of Future Science, Jilin University（吉林大学未来科学国际合作中心） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型中LoRA方法的不足，提出SOS-LoRA，将秩更新重参数化为多个静态低秩专家之和，通过分解总秩、固定多尺度缩放及正交初始化等，实现性能提升且可完全合并，实验证明其优于基线和变体。

PoLoRA: A Preconditioned Orthogonalized LoRA Optimizer

PoLoRA：一种预处理正交化的LoRA优化器

Nikhil Ghosh, Tetiana Parshakova, Robert M. Gower

机构 * Center for Computational Mathematics, Flatiron Institute（计算数学中心，熨斗研究院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对LoRA优化问题，提出PoLoRA优化器，由乘积感知谱更新方向、曲率预处理及幅度规则构成。在多模型指令调优数据集上评估，结果显示它步数减少，开销增加少，对学习率不敏感，最优学习率稳定。

The Perplexity Trap: When Patent Law Makes Human Writing Look Like AI

困惑陷阱：专利法何时让人类写作看起来像人工智能

Anubhab Banerjee

机构 * European Patent Office（欧洲专利局） 纠错

专题命中 指令微调 ：LLM(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对专利法下筛选疑似人工智能生成专利文本的难题，在消费级硬件条件下用多种策略进行基准测试，发现现有检测器误报率高，问题是结构性的，提出七特征语言复杂性逻辑回归方法，提升了准确率。

Journal ref Proceedings of the ICML 2026 Workshop on AI4Law

A Shared Subcircuit Lets LLMs Count Down Across Tasks

一个共享子电路使大语言模型能够跨任务进行倒计时

Jacob Dunefsky, Wes Gurnee, Emmanuel Ameisen

机构 * Yale University（耶鲁大学） ； Anthropic 纠错

专题命中 指令微调 ：LLM(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究发现Llama-3.1-70B-Instruct中有个“倒计时子电路”可跨任务执行特定任务，先在受控设置中分离它，再研究其表示几何结构，发现与另一模型有相同模式，还通过无监督探测找到其用于多种任务的情况，有助于理解行为推广。

Comments 12 pages, 11 figures

Continual Learning with Elastic Regularization and Synthetic Replay for Federated MLLM Fine-Tuning

用于联邦多模态大语言模型微调的弹性正则化和合成重放持续学习

Jing Liu, Chenxuanyin Zou, Jiayang Ren, Gaoyun Fang, Chengfang Li, Yan Wang, Zhenchao Ma, Bo Hu

机构 * The University of British Columbia（英属哥伦比亚大学） ； Fudan University（复旦大学） ； Royal College of Science, Imperial College London（伦敦帝国理工学院皇家科学学院） ； Dyson School of Design Engineering（戴森设计工程学院） ； Suzhou Institute of Biomedical Engineering and Technology (SIBET), Chinese Academy of Sciences（中国科学院苏州生物医学工程技术研究所） ； East China Normal University（华东师范大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对联邦多模态大语言模型微调中灾难性遗忘问题，提出FedCMM框架，在参数、数据、聚合三个层面嵌入持续学习保障，经实验验证该框架在准确性和反向迁移上优于基线，能实现跨异构网络AI部署的稳健进化适应。

Comments submitted to IEEE JSTSP

PFAdapter: Hierarchical LoRA Decomposition for Personalized Federated MLLMs

PFAdapter：用于个性化联邦多模态大语言模型的分层LoRA分解

Jing Liu, Kun Yang, Yan Wang, Dingkang Yang, Xiaoshuai Hao, Wei Zhang, Yang Liu, Wei Zhou

机构 * College of Future Information Technology, Fudan University（复旦大学未来信息技术学院） ； Division of Natural and Applied Sciences, Duke Kunshan University（昆山杜克大学自然科学与应用科学部） ； Department of Electrical and Computer Engineering, The University of British Columbia（英属哥伦比亚大学电气与计算机工程系） ； Ant Group（蚂蚁集团） ； College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院） ； School of Data Science and Engineering, East China Normal University（华东师范大学数据科学与工程学院） ； College of Intelligent Robotics and Advanced Manufacturing, Fudan University & Fysics AI（复旦大学智能机器人与先进制造学院及复肆智能科技（上海）有限公司） ； Xiaomi EV, Xiaomi Campus（小米汽车、小米园区） ； Information and Communications Technology Cluster, Singapore Institute of Technology (SIT)（新加坡理工学院信息通信技术集群） ； College of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院） ； School of Computer Science and Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对分布式网络中联邦微调平衡全局知识与局部适应的挑战，提出PFAdapter框架，用分层LoRA分解将适配器参数分离，通过正交正则化和选择性聚合协议减少通信成本，实验证明该框架在多数据集上性能优于基线，为智能AI部署提供有效方案。

Comments submitted to IEEE TCCN

Filtering Harmful Actions Isn't Enough: Phantom Transfer in Agentic SDF

过滤有害行为是不够的：智能体自反决策函数中的幻影转移

Chinmayi Dixit

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究在含对抗交互的合成智能体轨迹训练的影响，通过微调Llama 3.3 70B Instruct并评估，发现有害行为过滤不足，生成过程引入失调倾向且分散编码，依赖生成模型，安全基准难区分影响，强调动作级过滤无法确保合成智能体训练数据安全。

Conditional Optimal Bridge for Riemannian Activation Steering

用于黎曼激活控制的条件最优桥

Seyed Arshan Dalili, Ajay Narayanan Sridhar, Vijaykrishnan Narayanan, Mehrdad Mahdavi

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型推理时激活控制问题，提出\textsc{Cobras}方法，将其视为残差流超球面上的薛定谔桥，从优化问题推导控制目标，使控制方向查询自适应，实验显示该方法性能优于基线且避免分布外性能下降。

Super-Tuning: From Activation-Aware Pruning to Sparse Fine-Tuning

超调优：从激活感知剪枝到稀疏微调

Ivan Ilin, Philip Zmushko, Peter Richtárik

机构 * KAUST（沙特阿卜杜拉国王科技大学） ； ISTA（奥地利科学技术研究所） ； Yandex Research（Yandex 研究院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究大型语言模型微调成本高的问题，提出Super和Supra方法，利用剪枝显著性信号，结合Wanda分数与LoRA，通过预算分配规则保持参数预算，在算术实验中取得高准确率，证明简单排序可为PEFT提供支持。

Comments 26 pages, 3 figures, 19 tables. Code: https://github.com/vectozavr/SuperTuning

When Should LLMs Search? Counterfactual Supervision for Search Routing

大语言模型何时应进行搜索？搜索路由的反事实监督

Minho Kim

机构 * Minho Kim 纠错

专题命中 指令微调 ：language model(abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型搜索路由问题，通过比较无搜索和强制搜索结果构建预言机，以其为评估标准和学习信号，用监督微调及偏好优化训练策略，提升了Gemma E2B和Qwen3.5 - 4B的路由宏F1，减少特定模型路由失败并揭示相关瓶颈。

Comments 20 pages, 10 figures. Accepted at the FAGEN Workshop at ICML 2026

IRC-Bench: Recognizing Entities from Contextual Cues in First-Person Reminiscences

IRC-Bench: 从第一人称回忆中的上下文线索识别实体

Yehudit Aperstein, Eden Moran, Alexander Apartsin

机构 * Intelligent Systems, Afeka Academic College of Engineering（阿法卡学术工程学院智能系统） ； School of Computer Science, Faculty of Sciences, Holon Institute of Technology（霍隆理工学院计算机科学学院） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出IRC-Bench基准，用于评估回忆文本中隐式实体识别任务，通过对比本地提及与分散叙述证据，探讨非局部性挑战，测试多种模型配置。

Comments 36 pages, 8 figures

Decomposer: Learning to Decompile Symbolic Music to Programs

Decomposer: 学习将符号音乐反编译为程序

Yewon Kim, Apurva Gandhi, David Chung, Graham Neubig, Chris Donahue

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出Decomposer框架，通过两阶段方法（合成数据微调+强化学习优化）将符号音乐反编译为可读、可编辑的程序，在MIDI重建保真度和代码可读性上优于基线。

Comments Project page: https://yewon-kim.com/decomposer

Signed-Permutation Coordinate Transport for RMSNorm Transformers

RMSNorm Transformer的有符号排列坐标传输

John Sweeney

机构 * Sideplane AI 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 针对RMSNorm模型，提出有符号排列坐标传输方法，解决排列对齐不完整问题，在跨运行坐标恢复、工具迁移和训练状态保持上显著优于纯排列方法。

Comments 31 pages, 2 figures, 26 tables

Evolution Fine-Tuning: Learning to Discover Across 371 Optimization Tasks

进化微调：在371个优化任务中学习发现

Young-Jun Lee, Seungone Kim, Minki Kang, Alistair Cheong Liang Chuen, Zerui Chen, Seungho Han, Taehee Jung, Dongyeop Kang

机构 * University of Minnesota（明尼苏达大学） ； Carnegie Mellon University（卡内基梅隆大学） ； KAIST（韩国科学技术院） ； University of Cambridge（剑桥大学） ； Hanyang University（翰阳大学） ； Amazon（亚马逊） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出进化微调（EFT）方法，通过将进化搜索轨迹转化为监督信号，教会大语言模型跨任务迭代优化解决方案，在22个保留任务上平均提升10.22%。

Comments Project page: https://open-galapagos.github.io/evolution_finetuning/

FormalASR: End-to-End Spoken Chinese to Formal Text

FormalASR: 语音中文到正式文本的端到端系统

Wanyi Ning, Yinshang Guo, Haitao Qian, Jiyuan Cheng, Weiyuan Feng, Yufei Zhang

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出FormalASR，一种端到端的中文语音到正式文本转换模型，通过构建大规模的语音到正式文本数据集，并使用Qwen3-ASR进行微调，实现了比原声基线减少37.4%的CER，同时提升了ROUGE-L和BERTScore指标，提供了一个轻量级的设备端解决方案。

The Generalization Spectrum: A Chromatographic Approach to Evaluating Learning Algorithms

泛化谱：一种评估学习算法的色谱方法

Jinghan Zhang, Zerui Cheng, Shiqi Chen, Ge Zhang, Wenhao Huang, Jiashuo Liu, Junxian He, Tianle Cai

机构 * ByteDance Seed（字节跳动Seed） ； Hong Kong University of Science and Technology（香港科技大学） ； Princeton University（普林斯顿大学） ； University of Oxford（牛津大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 提出泛化谱框架，通过构建从精确回忆到跨语言实现转移等不同转移距离的测试变体，揭示算法从单个样本泛化到其他样本的程度，并应用于竞争编程任务评估不同学习范式。

Comments Accepted at ICML 2026. 30 pages, 6 figures

GRAG: Generic Response-Augmented Generation Framework for Personalized Conversational Systems

GRAG：面向个性化对话系统的通用响应增强生成框架

Junfeng Liu, Christopher T. Symons, Ranga Raju Vatsavai

机构 * North Carolina State University（北卡罗来纳州立大学） ； Lirio, Inc.（Lirio公司） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出GRAG框架，通过离线通用响应解耦内容基础与个性化，使小模型在资源受限环境中专注于个性化注入，性能提升显著。

Spurious Rewards Paradox: Mechanistically Understanding How RLVR Activates Memorization Shortcuts in LLMs

虚假奖励悖论：从机制上理解RLVR如何在LLMs中激活记忆捷径

Lecheng Yan, Ruizhe Li, Guanhua Chen, Qing Li, Jiahui Geng, Wenxi Li, Longyue Wang, Chenyang Lyu

机构 * University of Science and Technology of China（中国科学技术大学） ； University of Aberdeen（阿伯丁大学） ； University of Birmingham（伯明翰大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 研究RLVR中虚假奖励导致模型依赖记忆而非推理的机制，发现锚定-适配器电路，并通过因果干预验证其作用。

Comments ICML 2026

SARA: Unlocking Multilingual Knowledge in Mixture-of-Experts via Semantically Anchored Routing Alignment

SARA: 通过语义锚定路由对齐解锁混合专家模型中的多语言知识

Tianyu Dong, Yangyang Liu, Jiang Zhou, Xinwei Wu, Xiaohu Zhao, Hao Wang, Heng Liu, Linlong Xu, Longyue Wang, Weihua Luo, Shaolin Zhu, Deyi Xiong

机构 * TJUNLP Lab, School of Computer Science and Technology, Tianjin University, China（天津大学计算机科学与技术学院TJUNLP实验室） ； Alibaba Group, China（阿里巴巴集团） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；instruction tuning(abstract)；分类 cs.CL、cs.AI

AI总结 针对低资源语言在稀疏MoE架构中路由不一致的问题，提出SARA框架，利用对称JS散度约束对齐多语言输入与高资源语义锚点的路由分布，提升低资源语言性能。

Fast and Slow Variational Continual Learning

快慢变分持续学习

Subarnaduti Paul, Yohan Jung, Mohammad Emtiyaz Khan, Siddharth Swaroop, Thomas Möllenhoff, Martin Mundt

机构 * University of Bremen（不来梅大学） ； Jeonbuk National University（全北国立大学） ； TU Darmstadt（达姆施塔特工业大学） ； RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心） ； Hessian Center for AI (hessian.AI)（黑森人工智能中心） ； University College London（伦敦大学学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出通过合并过去后验实现慢适应，在IVON优化器中无缝集成快慢更新，形成持续IVON（CoVON）优化器，在领域增量学习、持续预训练和大语言模型微调中优于现有方法。

EnvRL: Learn from Environment Dynamics in Agentic Reinforcement Learning

EnvRL: 在智能体强化学习中从环境动力学中学习

Zhitong Wang, Songze Li, Hao Peng, Shuzheng Si, Yi Wang, Maosong Sun, Juanzi Li

机构 * Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出EnvRL框架，通过状态预测和逆动力学两个辅助目标，将环境动力学学习融入智能体强化学习，在长周期任务中显著提升成功率。

FedRot-LoRA: Mitigating Rotational Misalignment in Federated LoRA

FedRot-LoRA: 缓解联邦LoRA中的旋转偏移

Haoran Zhang, Dongjun Kim, Seohyeon Cha, Haris Vikalo

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出FedRot-LoRA框架，通过正交变换对齐客户端更新以减少子空间不匹配，提升联邦LoRA在异质数据下的性能。

Comments ICML 2026

Learning to Reason by Analogy via Retrieval-Augmented Reinforcement Fine-Tuning

通过检索增强强化微调进行类比推理学习

Zilin Xiao, Qi Ma, Chun-cheng Jason Chen, Xintao Chen, Avinash Atreya, Hanjie Chen, Vicente Ordonez

机构 * Meta Superintelligence Labs（Meta超级智能实验室） ； Rice University（莱斯大学） 纠错

专题命中 指令微调 ：language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 提出RA-RFT框架，通过黄金相关性蒸馏训练检索器，并结合强化微调利用类比推理轨迹，提升数学推理性能。

WildIFEval: Instruction Following in the Wild

WildIFEval: 野外指令遵循

Gili Lior, Asaf Yehudai, Ariel Gera, Liat Ein-Dor

机构 * The Hebrew University of Jerusalem（希伯来大学杰里科分校） ； IBM Research（IBM研究院） 纠错

专题命中 指令微调 ：LLM(summary_cn)；分类 cs.CL、cs.AI

AI总结 提出WildIFEval数据集，包含7K条真实用户的多约束指令，用于评估LLM的指令遵循能力，发现所有模型仍有较大改进空间。

Comments Accepted to the 5th Workshop on Generation, Evaluation and Metrics (GEM) at ACL 2026

EEVEE: Towards Test-time Prompt Learning in the Real World for Self-Improving Agents

EEVEE：面向真实世界自改进智能体的测试时提示学习

Weixian Xu, Shilong Liu, Mengdi Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Princeton University（普林斯顿大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出首个多数据集测试时提示学习框架EEVEE，通过路由器与提示协同进化策略解决跨数据集干扰，在异构数据流下提升鲁棒性。

Comments 19 pages, 6 figures

Robust-U1: Can MLLMs Self-Recover Corrupted Visual Content for Robust Understanding?

Robust-U1: MLLMs能否自我恢复受损视觉内容以实现鲁棒理解？

Jiaqi Tang, Jianmin Chen, Youyang Zhai, Wei Wei, Runtao Liu, Mengjie Zhao, Xiangyu Wu, Qingfa Xiao, Qifeng Chen

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出Robust-U1框架，通过监督微调、强化学习和多模态推理，使多模态大模型具备显式视觉自恢复能力，在真实和对抗性损坏下达到最先进鲁棒性。

Comments Accepted by ICML 2026

IEA: Amateur-Friendly Conversational Image Editing Agent via Three Stages of Multitask Alignment

IEA：通过三阶段多任务对齐的业余友好型对话式图像编辑代理

Zichen Zhu, Yuheng Sun, Mingxuan Zhu, Wenjie Ma, Situo Zhang, Zhexiang Wang, Ziyue Yang, Danyang Zhang, Kunyao Lan, Zihan Zhao, Dingye Liu, Siqi Xiang, Lu Chen, Kai Yu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institution（上海创新研究院） ； Huawei Technologies Ltd.（华为技术有限公司） ； Nanyang Technological University（南洋理工大学） ； Jiangsu Key Lab of Language Computing（江苏省语言计算重点实验室） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出IEA对话式图像编辑代理，通过三阶段多任务训练学习操作参数化工具，实现可解释编辑轨迹，在像素距离和ROUGE-L指标上优于基线，用户研究中指令跟随和感知质量表现最佳。

Comments [CVPR 2026 Findings] Our data and code are released at https://github.com/OpenDFM/Image_Edit_Agent

Shared Latent Structures Enable Unified Backdoor Detection and Mitigation in LLMs

共享潜在结构实现大语言模型中的统一后门检测与缓解

Omar Mahmoud, Aly M. Kassem, Thommen George Karimpanal, Buddhika Laknath Semage, Negar Rostamzadeh, Golnoosh Farnadi, Santu Rana

机构 * Deakin University（迪肯大学） ； Mila, Quebec AI Institute（魁北克人工智能研究所Mila） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 发现大语言模型中多种后门攻击共享潜在机制，通过稀疏自编码器检测因果特征，并提出双向激活操控和概念消融微调实现统一检测与缓解。

Learning Task Mixtures from Task Affinities: A Probabilistic Graphical Model for Supervised Fine-Tuning

学习什么是重要的：通过互信息的概率任务选择用于模型微调

Prateek Chanda, Saral Sureka, Parth Pratim Chatterjee, Krishnateja Killamsetty, Nikhil Shivakumar Nayak, Ganesh Ramakrishnan

机构 * IIT Bombay（印度理工学院班加罗尔分校） ； IBM Research（IBM研究） ； Red Hat AI Innovation（红帽AI创新） ； MIT-IBM Watson AI Lab（麻省理工-IBM沃森AI实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出TaskPGM框架，通过基于能量的任务模型学习连续任务混合，利用互信息和行为分歧来捕捉任务间的关系，从而在任务覆盖和冗余之间取得平衡，提升大语言模型的监督微调性能。

Comments 9, 8 tables, 7 figures