语言大模型 / LLM

Strategic Over-Parameterization for Generalizable Low-Rank Adaptation

战略性过参数化以实现通用的低秩适应

Jing Gao, Zhong-Yi Lu, Pan Zhang, Ze-Feng Gao

机构 * School of Fundamental Physics and Mathematical Sciences, Hangzhou Institute for Advanced Study, UCAS, Hangzhou 310024, China（1 基础物理与数学科学学院，杭州先进研究院，UCAS，杭州 310024，中国） ； School of Physical Sciences, University of Chinese Academy of Sciences, No. 19A Yuquan Road, Beijing 100049, China（2 物理科学学院，中国科学院大学，玉泉路19A号，北京 100049，中国） ； CAS Key Laboratory of Theoretical Physics, Institute of Theoretical Physics, Chinese Academy of Sciences, Beijing 100190, China（3 中国科学院理论物理重点实验室，理论物理研究所，中国科学院，北京 100190，中国） ； School of Physics and Key Laboratory of Quantum State Construction and Manipulation (Ministry of Education), Renmin University of China, Beijing 100872, China（4 物理学院和量子态构造与操控（教育部）重点实验室，中国人民大学，北京 100872，中国） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LoRA-Over框架，通过训练时丰富优化景观并推理时压缩，提升低秩适应的泛化能力，实验显示其在多个任务上优于传统LoRA。

LoCO: Low-rank Compositional Rotation Fine-tuning

LoCO：低秩组合旋转微调

An Nguyen, Jaesik Choi, Anh Tong

机构 * Korea University（韩国大学） ； KAIST（韩国科学技术院） ； INEEJI 纠错

专题命中 指令微调 ：language model(abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 LoCO提出一种低秩组合旋转微调方法，通过低秩斜对称矩阵构建正交变换，实现高效参数微调，适用于多领域模型适应，展现优于传统正交和非正交方法的性能。

Comments IJCAI 2026

The Right Answer, the Wrong Direction: Why Transformers Fail at Counting and How to Fix It

正确的答案，错误的方向：为什么Transformer在计数上失败以及如何修复

Gabriel Garcia

机构 * Independent Researcher（独立研究者） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究发现Transformer在计数任务中失败是由于输出路径与所需令牌对齐问题，通过局部调整输出头和注意力机制可提升计数性能。

Comments 27 pages, 3 figures, 18 tables. Code: https://github.com/Gpgabriel25/GeometricReadoutBottleneck

GPart: End-to-End Isometric Fine-Tuning via Global Parameter Partitioning

GPart：通过全局参数划分实现端到端等距微调

Paolo Mandica, Michał Brzozowski, Zuzanna Dubanowska, Neo Christopher Chung

机构 * Samsung AI Center（三星人工智能中心） ； University of Warsaw（华沙大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 GPart通过全局参数划分方法实现端到端等距微调，无需低秩结构，仅需一个随机投影即可高效微调模型，实现存储成本低且性能优越。

TiTok: Transfer Token-level Knowledge via Contrastive Excess to Transplant LoRA

TiTok: 通过对比超额迁移LoRA

Chanjoo Jung, Jaehyung Kim

机构 * Yonsei University（延世大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 TiTok通过token级知识迁移实现有效LoRA迁移，利用源模型有无LoRA的token对比超额提取任务相关信息，无需额外模型即可选择性过滤合成数据，在多个迁移设置中实现平均+4~10%的性能提升。

Comments ICLR 2026

AIS: Adaptive Importance Sampling for Quantized RL

AIS: 量化强化学习中的自适应重要性采样

Jiajun Zhou, Wei Shao, Lingchao Zheng, Yuwei Fan, Ngai Wong

机构 * Huawei（华为） ； The University of Hong Kong（香港大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出AIS方法，通过动态调整重要性采样强度，解决量化强化学习中 rollout 与训练不匹配导致的策略梯度偏差问题，在保持FP8加速优势的同时，提升训练稳定性。

From Instance Selection to Fixed-Pool Data Recipe Search for Supervised Fine-Tuning

从实例选择到固定池数据配方搜索用于监督微调

Haodong Wu, Jiahao Zhang, Lijie Hu, Yongqi Zhang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Mohamed bin Zayed University of Artificial Intelligence（莫扎伊德大学人工智能学院） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出固定池数据配方搜索方法，通过结合过滤、混合和去重操作，高效生成高质量监督微调数据集，实验显示其优于全数据训练和随机搜索等方法。

LoRA-Mixer: Coordinate Modular LoRA Experts Through Serial Attention Routing

LoRA-Mixer：通过序列注意力路由协调模块化LoRA专家

Wenbing Li, Zikai Song, Hang Zhou, Yunyao Zhang, Junqing Yu, Wei Yang

机构 * Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 LoRA-Mixer通过将任务特定的LoRA专家路由到注意力模块的核心投影矩阵中，实现细粒度的token级专业化，同时保持与Transformer和状态空间模型的兼容性，且在15个基准测试中表现优于现有方法。

Assessment of RAG and Fine-Tuning for Industrial Question-Answering-Applications

对RAG和微调在工业问答应用中的评估

Jakob Sturm, Josef Pichlmeier, Christian Bernhard, Maka Karalashvili, Johannes Klepsch, Georg Groh, Andre Luckow

机构 * BMW Group（宝马集团） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过汽车行业封闭数据集评估RAG和微调在问答系统中的效果，发现RAG在质量和成本效率上优于微调，尤其适用于开源模型。

Comments Accepted at AAAI 2026 Workshop on New Frontiers in Information Retrieval

Queryable LoRA: Instruction-Regularized Routing Over Shared Low-Rank Update Atoms

可查询的LoRA：基于共享低秩更新原子的指令正则化路由

Omatharv Bharat Vaidya, Connor T. Jerzak, Nhat Ho, Chandrajit Bajaj

机构 * Department of Computer Science（计算机科学系） ； Department of Government（政府系） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Department of Statistics and Data Sciences（统计与数据科学系） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出一种数据自适应的参数高效微调方法，通过共享可查询的记忆体实现动态路由，结合指令正则化提升模型适应性与稳定性。

Echo-LoRA: Parameter-Efficient Fine-Tuning via Cross-Layer Representation Injection

Echo-LoRA：通过跨层表示注入实现参数高效微调

Yihang Peng, Peng Jin, Jie Gong, Xingyuan Chen, Lingjiao Xu, Ning Su, Yan Ran

机构 * School of Computer Science and Software Engineering, Southwest Petroleum University（西南石油大学计算机科学与软件工程学院） ； School of Electronic Information and Artificial Intelligence, Leshan Normal University（乐山师范学院电子信息与人工智能学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Echo-LoRA通过跨层表示注入提升参数高效微调效果，在八个常识推理基准上超越LoRA基线，减少训练与推理间的差距。

LiteGUI: Distilling Compact GUI Agents with Reinforcement Learning

LiteGUI: 通过强化学习蒸馏紧凑的GUI代理

Yubin Wu, Zicheng Cai, Liping Ning, Hua Wang, Zhi Chen, Yaohua Tang, Hao Chen

机构 * Moore Threads AI 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出一种无需监督微调的训练方法，通过引导在线蒸馏和多解决方案双层GRPO框架，提升小规模模型在GUI任务中的性能和探索能力。

MIPIAD: Multilingual Indirect Prompt Injection Attack Defense with Qwen -- TF-IDF Hybrid and Meta-Ensemble Learning

MIPIAD: 多语言间接提示注入攻击防御与Qwen-TF-IDF混合及元集成学习

Al Muhit Muhtadi, Mostafa Rifat Tazwar

机构 * Bangladesh University of Engineering and Technology（孟加拉工程与技术大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出MIPIAD框架，结合Qwen2.5-1.5B微调序列分类器、TF-IDF特征和元集成学习，通过合成基准测试在英文和孟加拉文上实现高准确率的攻击检测，有效减少跨语言差距。

Beyond Factor Aggregation: Gauge-Aware Low-Rank Server Representations for Federated LoRA

超越因子聚合：面向联邦LoRA的 gauge 意识低秩服务器表示

Jinqian Chen, Chang Liu, Jihua Zhu

机构 * School of Software Engineering（软件工程学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 GLoRA通过估计共识更新子空间和共享参考坐标，实现语义化的低秩更新聚合，优于联邦LoRA基线，在数据、资源和任务异质性下表现更优。

Probe-Geometry Alignment: Erasing the Cross-Sequence Memorization Signature Below Chance

探测器几何对齐：在偶然机会以下消除跨序列记忆签名

Anamika Paul Rupa, Anietie Andy

机构 * Howard University（霍华德大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了大语言模型中记忆痕迹的消除方法，提出通过探测器几何对齐技术在不损害能力的前提下，有效消除跨序列记忆签名，且在多种模型上验证了其有效性。

Removing Sandbagging in LLMs by Training with Weak Supervision

通过弱监督训练消除大模型中的虚报行为

Emil Ryd, Henning Bartsch, Julian Stastny, Joe Benton, Vivek Hebbar

机构 * University of Oxford（牛津大学） ； Redwood Research（红木研究） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究通过结合监督微调与强化学习，发现弱监督训练能有效消除模型虚报行为，但需确保训练与部署不可区分。

FinCARDS: Card-Based Analyst Reranking for Financial Document Question Answering

FinCARDS: 基于卡片的分析师重排序用于财务文档问答

Yixi Zhou, Fan Zhang, Yu Chen, Haipeng Zhang, Preslav Nakov, Zhuohan Xie

机构 * ShanghaiTech University（上海科技大学） ； The University of Tokyo（东京大学） ； MBZUAI 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 FinCARDS通过结构化重排序框架，将财务证据选择转化为在财务意识模式下的约束满足问题，提升长文档问答的稳定性与可追溯性。

Comments 17 pages, including figures and tables

SAMoRA: Semantic-Aware Mixture of LoRA Experts for Task-Adaptive Learning

SAMoRA：基于语义的LoRA专家混合方法用于任务自适应学习

Boyan Shi, Wei Chen, Shuyuan Zhao, Junfeng Shen, Shengnan Guo, Shaojiang Wang, Huaiyu Wan

机构 * School of Computer Science and Technology, Beijing Jiaotong University, China（北京交通大学计算机科学与技术学院） ； Guangxi Key Lab of Trusted Software, Guilin University of Electronic Technology, China（广西trusted软件重点实验室，桂林电子科技大学） ； Beijing Key Lab of Traffic Data Mining and Embodied Intelligence, China（北京交通数据挖掘与具身智能重点实验室） ； Institute of AI for Industries, Chinese Academy of Sciences, China（工业人工智能研究院，中国科学院） ； Nanjing Institute of Software Technology, China（南京软件技术研究院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 SAMoRA通过语义感知路由和任务自适应缩放机制，提升多任务学习中的专家专业化与任务适应性，实验显示其性能优于现有方法。

Comments ACL 2026 Findings

How to Teach Large Multimodal Models New Skills

如何向大型多模态模型传授新技能

Zhen Zhu, Yiming Gong, Yao Xiao, Yaoyao Liu, Derek Hoiem

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Google DeepMind（谷歌DeepMind） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文研究了如何在不丧失原有能力的前提下通过序列微调向大型多模态模型传授新技能，提出两种有效的微调方法以平衡学习与遗忘。

Comments In submission. Code is available at https://github.com/jessemelpolio/LMM_CL

ImpRIF: Stronger Implicit Reasoning Leads to Better Complex Instruction Following

ImpRIF：更强的隐式推理导致更好的复杂指令遵循

Yuancheng Yang, Lin Yang, Xu Wang, Chao Tong, Haihua Yang

机构 * ByteDance China（字节跳动中国） ； School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院） ； State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ImpRIF方法，通过构建可验证推理图提升大语言模型对隐式推理指令的理解，从而增强复杂指令遵循能力，在五个基准测试中表现优异。

Comments Accepted at ACL 2026 Main Conference

HiP-LoRA: Budgeted Spectral Plasticity for Robust Low-Rank Adaptation

HiP-LoRA: 带预算的谱塑性用于鲁棒低秩适应

Lixian Chen, Jianhong Tan

机构 * Guangdong University of Technology（广东工业大学） 纠错

专题命中 指令微调 ：foundation model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 HiP-LoRA通过谱感知适应框架解决LoRA的谱干扰问题，通过分解更新为两个通道以平衡预训练行为保留与任务特定塑性，实验显示其在持续调优和知识编辑等敏感任务中表现更优。

Abstain-R1: Calibrated Abstention and Post-Refusal Clarification via Verifiable RL

Abstain-R1: 通过可验证的强化学习实现校准的回避与拒绝后澄清

Skylar Zhai, Jingcheng Liang, Dongyeop Kang

机构 * University of Minnesota（明尼苏达大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Abstain-R1模型，通过可验证的强化学习奖励机制，提升模型在无法回答查询时的回避与澄清能力，同时保持对可回答查询的性能。

Comments Accepted at ACL 2026

No-Worse Context-Aware Decoding: Preventing Neutral Regression in Context-Conditioned Generation

无劣上下文感知解码：防止上下文条件生成中的中性退化

Yufei Tao, Ameeta Agrawal

机构 * Department of Computer Science, Portland State University, USA（波特兰州立大学计算机科学系） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出NWCAD解码器，通过双流架构和双阶段门控机制，防止中性退化并提升上下文利用的可靠性。

Comments Findings at ACL 2026

Rethinking LoRA for Privacy-Preserving Federated Learning in Large Models

重新思考LoRA用于大模型隐私保护联邦学习

Jin Liu, Yinbin Miao, Ning Xi, Junkang Liu

机构 * School of Cyber Engineering, Xidian University（西安电子科技大学电子工程学院） ； College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LA-LoRA方法，解决DPFL中LoRA的性能下降问题，通过解耦梯度交互和对齐更新方向，提升在严格隐私约束下的鲁棒性，实验显示在Swin Transformer和RoBERTa模型上达到SOTA性能。

Journal ref ICLR 2026

Aletheia: Gradient-Guided Layer Selection for Efficient LoRA Fine-Tuning Across Architectures

Aletheia：基于梯度的层选择用于跨架构高效LoRA微调

Abdulmalek Saket

机构 * Royal Fenice Kft / ALETHEIA PROTOCOL research（皇家芬伊克公司 / ALETHEIA协议研究） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 Aletheia通过梯度探针识别任务相关层，采用不对称秩分配实现高效LoRA微调，实验显示在14种模型上提升训练速度15-28%，且下游表现保持良好。

Comments 11 pages, 5 figures, 2 frozen evidence campaigns, 81 experiment rows across 14 successful models and 8 architecture families, plus one documented failed Pythia/GPT-NeoX attempt

Chinese Essay Rhetoric Recognition Using LoRA, In-context Learning and Model Ensemble

基于LoRA、上下文学习和模型集成的中文议论文识别

Yuxuan Lai, Xiajing Wang, Chen Zheng

机构 * The Open University of China（中国开放大学） ； Engineering Research Center of Integration and Application of Digital Learning Technology, Ministry of Education（教育部数字学习技术整合与应用工程研究中心） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出利用LoRA微调和上下文学习整合议论文知识，结合模型集成提升性能，在CCL 2025评测中取得最佳成绩。

Comments Accepted by CCL2025

Polynomial Expansion Rank Adaptation: Enhancing Low-Rank Fine-Tuning with High-Order Interactions

多项式展开秩适应：通过高阶交互增强低秩微调

Wenhao Zhang, Lin Mu, Li Ni, Peiquan Jin, Yiwen Zhang

机构 * Anhui University（安徽大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出PERA方法，通过在低秩因子空间中引入结构化多项式展开，提升低秩微调的表达能力，实验证明其在多种基准上表现优异。

Comments Accepted by ACL 2026 findings

ALTO: Adaptive LoRA Tuning and Orchestration for Heterogeneous LoRA Training Workloads

ALTO：适应性LoRA调优与异构LoRA训练工作负载的编排

Jingwei Zuo, Xinze Feng, Zien Liu, Kaijian Wang, Fanjiang Ye, Ye Cao, Zhuang Wang, Yuke Wang

机构 * Rice University（莱斯大学） ； Independent Researcher（独立研究员） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 ALTO通过适应性调优和编排技术提升异构LoRA训练效率，通过监控损失轨迹和优化资源分配实现多任务协同，达到13.8倍的速度提升而不牺牲适配器质量。

SOLAR: Communication-Efficient Model Adaptation via Subspace-Oriented Latent Adapter Reparametrization

SOLAR：通过子空间导向的潜在适配器重参数化实现通信高效的模型适应

Seyed Mahmoud Sajjadi Mohammadabadi, Xiaolong Ma, Lei Yang, Feng Yan, Junshan Zhang

机构 * University of Nevada, Reno（内华达大学里诺分校） ； Argonne National Laboratory（阿贡国家实验室） ； University of Houston（休斯顿大学） ； University of California, Davis（加利福尼亚大学戴维斯分校） 纠错

专题命中 指令微调 ：foundation model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 SOLAR通过子空间导向的潜在适配器重参数化方法，减少PEFT适配器的通信和存储成本，提升模型适应效率。

Are Sparse Autoencoders Useful for Java Function Bug Detection?

稀疏自编码器是否有助于Java函数Bug检测？

Rui Melo, Claudia Mamede, Andre Catarino, Rui Abreu, Henrique Lopes Cardoso

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨了稀疏自编码器在Java函数Bug检测中的有效性，通过GPT-2 Small和Gemma 2B的表示进行评估，发现SAE衍生特征在无需微调的情况下可达到89%的F1分数，优于传统基线模型。

Comments I'm working on a completely new paper with different models and datasets and authors. I believe it to be a more robust contribution. Since the authors, title and hypothesis are different, I believe it to be a better approach to remove this preprint