语言大模型 / LLM

Steering Vectors are an Adversarial Attack Surface

Steering Vectors 是对抗攻击面

Abzal Aidakhmetov, Donato Crisostomi, Tommaso Mencattini, Adrian Robert Minut, Iacopo Masi, Emanuele Rodolà

机构 * Sapienza University of Rome（罗马萨皮恩扎大学） ； EPFL（苏黎世联邦理工学院） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文揭示了一种隐蔽的数据投毒攻击，通过替换转向数据集中的4-6%令牌，使转向向量与反拒绝方向对齐，从而劫持目标模型，同时保留对良性提示的预期转向效果。

Dominant-Layer ZO: A Single Layer Dominates Zeroth-Order Fine-Tuning of LLMs

主导层 ZO：单层主导大语言模型的零阶微调

Wanhao Yu, Ziyan Wang, Zheng Wang, Abeer Matar Almalky, Yihang Zuo, Shuteng Niu, Sen Lin, Adnan Siraj Rakin, Deliang Fan, Li Yang

机构 * University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） ； University of Houston（休斯顿大学） ； State University of New York at Binghamton（纽约州立大学布法罗分校） ； Arizona State University（亚利桑那州立大学） ； Department of Artificial Intelligence and Informatics, Mayo Clinic（梅奥诊所人工智能与信息学系） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文发现零阶优化微调大语言模型时，单个解码层主导性能，通过仅微调该层可匹配或超越全模型微调，并基于激活异常值识别该层，解释其机制。

Willing but Unable: Separating Refusal from Capability in Code LLMs via Abliteration

有意但无力：通过消融分离代码大语言模型中的拒绝与能力

Cristina Carleo, Pietro Liguori, Naghmeh Ivaki, Domenico Cotroneo

机构 * University of Naples Federico II（那不勒斯费德里科二世大学） ； University of Coimbra（科英布拉大学） ； University of North Carolina at Charlotte（北卡罗来纳州夏洛特大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 本文通过消融技术（abliteration）对代码LLM进行低秩权重编辑，以消除其对安全注入提示的拒绝行为，从而分离拒绝意愿与代码生成能力，实验表明消融后拒绝率降至零而语法有效性保持93%以上，但注入率仍受模型容量限制。

Learning Adaptive Parallel Execution for Efficient Code Localization

学习适应性并行执行以实现高效的代码定位

Ke Xu, Siyang Xiao, Ming Liang, Yichen Yu, Zhixiang Wang, Jingxuan Xu, Dajun Chen, Wei Jiang, Yong Li

机构 * Ant Group（蚂蚁集团） ； Peking University（北京大学） ； Beijing Jiaotong University（北京交通大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；分类 cs.AI

AI总结 本文提出FuseSearch，通过将并行代码定位重新表述为联合质量-效率优化任务，采用两阶段SFT和RL训练方法学习适应性并行策略，以提高代码定位的效率和性能。

Comments Paper accepted to Findings of ACL 2026

LLMs + Persona-Plug = Personalized LLMs

LLMs + Persona-Plug = 个性化大语言模型

Jiongnan Liu, Yutao Zhu, Shuting Wang, Xiaochi Wei, Erxue Min, Yu Lu, Shuaiqiang Wang, Dawei Yin, Zhicheng Dou

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院 Gallagher 学院） ； Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE（下一代智能搜索与推荐工程研究中心，教育部） ； Baidu Inc.（百度公司） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出一种轻量级插件式用户嵌入模块PPersona-Plug，通过建模用户历史上下文生成个性化嵌入，无需微调即可提升大语言模型输出个性化程度。

Training-Free Multi-Concept LoRA Composition with Prompt-Aware Weighting

免训练的多概念LoRA组合与提示感知加权

Georgios Tsoumplekas, Stella Bounareli, Vasileios Argyriou

机构 * Department of Networks and Digital Media, Kingston University London, UK（网络与数字媒体系，金史密斯大学伦敦分校） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出一种免训练的提示感知加权策略，通过优化组合多个LoRA模块的输出实现多概念定制，提升图像质量和概念保真度。

Comments Accepted at IEEE FG 2026

Synthetic Hallucinations, Real Gains: Hard Negatives from Frontier Models for FIM Hallucination Mitigation

合成幻觉，真实收益：来自前沿模型的硬负样本用于FIM幻觉缓解

Mahdi Erfanian, Nelson Daniel Troncoso, Aashna Garg, Amabel Gale, Xiaoyu Liu, Pareesa Ameneh Golnari, Shengyu Fu

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Microsoft（微软） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；分类 cs.LG

AI总结 针对小型开源代码模型在IDE自动补全中产生的填充中间（FIM）幻觉问题，提出一种无需执行的替代方法：利用前沿代码模型合成看似合理但错误的补全作为硬负样本，通过对比合成幻觉与真实开发者编辑的差异作为监督微调信号，在Delulu基准上提升精确匹配18.8个百分点。

G2LoRA: Gradient Orthogonal Low-Rank Adaptation Framework for Graph Continual Learning on Text-Attributed Graphs

G2LoRA: 面向文本属性图的梯度正交低秩自适应框架用于图持续学习

Yuhan Wang, Yibo Ding, Yutong Ye, Mufan Zhao, Wenbo Zhang, Ruijie Wang, Jianxin Li

机构 * School of Computer Science and Engineering, Beihang University（北航计算机科学与工程学院） ； Department of Statistics, Columbia University（哥伦比亚大学统计系） ； College of Computer Science, Beijing University of Technology（北京理工大学计算机学院） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；分类 cs.LG

AI总结 针对LLM-as-Aligner模型在文本属性图持续学习中的灾难性遗忘问题，提出G2LoRA框架，通过统一图-文本对齐目标、类别感知梯度投影和梯度幅度调制，实现任务间正向迁移并缓解模态漂移。

Comments Accepted by KDD 2026

ProductWebGen: Benchmarking Multimodal Product Webpage Generation

ProductWebGen: 多模态产品网页生成基准测试

Zhihong Liu, Siqi Kou, Zheng Li, Ye Ma, Quan Chen, Peng Jiang, Kai Yu, Zhijie Deng

机构 * School of Computer Science & Zhiyuan College（计算机科学学院及智远学院） ； Shanghai Jiao Tong University（上海交通大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出ProductWebGen基准，用于评估多模态生成模型从产品图像和指令生成一致产品展示网页的能力，并比较了基于编辑和基于统一模型两种工作流。

Comments Accepted by KDD 2026

Dialectics of Alignment: Harnessing Unsafe Knowledge for Dynamic Safety Routing

对齐的辩证法：利用不安全知识实现动态安全路由

Maryam Hashemzadeh, Jerry Huang, Minseon Kim, Marc-Alexandre Côté, Sarath Chandar

机构 * Chandar Research Lab（Chandar研究实验室） ； Mila – Quebec AI Institute（魁北克AI研究所） ； Université de Montréal（蒙特利尔大学） ； Microsoft Research（微软研究院） ； Polytechnique Montréal（蒙特利尔理工学院） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出SafeMoE框架，通过混合专家模型将不安全知识隔离到领域特定的低秩适配器中，并训练轻量级门控网络动态路由这些专家，在保持安全性的同时生成信息丰富的响应。

Unifying and Optimizing Data Values for Selection via Sequential Decision-Making

通过序列决策统一和优化数据选择的数据价值

Hongliang Chi, Qiong Wu, Zhengyi Zhou, Jonathan Light, Emily Dodwell, Yao Ma

机构 * Rensselaer Polytechnic Institute（伦塞拉尔理工学院） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 将数据选择重构为序列决策问题，通过动态规划得到最优选择序列，并统一解释Data Shapley等现有方法为近视线性近似，提出基于二分图的高效替代方法，在经典ML和大规模LLM微调数据选择中显著优于现有方法。

ParaTool: Shifting Tool Representations from Context to Parameters

ParaTool: 将工具表示从上下文转移到参数中

Zekai Yu, Qi Meng, Qizhi Chu, Yu Hao, Chuan Shi, Cheng Yang

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出ParaTool框架，通过将每个工具投影为可加载的参数集，结合参数化工具预训练、软工具选择和参数化工具微调三个阶段，使大语言模型无需上下文文档即可进行工具调用，在Stable ToolBench和BFCL上显著优于基于ICL的基线方法。

On-Policy Replay for Continual Supervised Fine-Tuning

面向持续监督微调的在策略重放

Yan Chen, Taojie Zhu, Meng Zhang, Xin Chen, Jiaqi Huang, Dongyang Xu, Yizhi Wang

机构 * Tsinghua University（清华大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出在策略重放（OPR）方法，通过重放模型自身生成的高质量响应来缓解持续监督微调中的灾难性遗忘，在多个大语言模型上显著降低遗忘。

unix-ctf: Procedural Environments for Unix-Competence Reinforcement Learning

unix-ctf: 用于Unix能力强化学习的过程化环境

Geoffrey Bradway, Roger Creus Castanyer, Lorenz Wolf, Maxwill Lin, Matthew James Sargent, Augustine N. Mavor-Parker

专题命中 指令微调 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 本文提出unix-ctf，一个过程化生成shell代理的夺旗任务的环境，通过LLM辅助合成管道生成可复用的隐藏-查找脚本对，并基于此微调Qwen3-8B模型，将解决率从11.6%提升至43.6%，证明Unix能力是可分离、可训练的。

Plan Before Search: Search Agents Need Plan

搜索前先规划：搜索智能体需要规划

Zhipeng Qian, Zihan Liang, Yufei Ma, Ben Chen, Huangyu Dai, Jiayi Ji, Chenyi Lei, Wenwu Ou, Xiaoshuai Sun, Qibin Hou

机构 * Kuaishou Technology（快手科技） ； Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（教育部多媒体可信感知与高效计算重点实验室，厦门大学） ； VCIP, CS, Nankai University（南开大学VCIP实验室） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出Plan方法，通过将问题分解为有序子问题再进行检索，并引入自举训练范式，无需外部强模型蒸馏即可在多跳QA中激活规划能力。

iPOE: Interpretable Prompt Optimization via Explanations

iPOE: 基于解释的可解释提示优化

Jiahui Li, Yarik Menchaca Resendiz, Sean Papay, Roman Klinger

机构 * Fundamentals of Natural Language Processing, University of Bamberg, Germany（自然语言处理基础，巴姆堡大学，德国） ； Leibniz-Institut für Psychologie (ZPID), Trier, Germany（莱比锡心理学研究所（ZPID），特里尔，德国） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出iPOE方法，通过自动从解释中生成指南并优化，实现可解释的提示优化，在四个数据集上性能提升高达39%，且人类与LLM对指南贡献的判断一致性达Cohen's kappa 0.65。

Can LoRA Fusion Support Cross-Domain Tasks in Cloud-Edge Collaboration?

LoRA融合能否支持云边协作中的跨域任务？

Yatong Wang, Fali Wang, Naibin Gu, Zheng Lin, Zhengxiao Liu, Dingyu Yao, Zhiwei Zhang, Jianxin Shi, Weiping Wang

机构 * Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学网络安全学院） ； The Pennsylvania State University, University Park, USA（宾夕法尼亚州立大学） ； Beihang University, Beijing, China（北航大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对云边协作中跨域问题解决的需求，提出剪枝-训练-恢复框架和冲突解决模块LoRA-CR，发现现有LoRA融合方法在跨域基准MMLU-CD上表现不佳，而LoRA-CR通过缓解参数冲突将性能提升高达3.8%。

Comments 16 pages, 6 figures

FuRA: Full-Rank Parameter-Efficient Fine-Tuning with Spectral Preconditioning

FuRA: 基于谱预条件的全秩参数高效微调

Yequan Zhao, Ruijie Zhang, Liyan Tan, Niall Moran, Tong Qin, Zheng Zhang

机构 * University of California at Santa Barbara（加州大学圣芭芭拉分校） ； Amazon Lab126（亚马逊实验室126） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；instruction tuning(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出FuRA方法，通过块张量列车分解实现全秩谱预条件，在保持参数效率的同时提升微调性能，在LLM和VLM任务上优于全微调和LoRA。

Federated LoRA Fine-Tuning for LLMs via Collaborative Alignment

通过协作对齐的联邦LoRA微调大型语言模型

Shuaida He, Liwen Chen, Long Feng

机构 * School of Computing & Data Science, The University of Hong Kong（计算与数据科学学院，香港大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文研究了在联邦学习环境下使用LoRA进行参数高效微调的问题，提出了一种名为CLAIR的框架，通过结构低秩加块稀疏分解来恢复共享LoRA子空间并检测污染客户端，从而在噪声情况下实现精确恢复，并在不同条件下实现稳定和一致的协作集恢复。

Discrete Tilt Matching

离散倾斜匹配

Yuyuan Chen, Shiyi Wang, Peter Potaptchik, Jaeyeon Kim, Michael S. Albergo

机构 * Harvard University（哈佛大学） ； University of Oxford（牛津大学） ； Kempner Institute（凯姆纳研究所） 纠错

专题命中 指令微调 ：large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出了一种无需概率模型的离散倾斜匹配方法，用于改进扩散大语言模型的微调，通过局部解掩码后验的状态级匹配来提高训练稳定性并防止模式崩溃。

ZeroSearch: Incentivize the Search Capability of LLMs without Searching

ZeroSearch: 无需搜索即可激励大语言模型的搜索能力

Hao Sun, Zile Qiao, Jiayan Guo, Xuanbo Fan, Yingyan Hou, Yong Jiang, Pengjun Xie, Yan Zhang, Fei Huang, Jingren Zhou

机构 * Tongyi Lab , Alibaba Group（通义实验室，阿里巴巴集团） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究提出ZeroSearch框架，通过模拟搜索提升大语言模型的搜索能力，解决真实搜索引擎文档质量不可控和API成本高的问题，实验表明其在不同参数规模的模型上均表现优异。

Trust or Abstain? A Self-Aware RAG Approach

信任还是弃权？一种自感知RAG方法

Xi Zhu, Ziqi Wang, Kai Mei, Wujiang Xu, Minghao Guo, Bangji Yang, Jiajun Fan, Dimitris N. Metaxas

机构 * Rutgers University（罗格斯大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出了一种自感知RAG方法SABER，通过构建知识冲突基准并引入自感知信念估计器，提升RAG在冲突场景下的准确性和可靠性，同时在弃权策略上实现风险与覆盖的平衡。

IdGlow: Dynamic Identity Modulation for Multi-Subject Generation

IdGlow: 多主体生成中的动态身份调节

Honghao Cai, Xiangyuan Wang, Jing Li, Yunhao Bai, Tianze Zhou, Haohua Chen, Chao Hui, Changhao Qiao, Runqi Wang, Sijie Xu, Yuyang Hao, Zezhou Cui, Yuyuan Yang, Wei Zhu, Yibo Chen, Xu Tang, Yao Hu, Zhen Li

机构 * Xiaohongshu Inc.（小红书公司） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Peking University（北京大学） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；language model(abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 本文提出IdGlow框架，通过任务自适应的时间步调度和视觉语言模型解决多主体生成中的稳定性与可塑性矛盾，提升面部真实感与商业级美学质量。

Skills as Verifiable Artifacts: A Trust Schema and a Biconditional Correctness Criterion for Human-in-the-Loop Agent Runtimes

技能作为可验证的成果：为有人参与的代理运行时的可信架构和双向正确性标准

Alfredo Metere

机构 * Enclawed, LLC（Enclawed公司） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种可信架构和双向正确性标准，用于人类参与的代理运行时，强调技能验证的重要性，以确保运行时的可信性和可持续性。

Speculative Interaction Agents: Building Real-Time Agents with Asynchronous I/O and Speculative Tool Calling

推测交互代理：构建具有异步I/O和推测性工具调用的实时代理

Coleman Hooper, Minwoo Kang, Suhong Moon, Nicholas Lee, Eric Wen, John Wawrzynek, Michael W. Mahoney, Yakun Sophia Shao, Amir Gholami, Kurt Keutzer

机构 * University of California, Berkeley（加州大学伯克利分校） ； ICSI ； LBNL（劳伦斯伯克利国家实验室） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；分类 cs.LG

AI总结 本文提出推测交互代理，通过异步I/O和推测性工具调用，实现复杂多轮工具调用的实时交互，提升实时应用性能。

Comments 17 pages

Functional-level Uncertainty Quantification for Calibrated Fine-tuning on LLMs

功能层面的不确定性量化用于校准微调的大型语言模型

Ruijia Niu, Dongxia Wu, Rose Yu, Yi-An Ma

机构 * Department of Computer Science and Engineering, University of California San Diego（加州大学圣地亚哥分校计算机科学与工程系） 纠错

专题命中 指令微调 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出UQ4CT方法，通过混合专家微调框架校准LLM微调中的功能空间不确定性，减少ECE并提升可靠性与泛化能力。

Good Agentic Friends Do Not Just Give Verbal Advice: They Can Update Your Weights

良友并非仅提供口头建议：它们可以更新你的权重

Wenrui Bao, Huan Wang, Jian Wang, Zhangyang Wang, Kai Wang, Yuzhang Shang

机构 * University of Central Florida（中央佛罗里达大学） ； Westlake University（西拉丘吉大学） ； Snap Inc.（Snap公司） ； UT-Austin（得克萨斯大学奥斯汀分校） ； Tencent Hy（腾讯） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 本文提出TFlow框架，通过低秩权重扰动实现高效多智能体LLM协作，提升准确率并减少计算开销。

Learning Agentic Policy from Action Guidance

从动作指导学习代理策略

Yuxiang Ji, Zengbin Wang, Yong Wang, Shidong Yang, Ziyu Ma, Guanhua Chen, Zonghua Sun, Liaoni Wu, Xiangxiang Chu

机构 * Xiamen University（厦门大学） ； AMAP, Alibaba Group（阿里云实验室，阿里巴巴集团） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出ActGuide-RL方法，通过利用日常人类交互生成的动作数据，减少对昂贵迭代监督微调的依赖，提升代理强化学习在搜索代理基准上的性能。

Comments Work in progress

A Mechanistic Investigation of Supervised Fine Tuning

对监督微调的机制性研究

Ruhaan Chopra

机构 * Independent Researcher（独立研究者） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过稀疏自编码器揭示监督微调导致的表示分歧，发现任务和层特定的语义特征变化及安全对齐的层间更新模式。

DynaMiCS: Fine-tuning LLMs with Performance Constraints using Dynamic Mixtures

DynaMiCS: 通过动态混合实现具有性能约束的LLM微调

Eleonora Gualdoni, Sonia Laguna, Louis Bethune, Joao Monteiro, Pierre Ablin, Marco Cuturi

机构 * Apple（苹果公司） 纠错

专题命中 指令微调 ：LLM(title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出DynaMiCS，通过动态混合优化解决多领域微调中目标领域性能提升与约束领域性能保持的矛盾，实现更高效且更稳定的模型优化。