语言大模型 / LLM

Enhancing Instruction Following of LLMs via Activation Steering with Dynamic Rejection

通过动态拒绝引导增强大语言模型的指令遵循能力

Minjae Kang, Jaehyung Kim

机构 * Yonsei University（延世大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；分类 cs.AI、cs.LG

AI总结 DIRECTER通过动态调节引导强度和基于可能性的解码循环，提升大语言模型在复杂指令下的准确性和生成质量。

Comments Accepted at ICLR 2026

FLoRG: Federated Fine-tuning with Low-rank Gram Matrices and Procrustes Alignment

FLoRG: 联邦微调与低秩格拉姆矩阵及普鲁斯特对齐

Chuiyang Meng, Ming Tang, Vincent W. S. Wong

机构 * The University of British Columbia（不列颠哥伦比亚大学） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 FLoRG通过使用单一低秩矩阵和普鲁斯特对齐方法，提高联邦微调的效率和准确性，减少通信开销。

Silent Sabotage During Fine-Tuning: Few-Shot Rationale Poisoning of Compact Medical LLMs

细调过程中的无声破坏：紧凑型医学LLM的少样本推理污染

Jingyuan Xie, Wenjie Wang, Ji Wu, Jiandong Gao

机构 * Department of Electronics Engineering, Tsinghua University, Beijing, China（清华大学电子工程系） ； College of AI, Tsinghua University, Beijing, China（清华大学人工智能学院） ； Beijing National Research Center for Information Science and Technology, Beijing, China（北京信息科学国家研究中心） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种针对医学LLM在细调过程中的推理污染攻击，通过注入污染的推理样本导致模型在特定医学主题上的性能下降，揭示了细调阶段存在的安全风险。

CharacterFlywheel: Scaling Iterative Improvement of Engaging and Steerable LLMs in Production

CharacterFlywheel: 在生产环境中迭代改进社交聊天应用中吸引人且可操控的大型语言模型

Yixin Nie, Lin Guan, Zhongyao Ma, Anchit Gupta, Yipin Zhou, Xiao Li, Zhengping Zhou, Raymond Zeng, Gelin Zhou, Shigan Chu, Ajay Thampi, Wancen Mu, Nathan Shuster, Ketong Wang, Lin Chen, Jason Brewer, Derek Hao Hu, Alexander McCauley, Jason Weston, Sem Park, Na Zhang, Kevin Tang

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； FAIR at Meta（Meta的FAIR部门） ； OpenAI（开放人工智能研究所） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.AI

AI总结 CharacterFlywheel通过迭代优化提升社交聊天应用中LLMs的参与度和可操控性，实现显著的性能提升。

Enhancing Persona Following at Decoding Time via Dynamic Importance Estimation for Role-Playing Agents

通过动态重要性估计增强解码时的个性跟随以用于角色扮演代理

Yuxin Liu, Mingye Zhu, Siyuan Liu, Bo Hu, Lei Zhang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；language agent(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种基于理论的动态重要性估计方法，通过加权奖励引导解码提升角色扮演代理在动态场景中的个性跟随能力。

Comments ICLR 2026

SpinGPT: A Large-Language-Model Approach to Playing Poker Correctly

SpinGPT：一种用于正确玩扑克的大型语言模型方法

Narada Maugin, Tristan Cazenave

机构 * LAMSADE, Université Paris Dauphine - PSL, CNRS, Paris, France（LAMSADE，巴黎政治经济大学-PSL，国家科学研究中心，法国） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 SpinGPT是一种针对三人在线扑克格式Spin & Go量身定制的大型语言模型，通过监督微调和强化学习在扑克比赛中表现出色。

Comments Accepted at Advances in Computer Games (ACG) 2025, LNCS (Springer)

Topic Modeling with Fine-tuning LLMs and Bag of Sentences

基于微调大语言模型和句子袋的主题建模

Johannes Schneider

机构 * University of Liechtenstein（列支敦士登大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出FT-Topic方法，通过自动构建训练数据集并结合SenClu方法实现高效主题建模。

Comments This is the submitted journal version of enhanced with the novel fine-tuning part of "Efficient and Flexible Topic Modeling using Pretrained Embeddings and Bag of Sentences'' which appeared at the International Conference on Agents and Artificial Intelligence(ICAART) in 2024

Doc-to-LoRA: Learning to Instantly Internalize Contexts

Doc-to-LoRA: 学习即时内化上下文

Rujikorn Charakorn, Edoardo Cetin, Shinnosuke Uesaka, Robert Tjarko Lange

机构 * Minerva University, California, USA（明维大学，美国加利福尼亚州） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 Doc-to-LoRA通过轻量级超网络实现单次前向传递中的近似上下文蒸馏，提升大语言模型在长上下文任务中的推理效率和准确性。

Enhancing Action and Ingredient Modeling for Semantically Grounded Recipe Generation

增强语义 grounded 的动作和成分建模以实现语义 grounded 的食谱生成

Guoshan Liu, Bin Zhu, Yian Li, Jingjing Chen, Chong-Wah Ngo, Yu-Gang Jiang

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出语义 grounded 的框架，通过两阶段流程结合监督微调和强化微调，提升食谱生成的语义准确性与成分预测能力。

TabSieve: Explicit In-Table Evidence Selection for Tabular Prediction

TabSieve: 表格内证据选择用于表格预测

Yongyao Wang, Ziqi Miao, Lu Yang, Haonan Jia, Wenting Yan, Chen Qian, Lijun Li

专题命中 指令微调 ：LLM(abstract)；SFT(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 TabSieve通过显式选择表格内证据提升预测性能，采用强化学习优化证据选择与预测正确性，实验显示在分类和回归任务中均取得显著提升。

Comments 13 pages

Fine-tuning Quantized Neural Networks with Zeroth-order Optimization

使用零阶优化进行量化神经网络微调

Sifeng Shang, Jiayi Zhou, Chenyu Lin, Minxian Li, Kaiyang Zhou

机构 * Hong Kong Baptist University（香港 Baptist 大学） ； Nanjing University of Science and Technology（南京理工大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出量化零阶优化方法，通过消除梯度和优化器状态来减少内存使用，实现4位LLM在24GB GPU上高效微调。

Comments Accepted by ICLR 2026

Maastricht University at AMIYA: Adapting LLMs for Dialectal Arabic using Fine-tuning and MBR Decoding

马斯特里赫特大学AMIYA：通过微调和MBR解码适应方言阿拉伯语

Abdulhai Alali, Abderrahmane Issam

机构 * Maastricht University at AMIYA（马斯特里赫特大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过LoRA微调和MBR解码技术，提升方言阿拉伯语的生成与翻译性能，实验显示该方法在保持语义准确性的基础上提高了方言忠实度。

Task--Specificity Score: Measuring How Much Instructions Really Matter for Supervision

任务特异性分数：衡量指令在监督中的实际重要性

Pritam Kadasi, Abhishek Upperwal, Mayank Singh

机构 * Lingo Research Group, Indian Institute of Technology Gandhinagar（林戈研究组，印度理工学院冈德hinagar分校） ； Soket AI（Soket人工智能公司） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.AI

AI总结 任务特异性分数用于衡量指令在监督学习中的重要性，通过对比真实指令与替代指令来提升模型性能。

ToPT: Task-Oriented Prompt Tuning for Urban Region Representation Learning

为城市区域表示学习设计的任务导向提示微调：ToPT

Zitao Guo, Changyang Jiang, Tianhong Zhao, Jinzhou Cao, Genan Dai, Bowen Zhang

机构 * College of Applied Science, Shenzhen University, Shenzhen, China（深圳大学应用科学学院） ； School of Artificial Intelligence, Shenzhen Technology University, Shenzhen, China（深圳科技大学人工智能学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 ToPT通过空间一致融合和任务对齐提升城市区域表示学习，实现任务导向的提示微调，提升多个城市任务的性能。

Comments The paper has been accepted by ICASSP 2026

Learning the Boundary of Solvability: Aligning LLMs to Detect Unsolvable Problems

学习可解性的边界：对齐大语言模型以检测不可解的问题

Dengyun Peng, Qiguang Chen, Bofei Liu, Jiannan Guan, Libo Qin, Zheng Yan, Jinhao Liu, Jianshu Zhang, Wanxiang Che

机构 * LARG, Research Center for Social Computing and Interactive Robotics, HIT（LARG，社会计算与交互机器人研究中心，哈尔滨工业大学） ； School of Computer Science and Engineering, Central South University（计算机科学与工程学院，中南大学） ； iFLYTEK 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出UnsolvableQA数据集和UnsolvableRL框架，通过逆向构建引入逻辑矛盾，提升LLM对不可解问题的检测能力，并在Qwen3-4B-Instruct上提升可解推理准确率至69.4%。

Comments preprint

EmoShift: Lightweight Activation Steering for Enhanced Emotion-Aware Speech Synthesis

EmoShift: 轻量级激活引导用于增强情感感知语音合成

Li Zhou, Hao Jiang, Junjie Li, Tianrui Wang, Haizhou Li

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； The Hong Kong Polytechnic University（香港理工大学） ； Tianjin University（天津大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 EmoShift通过轻量级激活引导框架提升情感感知语音合成的情感表达与自然性。

Comments Activation Steering; Emotion-Aware TTS; Speech Synthesis; Accepted by ICASSP 2026

FGGM: Fisher-Guided Gradient Masking for Continual Learning

FGGM：基于Fisher信息的梯度掩码用于持续学习

Chao-Hong Tan, Qian Chen, Wen Wang, Yukun Ma, Chong Zhang, Chong Deng, Qinglin Zhang, Xiangang Li, Jieping Ye

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.LG

AI总结 FGGM通过基于Fisher信息的梯度掩码方法，有效缓解大语言模型的灾难性遗忘问题，在持续学习任务中表现出优于MIGU和监督微调的性能。

Comments Accepted by ICASSP 2026

DPI: Exploiting Parameter Heterogeneity for Interference-Free Fine-Tuning

DPI: 利用参数异质性实现无干扰的微调

Xiaoyu Liu, Xiaoyu Guan, Di Liang, Xianjie Wu

机构 * College of Science, Northeastern University, Boston, United States（东北大学科学学院） ； University of Florida（佛罗里达大学） ； Beijing Information Science and Technology University（北京信息科技大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出利用参数异质性实现无干扰的微调方法，通过分离任务特定参数区域以减少跨任务干扰，提升模型适应下游任务的性能。

Neurosymbolic LoRA: Why and When to Tune Weights vs. Rewrite Prompts

神经符号LoRA：为何以及何时调整权重 versus 重写提示

Kevin Wang, Neel P. Bhatt, Cong Liu, Junbo Li, Runjin Chen, Yihan Xi, Timothy Barclay, Alvaro Velasquez, Ufuk Topcu, Zhangyang Wang

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 神经符号LoRA结合数值和符号更新，提升语言模型微调的适应性和性能。

A self-evolving multi-role collaborative framework with fine-grained difficulty guidance for innovative mathematical problem generation

具有细粒度难度指导的自进化多角色协作框架用于创新数学问题生成

Yifei Sun, Yongan Li, A. K. Qin, Sicheng Hou, Tamas Pflanzner

机构 * School of Physics and Information Technology, Shaanxi Normal University（陕西师范大学物理与信息技术学院） ； Department of Computing Technologies, Swinburne University of Technology（斯威本科技大学计算技术系） ； Department of Software Engineering, University of Szeged（塞格德大学软件工程系） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种自进化多角色协作框架，通过细粒度难度指导提升创新数学问题生成的正确率与创新性。

Understanding and Preserving Safety in Fine-Tuned LLMs

理解并保持在微调大语言模型中的安全性

Jiawen Zhang, Yangfan Hu, Kejia Chen, Lipeng He, Jiachen Ma, Jian Lou, Dan Li, Jian Liu, Xiaohu Yang, Ruoxi Jia

机构 * Zhejiang University（浙江大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； University of Waterloo（滑铁卢大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Sun Yat-sen University（中山大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出安全保持微调（SPF）方法，通过分析安全性与实用性梯度的几何关系，有效解决微调过程中安全性与实用性之间的矛盾，保持模型性能并恢复预训练的安全性对齐。

Fine-Tuning vs. RAG for Multi-Hop Question Answering with Novel Knowledge

基于新知识的多跳问答中微调与RAG的比较

Zhuoyi Yang, Yurun Song, Iftekhar Ahmed, Ian Harris

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 本文比较了微调与RAG在多跳问答中处理新颖知识的效果，发现RAG在时间新颖信息问答中表现更优，而有监督微调整体准确率最高。

"They parted illusions -- they parted disclaim marinade": Misalignment as structural fidelity in LLMs

他们分开了幻象——他们分开了否定腌制：在大语言模型中将不一致视为结构忠实

Mariana Lins Costa

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出大语言模型中'不一致'现象源于对不一致语言结构的忠实，而非欺骗性意图，通过分析案例和实证数据，揭示语言结构与意图生成的关系。

RPO: Fine-Tuning Visual Generative Models via Rich Vision-Language Preferences

RPO：通过丰富的视觉-语言偏好进行视觉生成模型微调

Hanyang Zhao, Haoxian Chen, Yucheng Guo, Genta Indra Winata, Tingting Ou, Ziyu Huang, David D. Yao, Wenpin Tang

机构 * Columbia University（哥伦比亚大学） ； Amazon（亚马逊） ； Princeton University（普林斯顿大学） ； Capital One 纠错

专题命中 指令微调 ：language model(abstract)；preference optimization(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 RPO通过利用视觉语言模型的丰富反馈信号，改进偏好对的编纂，从而提升视觉生成模型的微调效果。

Donors and Recipients: On Asymmetric Transfer Across Tasks and Languages with Parameter-Efficient Fine-Tuning

捐赠者与接收者：在任务和语言之间进行非对称转移与参数高效微调

Kajetan Dymkiewicz, Ivan Vulic, Helen Yannakoudakis, Eilam Shapira, Roi Reichart, Anna Korhonen

机构 * University of Cambridge（剑桥大学） ； King’s College London（伦敦国王学院） ； Technion–Israel Institute of Technology（技术学院—以色列理工学院） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过LoRA微调分析了跨任务和语言的非对称转移现象，发现匹配任务的跨语言转移最有效，高资源语言和广泛任务作为高效接收者吸收收益，而专门任务和低资源语言则较为孤立。

LLMs for Explainable Business Decision-Making: A Reinforcement Learning Fine-Tuning Approach

用于可解释性商业决策的大型语言模型：一种强化学习微调方法

Xiang Cheng, Wen Wang, Anindya Ghose

机构 * Robert H. Smith School of Business, University of Maryland（大学管理学院） ； Leonard N. Stern School of Business, New York University（纽约大学商学院） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出LEXMA方法，通过强化学习微调生成多受众适用的自然语言解释，提升商业决策的可解释性与实用性。

The Instruction Gap: LLMs get lost in Following Instruction

指令鸿沟：LLMs在遵循指令时迷失

Vishesh Tripathi, Uday Allu, Biddwan Ahmed

机构 * Vishesh Tripathi ； Uday Allu ； Biddwan Ahmed 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究揭示了LLMs在企业部署中遵循指令的不足，通过评估13种模型发现Claude-Sonnet-4和GPT-5表现最佳，指出指令遵循能力的鸿沟及改进方向。

GEM-Style Constraints for PEFT with Dual Gradient Projection in LoRA

基于LoRA的GEM风格约束与双梯度投影的持续学习

Brian Tekmen, Jason Yin, Qianqian Tong

机构 * Department of Computer Science University of North Carolina Greensboro（计算机科学系北卡罗来纳州立大学） ； Department of Computer Science North Carolina State University（计算机科学系北卡罗来纳州立大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 I-GEM通过在LoRA子空间内应用GEM约束，实现低开销的持续学习，有效提升模型性能并减少计算成本。

Comments Work accepted to the NSF REU Symposium at the 2025 IEEE International Conference on Data Mining (ICDM). Correspondence to: betekmen@uncg.edu

Aspect Extraction from E-Commerce Product and Service Reviews

从电子商务产品和服务评论中提取方面

Valiant Lance D. Dionela, Fatima Kriselle S. Dy, Robin James M. Hombrebueno, Aaron Rae M. Nicolas, Charibeth K. Cheng, Raphael W. Gonda

机构 * De La Salle University（德拉萨大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种针对Taglish的综合方面提取流程，结合规则、LLM和微调技术，通过生成式LLM在隐式方面处理上取得高性能，展示了在混合语言环境中的ABSA增强能力。

HFedMoE: Resource-aware Heterogeneous Federated Learning with Mixture-of-Experts

HFedMoE: 带有专家混合的资源感知异构联邦学习

Zihan Fang, Zheng Lin, Senkang Hu, Yanan Ma, Yihang Tao, Yiqin Deng, Xianhao Chen, Yuguang Fang

机构 * Hong Kong JC STEM Lab of Smart City and Department of Computer Science, City University of Hong Kong（香港JC STEM实验室及城市大学计算机科学系） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 HFedMoE通过定制专家子集和稀疏性感知聚合策略，实现高效异构联邦学习微调。

Comments 14 pages, 16 figures