语言大模型 / LLM

Panacea: Mitigating Harmful Fine-tuning for Large Language Models via Post-fine-tuning Perturbation

Panacea: 通过微调后扰动缓解大语言模型的有害微调

Yibo Wang, Tiansheng Huang, Li Shen, Huanjin Yao, Haotian Luo, Rui Liu, Naiqiang Tan, Jiaxing Huang, Dacheng Tao

机构 * Tsinghua University（清华大学） ； Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Didichuxing Co. Ltd（滴滴出行有限公司） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 Panacea通过自适应扰动优化，在保持微调性能的同时缓解大语言模型的有害微调问题

Comments Accepted by NeruIPS 2025

The Effectiveness of Approximate Regularized Replay for Efficient Supervised Fine-Tuning of Large Language Models

近似正则化回放的有效性：用于大型语言模型高效监督微调的效果

Matthew Riemer, Erik Miehling, Miao Liu, Djallel Bouneffouf, Murray Campbell

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.AI、cs.LG

AI总结 本文提出了一种正则化近似回放方法，通过惩罚KL散度和引入不同语料库数据，有效缓解LoRA监督微调导致的模型能力下降问题。

InvertiTune: High-Quality Data Synthesis for Cost-Effective Single-Shot Text-to-Knowledge Graph Generation

InvertiTune：用于低成本单次文本到知识图谱生成的高质量数据合成

Faezeh Faez, Marzieh S. Tahaei, Yaochen Hu, Ali Pourranjbar, Mahdi Biparva, Mark Coates, Yingxue Zhang

机构 * Huawei Noah’s Ark Lab（华为诺亚实验室） ； Autodesk ； Ascend Team, Huawei Technologies（华为 Ascend 团队） ； McGill University（麦吉尔大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 InvertiTune通过高质量数据合成提升单次文本到知识图谱生成的效率与性能。

TLoRA: Tri-Matrix Low-Rank Adaptation of Large Language Models

TLoRA：大型语言模型的三矩阵低秩适应

Tanvir Islam

机构 * Okta 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.AI、cs.LG

AI总结 TLoRA通过三矩阵低秩适应方法实现高效参数微调，相比LoRA等方法在资源利用上更优，具有高表达性和适应性。

A Detailed Factor Analysis for the Political Compass Test: Navigating Ideologies of Large Language Models

Sadia Kamal, Lalu Prasad Yadav Prakash, S M Rafiuddin, Mohammed Rakib, Atriya Sen, Sagnik Ray Choudhury

机构 * Oklahoma State University（俄克拉荷马州立大学） ； University of North Texas（北德克萨斯大学） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL、cs.LG

UFT: Unifying Supervised and Reinforcement Fine-Tuning

Mingyang Liu, Gabriele Farina, Asuman Ozdaglar

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；small language model(abstract)；post-training(abstract)

Architectural Fusion Through Contextual Partitioning in Large Language Models: A Novel Approach to Parameterized Knowledge Integration

Offa Kingsleigh, Alfred Abercrombie, David Woolstencroft, Beorhtric Meadowcroft, Marcus Irvin

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

Comments arXiv admin note: This paper has been withdrawn by arXiv due to disputed and unverifiable authorship

Mix-LN: Unleashing the Power of Deeper Layers by Combining Pre-LN and Post-LN

Pengxiang Li, Lu Yin, Shiwei Liu

机构 * Dalian University of Technology（大连理工大学） ； University of Surrey（Surrey大学） ； University of Oxford（牛津大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

FLAME: Towards Federated Fine-Tuning Large Language Models Through Adaptive SMoE

Khiem Le, Tuan Tran, Ting Hua, Nitesh V. Chawla

机构 * University of Notre Dame（诺丁汉大学） ； Trinity College Dublin（都柏林三一学院） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.AI、cs.LG

Singular Value Decomposition on Kronecker Adaptation for Large Language Model

Yee Hin Chong, Peng Qu

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.AI、cs.LG

SORSA: Singular Values and Orthonormal Regularized Singular Vectors Adaptation of Large Language Models

Yang Cao, Zhao Song

机构 * Wyoming Seminary（怀俄明私立学院） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL、cs.LG

ROUTE: Robust Multitask Tuning and Collaboration for Text-to-SQL

Yang Qin, Chao Chen, Zhihang Fu, Ze Chen, Dezhong Peng, Peng Hu, Jieping Ye

机构 * Sichuan University（四川大学） ； Tianfu Jincheng Laboratory（天府锦城实验室） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

LoRE-Merging: Exploring Low-Rank Estimation For Large Language Model Merging

Zehua Liu, Han Wu, Yuxuan Yao, Ruifeng She, Xiongwei Han, Tao Zhong, Mingxuan Yuan

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

Safe at the Margins: A General Approach to Safety Alignment in Low-Resource English Languages -- A Singlish Case Study

Isaac Lim, Shaun Khoo, Roy Ka-Wei Lee, Watson Chua, Jia Yi Goh, Jessica Foo

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

ChatBug: A Common Vulnerability of Aligned LLMs Induced by Chat Templates

Fengqing Jiang, Zhangchen Xu, Luyao Niu, Bill Yuchen Lin, Radha Poovendran

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

Comments This paper is accepted to AAAI 2025

ASFT: Aligned Supervised Fine-Tuning through Absolute Likelihood

Ruoyu Wang, Jiachen Sun, Shaowei Hua, Quan Fang

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；RLHF(abstract)

A Framework for Fine-Tuning LLMs using Heterogeneous Feedback

Ryan Aponte, Ryan A. Rossi, Shunan Guo, Franck Dernoncourt, Tong Yu, Xiang Chen, Subrata Mitra, Nedim Lipka

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；SFT(abstract)

Comments 7 pages, 1 figure

Advanced Natural-based interaction for the ITAlian language: LLaMAntino-3-ANITA

Marco Polignano, Pierpaolo Basile, Giovanni Semeraro

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

LTNER: Large Language Model Tagging for Named Entity Recognition with Contextualized Entity Marking

Faren Yan, Peng Yu, Xin Chen

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

Comments 13 pages

InternLM2 Technical Report

Zheng Cai, Maosong Cao, Haojiong Chen, Kai Chen, Keyu Chen, Xin Chen, Xun Chen, Zehui Chen, Zhi Chen, Pei Chu, Xiaoyi Dong, Haodong Duan, Qi Fan, Zhaoye Fei, Yang Gao, Jiaye Ge, Chenya Gu, Yuzhe Gu, Tao Gui, Aijia Guo, Qipeng Guo, Conghui He, Yingfan Hu, Ting Huang, Tao Jiang, Penglong Jiao, Zhenjiang Jin, Zhikai Lei, Jiaxing Li, Jingwen Li, Linyang Li, Shuaibin Li, Wei Li, Yining Li, Hongwei Liu, Jiangning Liu, Jiawei Hong, Kaiwen Liu, Kuikun Liu, Xiaoran Liu, Chengqi Lv, Haijun Lv, Kai Lv, Li Ma, Runyuan Ma, Zerun Ma, Wenchang Ning, Linke Ouyang, Jiantao Qiu, Yuan Qu, Fukai Shang, Yunfan Shao, Demin Song, Zifan Song, Zhihao Sui, Peng Sun, Yu Sun, Huanze Tang, Bin Wang, Guoteng Wang, Jiaqi Wang, Jiayu Wang, Rui Wang, Yudong Wang, Ziyi Wang, Xingjian Wei, Qizhen Weng, Fan Wu, Yingtong Xiong, Chao Xu, Ruiliang Xu, Hang Yan, Yirong Yan, Xiaogui Yang, Haochen Ye, Huaiyuan Ying, Jia Yu, Jing Yu, Yuhang Zang, Chuyu Zhang, Li Zhang, Pan Zhang, Peng Zhang, Ruijie Zhang, Shuo Zhang, Songyang Zhang, Wenjian Zhang, Wenwei Zhang, Xingcheng Zhang, Xinyue Zhang, Hui Zhao, Qian Zhao, Xiaomeng Zhao, Fengzhe Zhou, Zaida Zhou, Jingming Zhuo, Yicheng Zou, Xipeng Qiu, Yu Qiao, Dahua Lin

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

Hyacinth6B: A large language model for Traditional Chinese

Chih-Wei Song, Yin-Te Tsai

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

Comments 14pages

AdaMergeX: Cross-Lingual Transfer with Large Language Models via Adaptive Adapter Merging

Yiran Zhao, Wenxuan Zhang, Huiming Wang, Kenji Kawaguchi, Lidong Bing

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

Poisoning Language Models During Instruction Tuning

Alexander Wan, Eric Wallace, Sheng Shen, Dan Klein

专题命中 指令微调 ：language model(title)；instruction tuning(title)；分类 cs.CL、cs.LG

Comments ICML 2023

BBTv2: Towards a Gradient-Free Future with Large Language Models

Tianxiang Sun, Zhengfu He, Hong Qian, Yunhua Zhou, Xuanjing Huang, Xipeng Qiu

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

Comments Accepted to EMNLP 2022 (main conference). Code is available at https://github.com/txsun1997/Black-Box-Tuning

LLM-Driven Large-Scale Spectrum Access

基于大语言模型的大规模频谱接入

Ning Yang, Jinliang Gao, Haijun Zhang

专题命中 指令微调 ：LLM(title,abstract)；SFT(abstract,abstract_cn)

AI总结 本文提出基于群体相对策略优化的LSA框架，通过分层状态序列化机制解决超长提示导致的计算崩溃问题，实现高效频谱管理。

Comments 11 pages, 2 figures, 8 tables. Submitted to IEEE Transactions on Mobile Computing (TMC)

Cytoarchitecture in Words: Weakly Supervised Vision-Language Modeling for Human Brain Microscopy

词中结构：用于人类大脑显微镜的弱监督视觉-语言建模

Matthew Sutton, Katrin Amunts, Timo Dickscheid, Christian Schiffer

机构 * Institute of Neuroscience and Medicine (INM-1), Research Centre Jülich（神经科学与医学研究所（INM-1），焦耳研究中心） ； Helmholtz AI, Research Centre Jülich（海德堡人工智能研究所，焦耳研究中心） ； Institute for Brain Research, University Hospital Düsseldorf（脑研究所在杜塞尔多夫大学医院） ； Computer Vision, Institute for Computational Visualistics, University of Koblenz（计算机视觉，计算视觉研究所，科布伦茨大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；foundation model(abstract)

AI总结 本研究提出了一种弱监督视觉-语言建模方法，通过标签介导生成人类大脑显微镜的区域描述，实现了在缺乏配对标注情况下的自然语言生成。

Comments 13 pages, 5 figures, accepted for inclusion at GCPR 2026

TEMPO: Semantic-Action Decoupled RL Post-Training for Vision-Language-Action Models

TEMPO：面向视觉-语言-动作模型的语义-动作解耦强化学习后训练

Ziheng Liu, Quantao Yang

机构 * School of Computer Science and Technology, Zhejiang Gongshang University（浙江工商大学计算机科学与技术学院） ； KTH Royal Institute of Technology（瑞典皇家理工学院） 纠错

专题命中 指令微调 ：post-training(title,abstract)；SFT(abstract,abstract_cn)

AI总结 本文提出TEMPO框架，通过解耦语义投影层与动作专家采用双时间尺度RL后训练，提升VLA模型在操作任务上的性能，在基准与真实任务中均优于现有方法。

Evidence-in-the-Loop: Trace-Driven Optimization for Customer-Service LLM Agents

循证优化：面向客户服务语言模型代理的跟踪驱动优化

Chunming Wu, Dafei Qiu, Congde Yuan, Charles Quan, Jun Wu, Suipeng Li, Mo Wu, Gavin Xie, Hope Chen, Max Yao

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究面向客户服务语言模型代理的优化，提出循证客户服务代理工作流程，通过多种技术构建证据，结合政策引导编排。贡献混合RAG证据构建、循证问题/行动决策、跟踪驱动的RAG和重排器改进三种部署模式。

CHARM: Charge Calibration and Acoustic Rescue for LLM-based Multimodal Sarcasm Detection

CHARM：基于大语言模型的多模态讽刺检测中的电荷校准与声学救援

Qiyang Sun, Yi Chang, Yupei Li, Xi Shao, Zixing Zhang, Björn W. Schuller

机构 * GLAM – the Group on Language, Audio, & Music, Imperial College London（伦敦帝国理工学院语言、音频和音乐小组） ； College of Telecommunications and Information Engineering, Nanjing University of Posts and Telecommunications（南京邮电大学通信与信息工程学院） ； College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院） ； Shenzhen Research Institute, Hunan University（湖南大学深圳研究院） ； CHI – Chair of Health Informatics, TUM University Hospital（慕尼黑工业大学医院健康信息学主席） ； relAI – the Konrad Zuse School of Excellence in Reliable AI（康拉德·楚泽可靠人工智能卓越学院） ； MDSI – Munich Data Science Institute（慕尼黑数据科学研究所） ； MCML – Munich Center for Machine Learning（慕尼黑机器学习中心） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究针对大语言模型在讽刺检测中过度预测积极类别及韵律线索利用不足的问题，提出CHARM框架，含双向电荷校准和声学后期融合救援两个模块，无需微调主干，提升检测性能，揭示跨文化韵律解耦，产生可解释的跨语言多模态检测器。

Comments under review

AMALIA-VL: A Native European Portuguese Open-Source Vision and Language Model

AMALIA-VL: 一个原生欧洲葡萄牙语开源视觉与语言模型

Diogo Glória-Silva, João Cardeira, Manuel Letras da Luz, Afonso Simplício, Gonçalo Vinagre, Diogo Tavares, Rafael Ferreira, Inês Calvo, Inês Vieira, David Semedo, João Magalhães

机构 * NOVA School of Science and Technology（NOVA科学与技术学校） ； NOVA LINCS 纠错

专题命中 指令微调 ：language model(title,abstract)；instruction tuning(abstract)；preference optimization(abstract)

AI总结 针对欧洲葡萄牙语缺乏开源多模态模型的问题，提出AMALIA-VL，通过三阶段训练和葡萄牙语中心数据混合，建立强基线并开源所有资源。