语言大模型 / LLM

Reconstructing Training Data from Adapter-based Federated Large Language Models

从基于适配器的联邦大语言模型中重建训练数据

Silong Chen, Yuchuan Luo, Guilin Deng, Yi Liu, Min Xu, Shaojing Fu, Xiaohua Jia

机构 * National University of Defense Technology（国防科技大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究提出UTR攻击，揭示基于适配器的FedLLMs中低秩适配器导致的隐私泄露问题，挑战轻量级适应提升安全性的假设。

Comments Yuchuan Luo and Yi Liu are co-corresponding authors. Accepted at The Web Conference (WWW) 2026

Artificial Entanglement in the Fine-Tuning of Large Language Models

大语言模型微调中的人工纠缠

Min Chen, Zihan Wang, Canyu Chen, Zeguan Wu, Manling Li, Junyu Liu

机构 * Department of Computer Science, University of Pittsburgh, Pittsburgh, PA 15260, USA（匹兹堡大学计算机科学系） ； Department of Computer Science, Northwestern University, Evanston, IL 60208, USA（西北大学计算机科学系） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本研究通过量子信息视角分析大语言模型微调中的人工纠缠，揭示LoRA和FFT在参数结构上的差异，但这种差异不影响注意力输出，提出低秩更新的有效性源于'无毛定理'特性。

Comments 41 pages, many figures

Jailbreaking Safeguarded Text-to-Image Models via Large Language Models

通过大型语言模型对受保护的文本到图像模型进行劫持

Zhengyuan Jiang, Yuepeng Hu, Yuchen Yang, Yinzhi Cao, Neil Zhenqiang Gong

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种利用微调大型语言模型来劫持受安全防护的文本到图像模型的方法，有效绕过安全防护并优于现有攻击技术。

Comments Accepted by EACL 2026 Findings

ParetoHqD: Fast Offline Multiobjective Alignment of Large Language Models using Pareto High-quality Data

ParetoHqD: 利用帕累托高质量数据快速实现大语言模型的多目标对齐

Haoran Gu, Handing Wang, Yi Mei, Mengjie Zhang, Yaochu Jin

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 ParetoHqD通过利用帕累托高质量数据实现大语言模型的多目标对齐，提升对齐效果和效率。

Comments Accepted as a main conference paper at AAAI 2026

Enhancing Lung Cancer Treatment Outcome Prediction through Semantic Feature Engineering Using Large Language Models

通过大语言模型进行语义特征工程提升肺癌治疗预后预测

MunHwan Lee, Shaika Chowdhury, Xiaodi Li, Sivaraman Rajaganapathy, Eric W Klee, Ping Yang, Terence Sio, Liewei Wang, James Cerhan, Nansu NA Zong

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本研究利用大语言模型进行语义特征工程，提升肺癌治疗预后预测的准确性与可解释性。

Unforgotten Safety: Preserving Safety Alignment of Large Language Models with Continual Learning

遗忘的安全性：通过持续学习保持大型语言模型的安全对齐

Lama Alssum, Hani Itani, Hasan Abed Al Kader Hammoud, Philip Torr, Adel Bibi, Bernard Ghanem

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文通过持续学习方法有效缓解大型语言模型在适应新任务时的安全退化问题，证明了持续学习在保持模型安全性和任务实用性方面的有效性。

Securing Large Language Models (LLMs) from Prompt Injection Attacks

保护大型语言模型（LLMs）免受提示注入攻击

Omar Farooq Khan Suri, John McCrae

机构 * University of Galway, Ireland（Galway大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本研究评估了JATMO方法对提示注入攻击的鲁棒性，发现其在减少攻击成功率的同时仍存在漏洞，提示需要更复杂的防御策略。

Comments 10 pages, 1 figure, 1 table

RoSA: Enhancing Parameter-Efficient Fine-Tuning via RoPE-aware Selective Adaptation in Large Language Models

RoSA: 通过RoPE-aware选择性适应提升大语言模型的参数高效微调

Dayan Pan, Jingyuan Wang, Yilong Zhou, Jiawei Cheng, Pengyue Jia, Xiangyu Zhao

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 RoSA通过RoPE-aware选择性适应提升大语言模型的参数高效微调效率，结合注意力增强与动态层选择策略，实现更精准的模型适应。

Comments Accepted by AAAI' 26

Parameter-Efficient Fine-Tuning of Large Language Models for Unit Test Generation: An Empirical Study

大型语言模型参数高效微调用于单元测试生成：一项实证研究

André Storhaug, Jingyue Li

机构 * Norwegian University of Science and Technology（挪威科学技术大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文通过实证研究探讨了大型语言模型在单元测试生成中的参数高效微调方法，发现LoRA在某些情况下性能可与全量微调媲美，提示微调在成本效益上表现最佳。

Comments 26 pages, 2 figures, 6 tables, 1 listing

Privacy Preserving In-Context-Learning Framework for Large Language Models

Bishnu Bhusal, Manoj Acharya, Ramneet Kaur, Colin Samplawski, Anirban Roy, Adam D. Cobb, Rohit Chadha, Susmit Jha

机构 * SRI 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

Comments Git repo: https://github.com/bhusalb/privacy-preserving-icl

Bayesian Mixture of Experts For Large Language Models

Maryam Dialameh, Hossein Rajabzadeh, Weiwei Zhang, Walid Ahmed, Hyock Ju Kwon

机构 * University of Waterloo（滑铁卢大学） ； Ascend Team, Huawei Technologies（华为技术有限公司） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

Self-HarmLLM: Can Large Language Model Harm Itself?

Heehwan Kim, Sungjune Park, Daeseon Choi

机构 * Soongsil University（首尔大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Think Before You Retrieve: Learning Test-Time Adaptive Search with Small Language Models

Supriti Vijay, Aman Priyanshu, Anu Vellore, Baturay Saglam, Amin Karbasi

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Foundation AI–Cisco Systems Inc.（Foundation AI–Cisco 系统公司） ； Yale University（耶鲁大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；small language model(title)；large language model(abstract)；分类 cs.CL、cs.AI

Comments 37 images, 7 figures, and 15 tables

Direct Semantic Communication Between Large Language Models via Vector Translation

Fu-Chun Yang, Jason Eshraghian

机构 * University of California, Santa Cruz（加州大学圣克ruz分校） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Comments 9 pages, 1 figure, 2 tables

Auto-Search and Refinement: An Automated Framework for Gender Bias Mitigation in Large Language Models

Yue Xu, Chengyan Fu, Li Xiong, Sibei Yang, Wenjie Wang

机构 * School of Information Science and Technology, ShanghaiTech University（信息科学与技术学院，上海科技大学） ； Emory University（埃默里大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Comments Accepted to NeurIPS 2025

Adaptive Defense against Harmful Fine-Tuning for Large Language Models via Bayesian Data Scheduler

Zixuan Hu, Li Shen, Zhenyi Wang, Yongxian Wei, Dacheng Tao

机构 * Nanyang Technological University（南洋理工大学） ； Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； University of Central Florida（佛罗里达大学） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

Exploiting Primacy Effect To Improve Large Language Models

Bianca Raimondi, Maurizio Gabbrielli

机构 * University of Bologna（博洛尼亚大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Comments Accepted by RANLP 2025

STABLE: Gated Continual Learning for Large Language Models

William Hoy, Nurcin Celik

机构 * Department of Industrial and Systems Engineering, University of Miami（工业与系统工程系，迈阿密大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

CTR-LoRA: Curvature-Aware and Trust-Region Guided Low-Rank Adaptation for Large Language Models

Zhuxuanzi Wang, Mingqiao Mo, Xi Xiao, Chen Liu, Chenrui Ma, Yunbei Zhang, Xiao Wang, Smita Krishnaswamy, Tianyang Wang

机构 * Cornell University（康奈尔大学） ； University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； Oak Ridge National Laboratory（橡树岭国家实验室） ； Yale University（耶鲁大学） ； University of California, Irvine（加州大学欧文分校） ； Tulane University（路易斯安那大学塔兰帕伊斯分校） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

Flexora: Flexible Low Rank Adaptation for Large Language Models

Chenxing Wei, Yao Shu, Ying Tiffany He, Fei Richard Yu

机构 * College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； School of Information Technology, Carleton University（卡尔顿大学信息科技学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Comments 40 pages, 15 figures

Restoring Calibration for Aligned Large Language Models: A Calibration-Aware Fine-Tuning Approach

Jiancong Xiao, Bojian Hou, Zhanliang Wang, Ruochen Jin, Qi Long, Weijie J. Su, Li Shen

机构 * University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

Journal ref ICML 2025

A Unified Biomedical Named Entity Recognition Framework with Large Language Models

Tengxiao Lv, Ling Luo, Juntao Li, Yanhua Wang, Yuchen Pan, Chao Liu, Yanan Wang, Yan Jiang, Huiyi Lv, Yuanyuan Sun, Jian Wang, Hongfei Lin

机构 * College of Computer Science and Technology, Dalian University of Technology（大连理工大学计算机科学与技术学院） ； Air Force Communications NCO Academy（空军通信NCO学院） ； Department of Pharmacy, Second Affiliated Hospital of Dalian Medical University（大连医科大学第二附属医院药学部） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Comments Accepted as a short paper at BIBM2025

FFT-based Dynamic Subspace Selection for Low-Rank Adaptive Optimization of Large Language Models

Ionut-Vlad Modoranu, Mher Safaryan, Erik Schultheis, Max Ryabinin, Artem Chumachenko, Dan Alistarh

机构 * ISTA（因斯托克科学与技术研究院） ； Together AI 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

OpenJAI-v1.0: An Open Thai Large Language Model

Pontakorn Trakuekul, Attapol T. Rutherford, Jullajak Karnjanaekarin, Narongkorn Panitsrisit, Sumana Sumanakul

机构 * Jasmine Technology Solution（贾斯敏科技解决方案） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

OR-Toolformer: Modeling and Solving Operations Research Problems with Tool Augmented Large Language Models

Jianzhang Zhang, Jialong Zhou, Chuang Liu

机构 * Alibaba Business School（阿里巴巴商业学院） ； Hangzhou Normal University（杭州师范大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

Understanding the Dilemma of Unlearning for Large Language Models

Qingjie Zhang, Haoting Qian, Zhicong Huang, Cheng Hong, Minlie Huang, Ke Xu, Chao Zhang, Han Qiu

机构 * Tsinghua University（清华大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Trinity-RFT: A General-Purpose and Unified Framework for Reinforcement Fine-Tuning of Large Language Models

Xuchen Pan, Yanxi Chen, Yushuo Chen, Yuchang Sun, Daoyuan Chen, Wenhao Zhang, Yuexiang Xie, Yilun Huang, Yilei Zhang, Dawei Gao, Weijie Shi, Yaliang Li, Bolin Ding, Jingren Zhou

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

Comments This technical report will be continuously updated as the codebase evolves. GitHub: https://github.com/modelscope/Trinity-RFT

Debiasing Large Language Models in Thai Political Stance Detection via Counterfactual Calibration

Kasidit Sermsri, Teerapong Panboonyuen

机构 * Chulalongkorn University（朱拉隆功大学） ； MARSAIL 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Comments 9 pages

The Pursuit of Empathy: Evaluating Small Language Models for PTSD Dialogue Support

Suhas BN, Yash Mahajan, Dominik Mattioli, Andrew M. Sherrill, Rosa I. Arriaga, Chris W. Wiese, Saeed Abdullah

专题命中 指令微调 ：language model(title,abstract)；small language model(title,abstract)；分类 cs.CL、cs.AI

Comments 23 pages, 3 figures. Accepted for Oral presentation at EMNLP 2025

Privately Learning from Graphs with Applications in Fine-tuning Large Language Models

Haoteng Yin, Rongzhe Wei, Eli Chien, Pan Li

机构 * Purdue University（普渡大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

Comments Accepted by COLM 2025