语言大模型 / LLM

Understanding the Dilemma of Unlearning for Large Language Models

Qingjie Zhang, Haoting Qian, Zhicong Huang, Cheng Hong, Minlie Huang, Ke Xu, Chao Zhang, Han Qiu

机构 * Tsinghua University（清华大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Trinity-RFT: A General-Purpose and Unified Framework for Reinforcement Fine-Tuning of Large Language Models

Xuchen Pan, Yanxi Chen, Yushuo Chen, Yuchang Sun, Daoyuan Chen, Wenhao Zhang, Yuexiang Xie, Yilun Huang, Yilei Zhang, Dawei Gao, Weijie Shi, Yaliang Li, Bolin Ding, Jingren Zhou

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

Comments This technical report will be continuously updated as the codebase evolves. GitHub: https://github.com/modelscope/Trinity-RFT

Patient-specific Biomolecular Instruction Tuning

Irsyad Adam, Zekai Chen, David Laub, Shaun Porwal, Arda Pekis, Kevin Brown

机构 * Standard Model Biomedicine（标准模型生物医学） ； University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

An Exploratory Study on Fine-Tuning Large Language Models for Secure Code Generation

Junjie Li, Fazle Rabbi, Cheng Cheng, Aseem Sangalay, Yuan Tian, Jinqiu Yang

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)

Comments 37 pages, 8 figures

When Greedy Wins: Emergent Exploitation Bias in Meta-Bandit LLM Training

Sanxing Chen, Xiaoyin Chen, Yukun Huang, Roy Xie, Bhuwan Dhingra

机构 * Duke University（杜克大学） ； Mila - Québec AI Institute（魁北克AI研究所） ； Université de Montréal（蒙特利尔大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；SFT(abstract)

SemanticShield: LLM-Powered Audits Expose Shilling Attacks in Recommender Systems

Kaihong Li, Huichi Zhou, Bin Ma, Fangjun Huang

机构 * Sun Yat-sen University（中山大学） ； University College London（伦敦大学学院） ； Qilu University of Technology（青岛科技大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Uni4D-LLM: A Unified SpatioTemporal-Aware VLM for 4D Understanding and Generation

Hanyu Zhou, Gim Hee Lee

机构 * School of Computing, National University of Singapore（计算学院，新加坡国立大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；language model(abstract)

Confidence-Guided Error Correction for Disordered Speech Recognition

Abner Hernandez, Tomás Arias Vergara, Andreas Maier, Paula Andrea Pérez-Toro

机构 * Pattern Recognition Lab, Friedrich-Alexander-Universität Erlangen-Nürnberg, Germany（模式识别实验室，弗里德里希-亚历山大-亚琛-纽伦堡大学，德国） ； GITA Lab. Facultad de Ingeniería. Universidad de Antioquia UdeA, Medellín, Colombia（GITA实验室，工程学院，安蒂奎亚大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Preprint submitted to ICASSP

TGRPO :Fine-tuning Vision-Language-Action Model via Trajectory-wise Group Relative Policy Optimization

Zengjue Chen, Runliang Niu, He Kong, Qi Wang, Qianli Xing, Zipei Fan

机构 * School of Artificial Intelligence, Jilin University（人工智能学院，吉林大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；post-training(abstract)；SFT(abstract)

Extract-0: A Specialized Language Model for Document Information Extraction

Henrique Godoy

机构 * Inteli São Paulo（Inteli圣保罗） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI

Dynamic Orthogonal Continual Fine-tuning for Mitigating Catastrophic Forgettings

Zhixin Zhang, Zeming Wei, Meng Sun

机构 * Peking University（北京大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Don't Settle Too Early: Self-Reflective Remasking for Diffusion Language Models

Zemin Huang, Yuhang Wang, Zhiyang Chen, Guo-Jun Qi

机构 * Westlake University（西湖大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

Comments 24 pages,11 figures

VisCoder: Fine-Tuning LLMs for Executable Python Visualization Code Generation

Yuansheng Ni, Ping Nie, Kai Zou, Xiang Yue, Wenhu Chen

机构 * University of Waterloo（滑铁卢大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.AI

Learning from Convenience Samples: A Case Study on Fine-Tuning LLMs for Survey Non-response in the German Longitudinal Election Study

Tobias Holtdirk, Dennis Assenmacher, Arnim Bleier, Claudia Wagner

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL

Understanding Textual Capability Degradation in Speech LLMs via Parameter Importance Analysis

Chao Wang, Rui-Chen Zheng, Yang Ai, Zhen-Hua Ling

机构 * National Engineering Research Center of Speech and Language Information Processing（语音与语言信息处理国家级工程研究中心） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Adaptive Token-Weighted Differential Privacy for LLMs: Not All Tokens Require Equal Protection

Manjiang Yu, Priyanka Singh, Xue Li, Yang Cao

机构 * The University of Queensland（昆士兰大学） ； Institute of Science Tokyo（东京科学研究所） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 18 pages

UltraIF: Advancing Instruction Following from the Wild

Kaikai An, Li Sheng, Ganqu Cui, Shuzheng Si, Ning Ding, Yu Cheng, Baobao Chang

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted by EMNLP 2025

An Information Bottleneck Perspective for Effective Noise Filtering on Retrieval-Augmented Generation

Kun Zhu, Xiaocheng Feng, Xiyuan Du, Yuxuan Gu, Weijiang Yu, Haotian Wang, Qianglong Chen, Zheng Chu, Jingchang Chen, Bing Qin

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Peng Cheng Laboratory（鹏城实验室） ； Sun Yat-sen University（中山大学） ； Zhejiang University（浙江大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted to ACL 2024

BRIT: Bidirectional Retrieval over Unified Image-Text Graph

Ainulla Khan, Yamada Moyuru, Srinidhi Akella

机构 * Fujitsu Research India（富士通印度研究） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Accepted in EMNLP-2025 Findings

AltLoRA: Towards Better Gradient Approximation in Low-Rank Adaptation with Alternating Projections

Xin Yu, Yujia Wang, Jinghui Chen, Lingzhou Xue

机构 * Department of Statistics（统计学系） ； College of Information Sciences and Technology（信息科学与技术学院） ； The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.LG

StolenLoRA: Exploring LoRA Extraction Attacks via Synthetic Data

Yixu Wang, Yan Teng, Yingchun Wang, Xingjun Ma

机构 * Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)

Comments ICCV 2025

Timber: Training-free Instruct Model Refining with Base via Effective Rank

Taiqiang Wu, Runming Yang, Tao Liu, Jiahao Wang, Zenan Xu, Ngai Wong

机构 * The University of Hong Kong（香港大学） ； Tsinghua University（清华大学） ； Tencent（腾讯） 纠错

专题命中 指令微调 ：post-training(abstract)；分类 cs.CL、cs.AI

Comments 7 figures, 8 tables, Working in progress

GroupCoOp: Group-robust Fine-tuning via Group Prompt Learning

Nayeong Kim, Seong Joon Oh, Suha Kwak

机构 * Pohang University of Science and Technology (POSTECH)（釜山科学技术大学） ； Tübingen AI Center（图宾根人工智能中心） ； Universität Tübingen（图宾根大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

Comments This paper was first submitted to NeurIPS 2024 in May 2024

ChartMaster: Advancing Chart-to-Code Generation with Real-World Charts and Chart Similarity Reinforcement Learning

Wentao Tan, Qiong Cao, Chao Xue, Yibing Zhan, Changxing Ding, Xiaodong He

机构 * South China University of Technology（华南理工大学） ； JD Future Academy（京东未来学院） ； Wuhan University（武汉大学） 纠错

专题命中 指令微调 ：SFT(abstract)；分类 cs.LG

From Drawings to Decisions: A Hybrid Vision-Language Framework for Parsing 2D Engineering Drawings into Structured Manufacturing Knowledge

Muhammad Tayyab Khan, Lequn Chen, Zane Yong, Jun Ming Tan, Wenhe Feng, Seung Ki Moon

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

Comments Preprint submitted to Elsevier

LISA Technical Report: An Agentic Framework for Smart Contract Auditing

Izaiah Sun, Daniel Tan, Andy Deng

专题命中 指令微调 ：LLM(abstract)

Comments A technical report with 10 pages

Versatile Symbolic Music-for-Music Modeling via Function Alignment

Junyan Jiang, Daniel Chin, Liwei Lin, Xuanjie Liu, Gus Xia

专题命中 指令微调 ：language model(abstract)

Journal ref The 26th conference of the International Society for Music Information Retrieval (ISMIR 2025)

Investigating Multi-layer Representations for Dense Passage Retrieval

Zhongbin Xie, Thomas Lukasiewicz

专题命中 指令微调 ：language model(abstract)

Comments Accepted to Findings of EMNLP 2025