语言大模型 / LLM

Low-Resource Fine-Tuning for Multi-Task Structured Information Extraction with a Billion-Parameter Instruction-Tuned Model

Yu Cheng Chih, Yong Hao Hou

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 13 pages, 8 figures, includes experiments on JSON extraction, knowledge graph extraction, and NER

Are LLMs Enough for Hyperpartisan, Fake, Polarized and Harmful Content Detection? Evaluating In-Context Learning vs. Fine-Tuning

Michele Joshua Maggini, Dhia Merzougui, Rabiraj Bandyopadhyay, Gaël Dias, Fabrice Maurel, Pablo Gamallo

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

CTourLLM: Enhancing LLMs with Chinese Tourism Knowledge

Qikai Wei, Mingzhi Yang, Jinqiang Wang, Wenwei Mao, Jiabo Xu, Huansheng Ning

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

A Lightweight Framework for Trigger-Guided LoRA-Based Self-Adaptation in LLMs

Jiacheng Wei, Faguo Wu, Xiao Zhang

机构 * SAGE: A Lightweight Framework for Trigger-Guided LoRA-Based Self-Adaptation in LLMs（SAGE：轻量级框架） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 11 pages, 7 figures, conference

Breaking to Build: A Threat Model of Prompt-Based Attacks for Securing LLMs

Brennen Hill, Surendra Parla, Venkata Abhijeeth Balabhadruni, Atharv Prajod Padmalayam, Sujay Chandra Shekara Sharma

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Mamba State-Space Models Are Lyapunov-Stable Learners

John T. Halloran, Manbir Gulati, Paul F. Roysdon

机构 * Leidos（莱迪奥斯公司） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments TMLR, 27 pages, 12 figures, 4 tables

DropLoRA: Sparse Low-Rank Adaptation for Parameter-Efficient Fine-Tuning

Haojie Zhang

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments 8 pages

Research on intelligent generation of structural demolition suggestions based on multi-model collaboration

Zhifeng Yang, Peizong Wu

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Boosting Chart-to-Code Generation in MLLM via Dual Preference-Guided Refinement

Zhihan Zhang, Yixin Cao, Lizi Liao

机构 * Singapore Management University（新加坡国立管理学院） ； Fudan University（复旦大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted by ACM MM 2025

Efficient Modular Learning through Naive LoRA Summation: Leveraging Orthogonality in High-Dimensional Models

Zhanhao Cao, Clement Truong, Andrew Lizarraga

机构 * University of California, Los Angeles (UCLA)（加州大学洛杉矶分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Preprint

When Does Language Transfer Help? Sequential Fine-Tuning for Cross-Lingual Euphemism Detection

Julia Sammartino, Libby Barak, Jing Peng, Anna Feldman

机构 * Montclair State University（蒙特克莱尔州立大学） 纠错

专题命中 指令微调 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

Comments RANLP 2025

LED-Merging: Mitigating Safety-Utility Conflicts in Model Merging with Location-Election-Disjoint

Qianli Ma, Dongrui Liu, Qian Chen, Linfeng Zhang, Jing Shao

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； East China Normal University（华东师范大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted by ACL2025 main conference

LoRA.rar: Learning to Merge LoRAs via Hypernetworks for Subject-Style Conditioned Image Generation

Donald Shenaj, Ondrej Bohdal, Mete Ozay, Pietro Zanuttigh, Umberto Michieli

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments ICCV 2025. Project page: https://donaldssh.github.io/LoRA.rar

Surgical Knowledge Rewrite in Compact LLMs: An 'Unlearn-then-Learn' Strategy with ($IA^3$) for Localized Factual Modulation and Catastrophic Forgetting Mitigation

Stanley Ngugi

机构 * Stanley Ngugi（独立研究者） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 9 pages, 2 visual aids

AlignGuard-LoRA: Alignment-Preserving Fine-Tuning via Fisher-Guided Decomposition and Riemannian-Geodesic Collision Regularization

Amitava Das, Abhilekh Borah, Vinija Jain, Aman Chadha

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Robust and Efficient Fine-tuning of LLMs with Bayesian Reparameterization of Low-Rank Adaptation

Ayan Sengupta, Vaibhav Seth, Arinjay Pathak, Aastha Verma, Natraj Raman, Sriram Gopalakrishnan, Niladri Chatterjee, Tanmoy Chakraborty

机构 * Indian Institute of Technology Delhi（印度理工学院德里） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments The paper is accepted in TMLR'25

BiDoRA: Bi-level Optimization-Based Weight-Decomposed Low-Rank Adaptation

Peijia Qin, Ruiyi Zhang, Pengtao Xie

机构 * University of California, San Diego（加州大学圣迭戈分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Towards Higher Effective Rank in Parameter-efficient Fine-tuning using Khatri--Rao Product

Paul Albert, Frederic Z. Zhang, Hemanth Saratchandran, Anton van den Hengel, Ehsan Abbasnejad

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments To appear in ICCV 2025

AI-Driven Generation of Old English: A Framework for Low-Resource Languages

Rodrigo Gabriel Salazar Alva, Matías Nuñez, Cristian López, Javier Martín Arista

机构 * Universidad de Ingeniería y Tecnología (UTEC)（Ingeniería y Tecnología大学（UTEC）） ； Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET)（国家科学与技术研究理事会（CONICET）） ； Instituto de Investigaciones en Biodiversidad y Medioambiente (INIBIOMA), Universidad Nacional del Comahue（生物多样性与环境研究所（INIBIOMA），Comahue国立大学） ； Universidad de La Rioja（拉里奥ja大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Zeroth-Order Fine-Tuning of LLMs in Random Subspaces

Ziming Yu, Pan Zhou, Sike Wang, Jia Li, Mi Tian, Hua Huang

机构 * Beijing Normal University（北京师范大学） ； Singapore Management University（新加坡国立大学） ； TAL Education Group（TAL教育集团） ； Engineering Research Center of Intelligent Technology and Educational Application (MOE)（智能技术与教育应用工程研究中心（教育部）） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments ICCV 2025 camera-ready version

The Elicitation Game: Evaluating Capability Elicitation Techniques

Felix Hofstätter, Teun van der Weij, Jayden Teoh, Rada Djoneva, Henning Bartsch, Francis Rhys Ward

机构 * Imperial College London（伦敦帝国学院） 纠错

专题命中 指令微调 ：language model(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AutoRAG-LoRA: Hallucination-Triggered Knowledge Retuning via Lightweight Adapters

Kaushik Dwivedi, Padmanabh Patanjali Mishra

机构 * BITS Pilani（比斯·皮兰大学） ； University of Adelaide（阿德莱德大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Multilingual Multimodal Software Developer for Code Generation

Linzheng Chai, Jian Yang, Shukai Liu, Wei Zhang, Liran Wang, Ke Jin, Tao Sun, Congnan Liu, Chenchen Zhang, Hualei Zhu, Jiaheng Liu, Xianjie Wu, Ge Zhang, Tianyu Liu, Zhoujun Li

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Preprint

Breaking PEFT Limitations: Leveraging Weak-to-Strong Knowledge Transfer for Backdoor Attacks in LLMs

Shuai Zhao, Leilei Gan, Zhongliang Guo, Xiaobao Wu, Yanhao Jia, Luwei Xiao, Cong-Duy Nguyen, Luu Anh Tuan

机构 * Nanyang Technological University（南洋理工大学） ； Zhejiang University（浙江大学） ； University of St Andrews（圣安德鲁大学） ； East China Normal University（华东师范大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Bayesian Optimization for Controlled Image Editing via LLMs

Chengkun Cai, Haoliang Liu, Xu Zhao, Zhongyu Jiang, Tianfang Zhang, Zongkai Wu, John Lee, Jenq-Neng Hwang, Lei Li

机构 * University of Edinburgh（爱丁堡大学） ； University of Manchester（曼彻斯特大学） ； University of Washington（华盛顿大学） ； Tsinghua University（清华大学） ； Skai Intelligence（Skai智能科技） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 8 figures, accept at ACL2025 Findings

Continual Gradient Low-Rank Projection Fine-Tuning for LLMs

Chenxu Wang, Yilin Lyu, Zicheng Sun, Liping Jing

机构 * Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence（北京交通大数据挖掘与具身智能重点实验室） ； School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院） ； State Key Laboratory of Advanced Rail Autonomous Operation（先进轨道交通自主运行国家重点实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 15 pages, 6 figures, accepted by ACL 2025 main

In-Context Meta LoRA Generation

Yihua Shao, Minxi Yan, Yang Liu, Siyu Chen, Wenjie Chen, Xinwei Long, Ziyang Yan, Lei Li, Chenyu Zhang, Nicu Sebe, Hao Tang, Yan Wang, Hao Zhao, Mengzhu Wang, Jingcai Guo

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Tsinghua University（清华大学） ； Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院） ； University of Trento（特伦托大学） ； University of Copenhagen（哥本哈根大学） ； Peking University（北京大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted by IJCAI 2025

AgentPS: Agentic Process Supervision for Content Moderation with Multimodal LLMs

Mingchao Liu, Yu Sun, Ruixiao Sun, Xin Dong, Xiang Shen, Hongyu Xiong

机构 * TikTok, Inc.（字节跳动公司） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 10 pages, 5 figures

TeamCMU at Touché: Adversarial Co-Evolution for Advertisement Integration and Detection in Conversational Search

To Eun Kim, João Coelho, Gbemileke Onilude, Jai Singh

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Unveiling Factors for Enhanced POS Tagging: A Study of Low-Resource Medieval Romance Languages

Matthias Schöffel, Esteban Garces Arias, Marinus Wiedner, Paula Ruppert, Meimingwei Li, Christian Heumann, Matthias Aßenmacher

机构 * Bavarian Academy of Sciences（巴伐利亚科学院） ； LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； University of Freiburg（弗赖堡大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG