语言大模型 / LLM

Neural ODE Transformers: Analyzing Internal Dynamics and Adaptive Fine-tuning

Anh Tong, Thanh Nguyen-Tang, Dongeun Lee, Duc Nguyen, Toan Tran, David Hall, Cheongwoong Kang, Jaesik Choi

机构 * Korea University（高丽大学） ； Johns Hopkins University（约翰斯·霍普金斯大学） ； Texas A&M University-Commerce（德州农工大学 Commerce 分校） ； Qualcomm AI Research（高通人工智能研究部） ； Stanford（斯坦福大学） ； KAIST（韩国科学技术院） ； Qualcomm Vietnam Company Limited（高通越南有限公司） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments ICLR 2025

AROMA: Autonomous Rank-one Matrix Adaptation

Hao Nan Sheng, Zhi-yong Wang, Mingrui Yang, Hing Cheung So

机构 * City University of Hong Kong（香港城市大学） ； The University of Hong Kong（香港大学） ； AI Chip Center for Embedded Smart System（嵌入式智能系统AI芯片中心） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

SEE: Continual Fine-tuning with Sequential Ensemble of Experts

Zhilin Wang, Yafu Li, Xiaoye Qu, Yu Cheng

机构 * Jilin University（吉林大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments 9pages

DynMoLE: Boosting Mixture of LoRA Experts Fine-Tuning with a Hybrid Routing Mechanism

Dengchun Li, Naizheng Wang, Zihao Zhang, Haoyang Yin, Lei Duan, Meng Xiao, Mingjie Tang

机构 * School of Computer Science, Sichuan University（四川大学计算机学院） ； Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 22 pages, 7 figures

FRASE: Structured Representations for Generalizable SPARQL Query Generation

Papa Abdou Karim Karou Diallo, Amal Zouaq

机构 * Polytechnique Montreal（蒙特利尔理工学院） ； Mila（米拉研究所） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

MSPLoRA: A Multi-Scale Pyramid Low-Rank Adaptation for Efficient Model Fine-Tuning

Jiancheng Zhao, Xingda Yu, Zhen Yang

机构 * Shandong University（山东大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Multi-View and Multi-Scale Alignment for Contrastive Language-Image Pre-training in Mammography

Yuexi Du, John Onofrey, Nicha C. Dvornek

机构 * Yale University（耶鲁大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments This paper is accepted by IPMI 2025 for Oral Presentation

StableToolBench-MirrorAPI: Modeling Tool Environments as Mirrors of 7,000+ Real-World APIs

Zhicheng Guo, Sijie Cheng, Yuchen Niu, Hao Wang, Sicheng Zhou, Wenbing Huang, Yang Liu

机构 * Tsinghua University（清华大学） ； Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院） ； RayNeo（雷尼奥） ； Google（谷歌） ； The University of Toronto（多伦多大学） ； Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Deterministic AI Agent Personality Expression through Standard Psychological Diagnostics

J. M. Diederik Kruijssen, Nicholas Emmons

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 25 pages, 8 figures, 4 tables; appeared in ADI (March 2025)

Journal ref ADI 2, 15-39 (2025)

R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning

Huatong Song, Jinhao Jiang, Yingqian Min, Jie Chen, Zhipeng Chen, Wayne Xin Zhao, Lei Fang, Ji-Rong Wen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； DataCanvas Alaya NeW 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Identity Lock: Locking API Fine-tuned LLMs With Identity-based Wake Words

Hongyu Su, Yifeng Gao, Yifan Ding, Xingjun Ma

机构 * Fudan University（复旦大学） ； School of CS, Fudan University（复旦大学计算机科学技术学院） ； Shanghai Key Lab of Intell. Info. Processing（上海市智能信息处理重点实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Backtracking for Safety

Bilgehan Sel, Dingcheng Li, Phillip Wallis, Vaishakh Keshava, Ming Jin, Siddhartha Reddy Jonnalagadda

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Automating Violence Detection and Categorization from Ancient Texts

Alhassan Abdelhalim, Michaela Regneri

机构 * Universität Hamburg（汉堡大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

FedMLLM: Federated Fine-tuning MLLM on Multimodal Heterogeneity Data

Binqian Xu, Xiangbo Shu, Haiyang Mei, Guosen Xie, Basura Fernando, Jinhui Tang

机构 * Nanjing University of Science and Technology（南京理工大学） ； National University of Singapore（新加坡国立大学） ； Institute of High-Performance Computing, A*STAR（新加坡高性能计算研究院（新加坡科研局下属机构）） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

DriveGen: Towards Infinite Diverse Traffic Scenarios with Large Models

Shenyu Zhang, Jiaguo Tian, Zhengbang Zhu, Shan Huang, Jucheng Yang, Weinan Zhang

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 8 pages, 3 figures

Extrapolation Merging: Keep Improving With Extrapolation and Merging

Yiguan Lin, Bin Xu, Yinghao Li, Yang Gao

机构 * School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Uncovering Gaps in How Humans and LLMs Interpret Subjective Language

Erik Jones, Arjun Patrawala, Jacob Steinhardt

机构 * UC Berkeley（加州大学伯克利分校） 纠错

专题命中 指令微调 ：LLM(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments Published at ICLR 2025

Affordably Fine-tuned LLMs Provide Better Answers to Course-specific MCQs

Bianca Raimondi, Saverio Giallorenzo, Maurizio Gabbrielli

机构 * University of Bologna（博洛尼亚大学） ； INRIA（法国国家信息与自动化研究所） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments The 40th ACM/SIGAPP Symposium On Applied Computing

Grams: Gradient Descent with Adaptive Momentum Scaling

Yang Cao, Xiaoyu Li, Zhao Song

机构 * Cranberry-Lemon University（蔓越莓柠檬大学） ； University of the Witwatersrand（金山大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments SCOPE Workshop @ ICLR 2025

Measuring Intrinsic Dimension of Token Embeddings

Takuya Kataiwa, Cho Hakaze, Tetsushi Ohki

机构 * Shizuoka University（静冈大学） ； Japan Advanced Institute of Science and Technology（日本先进科学技术学院） ； RIKEN AIP（理化学研究所人工智能项目） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments 4 pages, 4 figures

Guiding not Forcing: Enhancing the Transferability of Jailbreaking Attacks on LLMs via Removing Superfluous Constraints

Junxiao Yang, Zhexin Zhang, Shiyao Cui, Hongning Wang, Minlie Huang

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

DermaSynth: Rich Synthetic Image-Text Pairs Using Open Access Dermatology Datasets

Abdurrahim Yilmaz, Furkan Yuceyalcin, Ece Gokyayla, Donghee Choi, Ozan Erdem, Ali Anil Demircali, Rahmetullah Varol, Ufuk Gorkem Kirabali, Gulsum Gencoglan, Joram M. Posma, Burak Temelkuran

机构 * Imperial College London（帝国理工学院） ； Yildiz Technical University（伊尔德兹技术大学） ； Usak Research and Training Hospital（乌萨克研究与培训医院） ； Istanbul Medeniyet University（伊斯坦布尔梅德尼耶特大学） ； Universität der Bundeswehr München（慕尼黑联邦国防军大学） ； Istanbul Medicana Atakoy Hospital（伊斯坦布尔 Medicana Atakoy 医院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 12 pages, 4 figures

Do GFlowNets Transfer? Case Study on the Game of 24/42

Adesh Gupta, Abhinav Kumar, Mansi Gupta, Paras Chopra

机构 * Indian Institute of Technology, Roorkee（鲁尔基印度理工学院） ； Lossfunk（洛斯芬克公司） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

LoR2C : Low-Rank Residual Connection Adaptation for Parameter-Efficient Fine-Tuning

Jiancheng Zhao, Xingda Yu, Yuxiang Zhang, Zhen Yang

机构 * School of Computer Science and Technology Shandong University（山东大学计算机科学与技术学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Relaxed Recursive Transformers: Effective Parameter Sharing with Layer-wise LoRA

Sangmin Bae, Adam Fisch, Hrayr Harutyunyan, Ziwei Ji, Seungyeon Kim, Tal Schuster

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments ICLR 2025; 49 pages, 17 figures, 19 tables

Layer-Aware Task Arithmetic: Disentangling Task-Specific and Instruction-Following Knowledge

Yan-Lun Chen, Yi-Ru Wei, Chia-Yi Hsu, Chia-Mu Yu, Chun-Ying Huang, Ying-Dar Lin, Yu-Sung Wu, Wei-Bin Lee

机构 * National Yang Ming Chiao Tung University（国立阳明交通大学） ； Hon Hai Research Institute（鸿海研究院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

The Hyperfitting Phenomenon: Sharpening and Stabilizing LLMs for Open-Ended Text Generation

Fredrik Carlsson, Fangyu Liu, Daniel Ward, Murathan Kurfali, Joakim Nivre

机构 * RISE Research Institutes of Sweden（瑞典RISE研究机构） ； Google DeepMind（谷歌DeepMind） ； PwC Sweden（普华永道瑞典分部） ； Uppsala University（乌普萨拉大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Under review at ICLR

Layer-Wise Evolution of Representations in Fine-Tuned Transformers: Insights from Sparse AutoEncoders

Suneel Nadipalli

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 14 pages, 5 figures

DeltaLLM: Compress LLMs with Low-Rank Deltas between Shared Weights

Liana Mikaelyan, Ayyoob Imani, Mathew Salvaris, Parth Pathak, Mohsen Fayyaz

机构 * Microsoft（微软公司） 纠错

专题命中 指令微调 ：LLM(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

Adam-mini: Use Fewer Learning Rates To Gain More

Yushun Zhang, Congliang Chen, Ziniu Li, Tian Ding, Chenwei Wu, Diederik P. Kingma, Yinyu Ye, Zhi-Quan Luo, Ruoyu Sun

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen International Center for Industrial and Applied Mathematics（深圳国际工业与应用数学中心） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） ； Duke University（杜克大学） ； Anthropic（Anthropic公司） ； Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：language model(abstract)；RLHF(abstract)；分类 cs.AI、cs.LG