语言大模型 / LLM

Relaxed Recursive Transformers: Effective Parameter Sharing with Layer-wise LoRA

Sangmin Bae, Adam Fisch, Hrayr Harutyunyan, Ziwei Ji, Seungyeon Kim, Tal Schuster

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments ICLR 2025; 49 pages, 17 figures, 19 tables

Layer-Aware Task Arithmetic: Disentangling Task-Specific and Instruction-Following Knowledge

Yan-Lun Chen, Yi-Ru Wei, Chia-Yi Hsu, Chia-Mu Yu, Chun-Ying Huang, Ying-Dar Lin, Yu-Sung Wu, Wei-Bin Lee

机构 * National Yang Ming Chiao Tung University（国立阳明交通大学） ； Hon Hai Research Institute（鸿海研究院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

The Hyperfitting Phenomenon: Sharpening and Stabilizing LLMs for Open-Ended Text Generation

Fredrik Carlsson, Fangyu Liu, Daniel Ward, Murathan Kurfali, Joakim Nivre

机构 * RISE Research Institutes of Sweden（瑞典RISE研究机构） ； Google DeepMind（谷歌DeepMind） ； PwC Sweden（普华永道瑞典分部） ； Uppsala University（乌普萨拉大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Under review at ICLR

Layer-Wise Evolution of Representations in Fine-Tuned Transformers: Insights from Sparse AutoEncoders

Suneel Nadipalli

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 14 pages, 5 figures

DeltaLLM: Compress LLMs with Low-Rank Deltas between Shared Weights

Liana Mikaelyan, Ayyoob Imani, Mathew Salvaris, Parth Pathak, Mohsen Fayyaz

机构 * Microsoft（微软公司） 纠错

专题命中 指令微调 ：LLM(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

Adam-mini: Use Fewer Learning Rates To Gain More

Yushun Zhang, Congliang Chen, Ziniu Li, Tian Ding, Chenwei Wu, Diederik P. Kingma, Yinyu Ye, Zhi-Quan Luo, Ruoyu Sun

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen International Center for Industrial and Applied Mathematics（深圳国际工业与应用数学中心） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） ； Duke University（杜克大学） ； Anthropic（Anthropic公司） ； Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：language model(abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

eC-Tab2Text: Aspect-Based Text Generation from e-Commerce Product Tables

Luis Antonio Gutiérrez Guanilo, Mir Tafseer Nayeem, Cristian López, Davood Rafiei

机构 * University of Engineering and Technology (UTEC)（工程技术大学（UTEC）） ； University of Alberta（阿尔伯塔大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments NAACL 2025 (Industry Track)

Portable Reward Tuning: Towards Reusable Fine-Tuning across Different Pretrained Models

Daiki Chijiwa, Taku Hasegawa, Kyosuke Nishida, Kuniko Saito, Susumu Takeuchi

机构 * NTT Computer and Data Science Laboratories, NTT Corporation（NTT公司计算机与数据科学实验室） ； NTT Human Informatics Laboratories, NTT Corporation（NTT公司人类信息学实验室） ； Data Science Laboratories, NTT Corporation（NTT公司数据科学实验室） 纠错

专题命中 指令微调 ：language model(abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

Sharif-STR at SemEval-2024 Task 1: Transformer as a Regression Model for Fine-Grained Scoring of Textual Semantic Relations

Seyedeh Fatemeh Ebrahimi, Karim Akhavan Azari, Amirmasoud Iravani, Hadi Alizadeh, Zeinab Sadat Taghavi, Hossein Sameti

机构 * Ferdowsi University of Mashhad（马什哈德费尔多西大学） ； Sharif University of Technology（谢里夫理工大学） ； Iran Broadcasting University（伊朗广播大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 10 pages, 9 figures, 4 tables

Journal ref Proceedings of the 18th International Workshop on Semantic Evaluation (SemEval-2024)

MergeME: Model Merging Techniques for Homogeneous and Heterogeneous MoEs

Yuhang Zhou, Giannis Karamanolakis, Victor Soto, Anna Rumshisky, Mayank Kulkarni, Furong Huang, Wei Ai, Jianhua Lu

机构 * University of Maryland（马里兰大学） ； Amazon AGI（亚马逊AGI） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted by NAACL 2025 Main

Measuring Catastrophic Forgetting in Cross-Lingual Transfer Paradigms: Exploring Tuning Strategies

Boshko Koloski, Blaž Škrlj, Marko Robnik-Šikonja, Senja Pollak

机构 * Jožef Stefan Institute（约热夫· Stefan 研究所） ； Jožef Stefan International Postgraduate School（约热夫· Stefan 国际研究生学院） ； Faculty of Computer and Information Science, University of Ljubljana（卢布尔雅那大学计算机与信息科学学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments Accepted to IEEE Access

LowRA: Accurate and Efficient LoRA Fine-Tuning of LLMs under 2 Bits

Zikai Zhou, Qizheng Zhang, Hermann Kumbong, Kunle Olukotun

机构 * Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Extracting and Understanding the Superficial Knowledge in Alignment

Runjin Chen, Gabriel Jacob Perin, Xuxi Chen, Xilun Chen, Yan Han, Nina S. T. Hirata, Junyuan Hong, Bhavya Kailkhura

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of São Paulo（圣保罗大学） ； LinkedIn（领英） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Decoder-Only LLMs are Better Controllers for Diffusion Models

Ziyi Dong, Yao Xiao, Pengxu Wei, Liang Lin

机构 * Sun Yat-sen University（中山大学） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

e-SimFT: Alignment of Generative Models with Simulation Feedback for Pareto-Front Design Exploration

Hyunmin Cheong, Mohammadmehdi Ataei, Amir Hosein Khasahmadi, Pradeep Kumar Jayaraman

机构 * Autodesk Research（欧特克研究中心） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

HetGPT: Harnessing the Power of Prompt Tuning in Pre-Trained Heterogeneous Graph Neural Networks

Yihong Ma, Ning Yan, Jiayu Li, Masood Mortazavi, Nitesh V. Chawla

机构 * University of Notre Dame（圣母大学） ； Futurewei Technologies Inc.（华为主机技术公司） ； Syracuse University（雪城大学） 纠错

专题命中 指令微调 ：post-training(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

Comments Published in The ACM Web Conference 2024 (WWW '24)

Chat3GPP: An Open-Source Retrieval-Augmented Generation Framework for 3GPP Documents

Long Huang, Ming Zhao, Limin Xiao, Xiujun Zhang, Jungang Hu

机构 * Tsinghua University（清华大学） ； Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Visual RAG: Expanding MLLM visual knowledge without fine-tuning

Mirco Bonomo, Simone Bianco

机构 * University of Milano-Bicocca（米兰-比科卡大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Empowering Persian LLMs for Instruction Following: A Novel Dataset and Training Approach

Hojjat Mokhtarabadi, Ziba Zamani, Abbas Maazallahi, Mohammad Hossein Manshaei

机构 * Isfahan University of Technology（伊斯法罕理工大学） ； Shahid Bahonar University of Kerman（克尔曼沙希德·巴霍纳尔大学） ； University of Tehran（德黑兰大学） ； Hunter College, City University of New York（纽约市立大学亨特学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

TriAdaptLoRA: Brain-Inspired Triangular Adaptive Low-Rank Adaptation for Parameter-Efficient Fine-Tuning

Yao Liang, Yuwei Wang, Yi Zeng

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Center for Long-term Artificial Intelligence（长期人工智能中心） ； Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology, Chinese Academy of Sciences（中国科学院脑认知与脑智能技术重点实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

ZOQO: Zero-Order Quantized Optimization

Noga Bar, Raja Giryes

机构 * Tel Aviv University（特拉维夫大学） ； KLA（科磊公司） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments Accepted to ICASSP 2025

Aggregating Low Rank Adapters in Federated Fine-tuning

Evelyn Trautmann, Ian Hales, Martin F. Volk

机构 * Apheris AI（Apheris AI公司） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments presented at conference https://flta-conference.org/flta-2024-detailed-program/

Towards Understanding Multi-Task Learning (Generalization) of LLMs via Detecting and Exploring Task-Specific Neurons

Yongqi Leng, Deyi Xiong

机构 * College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Superposition in Transformers: A Novel Way of Building Mixture of Experts

Ayoub Ben Chaliah, Hela Dellagi

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

GraphLoRA: Structure-Aware Contrastive Low-Rank Adaptation for Cross-Graph Transfer Learning

Zhe-Rui Yang, Jindong Han, Chang-Dong Wang, Hao Liu

机构 * Sun Yat-sen University（中山大学） ； HKUST(GZ)（香港科技大学（广州）） ； HKUST（香港科技大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Accepted by KDD2025

Exploring Variability in Fine-Tuned Models for Text Classification with DistilBERT

Giuliano Lorenzoni, Ivens Portugal, Paulo Alencar, Donald Cowan

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

RoboSignature: Robust Signature and Watermarking on Network Attacks

Aryaman Shaan, Garvit Banga, Raghav Mantri

机构 * New York University（纽约大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

SILC-EFSA: Self-aware In-context Learning Correction for Entity-level Financial Sentiment Analysis

Senbin Zhu, Chenyuan He, Hongde Liu, Pengcheng Dong, Hanjie Zhao, Yuchen Yan, Yuxiang Jia, Hongying Zan, Min Peng

机构 * School of Computer and Artificial Intelligence, Zhengzhou University（郑州大学计算机与人工智能学院） ； School of Computer Science, Wuhan University（武汉大学计算机学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments This paper is to be published in the Proceedings of the 31st International Conference on Computational Linguistics (COLING 2025)

Clustering Algorithms and RAG Enhancing Semi-Supervised Text Classification with Large LLMs

Shan Zhong, Jiahao Zeng, Yongxin Yu, Bohong Lin

机构 * CIB 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Baichuan-Omni Technical Report

Yadong Li, Haoze Sun, Mingan Lin, Tianpeng Li, Guosheng Dong, Tao Zhang, Bowen Ding, Wei Song, Zhenglin Cheng, Yuqi Huo, Song Chen, Xu Li, Da Pan, Shusen Zhang, Xin Wu, Zheng Liang, Jun Liu, Tao Zhang, Keer Lu, Yaqi Zhao, Yanjun Shen, Fan Yang, Kaicheng Yu, Tao Lin, Jianhua Xu, Zenan Zhou, Weipeng Chen

机构 * Baichuan Inc.（百川智能） ； Westlake University（西湖大学） ； Zhejiang University（浙江大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI