语言大模型 / LLM

Memento: Fine-tuning LLM Agents without Fine-tuning LLMs

Huichi Zhou, Yihang Chen, Siyuan Guo, Xue Yan, Kin Hei Lee, Zihan Wang, Ka Yiu Lee, Guchun Zhang, Kun Shao, Linyi Yang, Jun Wang

机构 * AI Centre, UCL（UCL人工智能中心） ； Huawei Noah’s Ark Lab, UK（华为诺亚实验室（英国）） ； Jilin University（吉林大学） ； Institute of Automation, CAS（中国科学院自动化研究所） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

VeriCoder: Enhancing LLM-Based RTL Code Generation through Functional Correctness Validation

Anjiang Wei, Huanmi Tan, Tarun Suresh, Daniel Mendoza, Thiago S. F. X. Teixeira, Ke Wang, Caroline Trippel, Alex Aiken

机构 * Stanford University（斯坦福大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Intel Corporation（英特尔公司） ； Nanjing University（南京大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AMELIA: A Family of Multi-task End-to-end Language Models for Argumentation

Henri Savigny, Bruno Yun

机构 * Universite Claude Bernard Lyon 1（里昂1大学） ； CNRS（国家科学研究中心） ； Ecole Centrale de Lyon（里昂中央理工大学） ； INSA Lyon（里昂国立应用科学学院） ； Université Lumiere Lyon 2（里昂2大学） ； LIRIS（图像研究所） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

Towards Safeguarding LLM Fine-tuning APIs against Cipher Attacks

Jack Youstra, Mohammed Mahfoud, Yang Yan, Henry Sleight, Ethan Perez, Mrinank Sharma

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

Quickly Tuning Foundation Models for Image Segmentation

Breenda Das, Lennart Purucker, Timur Carstensen, Frank Hutter

机构 * University of Freiburg（弗赖堡大学） ； ELLIS Institute Tübingen（图宾根ELLIS研究所） ； Prior Labs（Prior实验室） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

Comments Accepted as a short paper at the non-archival content track of AutoML 2025

Identifying and Manipulating Personality Traits in LLMs Through Activation Engineering

Rumi Allbert, James K. Wiles, Vlad Grankovsky

机构 * Wolfram Institute（沃尔夫拉姆研究所） ； Hidoba Research（希多巴研究） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Riemannian Optimization for LoRA on the Stiefel Manifold

Juneyoung Park, Minjae Kang, Seongbae Lee, Haegang Lee, Seongwan Kim, Jaeho Lee

机构 * Opt-AI Inc.（Opt-AI公司） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments EMNLP 2025 Findings

Exploring Efficient Learning of Small BERT Networks with LoRA and DoRA

Daniel Frees, Aditri Bhagirath, Moritz Bolling

机构 * Department of Statistics Stanford University（统计学系 斯坦福大学） ； Department of Computer Science Stanford University（计算机科学系 斯坦福大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Speechless: Speech Instruction Training Without Speech for Low Resource Languages

Alan Dao, Dinh Bach Vu, Huy Hoang Ha, Tuan Le Duc Anh, Shreyas Gopal, Yue Heng Yeo, Warren Keng Hoong Low, Eng Siong Chng, Jia Qi Yip

机构 * Menlo Research ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments This paper was accepted by INTERSPEECH 2025

Journal ref Proc. Interspeech 2025, 3239-3243

DropLoRA: Sparse Low-Rank Adaptation for Parameter-Efficient Fine-Tuning

Haojie Zhang

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments 8 pages

Dynamic Embedding of Hierarchical Visual Features for Efficient Vision-Language Fine-Tuning

Xinyu Wei, Guoli Yang, Jialu Zhou, Mingyue Yang, Leqian Li, Kedi Zhang, Chunping Qiu

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Mitigating Jailbreaks with Intent-Aware LLMs

Wei Jie Yeo, Ranjan Satapathy, Erik Cambria

机构 * Nanyang Technological University（南洋理工大学） ； Institute of High Performance Computing（高性能计算研究所） ； Agency for Science, Technology and Research（科技研究局） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

SSG-Dit: A Spatial Signal Guided Framework for Controllable Video Generation

Peng Hu, Yu Gu, Liang Luo, Fuji Ren

机构 * School of Computer Science and Engineering, University of Electronic Science and Technology of China（计算机科学与工程学院，电子科技大学） 纠错

专题命中 指令微调 ：prompting(abstract)；分类 cs.AI

SEFRQO: A Self-Evolving Fine-Tuned RAG-Based Query Optimizer

Hanwen Liu, Qihan Zhang, Ryan Marcus, Ibrahim Sabek

专题命中 指令微调 ：LLM(abstract)

Comments To appear at SIGMOD 2026 (https://2026.sigmod.org/)

Baltimore Atlas: FreqWeaver Adapter for Semi-supervised Ultra-high Spatial Resolution Land Cover Classification

Junhao Wu, Aboagye-Ntow Stephen, Chuyuan Wang, Gang Chen, Xin Huang

机构 * Towson University（托逊大学） ； University of North Carolina at Charlotte（北卡罗来纳州夏洛特大学） 纠错

专题命中 指令微调 ：foundation model(abstract)

Weights-Rotated Preference Optimization for Large Language Models

Chenxu Yang, Ruipeng Jia, Mingyu Zheng, Naibin Gu, Zheng Lin, Siyuan Chen, Weichong Yin, Hua Wu, Weiping Wang

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Baidu Inc.（百度公司） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；preference optimization(title,abstract)；SFT(abstract)

Comments EMNLP 2025

On the Algorithmic Bias of Aligning Large Language Models with RLHF: Preference Collapse and Matching Regularization

Jiancong Xiao, Ziniu Li, Xingyu Xie, Emily Getzen, Cong Fang, Qi Long, Weijie J. Su

机构 * University of Pennsylvania（宾夕法尼亚大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； National University of Singapore（新加坡国立大学） ； Peking University（北京大学） ； Joint corresponding authors（联合通讯作者） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；RLHF(title,abstract)；LLM(abstract)

Comments Accepted for publication in the Journal of the American Statistical Association

Post-Training Language Models for Continual Relation Extraction

Sefika Efeoglu, Adrian Paschke, Sonja Schimmler

机构 * Freie Universität Berlin（柏林自由大学） ； Technische Universität Berlin（柏林技术大学） ； Fraunhofer Institute for Open Communication Systems（弗劳恩霍夫开放通信系统研究所） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(title)；large language model(abstract)；分类 cs.CL

Comments 17 pages, Initial Results and Reporting of the work. This work has been submitted to the IEEE for possible publication

KL-Regularised Q-Learning: A Token-level Action-Value perspective on Online RLHF

Jason R Brown, Lennie Wells, Edward James Young, Sergio Bacallado

机构 * Computational and Biological Learning Group, Department of Engineering, University of Cambridge, Cambridge, UK（计算生物学学习组，工程系，剑桥大学，剑桥，英国） ； Department of Computer Science and Technology, University of Cambridge, Cambridge, UK（计算机科学与技术系，剑桥大学，剑桥，英国） ； Statistics Laboratory, Department of Pure Mathematics and Mathematical Statistics, University of Cambridge, UK（统计实验室，纯粹数学与数学统计系，剑桥大学，英国） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；LLM(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Orthogonal Finetuning for Direct Preference Optimization

Chenxu Yang, Ruipeng Jia, Naibin Gu, Zheng Lin, Siyuan Chen, Chao Pang, Weichong Yin, Yu Sun, Hua Wu, Weiping Wang

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Linear Preference Optimization: Decoupled Gradient Control via Absolute Regularization

Rui Wang, Qianguo Sun, Chao Song, Junlong Wu, Tianrong Chen, Zhiyun Zeng, Yu Li

机构 * International Digital Economy Academy（国际数字经济学院） ； Emdoor Collaborative Laboratory（Emdoor协同实验室） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.LG

OwkinZero: Accelerating Biological Discovery with AI

Nathan Bigaud, Vincent Cabeli, Meltem Gürel, Arthur Pignet, John Klein, Gilles Wainrib, Eric Durand

机构 * Owkin 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.LG

Comments Preprint

Annotation-Free Open-Vocabulary Segmentation for Remote-Sensing Images

Kaiyu Li, Xiangyong Cao, Ruixun Liu, Shihong Wang, Zixuan Jiang, Zhi Wang, Deyu Meng

机构 * School of Software Engineering, Xi’an Jiaotong University（软件工程学院，西安交通大学） ； School of Computer Science and Technology and Ministry of Education Key Laboratory of Intelligent Networks and Network Security, Xi’an Jiaotong University（计算机科学与技术学院和教育部智能网络与网络安全重点实验室，西安交通大学） ； School of Automation, Xi’an Jiaotong University（自动化学院，西安交通大学） ； College of Artificial Intelligence, Xi’an Jiaotong University（人工智能学院，西安交通大学） ； School of Mathematics and Statistics and Ministry of Education Key Laboratory of Intelligent Networks and Network Security, Xi’an Jiaotong University（数学与统计学院和教育部智能网络与网络安全重点实验室，西安交通大学） 纠错

专题命中 后训练与偏好优化 ：foundation model(abstract)；post-training(abstract)

Comments All codes and models will be released at https://github.com/earth-insights/SegEarth-OV-2

OASIS: Open-world Adaptive Self-supervised and Imbalanced-aware System

Miru Kim, Mugon Joe, Minhae Kwon

机构 * Soongsil University（松蔚大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

Comments Accepted at the 34th ACM International Conference on Information and Knowledge Management (CIKM 2025)

Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models

Qingyue Wang, Yanhe Fu, Yanan Cao, Shuai Wang, Zhiliang Tian, Liang Ding

机构 * the Department of Computer Science and Engineering, Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系） ； the institute of information engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； the College of Computer, National University of Defense Technology（国防科技大学计算机学院） ； the University of Sydney（悉尼大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Comments This paper has been accepted by Neurocomputing

CRABS: A syntactic-semantic pincer strategy for bounding LLM interpretation of Python notebooks

Meng Li, Timothy M. McPhillips, Dingmin Wang, Shin-Rong Tsai, Bertram Ludäscher

机构 * School of Information Sciences, University of Illinois Urbana-Champaign（信息科学学院，伊利诺伊大学厄巴纳-香槟分校） ； Department of Computer Science, University of Oxford（计算机科学系，牛津大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted to COLM 2025

Task Memory Engine (TME): Enhancing State Awareness for Multi-Step LLM Agent Tasks

Ye Ye

机构 * Ye Ye（独立研究者） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 14 pages, 5 figures. Preprint prepared for future submission. Includes implementation and token-efficiency analysis. Code at https://github.com/biubiutomato/TME-Agent

Learn to Memorize: Optimizing LLM-based Agents with Adaptive Memory Framework

Zeyu Zhang, Quanyu Dai, Rui Li, Xiaohe Bo, Xu Chen, Zhenhua Dong

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 17 pages, 4 figures, 5 tables

Enhancing Transformer-Based Foundation Models for Time Series Forecasting via Bagging, Boosting and Statistical Ensembles

Dhruv D. Modi, Rong Pan

机构 * School of Computing and Augmented Intelligence, Arizona State University（计算与增强智能学院，亚利桑那州立大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.LG

UniAPO: Unified Multimodal Automated Prompt Optimization

Qipeng Zhu, Yanzhe Chen, Huasong Zhong, Yan Li, Jie Chen, Zhixin Zhang, Junping Zhang, Zhenheng Yang

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；prompting(abstract)

Comments 23 pages, 5 figures