语言大模型 / LLM

Direct Token Optimization: A Self-contained Approach to Large Language Model Unlearning

Hong kyu Lee, Ruixuan Liu, Li Xiong

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Spectral Scaling Laws in Language Models: How Effectively Do Feed-Forward Networks Use Their Latent Space?

Nandan Kumar Jha, Brandon Reagen

机构 * New York University（纽约大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.LG

Comments EMNLP 2025 Main Conference (Long paper)

Uncovering the Computational Ingredients of Human-Like Representations in LLMs

Zach Studdiford, Timothy T. Rogers, Kushin Mukherjee, Siddharth Suresh

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Comments 9 pages

In-Context Curiosity: Distilling Exploration for Decision-Pretrained Transformers on Bandit Tasks

Huitao Yang, Guanting Chen

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

ProTDyn: a foundation Protein language model for Thermodynamics and Dynamics generation

Yikai Liu, Haoyang Zheng, Lining Mao, Yanbin Wang, Ming Chen, Guang Lin

专题命中 预训练与数据 ：language model(title,abstract)

Second Language (Arabic) Acquisition of LLMs via Progressive Vocabulary Expansion

Jianqing Zhu, Huang Huang, Zhihang Lin, Juhao Liang, Zhengyang Tang, Khalid Almubarak, Abdulmohsen Alharthik, Bang An, Juncai He, Xiangbo Wu, Fei Yu, Junying Chen, Zhuoheng Ma, Yuhao Du, He Zhang, Emad A. Alghamdi, Lian Zhang, Ruoyu Sun, Haizhou Li, Benyou Wang, Jinchao Xu

机构 * King Abdullah University of Science and Technology（国王阿卜杜勒阿齐兹大学科学与技术大学） ； Shenzhen International Center for Industrial and Applied Mathematics, Shenzhen Research Institute of Big Data（深圳国际工业与应用数学中心，深圳大数据研究院） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） ； The Chinese University of Hong Kong（香港中文大学） ； King Abdulaziz University（国王阿卜杜勒阿齐兹大学） ； Prince Sattam bin Abdulaziz University（普林斯萨塔姆·本·阿卜杜勒阿齐兹大学） ； University of Bisha（比沙大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Journal ref Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2025

Unpacking Let Alone: Human-Scale Models Generalize to a Rare Construction in Form but not Meaning

Wesley Scivetti, Tatsuya Aoyama, Ethan Wilcox, Nathan Schneider

机构 * Georgetown University（杰克逊维尔大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

Comments Empirical Methods for Natural Language Processing (EMNLP) 2025, Camera-Ready Version

Apriel-1.5-15b-Thinker

Shruthan Radhakrishna, Aman Tiwari, Aanjaneya Shukla, Masoud Hashemi, Rishabh Maheshwary, Shiva Krishna Reddy Malay, Jash Mehta, Pulkit Pattnaik, Saloni Mittal, Khalil Slimi, Kelechi Ogueji, Akintunde Oladipo, Soham Parikh, Oluwanifemi Bamgbose, Toby Liang, Ahmed Masry, Khyati Mahajan, Sai Rajeswar Mudumba, Vikas Yadav, Sathwik Tejaswi Madhusudhan, Torsten Scholak, Sagar Davasam, Srinivas Sunkara, Nicholas Chapados

专题命中 预训练与数据 ：pretraining(abstract)；preference optimization(abstract)；分类 cs.AI

Visual Self-Refinement for Autoregressive Models

Jiamian Wang, Ziqi Zhou, Chaithanya Kumar Mummadi, Sohail Dianat, Majid Rabbani, Raghuveer Rao, Chen Qiu, Zhiqiang Tao

机构 * Rochester Institute of Technology（罗切斯特理工大学） ； Bosch Research（博世研究） ； DEVCOM Army Research Laboratory（美国陆军研究实验室） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)

Comments Accepted by EMNLP2025

SAGE-LD: Towards Scalable and Generalizable End-to-End Language Diarization via Simulated Data Augmentation

Sangmin Lee, Woongjib Choi, Jihyun Kim, Hong-Goo Kang

机构 * Dept. of Electrical \& Electronic Engineering, Yonsei University, Seoul, South Korea 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.AI

Metaphor identification using large language models: A comparison of RAG, prompt engineering, and fine-tuning

Matteo Fuoli, Weihang Huang, Jeannette Littlemore, Sarah Turner, Ellen Wilding

机构 * Department of Linguistics and Communication（语言学与传播学系） ； University of Birmingham（伯明翰大学） ； Centre for Arts, Memory & Communities（艺术、记忆与社区中心） ； Coventry University（考文垂大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Efficient Layer-wise LLM Fine-tuning for Revision Intention Prediction

Zhexiong Liu, Diane Litman

机构 * Department of Computer Science, Learning Research & Development Center University of Pittsburgh（计算机科学系、学习研究与开发中心匹兹堡大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

Comments In The Conference on Empirical Methods in Natural Language Processing (EMNLP), November 2025

WaveMind: Towards a Conversational EEG Foundation Model Aligned to Textual and Visual Modalities

Ziyi Zeng, Zhenyang Cai, Yixi Cai, Xidong Wang, Junying Chen, Rongsheng Wang, Yipeng Liu, Siqi Cai, Benyou Wang, Zhiguo Zhang, Haizhou Li

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 指令微调 ：foundation model(title)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

Judging by Appearances? Auditing and Intervening Vision-Language Models for Bail Prediction

Sagnik Basu, Shubham Prakash, Ashish Maruti Barge, Siddharth D Jaiswal, Abhisek Dash, Saptarshi Ghosh, Animesh Mukherjee

机构 * Indian Institute of Technology Kharagpur（印度理工学院Khargapur分校） ； Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI

QUASAR: Quantum Assembly Code Generation Using Tool-Augmented LLMs via Agentic RL

Cong Yu, Valter Uotila, Shilong Deng, Qingyuan Wu, Tuo Shi, Songlin Jiang, Lei You, Bo Zhao

机构 * Aalto University（阿alto大学） ； University of Helsinki（赫尔辛基大学） ； University of Liverpool（利物浦大学） ； University of Southampton（南安普顿大学） ； Technical University of Denmark（丹麦技术大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

Debunk the Myth of SFT Generalization

Xiaofeng Lin, Hejian Sang, Zhipeng Wang, Xuezhou Zhang

机构 * Boston University（波士顿大学） ； LinkedIn 纠错

专题命中 指令微调 ：SFT(title,abstract)；分类 cs.AI、cs.LG

Flow of Knowledge: Federated Fine-Tuning of LLMs in Healthcare under Non-IID Conditions

Zeyu Chen, Yun Ji, Bowen Wang, Liwen Shi, Zijie Zeng, Sheng Zhang

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)

LoRA Users Beware: A Few Spurious Tokens Can Manipulate Your Finetuned Model

Marcel Mateos Salles, Praney Goyal, Pradyut Sekhsaria, Hai Huang, Randall Balestriero

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 46 pages, 17 figures, 26 tables. Submitted for publication. for associated blog post, see https://pradyut3501.github.io/lora-spur-corr/

ATLAS: Autoformalizing Theorems through Lifting, Augmentation, and Synthesis of Data

Xiaoyang Liu, Kangjie Bao, Jiashuo Zhang, Yunqi Liu, Yu Chen, Yuntian Liu, Yang Jiao, Tao Luo

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to NeurIPS 2025

Facilitating Cognitive Accessibility with LLMs: A Multi-Task Approach to Easy-to-Read Text Generation

François Ledoyen, Gaël Dias, Jeremie Pantin, Alexis Lechervy, Fabrice Maurel, Youssef Chahir

机构 * Université Caen Normandie, ENSICAEN, CNRS, Normandie Univ, GREYC UMR 6072（法国卡恩大学、ENSICAEN、CNRS、诺曼底大学、GREYC UMR 6072） ； Koena SAS 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments EMNLP 2025

LoRAFusion: Efficient LoRA Fine-Tuning for LLMs

Zhanda Zhu, Qidong Su, Yaoyao Ding, Kevin Song, Shang Wang, Gennady Pekhimenko

机构 * University of Toronto, Vector Institute, NVIDIA（多伦多大学、向量研究所、NVIDIA） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Accepted by EuroSys 2026

Judging with Confidence: Calibrating Autoraters to Preference Distributions

Zhuohang Li, Xiaowei Li, Chengyu Huang, Guowang Li, Katayoon Goshvadi, Bo Dai, Dale Schuurmans, Paul Zhou, Hamid Palangi, Yiwen Song, Palash Goyal, Murat Kantarcioglu, Bradley A. Malin, Yuan Xue

机构 * Google（谷歌） ； Vanderbilt University（范德比大学） ； Cornell University（康奈尔大学） ； DeepMind（深Mind） ； University of Alberta（阿尔伯塔大学） ； Virginia Tech（弗吉尼亚理工学院） ； Scale AI 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

GUI-R1 : A Generalist R1-Style Vision-Language Action Model For GUI Agents

Run Luo, Lu Wang, Wanwei He, Longze Chen, Jiaming Li, Xiaobo Xia

机构 * Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

LoRA meets Riemannion: Muon Optimizer for Parametrization-independent Low-Rank Adapters

Vladimir Bogachev, Vladimir Aletov, Alexander Molozhavenko, Denis Bobkov, Vera Soboleva, Aibek Alanov, Maxim Rakhuba

机构 * HSE University（俄罗斯高等经济大学） 纠错

专题命中 指令微调 ：LLM(abstract)；分类 cs.CL、cs.LG

Train on Validation (ToV): Fast data selection with applications to fine-tuning

Ayush Jain, Andrea Montanari, Eren Sasoglu

机构 * Granica Computing Inc. — granica.ai（Granica计算公司） ； Department of Statistics and Department of Mathematics, Stanford University（斯坦福大学统计系和数学系） 纠错

专题命中 指令微调 ：instruction tuning(abstract)；分类 cs.AI、cs.LG

Why Can't Transformers Learn Multiplication? Reverse-Engineering Reveals Long-Range Dependency Pitfalls

Xiaoyan Bai, Itamar Pres, Yuntian Deng, Chenhao Tan, Stuart Shieber, Fernanda Viégas, Martin Wattenberg, Andrew Lee

机构 * University of Chicago（芝加哥大学） ； MIT（麻省理工学院） ； University of Waterloo（滑铁卢大学） ； Harvard University（哈佛大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI、cs.LG

Alternating Training-based Label Smoothing Enhances Prompt Generalization

Yang Chen, Yanbin Wei, Ke Jin, Yi Kong, James Kwok, Yu Zhang

机构 * Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系） ； Department of Computer Science and Engineering, Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系） ； School of Information and Control Engineering, China University of Mining and Technology（中国矿业大学信息与控制工程学院） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.LG

Prompt Tuning Decision Transformers with Structured and Scalable Bandits

Finn Rietz, Oleg Smirnov, Sara Karimi, Lele Cao

机构 * Örebro University（奥雷布罗大学） ； King AI Labs, Microsoft Gaming（King AI实验室，微软游戏） 纠错

专题命中 指令微调 ：prompting(abstract)；分类 cs.LG

Comments Accepted at NeurIPS 2025

VLA-RFT: Vision-Language-Action Reinforcement Fine-tuning with Verified Rewards in World Simulators

Hengtao Li, Pengxiang Ding, Runze Suo, Yihao Wang, Zirui Ge, Dongyuan Zang, Kexian Yu, Mingyang Sun, Hongyin Zhang, Donglin Wang, Weihua Su

机构 * Westlake University（西湖大学） ； Zhejiang University（浙江大学） ； OpenHelix Team（OpenHelix团队） ； Fudan University（复旦大学） ； Zhengzhou University（郑州大学） ； BUPT（北京邮电大学） ； Hebei University of Technology（河北工业大学） 纠错

专题命中 指令微调 ：post-training(abstract)

Short-range and long-range order: a transition in block-gluing behavior in Hom shifts

Silvere Gangloff, Benjamin Hellouin de Menibus, Piotr Oprocha

专题命中 指令微调 ：SFT(abstract)