语言大模型 / LLM

RePro: Training Language Models to Faithfully Recycle the Web for Pretraining

Zichun Yu, Chenyan Xiong

机构 * Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；LLM(abstract)；large language model(abstract)

Scaling Law in LLM Simulated Personality: More Detailed and Realistic Persona Profile Is All You Need

Yuqi Bai, Tianyu Huang, Kun Sun, Yuting Chen

机构 * Department of Computer ； Information Engineering, Hebei Petroleum University of Technology, Chengde, China (e-mail ； School of Computer Science \& Technology, Beijing Institute of Technology, Beijing, China (e-mail 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

PromptFlow: Training Prompts Like Neural Networks

Jingyi Wang, Hongyuan Zhu, Ye Niu, Yunhui Deng

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Comments Comments: 18 pages, 14 figures, conference submission, appendix included

GOAT: A Training Framework for Goal-Oriented Agent with Tools

Hyunji Min, Sangwon Jung, Junyoung Sung, Dosung Lee, Leekyeung Han, Paul Hongsuck Seo

机构 * Korea University（韩国大学） ； Trillion Labs（万亿实验室） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Comments 32 pages, 21 figures

Balancing Synthetic Data and Replay for Enhancing Task-Specific Capabilities

Urs Spiegelhalter, Jörg K. H. Franke, Frank Hutter

机构 * University of Freiburg（弗赖堡大学） ； ELLIS Institute Tübingen（图宾根ELLIS研究所） ； Open-Sci Collective（开放科学集体） ； LAION ； Prior Labs（Prior实验室） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG；foundation model(comments)

Comments Presented at 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop on Continual and Compatible Foundation Model Updates (CCFM)

A Statistical Theory of Contrastive Learning via Approximate Sufficient Statistics

Licong Lin, Song Mei

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

Data or Language Supervision: What Makes CLIP Better than DINO?

Yiming Liu, Yuhui Zhang, Dhruba Ghosh, Ludwig Schmidt, Serena Yeung-Levy

机构 * Stanford University（斯坦福大学） ； Tsinghua University（清华大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments EMNLP 2025 Findings

Protein Design with Dynamic Protein Vocabulary

Nuowei Liu, Jiahao Kuang, Yanting Liu, Tao Ji, Changzhi Sun, Man Lan, Yuanbin Wu

机构 * School of Computer Science and Technology, East China Normal University（东华师范大学计算机科学与技术学院） ； College of Foreign Languages and Literatures, Fudan University（复旦大学外国语言文学学院） ； Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究所） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

Comments Accepted to NeurIPS 2025 (Spotlight)

One Prompt Fits All: Universal Graph Adaptation for Pretrained Models

Yongqi Huang, Jitao Zhao, Dongxiao He, Xiaobao Wang, Yawen Li, Yuxiao Huang, Di Jin, Zhiyong Feng

机构 * College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院） ； School of Economics and Management, Beijing University of Posts and Telecommunications（北京邮电大学经济管理学院） ； Department of Data Science, George Washington University（乔治华盛顿大学数据科学系） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

Comments accepted by NeurIPS 2025 main conference

The Philosophical Foundations of Growing AI Like A Child

Dezhi Luo, Yijiang Li, Hokin Deng

机构 * University of Michigan（密歇根大学） ； University of California San Diego（加州大学圣地亚哥分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

Unlocking Zero-Shot Plant Segmentation with Pl@ntNet Intelligence

Simon Ravé, Jean-Christophe Lombardo, Pejman Rasti, Alexis Joly, David Rousseau

机构 * University of Angers, LARIS, IRHS, INRAe（昂热大学、LARIS、IRHS、INRAe） ； Inria（法国国家信息与自动化技术研究院） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

Evolution of meta's llama models and parameter-efficient fine-tuning of large language models: a survey

Abdulhady Abas Abdullah, Arkaitz Zubiaga, Seyedali Mirjalili, Amir H. Gandomi, Fatemeh Daneshfar, Mohammadsadra Amini, Alan Salam Mohammed, Hadi Veisi

机构 * University of Kurdistan（库尔德斯坦大学） ； Queen Mary University（女王玛丽大学） ； Torrens University Australia（澳大利亚托伦斯大学） ； University of Technology Sydney（悉尼技术大学） ； University of Kurdistan Sanandaj, Iran（伊朗桑和杰德大学） ； TU Dortmund University（多特蒙德技术大学） ； University of Kurdistan Hewler（库尔德斯坦大学海勒） ； Tehran University（德黑兰大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)；instruction tuning(abstract)

Hierarchical Alignment: Surgical Fine-Tuning via Functional Layer Specialization in Large Language Models

Yukun Zhang, Qi Dong

机构 * The Chinese University of Hong Kong（香港中文大学） ； Fudan University（复旦大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；preference optimization(abstract)

The Open Source Advantage in Large Language Models (LLMs)

Jiya Manchanda, Laura Boettcher, Matheus Westphalen, Jasser Jasser

机构 * Department of Philosophy and Religion（哲学与宗教系） ； Rollins College（罗林斯学院） ； Department of Mathematics and Computer Science（数学与计算机科学系） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；instruction tuning(abstract)

Comments 9 pages, 1 figure

MoRA: On-the-fly Molecule-aware Low-Rank Adaptation Framework for LLM-based Multi-Modal Molecular Assistant

Tao Yin, Xiaohong Zhang, Jiacheng Zhang, Li Huang, Zhibin Zhang, Yuansong Zeng, Jin Xie, Meng Yan

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

In the Eye of MLLM: Benchmarking Egocentric Video Intent Understanding with Gaze-Guided Prompting

Taiying Peng, Jiacheng Hua, Miao Liu, Feng Lu

机构 * State Key Laboratory of VR Technology and Systems, School of CSE, Beihang University（虚拟现实技术与系统国家重点实验室，北京航空航天大学计算机科学与工程学院） ； College of AI, Tsinghua University（清华大学人工智能学院） 纠错

专题命中 指令微调 ：prompting(title,abstract)；large language model(abstract)；language model(abstract)

Comments Accepted to NeurIPS 2025

Attention-Aware GNN-based Input Defense against Multi-Turn LLM Jailbreak

Zixuan Huang, Kecheng Huang, Lihao Yin, Bowei He, Huiling Zhen, Mingxuan Yuan, Zili Shao

机构 * The Chinese University of Hong Kong（香港中文大学） ； Noah’s Ark Lab, Huawei（华为诺亚实验室） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

VideoRFT: Incentivizing Video Reasoning Capability in MLLMs via Reinforced Fine-Tuning

Qi Wang, Yanrui Yu, Ye Yuan, Rui Mao, Tianfei Zhou

机构 * Beijing Institute of Technology（北京理工大学） ； Shenzhen University（深圳大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

Comments Accepted by NeurIPS 2025. Code: https://github.com/QiWang98/VideoRFT

Cross-Modal Safety Alignment: Is textual unlearning all you need?

Trishna Chakraborty, Erfan Shayegani, Zikui Cai, Nael Abu-Ghazaleh, M. Salman Asif, Yue Dong, Amit K. Roy-Chowdhury, Chengyu Song

机构 * University of California, Riverside（加州大学河滨分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；RLHF(abstract)

Comments Accepted by EMNLP 2024 Findings

Indoor Localization using Compact, Telemetry-Agnostic, Transfer-Learning Enabled Decoder-Only Transformer

Nayan Sanjay Bhatia, Pranay Kocheta, Russell Elliott, Harikrishna S. Kuttivelil, Katia Obraczka

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 11 pages, 12 Figures

Personalized Federated Fine-Tuning of Vision Foundation Models for Healthcare

Adam Tupper, Christian Gagné

机构 * Institut intelligence et données (IID)（智能与数据研究所） ； Université Laval（拉瓦尔大学） ； Mila - Quebec AI Institute（魁北克人工智能研究所） 纠错

专题命中 指令微调 ：foundation model(title,abstract)

Comments Accepted to the Symposium on Model Accountability, Sustainability and Healthcare (SMASH) 2025

Detect Anything via Next Point Prediction

Qing Jiang, Junan Huo, Xingyu Chen, Yuda Xiong, Zhaoyang Zeng, Yihao Chen, Tianhe Ren, Junzhi Yu, Lei Zhang

机构 * International Digital Economy Academy (IDEA)（国际数字经济学院（IDEA）） 纠错

专题命中 指令微调 ：post-training(abstract)；SFT(abstract)；prompting(abstract)

Comments homepage: https://rex-omni.github.io/

HiLoRA: Adaptive Hierarchical LoRA Routing for Training-Free Domain Generalization

Ziyi Han, Huanyu Wang, Zeyu Zhang, Xiangxiang Dai, Xutong Liu, John C. S. Lui

机构 * The Chinese University of Hong Kong, Hong Kong（香港中文大学） ； FSI Lab, Huawei Technologies Co., Ltd.（华为技术有限公司FSI实验室） ； Carnegie Mellon University, Pittsburgh, PA, USA（卡内基梅隆大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Learning Dynamics of VLM Finetuning

Jusheng Zhang, Kaitong Cai, Jing Yang, Keze Wang

机构 * Sun Yat-sen University（中山大学） ； X-Era AI Lab（X-Era人工智能实验室） 纠错

专题命中 指令微调 ：language model(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

A landscape of contact manifolds via rational SFT

Agustin Moreno, Zhengyi Zhou

专题命中 指令微调 ：SFT(title)

Comments Accepted version, to appear in G&T

Journal ref Geom. Topol. 29 (2025) 3465-3565

DSAS: A Universal Plug-and-Play Framework for Attention Optimization in Multi-Document Question Answering

Jiakai Li, Rongzheng Wang, Yizhuo Ma, Shuang Liang, Guangchun Luo, Ke Qin

机构 * Institute of Intelligent Computing, University of Electronic Science and Technology of China（电子科技大学智能计算研究院） ； School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments 27 pages, has been accepted by NeurIPS 2025

BrowserAgent: Building Web Agents with Human-Inspired Web Browsing Actions

Tao Yu, Zhengbo Zhang, Zhiheng Lyu, Junhao Gong, Hongzhu Yi, Xinming Wang, Yuxuan Zhou, Jiabing Yang, Ping Nie, Yan Huang, Wenhu Chen

机构 * CASIA ； UCAS ； University of Waterloo（大学水力研究所） ； Peking University（北京大学） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：SFT(abstract)；分类 cs.CL、cs.AI

Comments 10 pages

Modular Embedding Recomposition for Incremental Learning

Aniello Panariello, Emanuele Frascaroli, Pietro Buzzega, Lorenzo Bonicelli, Angelo Porrello, Simone Calderara

机构 * AImageLab University of Modena and Reggio Emilia Italy（AImageLab 罗马那瓦尔大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

Comments Accepted to the 36th British Machine Vision Conference (BMVC 2025), Sheffield, UK

Generate, Transduct, Adapt: Iterative Transduction with VLMs

Oindrila Saha, Logan Lawrence, Grant Van Horn, Subhransu Maji

机构 * University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校） 纠错

专题命中 指令微调 ：language model(abstract)

Comments Code is released at https://github.com/cvl-umass/GTA-CLIP

DPO-Tuned Large Language Models for Segmentation in Simultaneous Speech Translation

Zeyu Yang, Satoshi Nakamura

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；preference optimization(abstract)