语言大模型 / LLM

BAPPA: Benchmarking Agents, Plans, and Pipelines for Automated Text-to-SQL Generation

Fahim Ahmed, Md Mubtasim Ahasan, Jahir Sadik Monon, Muntasir Wahed, M Ashraful Amin, A K M Mahbubur Rahman, Amin Ahsan Ali

机构 * Center for Computational & Data Sciences, Independent University, Bangladesh（计算与数据科学中心，独立大学，孟加拉国） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Mixture of Routers

Jia-Chen Zhang, Yu-Jie Xiong, Xi-He Qiu, Chun-Ming Xia, Fei Dai, Zheng Zhou

机构 * School of Electronic and Electrical Engineering, Shanghai University of Engineering Science（电子电气工程学院，上海工程技术大学） ； Key Laboratory of Computational Neuroscience and Brain-Inspired Intelligence, Fudan University（计算神经科学与脑启发智能重点实验室，复旦大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.AI

Comments Under consideration at Pattern Recognition Letters

Benchmarking Generative AI Against Bayesian Optimization for Constrained Multi-Objective Inverse Design

Muhammad Bilal Awan, Abdul Razzaq, Abdul Shahid

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 17 pages, 2 Figures

SC-LoRA: Balancing Efficient Fine-tuning and Knowledge Preservation via Subspace-Constrained LoRA

Minrui Luo, Fuhang Kuang, Yu Wang, Zirui Liu, Tianxing He

机构 * Shanghai Qi Zhi Institute（上海启智研究院） ； Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； Xiongan AI Institute（雄安人工智能研究院） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

When Truthful Representations Flip Under Deceptive Instructions?

Xianxuan Long, Yao Fu, Runchao Li, Mu Sheng, Haotian Yu, Xiaotian Han, Pan Li

机构 * Case Western Reserve University（凯斯西储大学） ； Hangzhou Dianzi University（杭州电子科技大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Mechanism and Emergence of Stacked Attention Heads in Multi-Layer Transformers

Tiberiu Musat

机构 * ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.LG

Journal ref International Conference on Learning Representations (ICLR), 2025

FALQON: Accelerating LoRA Fine-tuning with Low-Bit Floating-Point Arithmetic

Kanghyun Choi, Hyeyoon Lee, SunJong Park, Dain Kwon, Jinho Lee

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） ； Seoul National University（首尔国立大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

Comments NeurIPS 2025

Teaching LLMs to Abstain via Fine-Grained Semantic Confidence Reward

Hao An, Yang Xu

机构 * Computational Linguistics and Consciousness Sciences Lab, Southern University of Science and Technology, China（南方科技大学计算语言学与意识科学实验室） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 23pages, 4figures

PRO: Enabling Precise and Robust Text Watermark for Open-Source LLMs

Jiaqi Xue, Yifei Zhao, Mansour Al Ghanim, Shangqian Gao, Ruimin Sun, Qian Lou, Mengxin Zheng

机构 * University of Central Florida（佛罗里达中央大学） ； Florida State University（佛罗里达州立大学） ； Florida International University（佛罗里达国际大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

ESCA: Contextualizing Embodied Agents via Scene-Graph Generation

Jiani Huang, Amish Sethi, Matthew Kuo, Mayank Keoliya, Neelay Velingker, JungHo Jung, Ser-Nam Lim, Ziyang Li, Mayur Naik

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

Comments Accepted as a Spotlight Paper at NeurIPS 2025

Any-Depth Alignment: Unlocking Innate Safety Alignment of LLMs to Any-Depth

Jiawei Zhang, Andrew Estornell, David D. Baek, Bo Li, Xiaojun Xu

机构 * University of Chicago（芝加哥大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；分类 cs.AI、cs.LG

Urban-R1: Reinforced MLLMs Mitigate Geospatial Biases for Urban General Intelligence

Qiongyan Wang, Xingchen Zou, Yutian Jiang, Haomin Wen, Jiaheng Wei, Qingsong Wen, Yuxuan Liang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Carnegie Mellon University（卡内基梅隆大学） ； Squirrel Ai Learning 纠错

专题命中 指令微调 ：foundation model(abstract)；post-training(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

Indoor Localization using Compact, Telemetry-Agnostic, Transfer-Learning Enabled Decoder-Only Transformer

Nayan Sanjay Bhatia, Pranay Kocheta, Russell Elliott, Harikrishna S. Kuttivelil, Katia Obraczka

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 11 pages, 12 Figures

Protein as a Second Language for LLMs

Xinhui Chen, Zuchao Li, Mengqi Gao, Yufeng Zhang, Chak Tou Leong, Haoyang Li, Jiaqi Chen

机构 * Wuhan University（武汉大学） ； Hong Kong Polytechnic University（香港理工大学） ； Stanford University（斯坦福大学） ； Topify AI 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

Comments Main paper: 9 pages, 6 figures. With references and appendix: 18 pages, 9 figures total. Submitted to ICLR 2026 (under review)

Align2Act: Instruction-Tuned Models for Human-Aligned Autonomous Driving

Kanishkha Jaisankar, Sunidhi Tandel

机构 * New York University（纽约大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Jigsaw-R1: A Study of Rule-based Visual Reinforcement Learning with Jigsaw Puzzles

Zifu Wang, Junyi Zhu, Bo Tang, Zhiyu Li, Feiyu Xiong, Jiaqian Yu, Matthew B. Blaschko

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.AI

Comments TMLR 2025

P2P: A Poison-to-Poison Remedy for Reliable Backdoor Defense in LLMs

Shuai Zhao, Xinyi Wu, Shiqian Zhao, Xiaobao Wu, Zhongliang Guo, Yanhao Jia, Anh Tuan Luu

机构 * Nanyang Technological University, Singapore（南洋理工大学） ； Shanghai Jiao Tong University, Shanghai, China（上海交通大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

REG: A Regularization Optimizer for Robust Training Dynamics

Zehua Liu, Han Wu, Xiaojin Fu, Shuqi Liu, Xiongwei Han, Tao Zhong, Mingxuan Yuan

机构 * Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Active Attacks: Red-teaming LLMs via Adaptive Environments

Taeyoung Yun, Pierre-Luc St-Charles, Jinkyoo Park, Yoshua Bengio, Minsu Kim

机构 * KAIST（韩国科学技术院） ； Mila – Québec AI Institute（魁北克人工智能研究所） ； LawZero ； Omelet ； Université de Montréal（蒙特利尔大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 22 pages, 7 figures, 18 tables

QuIC: Quantum-Inspired Compound Adapters for Parameter Efficient Fine-Tuning

Snehal Raj, Brian Coyle

机构 * QC Ware（QC公司） ； LIP6, CNRS, Sorbonne Université（LIP6、CNRS、索邦大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

Comments 30 pages, 12 figures, 7 tables, ~8000 words

VisCoder: Fine-Tuning LLMs for Executable Python Visualization Code Generation

Yuansheng Ni, Ping Nie, Kai Zou, Xiang Yue, Wenhu Chen

机构 * University of Waterloo（滑铁卢大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.AI

InfiMed-Foundation: Pioneering Advanced Multimodal Medical Models with Compute-Efficient Pre-Training and Multi-Stage Fine-Tuning

Guanghao Zhu, Zhitian Hou, Zeyu Liu, Zhijie Sang, Congkai Xie, Hongxia Yang

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

Accelerate Creation of Product Claims Using Generative AI

Po-Yu Liang, Yong Zhang, Tatiana Hwa, Aaron Byers

机构 * Department of Computer Science University of Cincinnati（计算机科学系 奥克兰大学） ； Corporate Functions R&D, Discovery& Innovation Platforms, P&G（企业职能研发、发现与创新平台，宝洁公司） ； Beauty Care IT, P&G（美容护理IT，宝洁公司） ； Beauty Care R&D, P&G（美容护理研发，宝洁公司） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments This paper has been accepted at the GenProCC workshop (NeurIPS 2025)

Explaining Fine Tuned LLMs via Counterfactuals A Knowledge Graph Driven Framework

Yucheng Wang, Ziyang Chen, Md Faisal Kabir

机构 * Penn State Harrisburg（宾夕法尼亚州立大学哈里斯堡分校） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 16 pages, 9 figures

GeoRef: Referring Expressions in Geometry via Task Formulation, Synthetic Supervision, and Reinforced MLLM-based Solutions

Bing Liu, Wenqiang Yv, Xuzheng Yang, Shichang Wang, Junzhuo Liu, Peng Wang, Guoqing Wang, Yang Yang, Heng Tao Shen

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Tongji University（同济大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

Mind the Gap: Data Rewriting for Stable Off-Policy Supervised Fine-Tuning

Shiwan Zhao, Xuyang Zhao, Jiaming Zhou, Aobo Kong, Qicheng Li, Yong Qin

机构 * College of Computer Science, Nankai University（南开大学计算机科学学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.LG

CoPL: Collaborative Preference Learning for Personalizing LLMs

Youngbin Choi, Seunghyuk Cho, Minjong Lee, MoonJeong Park, Yesong Ko, Jungseul Ok, Dongwoo Kim

机构 * Graduate School of Artificial Intelligence, POSTECH（POSTECH人工智能研究生院） ； Department of Computer Science and Engineering, POSTECH（POSTECH计算机科学与工程系） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 19pages, 13 figures, 11 tables

Real-Time RAG for the Identification of Supply Chain Vulnerabilities

Jesse Ponnock, Grace Kenneally, Michael Robert Briggs, Elinor Yeo, Tyrone Patterson, Nicholas Kinberg, Matthew Kalinowski, David Hechtman

机构 * MITRE Corporation（MITRE公司） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 14 pages, 5 figures, 1 table. Approved for Public Release; Distribution Unlimited. PRS Release Number: 25-0864

SI-FACT: Mitigating Knowledge Conflict via Self-Improving Faithfulness-Aware Contrastive Tuning

Shengqiang Fu

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

ZhiFangDanTai: Fine-tuning Graph-based Retrieval-Augmented Generation Model for Traditional Chinese Medicine Formula

ZiXuan Zhang, Bowen Hao, Yingjie Li, Hongzhi Yin

机构 * School of Management, Capital Normal University（管理学院，首都师范大学） ； School of Electrical Engineering and Computer Science, the University of Queensland（电气工程与计算机科学学院，昆士兰大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI