语言大模型 / LLM

Exploring Solution Divergence and Its Effect on Large Language Model Problem Solving

Hang Li, Kaiqi Yang, Yucheng Chu, Hui Liu, Jiliang Tang

机构 * Michigan State University（密歇根州立大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；SFT(abstract)

Comments 17 pages, 11 figures

Training-Free Bayesianization for Low-Rank Adapters of Large Language Models

Haizhou Shi, Yibin Wang, Ligong Han, Huan Zhang, Hao Wang

机构 * Rutgers University（新泽西罗格斯大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Red Hat AI Innovation（红帽AI创新） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted at NeurIPS 2025

Improving the Language Understanding Capabilities of Large Language Models Using Reinforcement Learning

Bokai Hu, Sai Ashish Somayajula, Xin Pan, Pengtao Xie

机构 * UC San Diego（加州大学圣地亚哥分校） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

A critical review of methods and challenges in large language models

Milad Moradi, Ke Yan, David Colwell, Matthias Samwald, Rhona Asgari

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

Debiasing Large Language Models in Thai Political Stance Detection via Counterfactual Calibration

Kasidit Sermsri, Teerapong Panboonyuen

机构 * Chulalongkorn University（朱拉隆功大学） ； MARSAIL 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Comments 9 pages

video-SALMONN 2: Caption-Enhanced Audio-Visual Large Language Models

Changli Tang, Yixuan Li, Yudong Yang, Jimin Zhuang, Guangzhi Sun, Wei Li, Zejun Ma, Chao Zhang

机构 * Tsinghua University（清华大学） ； University of Cambridge（剑桥大学） ； ByteDance（字节跳动） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

UniErase: Towards Balanced and Precise Unlearning in Language Models

Miao Yu, Liang Lin, Guibin Zhang, Xinfeng Li, Junfeng Fang, Xingrui Yu, Ivor Tsang, Ningyu Zhang, Kun Wang, Yang Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； University of the Chinese Academy of Sciences（中国科学院大学） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； A*STAR（科技研究局） ； Zhejiang University（浙江大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI

Exploiting Block Coordinate Descent for Cost-Effective LLM Model Training

Zeyu Liu, Yan Li, Yunquan Zhang, Boyang Zhang, Guoyong Jiang, Xin Zhang, Limin Xiao, Weifeng Zhang, Daning Cheng

机构 * National Supercomputing Center in Taiyuan（太原国家超算中心） ； School of Computer Science and Technology, North University of China（中国北方大学计算机科学与技术学院） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； Intelligent Computing Infrastructure Lab, Lenovo Research（联想研究智能计算基础设施实验室） ； University of the Chinese Academy of Sciences（中国科学院大学） ； State Key Laboratory of Integrated Service Networks, Xidian University（西安电子科技大学集成服务网络国家重点实验室） ； School of Advanced Interdisciplinary Sciences（高级交叉学科学院） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments We have revised certain details of the manuscript and incorporated new experimental

CapRL: Stimulating Dense Image Caption Capabilities via Reinforcement Learning

Long Xing, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Jianze Liang, Qidong Huang, Jiaqi Wang, Feng Wu, Dahua Lin

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Innovation Institute（上海创新研究院） ； Alibaba Cloud（阿里巴巴云） 纠错

专题命中 指令微调 ：LLM(abstract)；language model(abstract)；pretraining(abstract)；SFT(abstract)

Comments Code is available at https://github.com/InternLM/CapRL

Shadow-FT: Tuning Instruct Model via Training on Paired Base Model

Taiqiang Wu, Runming Yang, Jiayi Li, Pengfei Hu, Yik-Chung Wu, Ngai Wong, Yujiu Yang

机构 * The University of Hong Kong（香港大学） ； Tsinghua University（清华大学） ； Tencent（腾讯） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；post-training(abstract)；preference optimization(abstract)

Comments 24 pages, 12 tables, 8 figures. Previous name: Shadow-FT: Tuning Instruct via Base

ACCeLLiuM: Supervised Fine-Tuning for Automated OpenACC Pragma Generation

Samyak Jhaveri, Vanessa Klotzmann, Crista Lopes

机构 * University of California Irvine（加州大学尔布雷大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

Process Reinforcement through Implicit Rewards

Ganqu Cui, Lifan Yuan, Zefan Wang, Hanbin Wang, Yuchen Zhang, Jiacheng Chen, Wendi Li, Bingxiang He, Yuchen Fan, Tianyu Yu, Qixin Xu, Weize Chen, Jiarui Yuan, Huayu Chen, Kaiyan Zhang, Xingtai Lv, Shuo Wang, Yuan Yao, Xu Han, Hao Peng, Yu Cheng, Zhiyuan Liu, Maosong Sun, Bowen Zhou, Ning Ding

机构 * Shanghai AI Lab（上海人工智能实验室） ； Tsinghua University（清华大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学香槟分校） ； Peking University（北京大学） ； Shanghai Jiaotong University（上海交通大学） ； CUHK（香港中文大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 24 pages. Model&Code&Data available at https://github.com/PRIME-RL/PRIME

Few-Shot Adversarial Low-Rank Fine-Tuning of Vision-Language Models

Sajjad Ghiasvand, Haniyeh Ehsani Oskouie, Mahnoosh Alizadeh, Ramtin Pedarsani

专题命中 指令微调 ：language model(title,abstract)；分类 cs.LG

InfiMed-Foundation: Pioneering Advanced Multimodal Medical Models with Compute-Efficient Pre-Training and Multi-Stage Fine-Tuning

Guanghao Zhu, Zhitian Hou, Zeyu Liu, Zhijie Sang, Congkai Xie, Hongxia Yang

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

Accelerate Creation of Product Claims Using Generative AI

Po-Yu Liang, Yong Zhang, Tatiana Hwa, Aaron Byers

机构 * Department of Computer Science University of Cincinnati（计算机科学系 奥克兰大学） ； Corporate Functions R&D, Discovery& Innovation Platforms, P&G（企业职能研发、发现与创新平台，宝洁公司） ； Beauty Care IT, P&G（美容护理IT，宝洁公司） ； Beauty Care R&D, P&G（美容护理研发，宝洁公司） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments This paper has been accepted at the GenProCC workshop (NeurIPS 2025)

WebGen-Agent: Enhancing Interactive Website Generation with Multi-Level Feedback and Step-Level Reinforcement Learning

Zimu Lu, Houxing Ren, Yunqiao Yang, Ke Wang, Zhuofan Zong, Junting Pan, Mingjie Zhan, Hongsheng Li

机构 * Multimedia Laboratory (MMLab)（多媒体实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Enhancing Low-Rank Adaptation with Structured Nonlinear Transformations

Guanzhi Deng, Mingyang Liu, Dapeng Wu, Yinqiao Li, Linqi Song

机构 * City University of Hong Kong（香港城市大学） ； City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments This manuscript has been submitted to IEEE Journal of Selected Topics in Signal Processing (JSTSP) for review. Until the moment I submitted the manuscript to arXiv, we haven't received any review comments from JSTSP

HD-PiSSA: High-Rank Distributed Orthogonal Adaptation

Yiding Wang, Fauxu Meng, Xuefeng Zhang, Fan Jiang, Pingzhi Tang, Muhan Zhang

机构 * Institute for Artificial Intelligence, Peking University（人工智能学院，北京大学） ； Yuanpei College, Peking University（元培学院，北京大学） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

WebExplorer: Explore and Evolve for Training Long-Horizon Web Agents

Junteng Liu, Yunji Li, Chi Zhang, Jingyang Li, Aili Chen, Ke Ji, Weiyu Cheng, Zijia Wu, Chengyu Du, Qidi Xu, Jiayuan Song, Zhengmao Zhu, Wenhu Chen, Pengyu Zhao, Junxian He

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； MiniMax ； University of Waterloo（滑铁卢大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

LoRA-MGPO: Mitigating Double Descent in Low-Rank Adaptation via Momentum-Guided Perturbation Optimization

Yupeng Chang, Chenlu Guo, Yi Chang, Yuan Wu

机构 * School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） ； Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE, China（知识驱动人机智能工程研究中心，教育部，中国） ； International Center of Future Science, Jilin University（未来科学国际中心，吉林大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Constituency Parsing using LLMs

Xuefeng Bai, Jialong Wu, Yulong Chen, Zhongqing Wang, Kehai Chen, Min Zhang, Yue Zhang

机构 * School of Computer Science of Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院） ； School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Department of Computer Science and Technology, University of Cambridge（剑桥大学计算机科学与技术系） ； School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院） ； School of Engineering, Westlake University（西湖大学工程学院） ； Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖研究所以及先进科技研究院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Accepted at IEEE Transactions on Audio, Speech, and Language Processing (TASLP). See https://ieeexplore.ieee.org/document/11130901/ for the official version

HetaRAG: Hybrid Deep Retrieval-Augmented Generation across Heterogeneous Data Stores

Guohang Yan, Yue Zhang, Pinlong Cai, Ding Wang, Song Mao, Hongwei Zhang, Yaoze Zhang, Hairong Zhang, Xinyu Cai, Botian Shi

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments 15 pages, 4 figures

Actions as Language: Fine-Tuning VLMs into VLAs Without Catastrophic Forgetting

Asher J. Hancock, Xindi Wu, Lihan Zha, Olga Russakovsky, Anirudha Majumdar

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 指令微调 ：language model(abstract)；pretraining(abstract)

DynamicControl: Adaptive Condition Selection for Improved Text-to-Image Generation

Qingdong He, Jinlong Peng, Pengcheng Xu, Boyuan Jiang, Xiaobin Hu, Donghao Luo, Yong Liu, Yabiao Wang, Chengjie Wang, Xiangtai Li, Jiangning Zhang

机构 * Youtu Lab, Tencent（腾讯优图实验室） ； Western University（西部大学） ； Nanyang Technological University（南洋理工大学） ； Zhejiang University（浙江大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)

Lightweight MSA Design Advances Protein Folding From Evolutionary Embeddings

Hanqun Cao, Xinyi Zhou, Zijun Gao, Chenyu Wang, Xin Gao, Zhi Zhang, Cesar de la Fuente-Nunez, Chunbin Gu, Ge Liu, Pheng-Ann Heng

机构 * CUHK（香港中文大学） ； MIT（麻省理工学院） ； UCSD（加州大学圣迭戈分校） ； UvA（乌得勒支大学） ； UPenn（宾夕法尼亚大学） ； UIUC（伊利诺伊大学香槟分校） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI、cs.LG

Training-Free Synthetic Data Generation with Dual IP-Adapter Guidance

Luc Boudier, Loris Manganelli, Eleftherios Tsonis, Nicolas Dufour, Vicky Kalogeiton

机构 * LIX, École Polytechnique, IP Paris, CNRS（LIX，巴黎高等师范学院，IP巴黎，法国国家科学研究中心） ； LIGM École des Ponts, IP Paris, CNRS, UGE DIPSY（LIGM 巴黎综合理工学院，IP巴黎，法国国家科学研究中心，UGE DIPSY） 纠错

专题命中 指令微调 ：prompting(abstract)；分类 cs.LG

Comments BMVC 2025. Project page: https://www.lix.polytechnique.fr/vista/projects/2025_bmvc_dipsy/

Large Pre-Training Datasets Don't Always Guarantee Robustness after Fine-Tuning

Jaedong Hwang, Brian Cheung, Zhang-Wei Hong, Akhilan Boopathy, Pulkit Agrawal, Ila Fiete

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.AI