语言大模型 / LLM

InternVL3: Exploring Advanced Training and Test-Time Recipes for Open-Source Multimodal Models

Jinguo Zhu, Weiyun Wang, Zhe Chen, Zhaoyang Liu, Shenglong Ye, Lixin Gu, Hao Tian, Yuchen Duan, Weijie Su, Jie Shao, Zhangwei Gao, Erfei Cui, Xuehui Wang, Yue Cao, Yangzhou Liu, Xingguang Wei, Hongjie Zhang, Haomin Wang, Weiye Xu, Hao Li, Jiahao Wang, Nianchen Deng, Songze Li, Yinan He, Tan Jiang, Jiapeng Luo, Yi Wang, Conghui He, Botian Shi, Xingcheng Zhang, Wenqi Shao, Junjun He, Yingtong Xiong, Wenwen Qu, Peng Sun, Penglong Jiao, Han Lv, Lijun Wu, Kaipeng Zhang, Huipeng Deng, Jiaye Ge, Kai Chen, Limin Wang, Min Dou, Lewei Lu, Xizhou Zhu, Tong Lu, Dahua Lin, Yu Qiao, Jifeng Dai, Wenhai Wang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； SenseTime Research（商汤科技研究院） ； Tsinghua University（清华大学） ； Nanjing University（南京大学） ； Fudan University（复旦大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

Comments Technical Report

SimpleAR: Pushing the Frontier of Autoregressive Visual Generation through Pretraining, SFT, and RL

Junke Wang, Zhi Tian, Xun Wang, Xinyu Zhang, Weilin Huang, Zuxuan Wu, Yu-Gang Jiang

专题命中 指令微调 ：SFT(title,abstract)；pretraining(title)

Comments technical report, work in progress

ChatGarment: Garment Estimation, Generation and Editing via Large Language Models

Siyuan Bian, Chenghao Xu, Yuliang Xiu, Artur Grigorev, Zhen Liu, Cewu Lu, Michael J. Black, Yao Feng

专题命中 指令微调 ：language model(title,abstract)；large language model(title)

Comments CVPR 2025

A Multi-Encoder Frozen-Decoder Approach for Fine-Tuning Large Language Models

Kaustubh D. Dhole

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI、cs.LG

Alzheimer's disease detection based on large language model prompt engineering

Tian Zheng, Xurong Xie, Xiaolan Peng, Hui Chen, Feng Tian

专题命中 指令微调 ：language model(title,abstract)；large language model(title)

PSY: Posterior Sampling Based Privacy Enhancer in Large Language Models

Yulian Sun, Li Duan, Yong Li

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract)

Comments 10 pages, 2 figures

A Survey on LoRA of Large Language Models

Yuren Mao, Yuhang Ge, Yijiang Fan, Wenyi Xu, Yu Mi, Zhonghao Hu, Yunjun Gao

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI、cs.LG

Comments The article has been accepted by Frontiers of Computer Science (FCS), with the DOI: {10.1007/s11704-024-40663-9}

Improving Multi-modal Large Language Model through Boosting Vision Capabilities

Yanpeng Sun, Huaxin Zhang, Qiang Chen, Xinyu Zhang, Nong Sang, Gang Zhang, Jingdong Wang, Zechao Li

专题命中 指令微调 ：language model(title,abstract)；large language model(title)

Convolutional Networks as Extremely Small Foundation Models: Visual Prompting and Theoretical Perspective

Jianqiao Wangni

专题命中 指令微调 ：prompting(title,abstract)；foundation model(title)

Sparse is Enough in Fine-tuning Pre-trained Large Language Models

Weixi Song, Zuchao Li, Lefei Zhang, Hai Zhao, Bo Du

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted at ICML 2024 Spotlight

Navigating the Landscape of Large Language Models: A Comprehensive Review and Analysis of Paradigms and Fine-Tuning Strategies

Benjue Weng

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI、cs.LG

ChartAssisstant: A Universal Chart Multimodal Language Model via Chart-to-Table Pre-training and Multitask Instruction Tuning

Fanqing Meng, Wenqi Shao, Quanfeng Lu, Peng Gao, Kaipeng Zhang, Yu Qiao, Ping Luo

专题命中 指令微调 ：language model(title,abstract)；instruction tuning(title)

Comments Updated and corrected experimental results, removal of inappropriate experiments, and a more comprehensive experimental setup

AI-TA: Towards an Intelligent Question-Answer Teaching Assistant using Open-Source LLMs

Yann Hicke, Anmol Agarwal, Qianou Ma, Paul Denny

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

Comments Updates for camera-ready submission

Journal ref NeurIPS Workshop on Generative AI for Education (GAIED), 2023

LINGUIST: Language Model Instruction Tuning to Generate Annotated Utterances for Intent Classification and Slot Tagging

Andy Rosenbaum, Saleh Soltan, Wael Hamza, Yannick Versley, Markus Boese

专题命中 指令微调 ：language model(title)；instruction tuning(title)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to The 29th International Conference on Computational Linguistics (COLING 2022) October 12-17, 2022, Gyeongju, Republic of Korea https://coling2022.org/

FireRedAudio: A General-Purpose Audio Language Model with Decoupled Continuous Representations for Understanding and Generation

FireRedAudio：一种具有解耦连续表示的通用音频语言模型，用于理解与生成

Junjie Li, Xuelong Geng, Kun Xie, Feiyu Shen, Yichen Wu, Ziqi Dai, Yichen Han, Yan Jia, Kai Huang, Junjie Chen, Yixuan Li, Manzhen Wei, Fenglong Xie, Lei Xie, Xu Tang, Yao Hu

机构 * Xiaohongshu（小红书） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 FireRedAudio是首个公开的统一音频-语言模型，采用解耦连续表示，支持音频理解、多语种ASR、各类TTS及语音编辑，性能优于相关模型。

Comments 20 pages, 3 figures

Persona-Guided LLM Agents for Task-Oriented Dialogue

面向任务型对话的角色引导大语言模型智能体

Maryam Shoaeinaeini, Brent Harrison, A. B. Siddique

机构 * University of Kentucky（肯塔基大学） 纠错

专题命中 指令微调 ：LLM(title,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究构建无需训练的框架，通过三种情境评估多模型在SGD数据集上的表现，发现适应用户人格存在权衡，Try情境的线索式适应可更可靠实现感知人格的任务型对话。

Comments 8 pages

OraclePhys: A Systematic Framework for LLM Fine-Tuning on Structural Mechanics

OraclePhys：面向结构力学的大语言模型微调系统框架

Mingyu Li, Guorui Song, Jing Lin, Haoqian Wang

机构 * University of Houston（休斯顿大学） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究提出OraclePhys，一种面向结构力学的大语言模型微调系统框架，含自动评分基准、多形式监督数据集及对照训练研究，发现标签答案形式而非比特数决定微调效果，训练所得8B模型达空间结构响应任务数据精度前沿。

Comments 18 pages, 8 figures, 9 tables. Under review at ACL Rolling Review

Discrete Diffusion Language Models Are Training-Free Multi-Label Classifiers

离散扩散语言模型是无需训练的多标签分类器

Pawan Kumar

机构 * International Institute of Information Technology, Hyderabad（印度海得拉巴国际信息技术学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本研究提出无需训练的多标签分类方法dLLM-SetScore，基于离散掩码扩散语言模型，在多个数据集上对比基准模型，验证了其性能优势并完成了相关理论分析。

Comments Accepted to SIAM SDM 2026, 39 pages

Moral Hazard in Multi-Agent Language Models

多智能体语言模型中的道德风险

Dane Malenfant

专题命中 指令微调 ：language model(title)；SFT(abstract,abstract_cn)；language agent(abstract)；分类 cs.AI

AI总结 研究多智能体语言模型中的道德风险，引入对话道德风险游戏，评估七个模型并分解行为，用多种优化机制更新，发现效果异质，强调应报告机制级行为而非仅团队成功。

Comments New frontier baselines, new open weight inference baselines

LoRA-based Adaptation Alone Is Not Enough: Understanding the Limits of Foundation Models for Face Presentation Attack Detection

仅基于LoRA的适配还不够：探究基础模型在人脸呈现攻击检测中的局限性

Peter Lorenz, Anjith George, Marcel Sébastien

机构 * Idiap Research Institute（伊迪亚普研究所） ； University of Lausanne (UNIL)（洛桑大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；pretraining(abstract)；prompting(abstract)；分类 cs.LG

AI总结 本研究系统评估32种基础模型，发现LoRA适配仅优化数据集内人脸PAD性能，跨数据集泛化仍受限，指出仅靠LoRA适配不足以解决人脸PAD跨数据集性能下降问题。

Spoken Function Calling: A New Perspective on Spoken Language Understanding for Large Audio Language Models

语音函数调用：面向大型音频语言模型的语音理解新视角

Yuezhang Peng, Yuxin Liu, Changfeng Gao, Zhifu Gao, Xiangang Li, Xie Chen

机构 * Shanghai Jiao Tong University（上海交通大学） ； Token Foundry, Alibaba Group（阿里巴巴集团Token Foundry） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 该研究提出语音函数调用（SFC）这一新型语义理解视角，构建SFC-Bench数据集并评估LLMs与LALMs性能，经后训练提升LALMs的SFC能力，实验显示SFC优于传统SLU，可大幅提升语义提取准确率。

Comments ACM Multimedia 2026

Taming the Implicit: Dual-Channel Risk-Aware Reinforcement Fine-Tuning for Continual Multimodal Post-Training

驯服隐式：面向持续多模态后训练的双通道风险感知强化微调

Yibei Liu, Jiajun Chen, Qianle Zhang, Tangyue Jin, Mengying Zhu, Meng Xi, Yangyang Wu

专题命中 指令微调 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对持续多模态后训练中RFT算法在任务分布偏移下遗忘加剧的问题，提出双通道风险感知强化微调框架RAPO，通过策略与数据通道的风险管控降低遗忘，在MLLM-CL基准上使遗忘减少79.8%且保留新任务竞争力。

Rewriting or Reweighting? A Geometric Account in Language Models

重写还是重加权？语言模型中的几何视角

Juntong Wang, Shengkun Yang, Xiyuan Wang, Muhan Zhang

专题命中 指令微调 ：language model(title)；SFT(abstract,abstract_cn)；post-training(abstract)；分类 cs.AI

AI总结 本研究提出行为流形分析方法，通过ACT与NOC空间的几何视角，发现监督微调重写语言模型行为几何、奖励优化重加权该几何的机制差异，为理解后训练目标提供统一框架。

LM-mixup: Text Data Augmentation via Language Model based Mixup

LM-mixup：基于语言模型的混合文本数据增强方法

Zhijie Deng, Zhouan Shen, Ling Li, Yao Zhou, Zhaowei Zhu, Yanji He, Wei Wang, Jiaheng Wei

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； BIAI, ZJUT & D5Data.ai（BIAI、ZJUT及D5Data.ai） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；instruction tuning(abstract)；分类 cs.CL

AI总结 本文提出LM-Mixup方法，通过构建MIXTURE数据集并结合监督微调与GRPO强化学习，仅用3%的蒸馏数据即可高效增强低质量指令跟随数据，提升LLMs的指令微调效率与性能。

Comments COLM 2026

TAPR: Enhancing LLM Performance with a Task-Aware Prompt Rewriter

TAPR：利用任务感知提示重写器提升大语言模型性能

Oliver Savolainen, Emanuele Bastianelli, Hosein Azarbonyad

机构 * University of Amsterdam（阿姆斯特丹大学） ； Elsevier（爱思唯尔） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究提出TAPR模型，采用带GRPO的强化学习训练，可将用户提示优化为任务适配的提示，经微调Phi-4-mini-instruct后，在多任务基准测试中提升了大语言模型的准确率。

Two Calls Beat Five Agents: Evaluating Multi-Agent Pipelines Against Self-Refinement for Local Language Models

两次调用胜过五个智能体：针对本地语言模型的多智能体流水线与自我优化的评估

Ashish Prajapati, Om Mohite

专题命中 指令微调 ：language model(title)；LLM(abstract,abstract_cn)；prompting(abstract)；分类 cs.LG

AI总结 本研究对比多智能体流水线与自我优化方法，发现针对本地7B模型，两次调用自我优化在GSM8K表现更优且令牌用量低，经任务感知重设计后在HumanEval也能维持高准确率，简单方法优于多智能体架构。

Language Models are not Equally Robust to Non-Canonical Tokenization across Languages

语言模型对跨语言非规范分词的鲁棒性存在差异

Poulami Ghosh, Preethi Jyothi

机构 * IIT Bombay（印度理工学院孟买分校） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本文研究发现语言模型对非规范分词的鲁棒性因语言而异，Llama-3.1-8B等模型在高碎片化语言中性能下降，LoRA微调可有效缓解分词敏感性。

Instruction-Tuned Language Models Cannot Sample from Distributions They Can Describe

指令微调语言模型无法从它们能描述的分布中进行采样

Chaemin Jang, Dongman Lee, Jihee Kim

机构 * School of Computing, KAIST（韩国科学技术院计算学院） ； School of Business and Technology Management, KAIST（韩国科学技术院商业与技术管理学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；instruction tuning(abstract)；post-training(abstract)；分类 cs.AI

AI总结 研究发现指令微调语言模型无法从其能描述的分布中采样，存在“知道/做”分裂，通过让模型描述分布可减半误差，还提出PPA在无额外成本下降低21%误差。

Foundation Models and Fine-Tuning: Toward a New Generation of Models for Time Series Forecasting

基础模型与微调：迈向新一代时间序列预测模型

Morad Laglil, Bertrand Pracca, Emilie Devijver, Eric Gaussier

机构 * Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔国立综合理工学院、信息与地理实验室） ； Savoye（萨瓦亚） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究受自然语言处理中大型语言模型突破启发，探讨基础模型用于时间序列预测，回顾其架构、预训练策略等，研究预训练后微调选定基础模型，实证结果表明微调可提高预测精度

A Unified Moral-Value Dataset for Instruction Tuning

用于指令微调的统一道德价值数据集

Zhaohui Zeng, Florian Mai

机构 * RWTH Aachen（亚琛工业大学） ； University of Bonn（波恩大学） ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉玛尔机器学习与人工智能研究所） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对大语言模型与人类价值观对齐问题，构建统一道德价值数据集用于指令微调，通过合并现有数据集并转换格式而成，实验表明其结合通用任务数据集训练可保持性能，为对齐研究提供资源。

Comments Accepted at the 4th International Workshop on Value Engineering in AI (VALE 2026), co-located with IJCAI-ECAI 2026