语言大模型 / LLM

Value-Conflict Diagnostics Reveal Widespread Alignment Faking in Language Models

价值冲突诊断揭示语言模型中广泛存在的对齐伪装现象

Inderjeet Nair, Jie Ruan, Lu Wang

机构 * Computer Science and Engineering University of Michigan（计算机科学与工程大学密歇根大学） 纠错

专题命中 指令微调 ：language model(title)；分类 cs.CL、cs.AI

AI总结 研究通过VLAF框架揭示语言模型中存在广泛对齐伪装现象，发现小型模型如7B参数模型中对齐伪装率高达37%，并提出轻量级缓解方法减少伪装行为。

Comments Under submission at COLM 2026 Won the Best Student Paper Award at MSLD 2026 @ UIUC

FlipVQA: Scaling Multi-modal Instruction Tuning via Textbook-to-Knowledge Synthesis

FlipVQA: 通过教科书到知识合成实现多模态指令微调的扩展

Zhen Hao Wong, Jingwen Deng, Yuzhao Wang, Wenkai Yu, Jihao Huang, Runming He, Chengyu Shen, Hao Liang, Wentao Zhang

机构 * Peking University（北京大学） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 指令微调 ：instruction tuning(title)；分类 cs.AI、cs.LG

AI总结 本文提出FlipVQA-Miner自动化流程，解决OCR文档中的长距离逻辑依赖和跨页断续问题，构建了包含83K问答对的FlipVQA-83K数据集，在保持高结构保真度的同时节省50倍成本，提升了模型推理能力和跨领域泛化能力。

HypeLoRA: Hyper-Network-Generated LoRA Adapters for Calibrated Language Model Fine-Tuning

HypeLoRA: 基于超网络生成的LoRA适配器用于校准语言模型微调

Bartosz Trojan, Filip Gębala

机构 * Upper-Secondary Schools of Communications in Cracow（克拉科夫通信高级中学） 纠错

专题命中 指令微调 ：language model(title)；分类 cs.CL、cs.AI

AI总结 本文提出HypeLoRA，通过超网络生成LoRA适配器，实现高效校准语言模型微调，提升参数效率与校准性能，揭示参数效率与概率可靠性之间的关系。

Comments 12 pages, 2 figures, 2 tables

ReMix: Reinforcement routing for mixtures of LoRAs in LLM finetuning

ReMix：用于LoRAs混合的强化路由

Ruizhong Qiu, Hanqing Zeng, Yinglong Xia, Yiwen Meng, Ren Chen, Jiarui Feng, Dongqi Fu, Qifan Wang, Jiayi Liu, Jun Xiao, Xiangjun Fan, Benyu Zhang, Hong Li, Zhining Liu, Hyunsik Yoo, Zhichen Zeng, Tianxin Wei, Hanghang Tong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Meta AI ； Washington University St. Louis（华盛顿大学圣路易斯分校） 纠错

专题命中 指令微调 ：LLM(title)；分类 cs.CL、cs.LG

AI总结 ReMix通过引入不可学习的路由权重和强化学习技术，改进了混合LoRAs模型的路由机制，提升了模型的表达能力和微调效果。

Comments LLA @ ICLR 2026

A Two-Stage Architecture for NDA Analysis: LLM-based Segmentation and Transformer-based Clause Classification

面向NDA分析的两阶段架构：基于LLM的分段与基于Transformer的条款分类

Ana Begnini, Matheus Vicente, Leonardo Souza

专题命中 指令微调 ：LLM(title)；分类 cs.CL、cs.AI

AI总结 本文提出基于LLM和Transformer的两阶段架构，用于自动化NDA文档的分段和条款分类，实验结果显示方法在准确率和精确度上均表现优异。

Comments 14 pages, 2 figures, 3 tables. Published at STIL @ BRACIS 2025

Journal ref Simposio Brasileiro de Tecnologia da Informacao e da Linguagem Humana (STIL) 2025

pMoE: Prompting Diverse Experts Together Wins More in Visual Adaptation

pMoE：协同提示不同专家以赢得更多视觉适应

Shentong Mo, Xufang Luo, Dongsheng Li

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Microsoft Research（微软研究院） 纠错

专题命中 指令微调 ：prompting(title)；分类 cs.AI、cs.LG

AI总结 pMoE通过整合多个领域专家的知识，提升视觉适应任务的性能和效率。

Test-Time Tuned Language Models Enable End-to-end De Novo Molecular Structure Generation from MS/MS Spectra

测试时调优的语言模型实现从MS/MS光谱到分子结构的端到端从头生成

Laura Mismetti, Marvin Alberts, Andreas Krause, Mara Graziani

机构 * IBM Research（IBM研究院） ； ETH Zürich（苏黎世联邦理工学院） ； University of Zürich（苏黎世大学） 纠错

专题命中 指令微调 ：language model(title)；分类 cs.AI、cs.LG

AI总结 本研究提出了一种基于Transformer模型的端到端框架，通过测试时调优策略从MS/MS光谱直接生成分子结构，显著提升了分子结构推断的准确率和适应性。

VERIRL: Boosting the LLM-based Verilog Code Generation via Reinforcement Learning

Fu Teng, Miao Pan, Xuhong Zhang, Zhezhi He, Yiyao Yang, Xinyi Chai, Mengnan Qi, Liqiang Lu, Jianwei Yin

机构 * Zhejiang University（浙江大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 指令微调 ：LLM(title)；分类 cs.AI、cs.LG

VectorFit : Adaptive Singular & Bias Vector Fine-Tuning of Pre-trained Foundation Models

Suhas G Hegde, Shilpy Kaur, Aruna Tiwari

机构 * Indian Institute of Technology Indore（印度理工学院印多尔） 纠错

专题命中 指令微调 ：foundation model(title)；分类 cs.AI、cs.LG

Comments This paper has been accepted in the 28th European Conference on Artificial Intelligence (ECAI 2025)

Munsit at NADI 2025 Shared Task 2: Pushing the Boundaries of Multidialectal Arabic ASR with Weakly Supervised Pretraining and Continual Supervised Fine-tuning

Mahmoud Salhab, Shameed Sait, Mohammad Abusheikh, Hasan Abusheikh

机构 * CNTXT AI Abu Dhabi（CNTXT AI阿布扎比） 纠错

专题命中 指令微调 ：pretraining(title)；分类 cs.CL、cs.AI

WSM: Decay-Free Learning Rate Schedule via Checkpoint Merging for LLM Pre-training

Changxin Tian, Jiapeng Wang, Qian Zhao, Kunlong Chen, Jia Liu, Ziqi Liu, Jiaxin Mao, Wayne Xin Zhao, Zhiqiang Zhang, Jun Zhou

机构 * Ling Team, Ant Group（蚂蚁集团灵团队） ； Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高岭人工智能学院） 纠错

专题命中 指令微调 ：LLM(title)；分类 cs.CL、cs.LG

LLM-based IR-system for Bank Supervisors

Ilias Aarab

机构 * European Central Bank（欧洲中央银行） 纠错

专题命中 指令微调 ：LLM(title)；分类 cs.AI、cs.LG

Journal ref Journal-ref: Knowledge-Based Systems 310 (2025) 112914

DialogueForge: LLM Simulation of Human-Chatbot Dialogue

Ruizhe Zhu, Hao Zhu, Yaxuan Li, Syang Zhou, Shijing Cai, Malgorzata Lazuka, Elliott Ash

机构 * ETH Zurich（苏黎世联邦理工学院） ； ETH AI Center, ETH Zurich（苏黎世联邦理工学院人工智能中心） 纠错

专题命中 指令微调 ：LLM(title)；分类 cs.CL、cs.AI

Comments For our code and data, see https://github.com/nerchio/Human_Chatbot-Generation

Refining Salience-Aware Sparse Fine-Tuning Strategies for Language Models

Xinxin Liu, Aaron Thomas, Cheng Zhang, Jianyi Cheng, Yiren Zhao, Xitong Gao

机构 * Southern University of Science and Technology（南方科技大学） ； Shenzhen Institutes of Advanced Technology, CAS（深圳先进技术研究院） ； University of Birmingham（伯明翰大学） ； Imperial College London（伦敦帝国理工学院） ； University of Edinburgh（爱丁堡大学） ； Shenzhen University of Advanced Technology（深圳大学） 纠错

专题命中 指令微调 ：language model(title)；分类 cs.CL、cs.AI

Comments ACL 2025

LLM-Driven E-Commerce Marketing Content Optimization: Balancing Creativity and Conversion

Haowei Yang, Haotian Lyu, Tianle Zhang, Dingzhou Wang, Yushang Zhao

专题命中 指令微调 ：LLM(title)；分类 cs.CL、cs.AI

SLIM: Let LLM Learn More and Forget Less with Soft LoRA and Identity Mixture

Jiayi Han, Liang Du, Hongwei Du, Xiangguo Zhou, Yiwen Wu, Weibo Zheng, Donghong Han

机构 * Inspur Genersoft Co. Ltd.（浪潮 Genersoft 有限公司） ； Inspur Group Co. Ltd.（浪潮集团有限公司） ； Interactive Entertainment Group, Tencent Inc（腾讯公司互动娱乐集团） ； Nanjing University of Information Science and Technology（南京信息工程大学） ； Northeastern University（东北大学） 纠错

专题命中 指令微调 ：LLM(title)；分类 cs.CL、cs.LG

Comments 13 pages, 7 figures, 4 tables; Accepted to NAACL 2025

Adaptable and Precise: Enterprise-Scenario LLM Function-Calling Capability Training Pipeline

Guancheng Zeng, Wentao Ding, Beining Xu, Chi Zhang, Wenqiang Han, Gang Li, Jingjing Mo, Pengxu Qiu, Xinran Tao, Wang Tao, Haowen Hu

专题命中 指令微调 ：LLM(title)；分类 cs.CL、cs.AI

Comments 23 pages, 6 figures, 7 tables

Self-Calibrated Tuning of Vision-Language Models for Out-of-Distribution Detection

Geng Yu, Jianing Zhu, Jiangchao Yao, Bo Han

专题命中 指令微调 ：language model(title)；分类 cs.AI、cs.LG

Comments accepted by NeurIPS 2024

Historical Test-time Prompt Tuning for Vision Foundation Models

Jingyi Zhang, Jiaxing Huang, Xiaoqin Zhang, Ling Shao, Shijian Lu

专题命中 指令微调 ：foundation model(title)；分类 cs.CL、cs.AI

Comments NeurIPS 2024 Camera Ready

PMSS: Pretrained Matrices Skeleton Selection for LLM Fine-tuning

Qibin Wang, Xiaolin Hu, Weikai Xu, Wei Liu, Jian Luan, Bin Wang

专题命中 指令微调 ：LLM(title)；分类 cs.CL、cs.LG

Learn and Don't Forget: Adding a New Language to ASR Foundation Models

Mengjie Qian, Siyuan Tang, Rao Ma, Kate M. Knill, Mark J. F. Gales

专题命中 指令微调 ：foundation model(title)；分类 cs.CL、cs.LG

Comments Proceedings of Interspeech

Faithfulness Measurable Masked Language Models

Andreas Madsen, Siva Reddy, Sarath Chandar

专题命中 指令微调 ：language model(title)；分类 cs.CL、cs.LG

Implicit meta-learning may lead language models to trust more reliable sources

Dmitrii Krasheninnikov, Egor Krasheninnikov, Bruno Mlodozeniec, Tegan Maharaj, David Krueger

专题命中 指令微调 ：language model(title)；分类 cs.AI、cs.LG

Patch-Prompt Aligned Bayesian Prompt Tuning for Vision-Language Models

Xinyang Liu, Dongsheng Wang, Bowei Fang, Miaoge Li, Zhibin Duan, Yishi Xu, Bo Chen, Mingyuan Zhou

专题命中 指令微调 ：language model(title)；分类 cs.CL、cs.LG

Comments Accepted by UAI 2024

GraLMatch: Matching Groups of Entities with Graphs and Language Models

Fernando De Meer Pardo, Claude Lehmann, Dennis Gehrig, Andrea Nagy, Stefano Nicoli, Branka Hadji Misheva, Martin Braschler, Kurt Stockinger

专题命中 指令微调 ：language model(title)；分类 cs.CL、cs.AI

Comments 12 pages, 4 figures, accepted as research paper at EDBT 2025

Differentially Private Bias-Term Fine-tuning of Foundation Models

Zhiqi Bu, Yu-Xiang Wang, Sheng Zha, George Karypis

专题命中 指令微调 ：foundation model(title)；分类 cs.CL、cs.LG

Comments Accepted at ICML 2024

Enhancing Dialogue State Tracking Models through LLM-backed User-Agents Simulation

Cheng Niu, Xingguang Wang, Xuxin Cheng, Juntong Song, Tong Zhang

专题命中 指令微调 ：LLM(title)；分类 cs.CL、cs.AI

Prompt as Triggers for Backdoor Attack: Examining the Vulnerability in Language Models

Shuai Zhao, Jinming Wen, Luu Anh Tuan, Junbo Zhao, Jie Fu

专题命中 指令微调 ：language model(title)；分类 cs.CL、cs.AI

Comments Accepted to appear at the main conference of EMNLP 2023

Journal ref Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing

Nexus at ArAIEval Shared Task: Fine-Tuning Arabic Language Models for Propaganda and Disinformation Detection

Yunze Xiao, Firoj Alam

专题命中 指令微调 ：language model(title)；分类 cs.CL、cs.AI

Comments propaganda, disinformation, misinformation, fake news

Pushing Mixture of Experts to the Limit: Extremely Parameter Efficient MoE for Instruction Tuning

Ted Zadouri, Ahmet Üstün, Arash Ahmadian, Beyza Ermiş, Acyr Locatelli, Sara Hooker

专题命中 指令微调 ：instruction tuning(title)；分类 cs.CL、cs.LG