语言大模型 / LLM

SFGA: A Statistics-First Gating Architecture with Adjudicative Escalation for Trustworthy SFT Data Procurement

SFGA：一种用于可信SFT数据采购的具有裁决升级的统计优先门控架构

Arther Tian, Alex Ding, Simon Wu, Aaron Chan

机构 * DGrid AI（DGrid人工智能） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 研究如何采购监督微调数据，提出统计优先门控架构SFGA，将采购视为成本感知路由问题，经实验在准确率、F1值和成本上取得良好平衡，还报告辩论路径负面诊断，为测量和校准构建合成基准。

Online Data Selection for Instruction Tuning via Gaussian Processes

基于高斯过程的指令调优在线数据选择

Jun Wang, Quoc Phong Nguyen, Julien Monteil, Vu Nguyen

机构 * Amazon（亚马逊） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出GAIA框架，利用高斯过程回归建模语义空间中的连续效用流形，通过自适应策略融合动态选择高质量样本，在三个数据集上优于现有方法。

From RAG to Agentic RAG for Faithful Islamic Question Answering

从RAG到智能体RAG：面向可靠的伊斯兰问答

Gagan Bhatia, Hamdy Mubarak, Mustafa Jarrar, George Mikros, Fadi Zaraket, Mahmoud Alhirthani, Mutaz Al-Khatib, Logan Cochrane, Kareem Darwish, Rashid Yahiaoui, Firoj Alam

机构 * Qatar Computing Research Institute, HBKU, Qatar（卡塔尔计算研究中心，HBKU，卡塔尔） ； College of Humanities and Social Sciences, HBKU, Qatar（人文与社会科学学院，HBKU，卡塔尔） ； Arab Center for Research and Policy Studies, Qatar（阿拉伯研究中心与政策研究所，卡塔尔） ； College of Islamic Studies, HBKU, Qatar（伊斯兰研究学院，HBKU，卡塔尔） ； College of Public Policy, HBKU, Qatar（公共政策学院，HBKU，卡塔尔） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract,comments)；language model(abstract,comments)

AI总结 针对LLM在伊斯兰问答中的幻觉与弃权问题，构建双语基准IslamicFaithQA，并提出基于结构化工具调用的智能体RAG框架，显著提升正确性与鲁棒性。

Comments Islamic Question Answering; Faithful Question Answering; Retrieval-Augmented Generation; Agentic RAG; Large Language Models

PVminerLLM2: Improving Structured Extraction of Patient Voice via Preference Optimization

PVminerLLM2：通过偏好优化改进患者声音的结构化提取

Samah Fodeh, Linhai Ma, Ganesh Puthiaraju, Srivani Talakokkul, Afshan Khan, Elyas Irankhah, Sreeraj Ramachandran, Ashley Hagaman, Sarah Lowe, Aimee Roundtree

机构 * Yale School of Medicine（耶鲁大学医学院） ； Yale School of Public Health（耶鲁大学公共卫生学院） ； Texas State University（德克萨斯州立大学） 纠错

专题命中 指令微调 ：preference optimization(title,abstract)；LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出PVminerLLM2，通过偏好优化和令牌级门控稳定项、混淆感知偏好对构建等技术，解决监督微调难以处理的细粒度错误，在患者声音结构化提取任务上优于基线模型。

Two Wrongs, No Right: Auditing Social-Desirability Bias in LLM Annotators for Computational Social Science

两个错误，没有正确：审计计算社会科学中LLM标注者的社会期望偏差

Varun Kotte

机构 * Varun Kotte 纠错

专题命中 指令微调 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.CL、cs.LG

AI总结 研究审计了三个开源指令微调模型在TweetEval任务中的社会期望偏差，发现模型存在宽大、过度纠正和中性偏差，且提示干预无法纠正，聚合指标可能掩盖实质结论错误。

A Close Look At World Model Recovery In Supervised Fine-Tuned LLM Planners

监督微调的大语言模型规划器中世界模型恢复的深入探究

Patrick Emami, Nan Qiang, Peter Graf

机构 * National Laboratory of the Rockies（落基山国家实验室） 纠错

专题命中 指令微调 ：LLM(title,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 通过可解释性实验，研究监督微调如何影响大语言模型在经典规划任务中恢复世界模型的能力，发现微调使模型线性编码动作有效性和状态谓词，且更广泛的状态空间覆盖有助于更准确的世界模型恢复。

Comments 17 pages. Under review at TMLR

Dynamic Cross-Modal Prompt Generation for Multimodal Continual Instruction Tuning

动态跨模态提示生成用于多模态持续指令微调

Tao Hu, Da-Wei Zhou

机构 * School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； State Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出DRAPE框架，通过生成连续实例特定的软提示提升多模态持续指令微调性能，采用跨模态注意力和投影梯度投影减少遗忘，实验显示优于现有基线方法。

The Override Gap: A Magnitude Account of Knowledge Conflict Failure in Hypernetwork-Based Instant LLM Adaptation

覆盖差距：基于超网络的即时LLM适应中知识冲突失败的幅度解释

Shuaizhi Cheng, Xiang Shi, Zhiwei Zhang, Mingwei Li

机构 * Harbin Institute of Technology（哈尔滨工程大学） ； Imperial College London（伦敦帝国理工学院） ； KigLand Machine Learning Lab（KigLand机器学习实验室） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究揭示超网络方法在知识冲突中的失败源于幅度问题，通过选择性层提升和意识冲突内部化技术，显著提升深度冲突准确性，同时保持新知识召回。

Comments 35 pages, 15 figures v2: minor layout fixes and author list update

On Distinguishing Capability Elicitation from Capability Creation in Post-Training: A Free-Energy Perspective

在训练后区分能力激发与能力创造：从自由能视角出发

Yuhao Li, Shengchao Liu

机构 * Department of Computer Science and Engineering（计算机科学与工程系） 纠错

专题命中 指令微调 ：post-training(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文从自由能视角出发，区分训练后的能力激发与能力创造，通过引入可及支持的概念，探讨训练过程对行为概率和可达行为空间的影响。

Optimizer-Model Consistency: Full Finetuning with the Same Optimizer as Pretraining Forgets Less

优化器-模型一致性：使用与预训练相同的优化器进行全微调可减少遗忘

Yuxing Liu, Jianyu Wang, Tong Zhang

机构 * UIUC（伊利诺伊大学香槟分校） ； Apple（苹果公司） 纠错

专题命中 指令微调 ：pretraining(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文发现使用与预训练相同的优化器进行全微调，在监督微调阶段能更少遗忘并保持性能，提出优化器-模型一致性概念，通过实验和理论分析揭示优化器对模型的影响及微调策略的重要性。

AdaMeZO: Adam-style Zeroth-Order Optimizer for LLM Fine-tuning Without Maintaining the Moments

AdaMeZO：一种用于LLM微调的Adam风格零阶优化器，无需维护动量

Zhijie Cai, Haolong Chen, Guangxu Zhu

机构 * Shenzhen Research Institute of Big Data（深圳大数据研究院） ； The Chinese University of Hong Kong-Shenzhen（香港中文大学（深圳）） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 本文提出AdaMeZO，一种基于Adam风格的零阶优化器，通过估计一阶和二阶动量而不存储在内存中，有效减少GPU内存需求，同时在微调LLM时表现出色，比MeZO快70%。

MLLM-CTBench: A Benchmark for Continual Instruction Tuning with Reasoning Process Diagnosis

MLLM-CTBench: 一个用于持续指令微调的基准，包含推理过程诊断

Haiyun Guo, Zhiyan Hou, Yandu Sun, Jinghan He, Yu Chen, Yuzhe Zhou, Yuheng Jia, Jinqiao Wang, Tat-Seng Chua

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Southeast University（东南大学） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 MLLM-CTBench提出一个用于持续指令微调的基准，通过多维评估框架和强化微调方法，分析跨任务知识保留和灾难性遗忘问题。

Comments under review

Linearization Explains Fine-Tuning in Large Language Models

线性化解释大语言模型中的微调

Zahra Rahimi Afzal, Tara Esmaeilbeig, Mojtaba Soltanalian, Mesrob I. Ohannessian

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文通过线性化视角揭示了大语言模型微调的机制，分析了正则化对NTK特征值谱的影响，并通过LoRA实验证明了微调优化的改进。

Journal ref Afzal, Z.R., Esmaeilbeig, T., Soltanalian, M. and Ohannessian, M.I., 2025. Linearization Explains Fine-Tuning in Large Language Models. In The Thirty-ninth Annual Conference on Neural Information Processing Systems

Enhancing Human-Like Responses in Large Language Models

增强大型语言模型的人类样响应

Ethem Yağız Çalık, Talha Rüzgar Akkuş

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；foundation model(comments,journal_ref)；分类 cs.CL、cs.AI

AI总结 本文提出通过提升自然语言理解、对话连贯性和情感智能来增强大型语言模型的人类化响应，展示了改进用户交互和跨领域应用的潜力。

Comments Presented at the AAAI-26 Workshop on Personalization in the Era of Large Foundation Models (PerFM), Singapore, January 2026

Journal ref Presented at the AAAI-26 Workshop on Personalization in the Era of Large Foundation Models (PerFM), 2026

How Much Would a Clinician Edit This Draft? Evaluating LLM Alignment for Patient Message Response Drafting

临床医生会修改这个草稿多少？评估LLM对患者信息回复草稿的对齐情况

Parker Seegmiller, Joseph Gatto, Sarah E. Greer, Ganza Belise Isingizwe, Rohan Ray, Timothy E. Burdick, Sarah Masud Preum

机构 * Department of Computer Science, Dartmouth College（计算机科学系，达特茅斯学院） ； Department of Community and Family Medicine, Dartmouth Health（社区与家庭医学系，达特茅斯健康） ； The Dartmouth Institute, Dartmouth College（达特茅斯研究所，达特茅斯学院） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 本研究评估了LLM在患者信息回复起草任务中的对齐情况，提出了一种新的评估框架，并发现需要根据临床医生的偏好进行适应以提高可靠性。

LLM-Guided Dynamic-UMAP for Personalized Federated Graph Learning

Sai Puppala, Ismail Hossain, Md Jahangir Alam, Tanzim Ahad, Sajedul Talukder

机构 * University of Texas at El Paso（德克萨斯理工大学） ； Southern Illinois University Carbondale（南方伊利诺伊大学卡本代尔分校） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

A Modular Approach for Clinical SLMs Driven by Synthetic Data with Pre-Instruction Tuning, Model Merging, and Clinical-Tasks Alignment

Jean-Philippe Corbeil, Amin Dada, Jean-Michel Attendu, Asma Ben Abacha, Alessandro Sordoni, Lucas Caccia, François Beaulieu, Thomas Lin, Jens Kleesiek, Paul Vozila

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；small language model(abstract)

Journal ref ACL 2025

Head-Specific Intervention Can Induce Misaligned AI Coordination in Large Language Models

Paul Darm, Annalisa Riccardi

机构 * University of Strathclyde（斯特拉思克莱德大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Comments Published at Transaction of Machine Learning Research 08/2025, Large Language Models (LLMs), Interference-time activation shifting, Steerability, Explainability, AI alignment, Interpretability

Transsion Multilingual Speech Recognition System for MLC-SLM 2025 Challenge

Xiaoxiao Li, An Zhu, Youhai Jiang, Fengjie Zhu

机构 * Shenzhen Transsion Holdings Co., Ltd（深圳Transsion控股有限公司） 纠错

专题命中 指令微调 ：SLM(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

GuARD: Effective Anomaly Detection through a Text-Rich and Graph-Informed Language Model

Yunhe Pang, Bo Chen, Fanjin Zhang, Yanghui Rao, Evgeny Kharlamov, Jie Tang

机构 * School of Computer Science and Engineering（计算机科学与工程学院） ； Sun Yat-Sen University（中山大学） ； Department of Computer Science and Technology（计算机科学与技术系） ； Tsinghua University（清华大学） ； Robert Bosch GmbH（博世集团） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；small language model(abstract)

Comments Accepted at KDD 2025

RATFM: Retrieval-augmented Time Series Foundation Model for Anomaly Detection

Chihiro Maru, Shoetsu Sato

机构 * Chuo University（中川大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

WizardCoder: Empowering Code Large Language Models with Evol-Instruct

Ziyang Luo, Can Xu, Pu Zhao, Qingfeng Sun, Xiubo Geng, Wenxiang Hu, Chongyang Tao, Jing Ma, Qingwei Lin, Daxin Jiang

机构 * Microsoft（微软公司） ； Hong Kong Baptist University（香港 Baptist 大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Comments Large Language model, Code Generation, Code LLMs.This paper has been accepted to ICLR 2024. Please cite the ICLR version

Journal ref The Twelfth International Conference on Learning Representations (ICLR 2024)

Mol-LLM: Multimodal Generalist Molecular LLM with Improved Graph Utilization

Chanhui Lee, Hanbum Ko, Yuheon Song, YongJun Jeong, Rodrigo Hormazabal, Sehui Han, Kyunghoon Bae, Sungbin Lim, Sungwoong Kim

机构 * Department of Artificial Intelligence, Korea University（韩国大学人工智能系） ； Department of Artificial Intelligence, UNIST（UNIST人工智能系） ； Kim Jaechul Graduate School of AI, KAIST（韩国科学技术院人工智能研究生院） ； LG AI Research（LG人工智能研究） ； Department of Statistics, Korea University（韩国大学统计系） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

Comments 9 pages, 5 figures

Revise, Reason, and Recognize: LLM-Based Emotion Recognition via Emotion-Specific Prompts and ASR Error Correction

Yuanchao Li, Yuan Gong, Chao-Han Huck Yang, Peter Bell, Catherine Lai

机构 * MIT（麻省理工学院） ； MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； NVIDIA Research（英伟达研究） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

Comments Accepted to ICASSP 2025

Can We Rely on LLM Agents to Draft Long-Horizon Plans? Let's Take TravelPlanner as an Example

Yanan Chen, Ali Pesaranghader, Tanmana Sadhu, Dong Hoon Yi

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

Comments 13 pages, 2 figures, 4 tables

Learning From Failure: Integrating Negative Examples when Fine-tuning Large Language Models as Agents

Renxi Wang, Haonan Li, Xudong Han, Yixuan Zhang, Timothy Baldwin

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL；LLM(comments)

Comments Agent, LLM, Large Language Model

Retrieval-Augmented Visual Prompting: Guiding Foundation Models in Two-Photon Imaging

检索增强型视觉提示：引导基础模型用于双光子成像

Salvatore Calcagno, Marco Finocchiaro, Giovanni Bellitto, Daniela Giordano, Concetto Spampinato, Federica Proietto Salanitri

机构 * University of Catania（卡塔尼亚大学） 纠错

专题命中 指令微调 ：prompting(title,abstract)；foundation model(title,abstract)

AI总结 该研究提出RAVP框架，通过在推理阶段注入外部视觉记忆引导基础模型，经Allen Brain Observatory实验验证，可提升零样本神经元检测与实例分割性能，单示例提示效果优于多示例。

Comments 14 pages, 4 figures, 6 tables. Supplementary material included

Comparative Analysis of Low-Rank Adaptation in Large Language Models versus Dense Embedding Regression for Headline Click-Through Rate Prediction

用于标题点击率预测的大语言模型低秩适配（LoRA）与密集嵌入回归的对比分析

Samarth Sirsat, Anirudha Shinde, Amit Sethi, Aman Verma

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)

AI总结 本研究将标题选择建模为赢家通吃分类任务，对比发现用于标题点击率预测的密集嵌入回归模型，性能优于经LoRA微调的0.6B规模生成式语言模型，凸显了嵌入回归模型在高吞吐量内容排序中的应用潜力。

The Truth Stays in the Family: Enhancing Contextual Grounding via Inherited Truthful Heads in Model Lineages

真相留在家族中：通过模型谱系中继承的真相头增强上下文基础

Miso Choi, Seonga Choi, Mincheol Kwon, Woosung Joung, Jinkyu Kim, Jungbeom Lee

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 研究发现基础LLM与下游变体间存在上下文真相分数的强继承性，提出TruthProbe软门控策略放大真相头以提升上下文真实性并减少多模态幻觉。

Comments Accepted at ICML 2026

Automating structural reliability analysis with a multi-agent large language model framework

使用多智能体大语言模型框架实现结构可靠性分析自动化

Jaehwan Jeon, Chang Hee Lee, Taeyong Kim

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 研究提出多智能体大语言模型框架，通过专门智能体处理结构可靠性分析流程，用QLoRA微调方法规划器，由确定性求解器计算结果，降低专业知识壁垒，保持计算可信度，实现结构可靠性分析自动化。

Comments 41 pages, 10 figures. Submitted to Automation in Construction