语言大模型 / LLM

Molexar: A Unified Multimodal Molecular Foundation Model for Drug Design

Molexar：用于药物设计的统一多模态分子基础模型

Haoyu Lin, Yiyan Liao, Jinmei Pan, Xinliao Ling, Luhua Lai, Jianfeng Pei

专题命中 指令微调 ：foundation model(title,abstract)；SFT(abstract,abstract_cn)

AI总结 提出Molexar，一种基于Fragment-SELFIES的统一多模态分子基础模型，通过自回归解码和条件注入实现高效分子生成，在多个任务上达到或超越更大模型。

Aligning MusicLLM with Emotion using Instruction Tuning and Feedback-Driven Alignment

使用指令微调和反馈驱动对齐将 MusicLLM 与情感对齐

Takuya Hasumi, Welly Naptali

机构 * LY Corporation 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文研究如何通过指令微调和反馈驱动对齐策略，使音乐大语言模型（MusicLLM）具备情感回归能力，并证明反馈驱动对齐能显著提升唤醒度和效价预测性能，同时保持音乐问答能力。

Comments Accepted to Interspeech 2026, 5 pages, 2 figures

Domain Generalizable Adaptation of 3D Vision-Language Models via Regularized Fine-Tuning

通过正则化微调实现可域泛化的3D视觉-语言模型适应

Sneha Paul, Zachary Patterson, Nizar Bouguila

机构 * Concordia University（康考迪亚大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；foundation model(abstract)

AI总结 提出ReFine3D框架，通过选择性层调优、多视图一致性、同义词提示及点渲染视觉监督等正则化策略，提升3D大语言模型在域泛化中的性能。

Comments Accepted at Transactions on Machine Learning Research (TMLR)

Training Diffusion Language Models for Black-Box Optimization

训练扩散语言模型用于黑盒优化

Zipeng Sun, Can Chen, Ye Yuan, Haolun Wu, Jiayao Gu, Christopher Pal, Xue Liu

专题命中 指令微调 ：language model(title)；LLM(abstract,abstract_cn)；post-training(abstract)

AI总结 针对离线黑盒优化问题，提出通过扩散语言模型的双向建模能力，结合统一语料构建和两阶段后训练框架，实现高效设计生成，在Design-Bench上达到最优性能。

Comments Accepted at ICML 2026 as a Spotlight Paper (top 2.2% of submissions)

Fine-Tuning Vision-Language Models for Understanding Current Damage and Scoring Priority with Quality Guard Agent

微调视觉语言模型以理解当前损伤并使用质量卫士代理进行优先级评分

Takato Yasuno

专题命中 指令微调 ：language model(title,abstract)；SLM(abstract,abstract_cn)

AI总结 本文通过微调LLaVA-1.5-7B视觉语言模型，结合规则引擎和质量卫士代理，实现了桥梁损伤自动理解与修复优先级评分，有效降低了评分变异并提升了效率。

Comments 23 pages, 11 figures, 13 tables

FTibSuite: A Comprehensive Resource Suite for Tibetan Vision-Language Modeling

FTibSuite：面向藏语视觉语言建模的综合资源套件

Guixian Xu, Yide Liang, Zeli Su, Xuexian Song, Ziyin Zhang, Yushuang Dong, Ting Zhang, Xu Han

机构 * Hainan International College, Minzu University of China（民族大学海南国际学院） ； School of Information Engineering, Minzu University of China（民族大学信息工程学院） ； Shanghai Jiao Tong University（上海交通大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 指令微调 ：language model(title,abstract)；instruction tuning(abstract)；pretraining(abstract)

AI总结 针对藏语视觉语言建模缺乏可复现训练和评估基础设施的问题，提出FTibSuite资源套件，包含数据集FTibData、基准FTibBench和基线模型FTibVLM，在多项任务上取得显著性能提升。

Tool Calling is Linearly Readable and Steerable in Language Models

语言模型中的工具调用是线性可读且可引导的

Zekun Wu, Ze Wang, Seonglae Cho, Yufei Yang, Adriano Koshiyama, Sahan Bulathwela, Maria Perez-Ortiz

机构 * University College London（伦敦大学学院） ； Holistic AI ； Imperial College London（伦敦帝国学院） 纠错

专题命中 指令微调 ：language model(title)；instruction tuning(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文发现语言模型内部存在对应工具选择的线性方向，通过干预该方向可切换工具调用，并能提前检测潜在错误，在多个模型和基准上验证了有效性。

Comments 24 pages. ACL ARR May 2026 submission (EMNLP 2026 preferred venue); v2 reflects revised manuscript

STELLA: A Multimodal LLM for Protein Functional Annotation via Unified Sequence-Structure Encoding

STELLA：一种通过统一序列-结构编码进行蛋白质功能注释的多模态大语言模型

Hongwang Xiao, Wenjun Lin, Xi Chen, Hui Wang, Kai Chen, Jiashan Li, Yuancheng Sun, Sicheng Dai, Boya Wu, Qiwei Ye

专题命中 指令微调 ：LLM(title,abstract)；language model(abstract)

AI总结 STELLA通过统一序列-结构编码与文本模态协同，提升蛋白质功能注释的准确性，实现功能描述预测和酶促反应预测的最新成果。

Comments Accepted to Findings of ACL 2026

Masked Language Prompting for Generative Data Augmentation in Few-shot Fashion Style Recognition

生成数据增强的掩码语言提示在少样本时尚风格识别中的应用

Yuki Hirakawa, Ryotaro Shimizu

机构 * ZOZO Research（ZOZO研究院） 纠错

专题命中 指令微调 ：prompting(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出掩码语言提示方法，通过掩码参考描述中的词并利用大语言模型生成多样且语义连贯的图像，提升少样本时尚风格识别的性能。

QCalEval: Benchmarking Vision-Language Models for Quantum Calibration Plot Understanding

QCalEval：用于量子校准图理解的视觉-语言模型基准测试

Shuxiang Cao, Zijian Zhang, Abhishek Agarwal, Grace Bratrud, Niyaz R. Beysengulov, Daniel C. Cole, Alejandro Gómez Frieiro, Elena O. Glen, Hao Hsu, Gang Huang, Raymond Jow, Greshma Shaji, Tom Lubowe, Ligeng Zhu, Luis Mantilla Calderón, Nicola Pancotti, Joel Pendleton, Brandon Severin, Charles Etienne Staub, Sara Sussman, Antti Vepsäläinen, Neel Rajeshbhai Vora, Yilun Xu, Varinia Bernales, Daniel Bowring, Elica Kyoseva, Ivan Rungger, Giulia Semeghini, Sam Stanwyck, Timothy Costa, Alán Aspuru-Guzik, Krysta Svore

机构 * NVIDIA ； University of Toronto（多伦多大学） ； IQM Quantum Computers（IQM量子计算机） ； Lawrence Berkeley National Laboratory（伯克利国家实验室） ； Conductor Quantum（Conductor量子） ； National Physical Laboratory（国家物理实验室） ； Infleqtion ； Harvard University（哈佛大学） ； Fermi National Accelerator Laboratory（费米国家加速器实验室） ； Northwestern University（西北大学） ； EeroQ Corporation（EeroQ公司） ； Royal Holloway University of London（伦敦皇家霍洛威大学） ； Vector Institute for Artificial Intelligence（人工智能向量研究所） 纠错

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract,abstract_cn)

AI总结 本文提出QCalEval，首个用于评估视觉-语言模型理解量子校准图能力的基准测试，包含243个样本和87种场景类型，测试零样本和上下文学习下的六种问题类型，展示了不同模型的性能差异。

Boosting Visual Instruction Tuning with Self-Supervised Guidance

通过自监督指导提升视觉指令微调

Sophia Sirko-Galouchenko, Monika Wysoczanska, Andrei Bursuc, Nicolas Thome, Spyros Gidaris

机构 * Sorbonne Universite, CNRS, ISIR, F-75005 Paris, France（索邦大学、国家科学研究中心、ISIR、法国巴黎75005） ； Institut universitaire de France (IUF)（法国国家科学院（IUF）） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出一种轻量方法，通过加入少量视觉基础自监督任务提升MLLMs的视觉推理能力，无需人工标注或架构修改，有效提升视觉中心评估性能。

Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics

为何转向有效：语言模型参数动态的统一视角

Ziwen Xu, Chenyan Wu, Hengyu Sun, Haiwen Hong, Mengru Wang, Yunzhi Yao, Longtao Huang, Hui Xue, Shumin Deng, Zhixuan Chu, Huajun Chen, Ningyu Zhang

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出统一视角分析语言模型控制方法，通过偏好-效用分析揭示控制效果的权衡关系，并引入SPLIT方法提升偏好与效用。

Comments ACL 2026

Graph-Enhanced LLM for SWAN-ISAC

图增强的大语言模型用于SWAN-ISAC

Qian Gao, Ruikang Zhong, Yuanwei Liu

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出图增强大语言模型框架，用于分割捏缩天线辅助的ISAC系统，通过自图捕捉场景依赖交互，实现天线部署与波束成形预测的优化。

From Prompt to Physical Action: Structured Backdoor Attacks on LLM-Mediated Robotic Control Systems

从提示到物理行动：针对LLM介导机器人控制系统结构后门攻击

Mingyang Xie, Jin Wei-Kocsis

机构 * School of Applied and Creative Computing, Purdue University（普渡大学应用与创意计算学院） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究探讨了LLM介导的机器人控制系统中结构后门攻击的影响，通过LoRA技术验证了后门在不同命令生成阶段的传播效果，并提出基于二次LLM的验证防御方法，揭示了实时机器人系统中的安全与响应权衡。

Data Organization Matters in Multimodal Instruction Tuning: A Controlled Study of Capability Trade-offs

多模态指令微调中数据组织的重要性：能力取舍的受控研究

Guowei Tang

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究探讨了数据组织对多模态指令微调中通用理解、结构化推理和细粒度OCR文档理解能力取舍的影响，发现课程训练在整体表现和结构推理上最佳，平衡采样更利于OCR能力但削弱整体平衡。

Comments 12 pages, 2 figures

Multimodal Continual Instruction Tuning with Dynamic Gradient Guidance

多模态持续指令微调与动态梯度指导

Songze Li, Mingyu Gao, Tonghua Su, Xu-Yao Zhang, Zhongjie Wang

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济发展实验室） ； Chongqing Research Institute of HIT（重庆哈工大研究院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出通过几何参数空间方向向量近似缺失梯度，结合有限回放缓冲区和伯努利采样策略，有效缓解多模态持续指令微调中的灾难性遗忘问题。

Multi-turn Physics-informed Vision-language Model for Physics-grounded Anomaly Detection

多轮物理引导的视觉-语言模型用于物理基础的异常检测

Yao Gu, Xiaohao Xu, Yingna Wu

机构 * Shanghaitech University（上海科技大学） ； University of Michigan, Ann Arbor（密歇根大学安娜堡分校） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；instruction tuning(abstract)

AI总结 本文提出一种多轮物理引导的视觉-语言模型，通过编码物体属性和动态约束提升物理基础异常检测性能，实验显示其在视频级检测中达到96.7%的AUROC，优于现有最佳方法。

Comments Accepted by IEEE ICASSP2026

V-CORE: Temporally Consistent Video Understanding for Video-LLM

V-CORE：面向视频大语言模型的时序一致视频理解

Zhengjian Kang, Qi Chen, Rui Liu, Kangtong Mo, Xingyu Zhang, Xiaoyu Deng, Ye Zhang

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 V-CORE通过引入显式时序约束提升视频理解性能，采用可学习空间聚合和因果感知时间投影器，有效解决视频时序一致性问题，在多个基准测试中取得显著成果。

Comments 7 pages, 4 figures

MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning

MSSR: 为持续LLM微调的内存感知自适应回放

Yiyang Lu, Yu He, Jianlong Chen, Hongyuan Zha

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MSSR通过估计样本级别的记忆强度并自适应地安排复习，有效缓解持续LLM微调中的灾难性遗忘问题，同时保持快速适应能力。

PromptTuner: SLO-Aware Elastic System for LLM Prompt Tuning

PromptTuner: 为LLM提示调优设计的SLO感知弹性系统

Wei Gao, Peng Sun, Dmitrii Ustiugov, Tianwei Zhang, Yonggang Wen

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 PromptTuner通过设计提示库和工作负载调度器，优化LLM提示调优的SLO目标，显著降低违规率和成本。

MuxTune: Efficient Multi-Task LLM Fine-Tuning in Multi-Tenant Datacenters via Spatial-Temporal Backbone Multiplexing

MuxTune: 通过时空骨干多路复用实现多租户数据中心中的高效多任务LLM微调

Chunyu Xue, Yi Pan, Weihao Cui, Quan Chen, Shulai Zhang, Bingsheng He, Minyi Guo

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 MuxTune通过时空骨干多路复用实现多租户数据中心中多个PEFT任务的高效并发执行，显著提升吞吐量和内存利用率。

When Does RL Help Medical VLMs? Disentangling Vision, SFT, and RL Gains

当RL帮助医疗VLMs时？解构视觉、SFT和RL增益

Ahmadreza Jeddi, Kimia Shaban, Negin Baghbanzadeh, Natasha Sharan, Abhishek Moturu, Elham Dolatabadi, Babak Taati

机构 * University of Toronto, Canada（多伦多大学） ； Vector Institute, Canada（向量研究所） ； KITE Research Institute, University Health Network, Canada（KITE研究机构） ； York University, Canada（约克大学） 纠错

专题命中 指令微调 ：SFT(title,abstract)；language model(abstract)；post-training(abstract)

AI总结 研究通过解构视觉、SFT和RL增益，发现RL在模型已有支持时最有效，SFT扩展支持使RL有效，提出边界意识的配方并实现强性能。

ProtegoFed: Backdoor-Free Federated Instruction Tuning with Interspersed Poisoned Data

ProtegoFed: 无后门联邦指令微调与交错毒数据

Haodong Zhao, Jinming Hu, Zhaomin Wu, Zongru Wu, Wei Du, Junyi Hou, Caibei Zhao, Zhuosheng Zhang, Bingsheng He, Gongshen Liu

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 ProtegoFed通过频域梯度和全局二次聚类机制，实现无后门的联邦指令微调，有效检测并净化跨客户端的毒数据。

Comments Work in progress

QuPAINT: Physics-Aware Instruction Tuning Approach to Quantum Material Discovery

QuPAINT：一种面向量子材料发现的物理感知指令微调方法

Xuan-Bac Nguyen, Hoang-Quan Nguyen, Sankalp Pandey, Tim Faltermeier, Nicholas Borys, Hugh Churchill, Khoa Luu

机构 * CVIU Lab, University of Arkansas, USA（Arkansas大学计算机视觉实验室） ； University of Utah, USA（犹他大学） ； Department of Physics, University of Arkansas, USA（Arkansas大学物理系） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 QuPAINT通过物理感知指令微调方法，提升量子材料发现的多模态表征能力，建立标准化评估基准。

Comments Project page: https://uark-cviu.github.io/projects/qupaint/

LLMind 2.0: Distributed IoT Automation with Natural Language M2M Communication and Lightweight LLM Agents

LLMind 2.0：基于自然语言M2M通信和轻量级LLM代理的分布式物联网自动化

Yuyang Du, Qun Yang, Liujianfu Wang, Jingqi Lin, Hongwei Cui, Soung Chang Liew

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 LLMind 2.0通过自然语言M2M通信和轻量级LLM代理实现分布式物联网自动化，提升系统可扩展性、可靠性和响应性。

Sparse MeZO: Less Parameters for Better Performance in Zeroth-Order LLM Fine-Tuning

稀疏MeZO：在零阶LLM微调中更少的参数带来更好的性能

Yong Liu, Zirui Zhu, Chaoyu Gong, Minhao Cheng, Cho-Jui Hsieh, Yang You

机构 * National University of Singapore（新加坡国立大学） ； Pennsylvania State University（宾夕法尼亚州立大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 稀疏MeZO通过仅对部分参数应用零阶优化，提升LLM微调的性能和收敛速度。

Comments Accepted by NeurIPS 2025

Talking with the Latents -- how to convert your LLM into an astronomer

与潜在空间对话——如何将你的大语言模型转化为天文学家

Ilay Kamai, Marc-Huertas Company, Mike J. Smith, Hagai B. Perets

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 通过融合潜在物理特征与语言模型，将大语言模型转化为可解释的科学推理工具，实现对天文学等领域的有效推理与任务执行。

Mechanism Design for LLM Fine-tuning with Multiple Reward Models

基于多重奖励模型的LLM微调机制设计

Haoran Sun, Yurong Chen, Siwei Wang, Xu Chu, Wei Chen, Xiaotie Deng

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出基于多重奖励模型的LLM微调机制设计，通过机制设计解决智能体策略性误报问题，实现社会福利最大化并确保支付规则的激励兼容性。

Comments NeurIPS 2025

ABBA-Adapters: Efficient and Expressive Fine-Tuning of Foundation Models

ABBA-Adapters: 高效且表达力强的基础模型微调

Raghav Singhal, Kaustubh Ponkshe, Rohit Vartak, Praneeth Vepakomma

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫德尔·本·扎耶德人工智能大学） ； Duke University（杜克大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 指令微调 ：foundation model(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 ABBA-Adapters通过引入低秩矩阵的Hadamard乘积，实现高效且表达力强的基础模型微调，显著提升适应新领域的性能。

Comments ICLR 2026. Raghav Singhal, Kaustubh Ponkshe, and Rohit Vartak contributed equally to this work

Self-Hinting Language Models Enhance Reinforcement Learning

自我提示语言模型增强强化学习

Baohao Liao, Hanze Dong, Xinxing Xu, Christof Monz, Jiang Bian

机构 * Microsoft Research（微软研究院） ； Language Technology Lab, University of Amsterdam（语言技术实验室，阿姆斯特丹大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SAGE通过注入自我提示提升GRPO在稀疏奖励下的表现，有效增强大语言模型的对齐能力。