Quantizable Transformers: Removing Outliers by Helping Attention Heads Do Nothing
专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG
AI 大模型
语言大模型 / LLM
大语言模型、预训练、指令微调、后训练和语言模型应用。
1. 指令微调 11714 篇
Tackling Vision Language Tasks Through Learning Inner Monologues
专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG
RegionBLIP: A Unified Multi-modal Pre-training Framework for Holistic and Regional Comprehension
专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)
Can AI Moderate Online Communities?
专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)
POUF: Prompt-oriented unsupervised fine-tuning for large pre-trained models
专题命中 指令微调 ：language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG
Comments ICML 2023; PyTorch code is available at https://github.com/korawat-tanwisuth/POUF
Instruction-ViT: Multi-Modal Prompts for Instruction Learning in ViT
专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)
Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers
专题命中 指令微调 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG
Comments ICLR 2022 + Updated Checkpoint Release
Decoupled Alignment for Robust Plug-and-Play Adaptation
用于鲁棒即插即用适应的解耦对齐
机构 * Northwestern University（西北大学） ； New York University Abu Dhabi（纽约大学阿布扎克分校） ； Stanford University（斯坦福大学） ； Texas A&M University（德克萨斯农工大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Illinois Institute of Technology（伊利诺伊理工学院）
专题命中 指令微调 ：language model(abstract,comments)；large language model(abstract)；分类 cs.CL、cs.AI
AI总结 研究提出无需训练的大语言模型对齐方法，利用知识蒸馏提取对齐信号，经模型融合实现即插即用的对齐校正，采用增量调试识别关键知识组件，在有害问题数据集上显著提升防御成功率，且不损性能。
Comments Conference on Language Modeling (COLM) 2026
AlignDP: Hybrid Differential Privacy with Rarity-Aware Protection for LLMs
AlignDP: 用于大语言模型的混合差分隐私与稀有性感知保护
机构 * Microsoft（微软）
专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG；LLM(comments)
AI总结 AlignDP通过混合差分隐私与稀有性感知保护，有效阻止大语言模型的知识转移，通过PAC和RAPPOR技术实现稀有和非稀有字段的隐私保护。
Comments 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop: LOCK-LLM Work-shop, NeurIPS 2025
ICL Markup: Structuring In-Context Learning using Soft-Token Tags
专题命中 指令微调 ：LLM(abstract)；language model(abstract)；分类 cs.CL、cs.LG；foundation model(comments)
Comments R0-FoMo: Workshop on Robustness of Few-shot and Zero-shot Learning in Foundation Models at NeurIPS 2023
Fine-tuning an ECG Foundation Model to Predict Coronary CT Angiography Outcomes
微调一种心电图基础模型以预测冠状动脉CT血管造影结果
机构 * Institute of Medical Technology, Peking University Health Science Center（北京大学人民医院医学技术研究所） ； National Institute of Health Data Science, Peking University（北京大学国家健康数据科学研究院） ； Department of Cardiology, Peking University People’s Hospital（北京大学人民医院心内科） ； Tianjin Key Laboratory of Ionic-Molecular Function of Cardiovascular Disease, Department of Cardiology, Tianjin Institute of Cardiology, The Second Hospital of Tianjin Medical University（天津医科大学心血管离子-分子功能重点实验室，天津心脏病学研究院，天津医科大学第二医院心内科） ； Heart Voice Medical Technology（心声医疗科技） ； School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）
专题命中 指令微调 ：foundation model(title)；分类 cs.AI
AI总结 本文研究了通过微调心电图基础模型来预测冠状动脉CT血管造影结果的研究问题，采用多中心研究方法，利用CTCA作为解剖参考标准，开发并验证了AI-ECG模型，以预测血管特异性冠状动脉狭窄，并展示了模型在内部和外部验证中的表现，以及其在临床中的应用价值。
WeedNet: A Foundation Model-Based Global-to-Local AI Approach for Real-Time Weed Species Identification and Classification
WeedNet：一种基于基础模型的全局到局部AI方法，用于实时杂草种类识别与分类
机构 * Department of Agronomy, Iowa State University, Iowa, USA（农业学系，爱荷华州立大学） ； Department of Computer Science, Iowa State University, Iowa, USA（计算机科学系，爱荷华州立大学） ； Data Science Institute, University of Arizona, Arizona, USA（数据科学研究所，亚利桑那大学） ； Department of Mechanical Engineering, Iowa State University, Iowa, USA（机械工程系，爱荷华州立大学） ； Department of Plant Pathology, Entomology and Microbiology, Iowa State University, Iowa, USA（植物病理学、昆虫学和微生物学系，爱荷华州立大学）
专题命中 指令微调 ：foundation model(title)；分类 cs.AI
AI总结 本研究提出基于基础模型的WeedNet全局到局部AI方法，通过自监督学习等技术实现1593种杂草91.02%的识别准确率，可适配区域杂草识别，具备集成至农业机器人及对话式AI咨询工具的潜力。
Robust Cross-Modal Foundation Model Perception for Underwater Robots under Degraded Visual Conditions
退化视觉条件下水下机器人的鲁棒跨模态基础模型感知
机构 * College of Science and Technology, North Carolina A & T State University（北卡罗来纳农工州立大学科学技术学院）
专题命中 指令微调 ：foundation model(title)；分类 cs.AI
AI总结 该研究针对水下机器人视觉退化问题，提出感知退化的视觉-声纳门控融合方法，在极端退化下使平衡准确率较 DINOv2 基线提升 33.5%，实现鲁棒跨模态感知。
Spectral Rank Certification for Foundation Model Adapters
基础模型适配器的谱秩验证
机构 * Université Paris 1（巴黎第一大学） ； Faculty of Science and Technology of Tangier（丹吉尔科学与技术学院） ； Abdelmalek Essaadi University（阿卜杜勒-马利克·埃萨迪大学）
专题命中 指令微调 ：foundation model(title)；分类 cs.LG
AI总结 本研究针对基础模型适配器开发有限样本谱秩验证框架，提出PEFT LoRA适配器的经验空工作流程，经26个公开适配器审计发现校准有效秩远小于名义秩，且能量保留与统计惊喜对应不同问题。
Comments 11 pages, 4 figures , KDD 2026 Workshop TensorKDD
TRACE-BN: Transferring Bangla-English Tutoring Behavior to a Sub-1B Offline Language Model
TRACE-BN：将孟加拉语-英语辅导行为迁移至参数量小于10亿的离线语言模型
机构 * North South University（北南大学）
专题命中 指令微调 ：language model(title)；分类 cs.CL
AI总结 本文提出TRACE-BN数据集，将其辅导行为通过LoRA迁移至Qwen3-0.6B模型，在资源受限离线部署下，相关指标及多维度辅导效果均获显著提升。
Refusing Intent, Not Form: Wrapper-Based Intent-Group Supervision for LLM Safety
拒绝意图，而非形式：基于包装器的意图组监督用于大语言模型安全
机构 * Ant Group（蚂蚁集团）
专题命中 指令微调 ：LLM(title)；分类 cs.CL
AI总结 该研究针对大语言模型安全调优的表面形式捷径问题，提出WIFA方法，结合两种微调路径提升有害内容拒绝能力并降低良性提示过度拒绝率，在Qwen和Llama上验证了效果。
Comments 23 pages, 11 figures, 24 tables
Learning to Adapt Cross-Domain Preferences via Meta-LoRA for LLM Personalization
通过元LoRA学习适应跨领域偏好以实现大语言模型个性化
专题命中 指令微调 ：LLM(title)；分类 cs.AI
AI总结 针对跨领域个性化的过拟合与负迁移问题，提出PAC-Bayes正则化的Meta-LoRA，分解个性化先验为用户与领域组件，在多基准任务上取得胜率提升。
ScreenShot: A Foundation Model for Few-Shot Combination Drug Screening
ScreenShot：用于少样本组合药物筛选的基础模型
机构 * Computational Oncology（计算肿瘤学） ； Memorial Sloan Kettering Cancer Center（纪念斯隆-凯特琳癌症中心）
专题命中 指令微调 ：foundation model(title)；分类 cs.LG
AI总结 本研究提出用于少样本组合药物筛选的基础模型ScreenShot，其经多药物筛选数据集预训练，可通过上下文学习直接预测患者样本的组合疗法响应，在预留数据集上优于基线，还可驱动主动学习策略以降低实验预算。
ExRole: From Team Trajectories to Executable Roles in Multi-Agent Language Models
ExRole：从团队轨迹到多智能体语言模型中的可执行角色
专题命中 指令微调 ：language model(title)；分类 cs.AI
AI总结 ExRole是一种多智能体语言模型的轨迹转角色框架，可学习可执行角色，在两个问答基准上显著优于单智能体及其他角色设置，能捕捉可迁移的行为专业化能力。
Distilling Vision-Language Models for Robust Traffic Sign Perception in Autonomous Vehicles
用于自动驾驶汽车鲁棒交通标志感知的视觉-语言模型蒸馏
机构 * Clemson University（克莱姆森大学）
专题命中 指令微调 ：language model(title)；分类 cs.LG
AI总结 本研究提出LAMDA框架，通过冻结OpenCLIP文本编码器构建原型库监督视觉特征，在GTSRB和LISA数据集上，可同时提升TSR模型对三类物理攻击的鲁棒性且不降低干净准确率。
Comments Accepted to the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026)
CRAFTS: Collaborative Role-Adaptive Fine-Tuning of LLM Agents for Chemical Process Simulation
CRAFTS：面向化工过程仿真的大语言模型智能体协同角色自适应微调
机构 * National University of Singapore（新加坡国立大学） ； Xiamen University（厦门大学）
专题命中 指令微调 ：LLM(title)；分类 cs.AI
AI总结 CRAFTS 模仿化工工程师分阶段工作流，将仿真任务分配给7个角色，微调3个关键角色，基于 OpenIDAES-450 数据集验证，在82个保留案例上完成91.5%的合约，取得多项F1高分，实现可靠自动化化工过程模型构建。
SciClaimSeekers at CheckThat! 2026: Retrieving Scientific Sources for Social Media Claims with LLM Reranking
SciClaimSeekers参加CheckThat! 2026：使用大语言模型重排检索社交媒体声明的科学来源
机构 * University of North Texas（北得克萨斯大学） ； CheckThat! Lab（CheckThat!实验室）
专题命中 指令微调 ：LLM(title)；分类 cs.CL
AI总结 针对社交媒体科学声明难核实且少链接原始学术来源的问题，提出SciClaimSeekers系统，结合BM25、E5检索及倒数排名融合，经Qwen2.5-14B-Instruct重排，在相关评估中表现良好，证明大型预训练模型组合在该任务中可与微调方法竞争。
Comments CLEF 2026 Working Notes / CheckThat! Lab at CLEF 2026, Jena, Germany
Universal BCI Personalization: One API for Frozen EEG Trunks and Foundation Models
通用脑机接口个性化：用于冻结脑电图主干和基础模型的单一应用程序编程接口
机构 * NimbusBCI
专题命中 指令微调 ：foundation model(title)；分类 cs.LG
AI总结 研究针对冻结脑电图编码器微调难的问题，提出Nimbus Personalizer，通过与主干无关的API，可在异构冻结主干上运行，在多数据集和基础编码器上验证，相比传统方法成本低且能恢复精度增益，结果具探索性。
Comments 20 pages, 12 figures. Companion paper on the control layer forthcoming
Schema-Constrained Document-Level Event Argument Extraction with Lightweight LLM Fine-Tuning
基于轻量级语言模型微调的模式约束文档级事件论元抽取
机构 * University of Naples Federico II（那不勒斯费德里科二世大学） ； University of Salerno（萨勒诺大学）
专题命中 指令微调 ：LLM(title)；分类 cs.CL
AI总结 研究文档级模式约束事件论元抽取，结合角色集注入、参数高效监督微调及确定性解码后处理方法，使微调后的中型开放模型在MAVEN-ARG评估中优于GPT基线，最好模型在事件共指级别达42.39% F1值。
Comments Accepted at ECML PKDD 2026
Toward Federated Multimodal Graph Foundation Models: A Topology-Aware Multimodal Alignment Framework
迈向联邦多模态图基础模型：一种拓扑感知多模态对齐框架
机构 * Beijing Institute of Technology（北京理工大学）
专题命中 指令微调 ：foundation model(title)；分类 cs.LG
AI总结 研究针对多模态属性图分散在不同隐私受限孤岛的问题，提出FedGAMMA框架，将联邦多模态图基础学习视为两阶段语义结构对齐问题，经实验验证该框架在下游任务中表现出色，超越诸多基线，在少样本学习场景下也有优势。
Comments Under Review
MLLM-DataEngine: Closing the Loop of Multimodal Instruction Tuning Data Generation
MLLM-DataEngine：闭合多模态指令微调数据生成的循环
机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
专题命中 指令微调 ：instruction tuning(title)；分类 cs.LG
AI总结 本文提出MLLM-DataEngine闭环系统，通过自适应坏例采样模块分析模型弱点，为GPT-4提供信息以生成高质量增量数据集，能有针对性且自动地提升MLLMs能力，有望成为MLLMs数据管理通用方案。
Comments 6 pages, 4 figures, 7 tables; accepted by ICME 2026
Journal ref 2025 IEEE International Conference on Multimedia and Expo (ICME), Nantes, France, 30 June 2025 - 04 July 2025
Deciphering the Language of Nature: A transformer-based language model for deleterious mutations in proteins
解读自然的语言：一种基于变压器的语言模型用于蛋白质中致病性突变预测
专题命中 指令微调 ：language model(title)；分类 cs.LG
AI总结 本文提出MutFormer，一种基于transformer的模型，用于预测蛋白质错义突变的致病性，通过结合自注意力和卷积层，提升对氨基酸突变依赖性的建模能力。
Comments The main text has 43 pages, 5 figures and 3 tables
Self-Compacting Language Model Agents
自压缩语言模型智能体
机构 * Johns Hopkins University（约翰霍普金斯大学） ； Apple（苹果公司）
专题命中 指令微调 ：language model(title)；分类 cs.CL
AI总结 提出SelfCompact框架，让语言模型自主决定何时及如何压缩上下文，通过调用压缩工具和轻量级规则实现自适应压缩，无需微调或外部监督，在多个基准上以更低成本匹配或超越固定间隔压缩。
Comments 25 pages, 3 figures
PARA-PV: Physics-Aware Retrieval-Augmented PV Prediction Based on Frozen Foundation Model and Distribution Shift Correction
PARA-PV：基于冻结基础模型和分布偏移校正的物理感知检索增强型光伏功率预测
机构 * School of Economics and Management（经济管理学院） ； School of Electrical and Electronic Engineering（电子电气工程学院） ； School of Control and Computer Engineering（控制与计算机工程学院） ； Department of Electrical Engineering（电气工程系）
专题命中 指令微调 ：foundation model(title)；分类 cs.AI
AI总结 研究针对光伏功率预测难题，提出PARA-PV框架，通过编码观测、检索历史数据、校准基础预测及校正分布偏移，并采用物理约束损失函数，嵌入物理知识实现准确预测，为可靠电网调度和可再生能源整合助力。
Improving Translation Quality by Selecting Better Data for LLM Fine-Tuning: A Comparative Analysis
通过选择更好的数据提升翻译质量：一项比较分析
机构 * Ritsumeikan University（立命馆大学）
专题命中 指令微调 ：LLM(title)；分类 cs.CL
AI总结 研究通过比较五种数据选择器评估数据选择对LLM微调的影响，发现语义选择器优于词法和几何启发式方法，数据差异小于3%对模型性能影响显著。
Comments To appear at IEEE Big Data 2025
