语言大模型 / LLM

Adapting Multimodal Foundation Models for Few-Shot Learning: A Comprehensive Study on Contrastive Captioners

为少样本学习适应多模态基础模型：对比captioners的全面研究

N. K. B. M. P. K. B. Narasinghe, Uthayasanker Thayasivam

机构 * Department of Computer Science and Engineering, University of Moratuwa, Sri Lanka（计算机科学与工程系，穆塔瓦大学，斯里兰卡） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文研究了如何通过对比captioners适应少样本学习，探讨了参数高效微调策略及生成-对比基础模型的高效适应方法。

Comments 9 pages, 3 figures. Accepted to VISAPP 2026

RoFt-Mol: Benchmarking Robust Fine-Tuning with Molecular Graph Foundation Models

RoFt-Mol：基于分子图基础模型的鲁棒微调基准测试

Shikun Liu, Deyu Zou, Nima Shoghi, Victor Fung, Kai Liu, Pan Li

机构 * Georgia Institute of Technology（佐治亚理工学院） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 RoFt-Mol通过结合简单权重插值与复杂权重集合微调方法，提升分子图基础模型在回归和分类任务中的鲁棒微调性能。

Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning

通过低困惑度标记学习缓解大语言模型微调中的遗忘问题

Chao-Chung Wu, Zhi Rui Tam, Chieh-Yen Lin, Yun-Nung Chen, Shao-Hua Sun, Hung-yi Lee

机构 * Appier AI Research（Appier AI研究院） ； National Taiwan University（国立台湾大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；分类 cs.CL

AI总结 本文通过降低标记困惑度来缓解大语言模型微调后的遗忘问题，发现使用LLM生成数据可提升目标任务性能并减少非目标任务退化。

Comments The Thirty-ninth Annual Conference on Neural Information Processing Systems

Universal Adversarial Suffixes for Language Models Using Reinforcement Learning with Calibrated Reward

语言模型中用于强化学习的通用对抗后缀

Sampriti Soor, Suklav Ghosh, Arijit Sur

机构 * Center for Intelligent Cyber Physical Systems, Indian Institute of Technology Guwahati, India（智能网络物理系统中心，印度理工学院古瓦哈提） ； Department of Computer Science and Engineering, Indian Institute of Technology Guwahati, India（计算机科学与工程系，印度理工学院古瓦哈提） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出了一种基于强化学习的通用对抗后缀生成方法，通过校准交叉熵提升迁移性，并在多个NLP数据集上验证了其有效性。

Comments 5 pages

LLM Collaboration With Multi-Agent Reinforcement Learning

大语言模型与多智能体强化学习的协同

Shuo Liu, Tianle Chen, Zeyu Liang, Xueguang Lyu, Christopher Amato

专题命中 指令微调 ：LLM(title,abstract)；分类 cs.AI

AI总结 本研究提出MAGRPO算法，将大语言模型协同工作建模为多智能体强化学习问题，通过有效协同提升生成质量。

BioAnalyst: A Foundation Model for Biodiversity

BioAnalyst: 一种用于生物多样性的基础模型

Athanasios Trantas, Martino Mensio, Stylianos Stasinos, Sebastian Gribincea, Taimur Khan, Damian Podareanu, Aliene van der Veen

机构 * Nederlandse Organisatie voor Toegepast Natuurwetenschappelijk Onderzoek – TNO（荷兰应用自然科学研究院 – TNO） ； Eindhoven University of Technology（埃因霍温理工大学） ； Amazon（亚马逊） ； University of Groningen（格罗宁根大学） ； Helmholtz Center for Environmental Research – UFZ（环境研究赫尔姆霍茨中心 – UFZ） ； SURF 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

AI总结 BioAnalyst是一种针对生物多样性分析和保护规划的多模态基础模型，通过预训练和微调实现物种分布建模和生态预测。

ADAPT: Learning Task Mixtures for Budget-Constrained Instruction Tuning

ADAPT：为预算受限的指令微调学习任务混合

Pritam Kadasi, Abhishek Upperwal, Mayank SIngh

机构 * Lingo Research Group, Indian Institute of Technology Gandhinagar（林戈研究组，印度理工学院冈德hinagar分校） ； Soket AI（Soket人工智能） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；分类 cs.CL

AI总结 ADAPT通过学习任务采样比例优化预算受限的指令微调，提升下游任务性能并更高效地分配训练资源。

Comments Under Review

Unleashing the Power of Vision-Language Models for Long-Tailed Multi-Label Visual Recognition

释放视觉-语言模型在长尾多标签视觉识别中的潜力

Wei Tang, Zuo-Zheng Wang, Kun Zhang, Tong Wei, Min-Ling Zhang

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Key Laboratory of Computer Network and Information Integration (Southeast University)（计算机网络与信息集成重点实验室） ； Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（Mohamed bin Zayed人工智能大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.LG

AI总结 本文提出CAPNET框架，通过显式建模标签相关性，结合图卷积网络和可学习软提示，解决长尾多标签视觉识别中的类别不平衡问题，提升模型性能。

Yanyun-3: Enabling Cross-Platform Strategy Game Operation with Vision-Language Models

Yanyun-3: 通过视觉-语言模型实现跨平台战略游戏操作

Guoyan Wang, Yanyan Huang, Chunlin Chen, Lifeng Wang, Yuxiang Sun

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 Yanyun-3通过整合视觉-语言模型和结构化多模态数据组织，实现了跨平台战略游戏操作的自动化，提升了任务执行效率和泛化能力。

Comments 32 pages, 13 figures

Table Comprehension in Building Codes using Vision Language Models and Domain-Specific Fine-Tuning

利用视觉语言模型和领域特定微调进行建筑规范中的表格理解

Mohammad Aqib, Mohd Hamza, Ying Hei Chui, Qipei Mei

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 本文研究了利用视觉语言模型和领域特定微调提取建筑规范中表格信息的方法，发现直接输入方法在准确性上优于间接输入方法，且微调后模型性能显著提升。

Towards Effective, Stealthy, and Persistent Backdoor Attacks Targeting Graph Foundation Models

面向图基础模型的高效、隐蔽和持久后门攻击

Jiayi Luo, Qingyun Sun, Lingjuan Lyu, Ziwei Zhang, Haonan Yuan, Xingcheng Fu, Jianxin Li

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文提出GFM-BA，一种针对图基础模型的高效、隐蔽和持久后门攻击方法，通过无标签触发关联模块、节点自适应触发生成器和持久后门锚定模块解决后门攻击的三大挑战。

Comments Accepted by AAAI 2026

Best Practices for Biorisk Evaluations on Open-Weight Bio-Foundation Models

开放权重生物基础模型的生物风险评估最佳实践

Boyi Wei, Zora Che, Nathaniel Li, Udari Madhushani Sehwag, Jasper Götting, Samira Nedungadi, Julian Michael, Summer Yue, Dan Hendrycks, Peter Henderson, Zifan Wang, Seth Donoughe, Mantas Mazeika

机构 * Scale AI ； SecureBio ； Center for AI Safety（AI安全中心） ； Princeton University（普林斯顿大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文提出BioRiskEval框架，用于评估开放权重生物基础模型的鲁棒性，揭示现有数据过滤方法的局限性，并强调需进一步研究安全策略。

Comments 17 Pages, 5 figures

Enhancing Generalization of Depth Estimation Foundation Model via Weakly-Supervised Adaptation with Regularization

Yan Huang, Yongyi Su, Xin Lin, Le Zhang, Xun Xu

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

Comments Accepted by AAAI 2026

Enhancing LLM Code Generation Capabilities through Test-Driven Development and Code Interpreter

Sajed Jalil, Shuvo Saha, Hossain Mohammad Seym

机构 * Apollo Applications Group Reston, VA, USA（Apollo Applications Group） ； University of Dhaka（达卡大学） ； Islamic University of Technology（伊斯兰科技大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；分类 cs.LG

Comments AACL-IJCNLP 2025 Workshop BLP Shared Task 2, 6 pages, 7 figures, 3 tables

LOBERT: Generative AI Foundation Model for Limit Order Book Messages

Eljas Linna, Kestutis Baltakys, Alexandros Iosifidis, Juho Kanniainen

机构 * Data Science Research Centre（数据科学研究中心） ； Tampere University（塔尔库大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

Comments Submission for NeurIPS 2025 GenAI in Finance Workshop

Quantifying the Limits of Segmentation Foundation Models: Modeling Challenges in Segmenting Tree-Like and Low-Contrast Objects

Yixin Zhang, Nicholas Konz, Kevin Kramer, Maciej A. Mazurowski

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） ； Department of Computer Science（计算机科学系） ； Department of Radiology（放射学系） ； Department of Biostatistics & Bioinformatics（生物统计学与生物信息学系） ； Minnesota Health Solutions（明尼苏达健康解决方案） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

Comments Accepted at WACV 2026. Code: https://github.com/mazurowski-lab/SAMFailureMetrics

PepTriX: A Framework for Explainable Peptide Analysis through Protein Language Models

Vincent Schilling, Akshat Dubey, Georges Hattab

机构 * Center for Artificial Intelligence in Public Health Research (ZKI-PH), Robert Koch Institute（人工智能与公共健康研究所以及罗伯特·科赫研究所） ； Department of Mathematics and Computer Science, Free University of Berlin（数学与计算机科学系，柏林自由大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

Difference Vector Equalization for Robust Fine-tuning of Vision-Language Models

Satoshi Suzuki, Shin'ya Yamaguchi, Shoichiro Takeda, Taiga Yamane, Naoki Makishima, Naotaka Kawata, Mana Ihori, Tomohiro Tanaka, Shota Orihashi, Ryo Masumura

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

Comments Accepted by AAAI 2026

GRAVER: Generative Graph Vocabularies for Robust Graph Foundation Models Fine-tuning

Haonan Yuan, Qingyun Sun, Junhua Shi, Xingcheng Fu, Bryan Hooi, Jianxin Li, Philip S. Yu

机构 * SKLCCSE, School of Computer Science and Engineering, Beihang University（北京航空航天大学信息与电子技术学院） ； Key Lab of Education Blockchain and Intelligent Technology, Guangxi Normal University（广西师范大学教育区块链与智能技术重点实验室） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； Department of Computer Science, University of Illinois, Chicago（伊利诺伊大学芝加哥分校计算机科学系） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

Comments Accepted by the NeurIPS 2025

Parameter-Free Fine-tuning via Redundancy Elimination for Vision Foundation Models

Jiahuan Long, Tingsong Jiang, Wen Yao, Yizhe Xiong, Zhengqin Xu, Shuai Jia, Hanqing Liu, Chao Ma

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

Comments Accepted by AAAI 2026

SPIRIT: Short-term Prediction of solar IRradIance for zero-shot Transfer learning using Foundation Models

Aditya Mishra, Ravindra T, Srinivasan Iyengar, Shivkumar Kalyanaraman, Ponnurangam Kumaraguru

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

Order-Level Attention Similarity Across Language Models: A Latent Commonality

Jinglin Liang, Jin Zhong, Shuangping Huang, Yunqing Hu, Huiyuan Zhang, Huifang Li, Lixin Fan, Hanlin Gu

机构 * South China University of Technology（华南理工大学） ； Pazhou Laboratory（Pazhou实验室） ； Zhuzhou CRRC Times Electric Co.（株洲 CRRC 时代电子公司） ； China Telecom Research Institute（中国电信研究院） ； WeBank（我们银行） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

Comments Accepted by NeurIPS 2025

Revisiting Federated Fine-Tuning: A Single Communication Round is Enough for Foundation Models

Ziyao Wang, Bowei Tian, Yexiao He, Zheyu Shen, Guoheng Sun, Yuhan Liu, Luyang Liu, Meng Liu, Ang Li

机构 * University of Maryland, College Park（马里兰大学彭福分校） ； Queen Mary University of London（伦敦玛丽女王大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

Iterative Foundation Model Fine-Tuning on Multiple Rewards

Pouya M. Ghari, Simone Sciabola, Ye Wang

机构 * Biogen（百健） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

Comments Accepted to NeurIPS 2025

Knowledge-augmented Pre-trained Language Models for Biomedical Relation Extraction

Mario Sänger, Ulf Leser

机构 * Humboldt-Universität zu Berlin（洪堡大学柏林分校） ； AstraZeneca（阿斯利康） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

Journal ref BMC Bioinformatics 26, 240 (2025)

CrowdVLM-R1: Expanding R1 Ability to Vision Language Model for Crowd Counting using Fuzzy Group Relative Policy Reward

Zhiqiang Wang, Pengbin Feng, Yanbin Lin, Shuzhang Cai, Zongao Bian, Jinghua Yan, Xingquan Zhu

机构 * Florida Atlantic University（佛罗里达大学） ； University of Southern California（南加州大学） ； University of Texas at Dallas（德克萨斯大学达拉斯分校） ； Georgia Institute of Technology（佐治亚理工学院） ； University of Utah（犹他大学） 纠错

专题命中 指令微调 ：language model(title)；SFT(abstract)；分类 cs.CL

Comments 10 pages, 6 figures and 4 tables

Journal ref 2025 IEEE International Conference on Big Data (IEEE BigData 2025)

TinyTim: A Family of Language Models for Divergent Generation

Christopher J. Agostino

机构 * NPC Worldwide（NPC全球） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

Comments 7 pages, 3 figures, accepted to NeurIPS Creative AI track, models available at https://hf.co/npc-worldwide/

Similarity-Distance-Magnitude Language Models

Allen Schmaltz

机构 * Reexpress AI 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

Comments 8 pages, 5 tables

CLASS-IT: Conversational and Lecture-Aligned Small-Scale Instruction Tuning for BabyLMs

Luca Capone, Alessandro Bondielli, Alessandro Lenci

机构 * CoLing Lab, Department of Philology, Literature and Linguistics, University of Pisa（皮尔切大学哲学、文学与语言学系语言实验室） ； Department of Computer Science, University of Pisa（皮尔切大学计算机科学系） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；分类 cs.CL

Comments Paper accepted for oral presentation at the BabyLM Challange 2025 (EMNLP2025)

Accelerate Scaling of LLM Finetuning via Quantifying the Coverage and Depth of Instruction Set

Chengwei Wu, Li Du, Hanyu Zhao, Yiming Ju, Jiapu Wang, Tianyu Chen, Haoyi Zhou

机构 * Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院） ； Beijing University of Technology（北京理工大学） ； Beihang University（北航） 纠错

专题命中 指令微调 ：LLM(title)；SFT(abstract)；分类 cs.AI