语言大模型 / LLM

SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models

Sara Babakniya, Ahmed Roushdy Elkordy, Yahya H. Ezzeldin, Qingfeng Liu, Kee-Bong Song, Mostafa El-Khamy, Salman Avestimehr

专题命中 指令微调 ：language model(title)；分类 cs.AI、cs.LG

Linear Interpolation In Parameter Space is Good Enough for Fine-Tuned Language Models

Mark Rofin, Nikita Balagansky, Daniil Gavrilov

专题命中 指令微调 ：language model(title)；分类 cs.CL、cs.LG

Controlling Conditional Language Models without Catastrophic Forgetting

Tomasz Korbak, Hady Elsahar, German Kruszewski, Marc Dymetman

专题命中 指令微调 ：language model(title)；分类 cs.CL、cs.LG

Comments ICML 2022

Simple Recurrence Improves Masked Language Models

Tao Lei, Ran Tian, Jasmijn Bastings, Ankur P. Parikh

专题命中 指令微调 ：language model(title)；分类 cs.CL、cs.AI

ESGBERT: Language Model to Help with Classification Tasks Related to Companies Environmental, Social, and Governance Practices

Srishti Mehra, Robert Louka, Yixun Zhang

专题命中 指令微调 ：language model(title)；分类 cs.CL、cs.LG

Journal ref pp. 183-190, 2022. CS & IT - CSCP 2022

Large-Scale News Classification using BERT Language Model: Spark NLP Approach

Kuncahyo Setyo Nugroho, Anantha Yullian Sukmadewa, Novanto Yudistira

专题命中 指令微调 ：language model(title)；分类 cs.CL、cs.LG

Journal ref SIET '21: 6th International Conference on Sustainable Information Engineering and Technology 2021

SentenceMIM: A Latent Variable Language Model

Micha Livne, Kevin Swersky, David J. Fleet

专题命中 指令微调 ：language model(title)；分类 cs.CL、cs.LG

Comments Preprint. Demo: https://github.com/seraphlabs-ca/SentenceMIM-demo

HinglishNLP: Fine-tuned Language Models for Hinglish Sentiment Detection

Meghana Bhange, Nirant Kasliwal

专题命中 指令微调 ：language model(title)；分类 cs.CL、cs.LG

Comments SemEval 2020

Fine-Tuning Pretrained Language Models: Weight Initializations, Data Orders, and Early Stopping

Jesse Dodge, Gabriel Ilharco, Roy Schwartz, Ali Farhadi, Hannaneh Hajishirzi, Noah Smith

专题命中 指令微调 ：language model(title)；分类 cs.CL、cs.LG

A Protocol-Language Model for Network Intrusion (Without Deep Packet Inspection)

一种用于网络入侵的协议语言模型（无需深度包检测）

Vivek Kumar Sharma

机构 * Palo Alto Networks（帕洛阿尔托网络） 纠错

专题命中 指令微调 ：language model(title,comments)；分类 cs.AI

AI总结 提出PLM-NIDS，利用RWKV-4状态空间模型将网络流作为语言处理，仅基于L3/L4包元数据检测攻击，无需深度包检测，实现零样本异常检测（PR-AUC=0.93）和加密协议透明处理。

Comments 20 pages Research paper on Packet Language Models for Network Intrusion Detection Systems(Without Deep Packet Inspection).Code available on GitHub

Multilingual and Multimodal LLMs in the Wild: Building for Low-Resource Languages

多语言和多模态大语言模型在野：为低资源语言构建

Firoj Alam, Shammur Absar Chowdhury, Enamul Hoque Prince

机构 * Qatar Computing Research Institute（卡塔尔计算研究所） ； HBKU（哈马德大学） ； York University（约克大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.CL；large language model(comments)；language model(comments)

AI总结 本文探讨了在有限数据和计算资源下构建多语言多模态大语言模型的方法，涵盖了低成本数据创建、三模态对齐适配器堆栈以及文化感知评估等核心技术和资源。

Comments Multimodal Foundation Models, Large Language Models, Native, Multilingual, Language Diversity, Low-resources-language

LLaVAFlow: Preserving Latent Alignment Flow for Parameter-Efficient Multimodal Fine-Tuning

LLaVAFlow：用于参数高效多模态微调的潜在对齐流保留方法

Muyao Yuan, Muyan Jiao, Jiangyong Ying, Weizhan Zhang, Yuanhong Zhang, Lan Ma, Yuan Gao, Haipeng Du

机构 * MOEKLINNS ； China Telecom（中国电信） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 针对多模态大语言模型微调的灾难性遗忘问题，本文提出即插即用的LLaVAFlow框架，通过信息论蒸馏保留跨模态对齐流，提升下游任务性能与泛化能力。

Comments Accepted by ACM Multimedia 2026 (ACM MM 2026)

MLLM-Assisted Audio VOS: A 3rd Place Report for the MeViS-Audio Track, 8th LSVOS Challenge

多模态大语言模型（MLLM）辅助音频引导的视频目标分割：第8届LSVOS挑战赛MeViS音频赛道第3名报告

Liangtao Shi, Jinxia Xie, Xiantao Hu, Ting Liu

机构 * Hefei University of Technology（合肥工业大学） ； Nanjing University of Science and Technology（南京理工大学） ； Hunan Police College（湖南警察学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 该研究提出一种结合MLLM与SAM的无训练音频引导视频分割框架，分解任务至各阶段并选用适配基础模型，在第8届LSVOS挑战赛MeViS音频赛道获第3名，验证了基础模型用于该任务的有效性。

Comments 5 pages

Can We Perform Online RL for Image Editing without Editing Rewards?

我们能否在无编辑奖励的情况下进行图像编辑的在线强化学习？

Qichao Ma, Jikang Cheng, Ling Liang, Zhaofei Yu, Tiejun Huang, Renye Yan

专题命中 指令微调 ：language model(abstract)；preference optimization(abstract)；prompting(abstract)

AI总结 本文提出Lever-Edit框架，将文本到图像（T2I）奖励生态系统迁移至图像编辑，在无编辑奖励的情况下优化编辑策略，实验效果优于直观迁移基线且接近基于编辑奖励的微调。

Mise-en-Scène: Implicit Layout Emergence in Diffusion Transformers for Human-AI Design Co-Creation

场景布置（Mise-en-Scène）：用于人机协同设计共创的扩散Transformer中隐式布局的涌现

Zipeng Xu, Ryan Murdock, Umberto Michieli

机构 * Canva Research（Canva研究院） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；language model(abstract)

AI总结 本文提出Mise-en-Scène框架，通过微调扩散Transformer实现隐式布局涌现，结合匹配放置步骤保证素材保真度，在PrismLayersPlus基准上生成的设计感知质量显著优于现有方法。

Comments Best Paper Award at ECCV Human-AI Co-Creation Workshop

VisG AV-HuBERT: Viseme-Guided AV-HuBERT

VisG AV-HuBERT：基于视觉发音的AV-HuBERT

Aristeidis Papadopoulos, Rishabh Jain, Naomi Harte

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出VisG AV-HuBERT，通过引入辅助的发音分类任务，强化模型对视觉发音特征的依赖，提升在噪声环境下的语音识别性能。

Comments Includes Supplementary Material. Accepted for Publication at International Conference on Pattern Recognition 2026 - ICPR 2026. Code is available at https://github.com/aristosp/visg_avhubert

Journal ref A. Papadopoulos, R. Jain, N. Harte, VisG AV-HuBERT: Viseme-Guided AV-HuBERT, in Pattern Recognition. ICPR 2026, Lecture Notes in Computer Science, vol. 16812, pp. 667-682, Springer, 2026

YOLO-PEFT: Parameter-Efficient Fine-Tuning on YOLO Family

YOLO-PEFT：针对YOLO系列的参数高效微调

Xu Lin, WenJie Nie, Jinlong Peng, Weifu Fu, YueXiao Ma, Xiawu Zheng, Yong Liu

专题命中 指令微调 ：SFT(abstract,abstract_cn)；language model(abstract)

AI总结 YOLO-PEFT是一种针对YOLO系列的结构感知参数高效微调框架，将适配器部署建模为约束规划问题，在VOC数据集上的实验显示其检测精度优于全微调，且能减少训练内存。

Kimi K2.5: Visual Agentic Intelligence

Kimi K2.5：视觉代理智能

Kimi Team, Tongtong Bai, Yifan Bai, Yiping Bao, S. H. Cai, Yuan Cao, Ziwei Chai, Y. Charles, H. S. Che, Cheng Chen, Guanduo Chen, Huarong Chen, Jia Chen, Jianlong Chen, Jun Chen, Kefan Chen, Liang Chen, Ruijue Chen, Xinhao Chen, Yanru Chen, Yanxu Chen, Yicun Chen, Yimin Chen, Yingjiang Chen, Yuankun Chen, Yujie Chen, Yutian Chen, Zhirong Chen, Ziwei Chen, Dazhi Cheng, Yean Cheng, Minghan Chu, Jialei Cui, Jiaqi Deng, Muxi Diao, Hao Ding, Mengfan Dong, Mengnan Dong, Yuxin Dong, Yuhao Dong, Angang Du, Chenzhuang Du, Dikang Du, Lingxiao Du, Yulun Du, Yu Fan, Shengjun Fang, Qiulin Feng, Yichen Feng, Garimugai Fu, Kelin Fu, Hongcheng Gao, Tong Gao, Yuyao Ge, Shangyi Geng, Chengyang Gong, Xiaochen Gong, Zhuoma Gongque, Qizheng Gu, Xinran Gu, Yicheng Gu, Longyu Guan, Shuhao Guan, Yuanying Guo, Xiaoru Hao, Dailan He, Tianhong He, Weiran He, Wenyang He, Yibo He, Yunjia He, Chao Hong, Hao Hu, Jiaxi Hu, Yangyang Hu, Zhenxing Hu, Ke Huang, Ruiyuan Huang, Weixiao Huang, Zhiqi Huang, Chaobo Jia, Tao Jiang, Zhejun Jiang, Xinyi Jin, Yu Jing, Guokun Lai, Aidi Li, C. Li, Cheng Li, Fang Li, Guanghe Li, Guanyu Li, Haitao Li, Haoyang Li, Jia Li, Jingwei Li, Junxiong Li, Lincan Li, Mo Li, Weihong Li, Wentao Li, Xinhang Li, Xinhao Li, Yang Li, Yanhao Li, Yiwei Li, Yuxiao Li, Zhaowei Li, Zhaoxi Li, Zheming Li, Weilong Liao, Jiawei Lin, Xiaohan Lin, Yibo Lin, Zhishan Lin, Zichao Lin, Cheng Liu, Chenyu Liu, Hongzhang Liu, Liang Liu, Shaowei Liu, Shudong Liu, Shuran Liu, Tianwei Liu, Tianyu Liu, Weizhou Liu, Xiangyan Liu, Yangyang Liu, Yanming Liu, Yibo Liu, Yuanxin Liu, Zhengying Liu, Zhongnuo Liu, Enzhe Lu, Haoyu Lu, Zhiyuan Lu, G. Luo, Junyu Luo, Tongxu Luo, Yashuo Luo, Long Ma, Shaoguang Mao, Yuan Mei, Xin Men, Fanqing Meng, Zhiyong Meng, Yibo Miao, Minqing Ni, Kun Ouyang, Siyuan Pan, Bo Pang, Yuchao Qian, Ruoyu Qin, Zeyu Qin, Jiezhong Qiu, Bowen Qu, Zeyu Shang, Youbo Shao, Tianxiao Shen, Zhennan Shen, Juanfeng Shi, Lidong Shi, Shengyuan Shi, Feifan Song, Pengwei Song, Tianhui Song, Xiaoxi Song, Hongjin Su, Jianlin Su, Zhaochen Su, Lin Sui, Jinsong Sun, Junyao Sun, Tongyu Sun, Flood Sung, Yunpeng Tai, Chuning Tang, Heyi Tang, Xiaojuan Tang, Zhengyang Tang, Jiawen Tao, Shiyuan Teng, Chaoran Tian, Pengfei Tian, Bowen Wang, Chensi Wang, Chuang Wang, Congcong Wang, Dingkun Wang, Dinglu Wang, Dongliang Wang, Feng Wang, Hailong Wang, Haiming Wang, Hao Wang, Hengzhi Wang, Huaqing Wang, Hui Wang, Jiahao Wang, Jinhong Wang, Jiuzheng Wang, Kaixin Wang, Linian Wang, Qibin Wang, Shengjie Wang, Shuyi Wang, Si Wang, Wei Wang, Xiaochen Wang, Xinyuan Wang, Yao Wang, Yejie Wang, Yipu Wang, Yiqin Wang, Yucheng Wang, Yuzhi Wang, Zhaoji Wang, Zhaowei Wang, Zhengtao Wang, Zhexu Wang, Zifan Wang, Zihan Wang, Zizhe Wang, Chu Wei, Ming Wei, Chuan Wen, Zichen Wen, Chengjie Wu, Haoning Wu, Junyan Wu, Rucong Wu, Wenhao Wu, Yuefeng Wu, Yuhao Wu, Yuxin Wu, Zijian Wu, Chenjun Xiao, Jin Xie, Xiaotong Xie, Yuchong Xie, Bowei Xing, Boyu Xu, Jianfan Xu, Jing Xu, Jinjing Xu, L. H. Xu, Lin Xu, Suting Xu, Weixin Xu, Xinbo Xu, Xinran Xu, Yangchuan Xu, Yichang Xu, Yuemeng Xu, Zelai Xu, Ziyao Xu, Junjie Yan, Yuzi Yan, Guangyao Yang, Hao Yang, Junwei Yang, Kai Yang, Ningyuan Yang, Xiaofei Yang, Xinlong Yang, Xinyu Yang, Ying Yang, Yi Yang, Yi Yang, Zhen Yang, Zhilin Yang, Zonghan Yang, Haotian Yao, Dan Ye, Haoran Ye, Wenjie Ye, Zhuorui Ye, Peng Yebo, Bohong Yin, Chengzhen Yu, Longhui Yu, Tao Yu, Tianxiang Yu, Enming Yuan, Mengjie Yuan, Xiaokun Yuan, Yang Yue, Weihao Zeng, Dunyuan Zha, Haobing Zhan, Dehao Zhang, Hao Zhang, Jin Zhang, Puqi Zhang, Qiao Zhang, Rui Zhang, Xiaobin Zhang, Xiaoyun Zhang, Y. Zhang, Yadong Zhang, Yangkun Zhang, Yichi Zhang, Yizhi Zhang, Yongting Zhang, Yu Zhang, Yushun Zhang, Yutao Zhang, Yutong Zhang, Zheng Zhang, Chenguang Zhao, Feifan Zhao, Jinxiang Zhao, Shuai Zhao, Xiangyu Zhao, Xuanle Zhao, Yikai Zhao, Zijia Zhao, Huabin Zheng, Ruihan Zheng, Shaojie Zheng, Tengyang Zheng, Junfeng Zhong, Longguang Zhong, Weiming Zhong, M. Zhou, Runjie Zhou, Xinyu Zhou, Zaida Zhou, Jinguo Zhu, Liya Zhu, Xinhao Zhu, Yuxuan Zhu, Zhen Zhu, Jingze Zhuang, Weiyu Zhuang, Ying Zou, Xinxing Zu

机构 * Kimi Team（Kimi 团队） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 Kimi K2.5通过联合优化文本和视觉模态，提出Agent Swarm框架，实现多模态代理智能的先进性能和高效任务处理。

Comments Kimi K2.5 tech report

GROM: Gradient-Free Rapid One-Shot Machine Unlearning

GROM：无梯度快速一次性机器遗忘

Paweł Batorski, Przemysław Spurek, Paul Swoboda

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 GROM是一种无梯度快速一次性机器遗忘方法，通过闭式加性更新实现高效知识移除，在多数据集上取得最优遗忘-效用权衡，且能抵御低比特量化攻击。

The Illusion of Safety: Multi-Tier Verification of AI vs. Human C++ Code

安全的假象：AI与人类C++代码的多层验证

Saif Mahmud, Fadul Sikder, Yuede Ji, Haotian Zhang, Yu Lei

专题命中 指令微调 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出VULBENCH-CPP基准，通过四层验证发现AI生成C++代码的运行时违规率约为人类代码的两倍，静态分析会因代码长度产生安全假象。

FaithEyes: Towards Faithful Tool Use via Multi-Agent Process-Image Verification

FaithEyes：通过多智能体过程图像验证实现可信的工具使用

Haoqing Wang, Xingrun Xing, Wei Xia, Ziheng Li, Yehui Tang

机构 * Samsung Research（三星研究院） ； Peking University（北京大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；language model(abstract)

AI总结 本研究提出多智能体框架FaithEyes，通过子智能体判断主智能体的工具调用以提升工具使用可信性，在视觉感知与推理基准上实现了更优准确率。

Gaze-to-text Generation: Beyond Categorical Decoding of Human Attention

凝视到文本生成：超越人类注意力的分类解码

Sounak Mondal, Dimitris Samaras, Gregory Zelinsky, Minh Hoai

机构 * Stony Brook University（纽约州立大学石溪分校） ； Australian Institute for Machine Learning（澳大利亚机器学习研究所） ； Adelaide University（阿德莱德大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 该研究提出将凝视解码为自然语言描述人类目标的新问题，构建Gazette框架，基于多模态大语言模型，利用新颖策略合成出声思考转录本并指令调优，使其在多任务凝视解码中达最优性能，能推断多样场景下人类目标意图。

Comments To appear in European Conference on Computer Vision (ECCV) 2026

Summary of DCASE 2026 Task 5: Audio-Dependent Question Answering

DCASE 2026任务5总结：音频相关问答

Haolin He, Renhe Sun, Zheqi Dai, Xingjian Du, Chunyat Wu, Zining Liang, Zhengxi Liu, Jiahe Lei, Runbang Wang, Jiayi Zhou, Mingru Yang, Xiquan Li, Yun Chen, Xie Chen, Zhiyao Duan, Weiqiang Wang, Mark D. Plumbley, Jian Liu, Qiuqiang Kong

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 DCASE 2026任务5聚焦音频相关问答，用音频依赖过滤管道构建评估集。比赛分两轨道，众多团队参与。成均馆大学团队取得较好成绩，还分析了常见构建模块、测试方法及各系统普遍遗漏的项目。

Test-Time Scaling for Small VLMs on Multilingual Visual MCQ

多语言视觉多项选择题中小视觉语言模型的测试时缩放

Spiros Baxevanakis, Peng-Jian Yang

机构 * ImageCLEF Lab（图像CLEF实验室） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究小型视觉语言模型在多语言视觉多项选择题中的测试时缩放，比较多种方法，发现运行条件重要，可解析性是关键，增加解码预算有帮助，复杂方法贡献小，最佳配置在测试集上表现出色，位居排行榜首位。

Comments 14 pages, 2 figures, accepted at ImageCLEF 2026

Automatic Thematic Indexing of Large Literary Corpora: A Machine Learning Approach to Voltaire's Complete Works

大型文学语料库的自动主题索引：一种适用于伏尔泰全集的机器学习方法

Miguel Arana-Catania, Gillian Pink, Glenn Roe

机构 * University of Oxford（牛津大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文以伏尔泰全集子语料库为测试案例，将自动主题索引任务设为多标签分类问题，比较多种机器学习方法，最佳模型F1分数达0.67，还评估跨语料库泛化及分析模型行为，为大规模文学和历史语料库的结构化主题访问提供了启示。

Comments 22 pages, 3 figures, 3 tables

Localized LoRA-MoE: Block-wise Low-Rank Experts With Adaptive Routing

局部化LoRA-MoE：具有自适应路由的逐块低秩专家模型

Babak Barazandeh, Subhabrata Majumdar, Vinay Prithyani, George Michailidis

机构 * Fortinet（Fortinet公司） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对大语言模型等依赖参数高效微调方法的局限，提出融合局部空间分块与动态上下文条件路由的Localized LoRA-MoE框架，介绍两种架构范式并证明其能解决静态基线优化死锁问题。

Finetuning Lightweight LLMs for Control Flow Graph Generation

用于控制流图生成的轻量级语言模型微调

Hanyu Zhang, Tomoji Kishi

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究用微调轻量级大语言模型生成控制流图，设计统一输出格式和特定任务微调提示，构建数据集，在六个模型上评估，结果表明微调后的轻量级模型在生成控制流图上效果良好，有跨语言泛化能力。

Comments Accept by The 38th International Conference on Software Engineering & Knowledge Engineering Short Paper

Right in the Right Way: LM Training with Verifiable Rewards and Human Demonstrations

以正确的方式正确：结合可验证奖励和人类演示的LM训练

Mehul Damani, Isha Puri, Idan Shenfeld, Jacob Andreas

机构 * MIT EECS（麻省理工学院电气工程与计算机科学系） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出对抗生成器-判别器框架，在可验证奖励基础上加入人类演示信号，同时优化任务准确性和非可验证属性，在代码修复、故事生成等任务中提升人类相似度并减少奖励黑客行为。

From Search to Synthesis: Training LLMs as Zero-Shot Workflow Generators

从搜索到合成：训练大语言模型为零样本工作流生成器

Gan Luo, Zihan Qin, Bin Dong, Wotao Yin

机构 * School of Mathematics Science, Peking University（北京大学数学科学学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出MetaFlow，将工作流生成视为元学习问题，通过两阶段训练（监督微调+强化学习）使模型能生成可泛化的任务级工作流，在问答、代码生成和数学推理任务上实现零样本泛化。

Comments 35 pages, 8 figures

GUI-AIMA: Aligning Intrinsic Multimodal Attention with a Context Anchor for GUI Grounding

GUI-AIMA: 对齐内在多模态注意力与上下文锚点以实现GUI定位

Shijie Zhou, Viet Dac Lai, Hao Tan, Jihyung Kil, Wanrong Zhu, Changyou Chen, Ruiyi Zhang

机构 * University at Buffalo（布法罗大学） ； Adobe Research（Adobe研究院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 GUI-AIMA通过多模态注意力对齐与上下文锚点，实现高效的GUI定位，无需坐标生成，提升数据效率和性能。