语言大模型 / LLM

Semi-Supervised Learning for Large Language Models Safety and Content Moderation

大型语言模型安全性和内容审核的半监督学习

Eduard Stefan Dinuta, Iustin Sirbu, Traian Rebedea

机构 * National University of Science and Technology Politehnica Bucharest（波兰技术大学科学与技术国家大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出利用半监督学习提升大型语言模型的安全性，通过结合标记和未标记数据以及任务特定增强技术，提高安全分类器的性能。

O3SLM: Open Weight, Open Data, and Open Vocabulary Sketch-Language Model

O3SLM：开放权重、开放数据和开放词汇草图-语言模型

Rishi Gupta, Mukilan Karuppasamy, Shyam Marjit, Aditay Tripathi, Anirban Chakraborty

机构 * IISc（印度理工学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；instruction tuning(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 O3SLM通过构建大规模图像-草图-指令三元组数据集和训练模型，实现了对草图理解和推理的突破性进展。

Comments Accepted to AAAI 2026

Scaling Laws for Economic Productivity: Experimental Evidence in LLM-Assisted Consulting, Data Analyst, and Management Tasks

经济生产力的扩展定律：在LLM辅助咨询、数据分析师和管理任务中的实验证据

Ali Merali

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过实验发现，LLM训练计算量和算法进展可提升专业任务效率，非代理分析任务的生产力增益更大，预计未来十年美国生产力将提升约20%。

C2LLM Technical Report: A New Frontier in Code Retrieval via Adaptive Cross-Attention Pooling

C2LLM技术报告：通过自适应跨注意力池化实现代码检索的新前沿

Jin Qin, Zihan Liao, Ziyin Zhang, Hang Yu, Peng Di, Rui Wang

机构 * Ant Group（蚂蚁集团） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 C2LLM通过自适应跨注意力池化技术，实现更高效的代码检索，其模型在代码嵌入任务中取得新突破。

Artificial or Just Artful? Do LLMs Bend the Rules in Programming?

人工还是艺术？LLMs在编程中是否会打破规则？

Oussama Ben Sghaier, Kevin Delcourt, Houari Sahraoui

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；prompting(abstract)

AI总结 本文研究了LLMs在不同提示条件下如何调整代码生成策略，发现测试可见性显著影响性能，测试驱动的细化成为主要适应策略。

DiTSinger: Scaling Singing Voice Synthesis with Diffusion Transformer and Implicit Alignment

DiTSinger: 通过扩散变换器和隐式对齐扩展歌唱语音合成

Zongcai Du, Guilin Deng, Xiaofeng Guo, Xin Gao, Linke Li, Kaichang Cheng, Fubo Han, Siyu Yang, Peng Liu, Pan Zhong, Qiang Fu

机构 * Migu Music, China Mobile Communications Corporation, China（咪咕音乐，中国移动通信集团，中国） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.AI

AI总结 DiTSinger通过扩散变换器和隐式对齐机制实现高效且高保真的歌唱语音合成，解决了数据稀缺和模型扩展性问题。

Comments ICASSP26 under review. Demo page: https://nju-jet.github.io/DiTSinger

Enhancing Lung Cancer Treatment Outcome Prediction through Semantic Feature Engineering Using Large Language Models

通过大语言模型进行语义特征工程提升肺癌治疗预后预测

MunHwan Lee, Shaika Chowdhury, Xiaodi Li, Sivaraman Rajaganapathy, Eric W Klee, Ping Yang, Terence Sio, Liewei Wang, James Cerhan, Nansu NA Zong

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本研究利用大语言模型进行语义特征工程，提升肺癌治疗预后预测的准确性与可解释性。

Rethinking Supervised Fine-Tuning: Emphasizing Key Answer Tokens for Improved LLM Accuracy

重新思考监督微调：强调关键答案标记以提高LLM准确性

Xiaofeng Shi, Qian Kou, Yuduo Li, Hua Zhou

机构 * Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院） ； Beijing Jiaotong University (BJTU)（北京交通大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 SFTKey通过两阶段训练方案，强调关键答案标记以提高LLM在复杂推理任务中的准确性。

The Silent Scholar Problem: A Probabilistic Framework for Breaking Epistemic Asymmetry in LLM Agents

沉默学者问题：一种基于概率的框架，用于在LLM代理中打破知识不对称性

Zan-Kai Chong, Hiroyuki Ohsaki, Bryan Ng

机构 * School of Science and Technology（科学与技术学院） ； Kwansei Gakuin University（冈山大学） ； School of Engineering & Computer Science（工程与计算机科学学院） ； Victoria University of Wellington（惠灵顿维多利亚大学） 纠错

专题命中 指令微调 ：LLM(title)；SFT(abstract)；RLHF(abstract)；分类 cs.AI

AI总结 本文提出了一种基于概率的框架，用于在LLM代理中打破知识不对称性，通过双向知识交流和不确定性驱动的主动学习策略提升代理的适应性和信息获取能力。

HyDRA: Hierarchical and Dynamic Rank Adaptation for Mobile Vision Language Model

HyDRA：面向移动视觉语言模型的分层和动态秩适应

Yuanhao Xi, Xiaohuan Bing, Ramin Yahyapour

机构 * Liaoning Technical University（辽宁技术大学） ； University of Göttingen（哥廷根大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 HyDRA通过分层和动态秩调度优化，提升移动视觉语言模型的微调效率和性能。

Deadline-Aware Online Scheduling for LLM Fine-Tuning with Spot Market Predictions

面向截止期限的在线调度用于大语言模型微调与预留市场预测

Linggao Kong, Yuedong Xu, Lei Jiao, Chuan Xu

机构 * Fudan University（复旦大学） ； University of Oregon（俄勒冈大学） ； Inria（法国国家信息与自动化研究所） 纠错

专题命中 指令微调 ：LLM(title)；foundation model(abstract)；分类 cs.LG

AI总结 本文提出了一种面向截止期限的在线调度方法，结合预留和按需实例，通过预测和策略选择算法实现大语言模型微调的低成本高效调度。

LookPlanGraph: Embodied Instruction Following Method with VLM Graph Augmentation

LookPlanGraph: 一种基于视觉语言模型图增强的具身指令跟随方法

Anatoly O. Onishchenko, Alexey K. Kovalev, Aleksandr I. Panov

机构 * MIRAI ； Cognitive AI Systems Lab（认知人工智能系统实验室） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 LookPlanGraph通过动态更新场景图实现具身指令跟随，利用视觉语言模型增强环境感知，优于静态场景图方法。

STARE-VLA: Progressive Stage-Aware Reinforcement for Fine-Tuning Vision-Language-Action Models

STARE-VLA：渐进式阶段感知强化用于视觉-语言-动作模型微调

Feng Xu, Guangyao Zhai, Xin Kong, Tingzhong Fu, Daniel F. N. Gordon, Xueli An, Benjamin Busam

机构 * Munich Research Center, Huawei Technologies（慕尼黑研究中心，华为技术） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 STARE-VLA通过渐进式阶段感知强化方法，提升视觉-语言-动作模型的动作准确性，实现SimplerEnv和ManiSkill3任务中的高成功率。

Real Time Detection and Quantitative Analysis of Spurious Forgetting in Continual Learning

持续学习中虚假遗忘的实时检测与定量分析

Weiwei Wang

机构 * Shenzhen Sunline Tech Co., Ltd.（深圳Sunline科技有限公司） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出浅层与深层对齐框架，通过定量指标和实时检测方法解决持续学习中的虚假遗忘问题，提升模型鲁棒性。

ETP-R1: Evolving Topological Planning with Reinforcement Fine-tuning for Vision-Language Navigation in Continuous Environments

连续环境中的视觉-语言导航（VLN-CE）需要一个具身体验的智能体在连续环境中导航至目标，遵循自然语言指令。虽然当前基于图的方法通过将环境抽象为拓扑地图并简化动作空间到路径选择，提供了一种高效、结构化的方法，但它们在利用大规模数据和先进训练范式方面落后于基于大视觉-语言模型（LVLMs）的方法。在本文中，我们通过引入ETP-R1框架，将数据扩展和强化微调（RFT）范式应用于基于图的VLN-CE模型，以弥合这一差距。

Shuhao Ye, Sitong Mao, Yuxiang Cui, Xuan Yu, Shichao Zhai, Wen Chen, Shunbo Zhou, Rong Xiong, Yue Wang

机构 * Zhejiang University（浙江大学） ； Huawei Technologies Co., Ltd（华为技术有限公司） ； Zhejiang Humanoid Robot Innovation Center（浙江人形机器人创新中心） 纠错

专题命中 指令微调 ：language model(abstract)；pretraining(abstract)

AI总结 ETP-R1通过数据扩展和强化微调范式，提升基于图的连续环境视觉-语言导航性能，实现新状态最先进的表现。

Comments 8 pages, 6 figures

Unbiased Region-Language Alignment for Open-Vocabulary Dense Prediction

无偏区域-语言对齐用于开放词汇密集预测

Yunheng Li, Yuxuan Li, Quansheng Zeng, Wenhai Wang, Qibin Hou, Ming-Ming Cheng

机构 * VCIP, CS, Nankai University（南开大学计算机科学与技术学院） ； NKIARI, Shenzhen Futian（深圳福田国家信息研究院） ； OpenGVLab, Shanghai AI Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 DenseVLM通过无偏区域-语言对齐提升开放词汇密集预测性能

Comments Accepted at ICCV 2025. The code is available at https://github.com/HVision-NKU/DenseVLM

LLaDA2.0: Scaling Up Diffusion Language Models to 100B

LLaDA2.0：将扩散语言模型扩展到100B参数

Tiwei Bie, Maosong Cao, Kun Chen, Lun Du, Mingliang Gong, Zhuochen Gong, Yanmei Gu, Jiaqi Hu, Zenan Huang, Zhenzhong Lan, Chengxi Li, Chongxuan Li, Jianguo Li, Zehuan Li, Huabin Liu, Lin Liu, Guoshan Lu, Xiaocheng Lu, Yuxin Ma, Jianfeng Tan, Lanning Wei, Ji-Rong Wen, Yipeng Xing, Xiaolu Zhang, Junbo Zhao, Da Zheng, Jun Zhou, Junlin Zhou, Zhanchao Zhou, Liwang Zhu, Yihong Zhuang

机构 * Ant Group（蚂蚁集团） ； Renmin University of China（中国人民大学） ； Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； HongKong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；post-training(abstract)；SFT(abstract)

AI总结 LLaDA2.0通过三阶段块级训练方案将扩散语言模型扩展至100B参数，实现高效前沿规模部署。

Comments 19 pages

Sequence to Sequence Reward Modeling: Improving RLHF by Language Feedback

序列到序列奖励建模：通过语言反馈改进RLHF

Jiayi Zhou, Jiaming Ji, Juntao Dai, Dong Li, Yaodong Yang

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 通过序列到序列奖励建模方法改进RLHF，提升LLMs对齐人类意图的性能。

Comments 7 pages

Rethinking Direct Preference Optimization in Diffusion Models

重新思考扩散模型中的直接偏好优化

Junyong Kang, Seohyun Lim, Kyungjune Baek, Hyunjung Shim

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出了一种改进扩散模型偏好优化的方法，通过稳定参考模型更新和时间步感知训练策略，提升模型在人类偏好评估中的性能。

Comments Accepted by SPIGM@NeurIPS 2025 and AAAI-26 (Oral)

Bootstrapping LLMs via Preference-Based Policy Optimization

通过基于偏好的策略优化提升大语言模型

Chen Jia

机构 * Chen Jia（陈佳） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于偏好的策略优化框架，通过主动收集偏好数据实现大语言模型的持续改进，并在多个基准测试中优于现有方法。

Adaptive Financial Sentiment Analysis for NIFTY 50 via Instruction-Tuned LLMs , RAG and Reinforcement Learning Approaches

通过指令调优LLMs、RAG和强化学习方法实现NIFTY 50的自适应金融情绪分析

Chaithra, Kamesh Kadimisetty, Biju R Mohan

机构 * National Institute of Technology Karnataka（印度卡纳塔克国家理工学院） ； Gayatri Vidya Parishad College of Engineering（迦雅利维达帕希拉工程学院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出结合指令调优LLMs、RAG和强化学习的方法，提升NIFTY 50金融情绪分析的准确性和市场适应性。

Comments Accepted in CODS 2025

Revisiting the Learning Objectives of Vision-Language Reward Models

重新审视视觉-语言奖励模型的学习目标

Simon Roy, Samuel Barbeau, Giovanni Beltrame, Christian Desrosiers, Nicolas Thome

机构 * Polytechnique Montréal（蒙特利尔理工学院） ； École de Technologie Supérieure（高级技术学院） ； Sorbonne Université（索邦大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过统一框架评估了基于VLM的奖励模型，发现简单三元组损失在性能上优于现有方法，表明改进可能源于数据和架构差异。

Comments Published as an extended abstract at World Modeling Workshop 2026

Data-regularized Reinforcement Learning for Diffusion Models at Scale

大规模扩散模型中的数据正则化强化学习

Haotian Ye, Kaiwen Zheng, Jiashu Xu, Puheng Li, Huayu Chen, Jiaqi Han, Sheng Liu, Qinsheng Zhang, Hanzi Mao, Zekun Hao, Prithvijit Chattopadhyay, Dinghao Yang, Liang Feng, Maosheng Liao, Junjie Bai, Ming-Yu Liu, James Zou, Stefano Ermon

机构 * Stanford University（斯坦福大学） ； NVIDIA ； Tsinghua University（清华大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 DDRL通过数据正则化方法提升扩散模型的奖励表现，有效缓解奖励黑客问题，实现高分辨率视频生成中的高人偏好和可扩展训练。

Quantifying Laziness, Decoding Suboptimality, and Context Degradation in Large Language Models

量化懒惰、解码亚优性和上下文退化现象于大语言模型

Yiqing Ma, Jung-Hua Liu

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.AI

AI总结 研究量化了大语言模型在多部分指令中的懒惰、解码亚优性和上下文退化现象，发现模型在简单任务中表现稳健，但需通过自我完善和动态提示提升指令合规性。

SMART SLM: Structured Memory and Reasoning Transformer, A Small Language Model for Accurate Document Assistance

SMART SLM：结构记忆与推理变换器，一种用于准确文档辅助的小语言模型

Divij Dudeja, Mayukha Pal

机构 * ABB Ability Innovation Center（ABB能力创新中心） ； Indian Institute of Information Technology（印度信息科技学院） 纠错

专题命中 长上下文与记忆 ：language model(title)；small language model(title)；SLM(title)；分类 cs.CL、cs.AI

AI总结 SMART SLM通过结构化记忆与推理变换器，提升工程文档处理的准确性与效率。

Rethinking Memory in LLM based Agents: Representations, Operations, and Emerging Topics

重新思考基于大语言模型的智能体中的记忆：表示、操作与新兴主题

Yiming Du, Wenyu Huang, Danna Zheng, Zhaowei Wang, Sebastien Montella, Mirella Lapata, Kam-Fai Wong, Jeff Z. Pan

机构 * The Chinese University of Hong Kong Hong Kong China ； The University of Edinburgh Edinburgh UK ； The Hong Kong University of Science ； Huawei Technologies Research \& Development (UK) Limited Edinburgh UK ； The Chinese University of Hong Kong ； The University of Edinburgh ； Huawei Technologies Research \& Development (UK) Limited 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出基于大语言模型的智能体中记忆的分类框架，涵盖参数型与上下文型记忆，定义六个核心操作，并揭示四个关键研究方向。

AegisAgent: An Autonomous Defense Agent Against Prompt Injection Attacks in LLM-HARs

AegisAgent：一种对抗LLM-HAR中提示注入攻击的自主防御代理

Yihan Wang, Huanqi Yang, Shantanu Pal, Weitao Xu

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 AegisAgent通过自主推理和验证机制，有效降低LLM-HAR系统中提示注入攻击的成功率，提升系统安全性。

RevFFN: Memory-Efficient Full-Parameter Fine-Tuning of Mixture-of-Experts LLMs with Reversible Blocks

RevFFN: 一种内存高效的混合专家语言模型全参数微调方法，采用可逆块

Ningyuan Liu, Jing Yang, Kaitong Cai, Keze Wang

机构 * Sun Yat-sen University（中山大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 RevFFN通过可逆Transformer块实现混合专家语言模型的高效全参数微调，减少内存消耗，提升训练效率。

Comments Under submission

T5Gemma 2: Seeing, Reading, and Understanding Longer

T5Gemma 2: 视觉、阅读与理解更长内容

Biao Zhang, Paul Suganthan, Gaël Liu, Ilya Philippov, Sahil Dua, Ben Hora, Kat Black, Gus Martins, Omar Sanseviero, Shreya Pathak, Cassidy Hardin, Francesco Visin, Jiageng Zhang, Kathleen Kenealy, Qin Yin, Xiaodan Song, Olivier Lacombe, Armand Joulin, Tris Warkentin, Adam Roberts

机构 * Google（谷歌） 纠错

专题命中 长上下文与记忆 ：pretraining(abstract)；post-training(abstract)；分类 cs.CL

AI总结 T5Gemma 2通过改进的编码器-解码器架构，实现了多模态和长上下文处理能力，同时在预训练和微调性能上优于Gemma 3。

Comments technical report

CAKE: Cascading and Adaptive KV Cache Eviction with Layer Preferences

CAKE：基于层优先级的级联和自适应KV缓存淘汰

Ziran Qin, Yuchen Cao, Mingbao Lin, Wen Hu, Shixuan Fan, Ke Cheng, Weiyao Lin, Jianguo Li

机构 * Shanghai Jiao Tong University（上海交通大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 CAKE通过级联和自适应机制优化KV缓存淘汰，提升低内存下的模型性能和解码效率。

Comments Accepted by ICLR 2025