语言大模型 / LLM

ARM: An AutoRegressive Large Multimodal Model with Unified Discrete Representations

ARM: 一种具有统一离散表示的自回归大型多模态模型

Junke Wang, Xiao Wang, Jiacheng Pan, Xuefeng Hu, Feng Li, Jingxiang Sun, Chaorui Deng, Zilong Chen, Yunpeng Chen, Kaibin Tian, Matthew Gwilliam, Hao Chen, Danhui Guan, Kun Xu, Weilin Huang, Zuxuan Wu, Haoqi Fan, Yu-Gang Jiang, Zhenheng Yang

机构 * Shanghai Key Lab of Intelligent Information Processing, Fudan University（复旦大学上海智能信息处理重点实验室） ； School of Computer Science, Fudan University（复旦大学计算机科学技术学院） ； Shanghai Collaborative Innovation Center of Intelligent Visual Computing（上海智能视觉计算协同创新中心） ； Youtu Lab, Tencent（腾讯优图实验室） ； Meta AI ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 预训练与数据 ：preference optimization(abstract)

AI总结 提出ARM模型，通过离散语义视觉分词器将图像映射为紧凑token序列，结合自回归建模和强化学习，统一实现图像理解、生成和编辑，并提升任务性能与跨任务协同。

Comments technical report

OMG: Omni-Modal Motion Generation for Generalist Humanoid Control

OMG: 面向通用人形机器人的全模态运动生成

Siqiao Huang, Kun-Ying Lee, Dongming Qiao, Guanqi He, Zhenyu Wang, Yitang Li, Shaoting Zhu, Hang Zhao

机构 * Tsinghua University（清华大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 提出OMG框架，通过精心策划的数据流程和扩散模型，实现基于语言、音频和参考动作的全模态全身控制，展示了最先进的性能和可扩展性。

Comments Project Page: https://tsinghua-mars-lab.github.io/OMG/

Optimized Sampling of Angle-Resolved Scatterometry Data Using End-to-End Compressed Learning Model for Nanograss Deficiency Detection

使用端到端压缩学习模型优化角度分辨散射测量数据采样用于纳米草缺陷检测

Mehdi Abdollahpour, Carsten Bockelmann, Armin Dekorsy

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 提出端到端压缩学习框架，集成可学习纬度采样层与CNN，联合优化采样与分类，在减少90%采样点下保持94.2%的五级缺陷分类精度。

Comments Preprint. 13 pages, 11 figures

CL-CLIP: CLIP-Based Continual Learning Framework with Cost-Volume Category Decoupling for Object Detection

CL-CLIP: 基于CLIP的持续学习框架与代价体积类别解耦用于目标检测

Zihan Liu, Yuguang Yang, Shengjie Su, Jianing Pang, Linlin Yang, Chunyu Xie, Nikolai Yu. Zolotykh, Baochang Zhang

机构 * National College for Excellent Engineers, Beihang University（卓越工程师学院，北京航空航天大学） ； AI Research, Qihoo 360（360人工智能研究院，奇虎360） ； School of Electronic Information Engineering, Beihang University（电子信息学院，北京航空航天大学） ； School of Cyber Science and Technology, Beihang University（网络安全科学与技术学院，北京航空航天大学） ； School of Computer Science and Engineering, Beihang University（计算机科学与工程学院，北京航空航天大学） ； State Key Laboratory of Media Convergence and Communication, Communication University of China（媒体融合与传播国家重点实验室，中国传媒大学） ； Institute of Information Technology, Mathematics and Mechanics, Lobachebsky University（信息技术、数学与力学学院，洛瓦茨基大学） ； School of Artificial Intelligence, Beihang University（人工智能学院，北京航空航天大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 提出CL-CLIP框架，通过代价体积引导的类别解耦，增强开放词汇检测器的持续学习能力，缓解灾难性遗忘，在PASCAL VOC和MS-COCO上显著提升F-ViT基线性能。

PhyRoGen: Synthetic Generation of Physical Robot Manipulation Puzzles Using Procedural Content Generation

PhyRoGen：使用程序化内容生成物理机器人操作谜题的合成生成

Lennart Julian Droß, Andreas Orthey, Marc Toussaint

机构 * Technical University of Berlin（柏林技术大学） ； Robotics Institute Germany（德国机器人研究所） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 提出PhyRoGen框架，利用程序化内容生成自动创建机器人操作谜题的合成数据集，生成的24个谜题可在1-300秒内求解，并在物理仿真中验证可操作性。

Comments 8 pages, accepted at CASE 2026

Sub-Billion, Super-Frontier: Small Language Models Rival Zero-Shot Frontier LLMs on General and Literary Relation Extraction

十亿以下，超级前沿：小语言模型在通用和文学关系抽取上媲美零样本前沿LLM

Despina Christou, Grigorios Tsoumakas

机构 * School of Informatics, Aristotle University of Thessaloniki（亚里士多德大学塞萨洛尼基分校信息学院） ； Archimedes, Athena Research Center（雅典娜研究中心阿基米德实验室） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；language model(title,abstract)；small language model(title,abstract)；SLM(summary_cn,abstract_cn)

AI总结 研究小语言模型（SLM）在通用和文学关系抽取任务上能否通过任务适配缩小与零样本前沿LLM的差距，发现4位SLM经微调后性能超越GPT-5.4和Claude Sonnet 4.6，归因于任务适配而非生成解码。

Comments 41 pages, 3 figures, 25 tables

Similar Models Learn Differently: Final-Window Pretraining Shapes Post-Training Beyond SFT

相似模型学习方式不同：最终窗口预训练对训练后行为的塑造超越监督微调

Cen Lu, Yung-Chen Tang, Andrea Cavallaro

专题命中 指令微调 ：SFT(title,summary_cn)；pretraining(title,abstract)；post-training(title,abstract)；instruction tuning(abstract)

AI总结 研究探讨模型预训练最后窗口对训练后行为的影响，通过控制实验发现不同预训练最后窗口数据的分支，SFT后表现相近，但后续训练走向不同，安全文本分支有保护效果，表明不能仅依SFT后行为评估模型，还应考虑预训练最后内容。

Comments 16 pages, 13 figures

Trade-offs in Medical LLM Adaptation: An Empirical Study in French QA

医学LLM适应中的权衡：法语问答的实证研究

Ikram Belmadani, Oumaima El Khettari, Carlos Ramisch, Frederic Bechet, Richard Dufour, Benoit Favre

机构 * Aix-Marseille Univ., CNRS, LIS UMR 7020（艾克斯-马赛大学，法国国家科学研究中心，LIS UMR 7020） ； Nantes Univ., École Centrale Nantes, CNRS, LS2N UMR 6004（南特大学，南特中央理工大学，法国国家科学研究中心，LS2N UMR 6004） ； Grenoble Alpes Univ., CNRS, INRIA, Grenoble INP, LIG UMR 5217（格勒诺布尔阿尔卑斯大学，法国国家科学研究中心，INRIA，格勒诺布尔INP，LIG UMR 5217） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 通过法语医学问答任务，实证比较持续预训练（CPT）和监督微调（SFT）在多个模型家族和规模下的效果，发现CPT+SFT在多项选择问答上最优但增益小，SFT是强且经济的默认选择，而CPT在开放式问答中提升重叠指标。

SyncPlan: Long-Horizon LLM Coordination with Explicit Synchronization and Adaptive Correction

SyncPlan：通过显式同步与自适应修正实现长视 Large Language Model（大语言模型，LLM）协调

Shen You, Xiaoming Zhu, Weining Weng, Hefei Mei, Weixuan Wang, Zhongshen Li, Zeji LI, Ye-Wen Wang, Zijun Liao, Juchao Zhuo, Yang Wei, Fuhao Qiu, Siqin Li, Zhenjie Lian, Danei Gong, Junkai Ji, Xiangtao Li, Qiuzhen Lin, Liang Wang, Ka-Chun Wong

专题命中 指令微调 ：LLM(title,title_cn)；large language model(title_cn)；language model(title_cn)；SFT(abstract,abstract_cn)

AI总结 SyncPlan 是用于长视 LLM 多智能体协调的“规划-执行-修正”框架，通过显式同步、自适应修正及轻量级计划过时检测器优化，在低耗时下实现了超越现有方法的任务成功率。

Repository-Level Solidity Code Generation with Large Language Models: From Prompting to Fine-Tuning

基于大语言模型的仓库级Solidity代码生成：从提示到微调

Shi Chen, Rongcun Wang, Yuan Tian, Xiaoyuan Xie, Wei Song, Rubing Huang

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(title,abstract)

AI总结 提出SolidityBench基准和SolidityScore指标，评估多种LLM方法在仓库级Solidity代码生成中的表现，发现监督微调最有效。

Comments 33 pages

Large Language Model for Operations Research Formulation Selection in Multi-Warehouse Inventory Allocation

用于多仓库库存分配中运筹学公式选择的大语言模型

Jintao Xu, Yingzheng Ma, Jiong Dong, Yongzhi Qi, Jianshen Zhang

专题命中 指令微调 ：SFT(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 研究多仓库库存分配中运筹学公式选择问题，提出求解器引导的大语言模型框架，通过构建SFT记录、转换质量差距为偏好等进行训练，实验表明GRPO能显著提高选择准确性和分配质量。

Unlocking Speech-Text Compositional Powers: Instruction-Following Speech Language Models without Instruction Tuning

解锁语音-文本组合能力：无需指令微调的指令跟随语音语言模型

Congrui Du, Yang Zhang, Kaizhi Qian, Shiyu Chang

机构 * University of California, Santa Barbara, USA（加州大学圣芭芭拉分校） ； MIT-IBM Computing Research Lab, IBM Research, USA（麻省理工-IBM计算研究实验室，IBM研究） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；language model(title,abstract)；instruction tuning(title,abstract)；SLM(abstract,abstract_cn)

AI总结 提出SpeechCombine，通过单轮30k小时语音预训练和权重组合，无需指令微调即可实现指令跟随，有效将文本LLM能力迁移至语音域。

Fine-Tuning Large Language Models for Quantum Reasoning

微调大型语言模型用于量子推理

Katherine Ip, Casey R. Myers, Udaya Parampalli, James Quach, Peiyong Wang

机构 * School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算机与信息系统学院） ； School of Physics, Mathematics and Computing, The University of Western Australia（西澳大学物理、数学与计算学院） ； Pawsey Supercomputing Centre（帕韦西超级计算中心） ； CSIRO Clayton（CSIRO 克莱顿分校） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)

AI总结 提出通过量子电路模拟微调LLM，比较监督微调与两阶段SFT+GRPO方法，实现量子推理能力提升。

Comments 30 pages, 9 figures

From Tokens to Regions: CUDA-Sensitive Instruction Tuning for GPU Kernel Generation

从令牌到区域：面向GPU内核生成的CUDA敏感指令微调

Wentao Chen, Jiace Zhu, Xing Zhe Chai, Zeng Qu, Qiaoling Xiao, Liucheng Duan, An Zou

机构 * Shanghai Jiao Tong University（上海交通大学） ； Biren Technology（壁仞科技） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；SFT(summary_cn,abstract)；instruction tuning(title)；large language model(abstract)

AI总结 提出CuSeT方法，通过自适应令牌级掩码和区域感知样本重加权，在简单SFT框架内提升LLM生成CUDA内核的功能正确性。

When RL Fails after SFT: Rejuvenating Model Plasticity for Robust SFT-to-RL Handoff

当强化学习在监督微调后失效：恢复模型可塑性以实现稳健的SFT到RL交接

Runze Liu, Jiashun Liu, Xu Wan, Yuqian Fu, Ling Pan

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Zhejiang University（浙江大学） ； State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（多模态人工智能系统国家重点实验室，CASIA） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对SFT过度训练导致RL阶段改进有限的问题，提出Rejuvenation方法，通过基模型锚定融合和神经元重置恢复模型可塑性，在数学推理和智能体任务上提升RL性能。

Automated Summarization of Financial News Using Large Language Models and Retrieval-Augmented Generation: An Early Empirical Study (Fall 2023)

基于大语言模型与检索增强生成的财经新闻自动摘要：2023年秋的早期实证研究

Pranav Chandaliya

机构 * George Washington University（乔治·华盛顿大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 该2023年秋的研究构建了结合LLM与RAG的财经新闻摘要流程，测试多种模型与方法，发现Summarize Chains的Falcon-7B表现最优，RAG存在缺陷，且相关失效模式至今仍具参考价值。

Comments 17 pages, 1 figure, 6 tables. Research conducted Fall 2023 at George Washington University; manuscript prepared for public release in 2026

Fine-Tuning Qwen3-27B for C-to-Rust Code Translation: A Three-Stage Curriculum of Pretraining, Debugging-Aware SFT, and Task-Specific SFT

微调Qwen3-27B实现C到Rust代码翻译：预训练、调试感知监督微调与任务特定监督微调的三阶段课程

Pu Zhao, Changdi Yang, Yixiao Chen, Yi Gao, Yifan Cao, Haochen Zeng, Yanzhi Wang

机构 * Northeastern University（东北大学） ； EmbodyX Inc（EmbodyX公司） ； Aibao LLC（Aibao有限责任公司） 纠错

专题命中 指令微调 ：SFT(title,abstract)；pretraining(title,abstract)；LLM(summary_cn,abstract_cn)；large language model(abstract)

AI总结 本研究针对C到Rust代码翻译任务，对Qwen3-27B采用三阶段微调课程，结合SACTOR框架评估后，其性能优于基线模型及其他LLM。

ConnectionMind: Leveraging Social Networks and Large Language Models for Personalized Recommendation at Meta

ConnectionMind：利用社交网络与大语言模型实现 Meta 平台的个性化推荐

Haoyu Han, Yuming Liu, Lei Huang, Lizhu Zhang, Jiliang Tang, Xiangjun Fan

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)

AI总结 该研究提出 ConnectionMind 框架，结合社交网络与 LLM，经两阶段学习训练后，在 Meta 部署并通过 A/B 测试实现视频观看时长 0.43% 的提升，解决传统推荐模型的多关系上下文整合不足问题。

Reinforcement learning to improve large language model-based automated code compliance systems

强化学习改进基于大语言模型的自动化代码合规系统

Jack Wei Lun Shi, Minghao Dang, Wawan Solihin, Leong Hien Poh, Justin K. W. Yeoh

机构 * National University of Singapore（新加坡国立大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； NovaCITYNETS 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)

AI总结 提出P4IR两阶段框架，先通过监督微调注入领域知识，再用GRPO优化高层代码骨架的准确性，在零样本设置下优于多个领先大语言模型。

Comments 22 pages, 12 figures, 1 table

ScaleToT: Generalizing Structured LLM Reasoning for Billion-Scale Low-Activity User Modeling

ScaleToT: 将结构化LLM推理泛化到十亿级低活跃用户建模

Tianbao Ma, Chang Xi, Yichuan Zou, Chengen Li, Linxun Chen, Zilong Lu, Yanan Niu, Zhaojie Liu, Han Li, Kun Gai

专题命中 指令微调 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出ScaleToT，通过从少量LLM处理子集学习结构化推理并泛化到大规模低活跃用户，使用有界熵引导的思维树和OSIPO训练学生模型，在十亿级广告部署中提升LT30 6.738%。

Pushing the Limits of LLM Tool Calling via Experiential Knowledge Integration and Activation

通过经验知识集成与激活推动LLM工具调用极限

Yupu Hao, Zhuoran Jin, Huanxuan Liao, Kang Liu, Jun Zhao

机构 * The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统认知与决策智能重点实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 研究如何通过经验知识获取、激活和内化提升LLM多步工具调用性能，提出知识增强工具执行框架KATE，结合宽度扩展推理与知识感知训练，在BFCL-V3和AppWorld上显著优于基线。

L20-Edu-135M: An Auditable Single-GPU Study of Data-Efficient Small Language Modeling

L20-Edu-135M: 一个可审计的单GPU数据高效小语言模型研究

Yin Li

机构 * University of Birmingham（伯明翰大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；language model(title,abstract)；small language model(title,abstract)；pretraining(abstract)

AI总结 本研究在单块NVIDIA L20 GPU上训练134.5M参数的语言模型，使用约13B tokens，通过数据筛选、去重、SFT和RLVR等方法，在零样本任务上达到SmolLM-135M 87.1%的性能，但仅使用其2.17%的tokens。

Comments 13 pages, 8 tables. Model available at https://huggingface.co/AliceYin/l20-edu-135m

Emergence of Context Characteristics Sensitivity in Large Language Models

大型语言模型中上下文特征敏感性的涌现

Nadya Yuki Wangsajaya, Haeun Yu, Isabelle Augenstein

机构 * Nanyang Technological University（南洋理工大学） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)

AI总结 通过测量监督微调、直接偏好优化和可验证奖励强化学习三个阶段，发现大型语言模型对上下文特征的敏感性在指令微调过程中动态变化，其中监督微调使模型倾向于使用易理解的上下文，而后续阶段可能强化或改变这一偏好。

First Demonstration of Multi-Agent LLM System for Million-Scale Optical Link Management in Global Production AIDCs

面向全球生产型人工智能数据中心（AIDC）中百万级光链路管理的多智能体大语言模型（LLM）系统的首次演示

Jingyi Su, Yihao Zhang, Dianxuan Fu, Leiyan Fei, Juan Wang, Mengfan Dai, Qing Liu, Xiong Wu, Yufeng Jiang, Cheng Chen, Bowen Zhang, Peilong Wang, Xi Chen, Zonglong He, Hongchen Yu, Zhicheng Ye, Weisheng Hu, Qunbi Zhuge

专题命中 指令微调 ：LLM(title,title_cn)；SFT(summary_cn,abstract)

AI总结 该研究首次演示了用于全球生产型AIDC百万级光链路自主故障管理的多智能体LLM系统，经SFT和记忆演化优化，在十周现场数据中F1达97.7%、故障减少超60%，性能优于SOTA LLM。

Comments 4 pages, 3 figures

Post-training is (Massive) Supervised Learning

后训练是（大规模）监督学习

Michael Hassid, Yossi Adi, Roy Schwartz

机构 * FAIR, Meta AI（Meta AI 基础人工智能研究团队） ； The Hebrew University of Jerusalem（耶路撒冷希伯来大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；SFT(summary_cn,abstract)；post-training(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文论证当前LLM后训练阶段（SFT+RL）实质是回归到BERT时代的“预训练-微调”范式，通过实验表明从零开始后训练的模型也能取得显著性能，并提出应转向“学会学习”的训练方式。

Why Large Language Models Fail at Tabular Prediction

为什么大型语言模型在表格预测任务中表现不佳

Marta Garnelo, Wojciech M. Czarnecki

机构 * Fundamental Technologies（基础技术） ； Voylab 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)

AI总结 该研究探究通用大型语言模型（LLM）在表格预测任务中表现不佳的原因，通过控制实验排除了数据噪声、CSV格式等因素，发现维度是关键，LLM准确率随维度增长下降，而经典基线方法不受影响。

Intelligence Is Not the Bottleneck: Validating an LLM First-Pass Manuscript Score Against Peer-Review Outcomes

智能并非瓶颈：验证LLM初稿评分与同行评审结果的一致性

Costa Georgantas

机构 * aipr.pub（aipr实验室） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本研究验证了LLM系统AIPR通过提示对论文进行评分，无需微调，其整体评分能有效区分ICLR会议的接收与拒绝论文（AUROC 0.82），且评分稳定、可复现，为辅助同行评审提供了可靠依据。

Comments 34 pages, 14 figures

Improving LLM-Based SSH Honeypots Through Prompting and Fine-Tuning

通过提示工程和微调改进基于大语言模型（LLM）的SSH蜜罐

Muris Sladić, Veronica Valeros, Eman Alibalić, Sebastian Garcia

专题命中 指令微调 ：LLM(title,title_cn)；prompting(title,abstract)

AI总结 本文通过提示设计和微调改进本地LLM SSH蜜罐，发现提示设计影响显著，扩展数据集微调可提升性能，但提示与微调效果无法简单结合，二者可能因重叠约束产生冲突。

Fine-Tuning Small Language Models for Reliable VASP INCAR Generation

微调小型语言模型以生成可靠的VASP INCAR文件

Xinyue Zhang, Jixiang Li, Bin Shao, Baishun Yang, Zhiyang Liu, Weichao Wang

专题命中 指令微调 ：SLM(summary_cn,abstract)；language model(title,abstract)；small language model(title,abstract)；LLM(abstract)

AI总结 本研究通过微调小型语言模型（SLM）并搭配后处理器VASPGuard构建INCAR-SLM，在INCARBench上优于通用大模型，证明小型模型经适配可可靠生成VASP INCAR文件，适配后性能随规模增长趋于饱和。

DIVE: Unlocking Self-Improvement in Frozen Language Models Through Diversity-Driven Skill Evolution

DIVE：通过多样性驱动的技能进化解锁冻结语言模型的自我提升

Siheng Xiong, Ali Payani, Oguzhan Gungordu, Faramarz Fekri

专题命中 指令微调 ：LLM(summary_cn,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)

AI总结 DIVE是一种多样性驱动的无参数框架，可让冻结LLM从任务经验和验证器反馈中进化出自然语言技能，在多项推理任务上优于现有方法，还能实现模型间技能迁移，让小模型性能匹配或超越大模型。