语言大模型 / LLM

StoSignSGD: Unbiased Structural Stochasticity Fixes SignSGD for Training Large Language Models

StoSignSGD：无偏结构随机性修正SignSGD用于训练大语言模型

Dingzhi Yu, Rui Pan, Yuxing Liu, Difan Zou, Tong Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；foundation model(abstract)

AI总结 本文提出StoSignSGD算法，通过在sign操作中注入结构随机性，解决SignSGD在非光滑目标下的发散问题，理论和实验均证明其在凸和非凸优化中的优越性。

EduDial: Constructing a Large-scale Multi-turn Teacher-Student Dialogue Corpus

EduDial：构建大规模多轮师生对话语料库

Shouang Wei, Min Zhang, Xin Lin, Bo Jiang, Zhongxiang Dai, Kun Kuang

机构 * East China Normal University（华东师范大学） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究构建了大规模师生对话语料库EduDial，开发了EduDial-LLM 32B及11维教学能力评估框架，实验显示该模型在主流LLMs中表现最优。

Comments Accepted to Findings of EMNLP 2026

Helping the Helper: LLM-Assisted Problem Articulation for Older Adults Seeking Technology Support

通过基础模型赋能老年人数字技术使用

Hasti Sharifi, Homaira Huda Shomee, Melissa Lamar, Sourav Medya, Debaleena Chattopadhyay

机构 * Department of Computer Science University of Illinois Chicago（计算机科学系伊利诺伊大学芝加哥分校） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究通过基础模型解决老年人在数字技术使用中的沟通障碍，开发了OATS数据集，提高了解决方案的准确性和用户信心。

ATHENA: Knowledge-guided agentic neural architecture search for AutoFormer-based electronic health record modeling

ATHENA：面向基于AutoFormer的电子健康记录建模的知识引导型智能体神经架构搜索

Deyi Li, Qi Xu, Lingyao Li, Tiansheng Wang, Muxuan Liang, Mei Liu

机构 * University of Florida（佛罗里达大学） ； University of Arizona（亚利桑那大学） ； University of Houston（休斯顿大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； University of Texas MD Anderson Cancer Center（德克萨斯大学MD安德森癌症中心） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本研究提出知识引导型智能体NAS框架ATHENA，通过跨医院复用架构知识，在6项临床预测任务的12项评估中9项优于或匹配基线方法，可减少Transformer型EHR建模的手动架构调整。

Predict before you train: Scaling Laws for particle physics foundation models

训练前预测：粒子物理基础模型的缩放定律

Jan-Lucas Uslu, Benjamin Nachman, Christopher Re

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 研究粒子物理基础模型训练成本高及缩放回报难测问题，通过在小模型上拟合联合缩放定律预测大模型损失，还将其与下游物理性能关联，发布相关预训练模型、训练方法及代码。

Trilingual Topic Modeling of Sri Lankan Parliamentary Debates

斯里兰卡议会辩论的三语主题建模

Himath Dhanapala, Haren Daishika, Himandhi Kuruppu, Sithija Seneviratne, Ashini Kavindya, Patalee Narasinghe, Sandeepa Weerasekara, Nisansa de Silva, Sandareka Wickramanayake

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 针对斯里兰卡议会三语辩论语料库因多语言特性难以处理的问题，提出基于LLM的文本提取结合多语言嵌入与密度聚类的端到端框架，辅以BiTopic方法，成功识别三种语言的30个宏观主题，其时间轨迹与重大国家事件吻合，且性能优于传统LDA。

TranslatePsy-AfriSLM: High-Quality Data Scaling For Low-Resource Machine Translation

TranslatePsy-AfriSLM：面向低资源机器翻译的高质量数据扩展

Milan Gritta, Patrik Lambert, Jihye Back, Amril Nazir

机构 * Tether AI Research（泰瑟人工智能研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；language model(abstract)；small language model(abstract)；SLM(abstract_cn)

AI总结 针对非洲语言机器翻译的数字鸿沟问题，推出面向19种撒哈拉以南非洲语言的开源资源TranslatePsy-AfriSLM，经质量过滤后构建的小参数模型性能远超更大规模的同类系统。

Comments EMNLP 2026 (main conference)

Tracing Target Answers in Poisoned Retrieval Corpora via Token Influence Attribution

通过令牌影响归因追踪中毒检索语料库中的目标答案

Yan-Lun Chen, Pin-Yu Chen, Chia-Mu Yu, Ying-Dar Lin, Yu-Sung Wu, Wei-Bin Lee

机构 * National Yang Ming Chiao Tung University（阳明交通大学） ； IBM Research（IBM研究院） ； Hon Hai Research Institute（宏海研究院） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 提出TRACE框架，通过令牌影响归因识别检索增强生成系统中的语料投毒攻击，无需额外分类器或LLM验证，在三个QA基准和六个LLM上验证了有效性。

Comments This paper has been accepted to EMNLP 2026 Industry Track

TokEval: A Tokenizer Evaluation Suite

TokEval：一个分词器评估套件

Clara Meister

机构 * EPFL（洛桑联邦理工学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 本研究推出TokEval框架，通过信息论、结构敏感等指标评估分词器，经实验验证其可预测下游模型性能，助力更原则性的分词器评估。

Comments Published as a conference paper at COLM 2026; Library hosted at this https URL (https://github.com/cimeister/tokenizer-intrinsic-evals)

iFlip: Iterative Feedback-driven Counterfactual Example Refinement

iFlip: 迭代反馈驱动的反事实示例精炼

Yilong Wang, Qianli Wang, Nils Feldhus

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 iFlip通过迭代反馈驱动的方法生成有效反事实示例，提升模型性能和鲁棒性。

Comments Camera-ready version accepted to EMNLP 2026 Findings

STORM: Stepwise Token Optimization with Reward-Guided Beam Search

STORM: 基于奖励引导束搜索的逐步令牌优化

Arthur Satouf, Giulio D'Erasmo, Yuxuan Zong, Habiboulaye Amadou Boubacar, Pablo Piantanida, Benjamin Piwowarski

机构 * MILA – Quebec AI Institute & ILLS（魁北克人工智能研究所与ILLs） ； Université Paris-Saclay & CentraleSupélec & CNRS（巴黎-萨克雷大学及CentraleSupélec与CNRS） ； Air Liquide ； Sorbonne Université & ISIR & CNRS（索邦大学及ISIR与CNRS） ； Sapienza, University of Rome（罗马大学Sapienza） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出STORM框架，通过检索奖励引导的束搜索在每一步优化令牌选择，实现词汇检索的查询扩展，在多个基准上匹配或超越大模型重写器，并零样本迁移至18种语言。

Addressing Corpus Knowledge Poisoning Attacks on RAG Using Sparse Attention

通过稀疏注意力缓解RAG中的语料知识污染攻击

Sagie Dekel, Moshe Tennenholtz, Oren Kurland

机构 * Faculty of Data and Decision Sciences, Technion - Israel Institute of Technology, Haifa, Israel（数据与决策科学学院，技术Ion-以色列理工学院，海法，以色列） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出SDAG方法，通过稀疏注意力机制有效防御RAG中的语料知识污染攻击，显著提升防御性能。

LLMTrace: A Corpus for Classification and Fine-Grained Localization of AI-Written Text

LLMTrace：用于AI生成文本分类与细粒度定位的语料库

Irina Tolstykh, Aleksandra Tsybina, Sergey Yakubson, Maksim Kuprashevich

机构 * Department of R&D, SALUTEDEV LLC（研发部，SALUTEDEV LLC） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对AI文本检测领域缺乏合适训练数据的问题，本文构建了双语语料库LLMTrace，支持全文二元分类与AI生成区间检测，可用于训练评估更精细的AI检测模型。

Comments EMNLP 2026 Findings

Temporally Centered SIGReg Improves LeWorldModel Representations for Robot Policy Learning

时间中心SIGReg改进多任务LeWorldModel学习：从分析到方法

Chang Liu, Fei Suo, Yanzhou Jin, Zeyu Ping, Yusuke Iwasawa, Yutaka Matsuo, Yaonan Zhu

机构 * Graduate School of Engineering, The University of Tokyo（东京大学工程学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 该研究针对SIGReg在多任务LeWM中导致表示混叠的问题，提出将其应用于时间中心残差的改进方法，在LIBERO基准上显著提升了多任务世界模型的下游性能。

Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models

视觉还是认知？多模态大语言模型的视觉上下文敏感性

Jiaang Li, Chengzu Li, Zhaochong An, Yifei Yuan, Xi Liu, Serge Belongie, Vésteinn Snæbjarnarson

机构 * University of Copenhagen（哥本哈根大学） ； University of Cambridge（剑桥大学） ； ETH Zürich（苏黎世联邦理工学院） ； Clemson University（克莱姆森大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)

AI总结 该研究探究多模态大语言模型在视觉证据与先验冲突任务上的失效原因，引入WhatIfVis基准，发现其能编码视觉证据但难以控制对其的依赖，监督微调等方法可提升可控性。

Activating Latent Security Knowledge through LLM-Guided Risk Analysis for Secure Code Generation

SPARK: 基于安全知识引导与表示激活的LLM安全代码生成

Xiaoyun Xu, Lichao Wu, Jona te Lintelo, Siyu Zhang, Keke Gai, Stjepan Picek

机构 * Radboud University（拉德堡德大学） ； University of Bristol（布里斯托大学） ； University of Zagreb（扎格雷布大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出SPARK方法，通过检索CWE条目并添加结构化提示激活模型内隐安全知识，结合预计算令牌偏置，无需重训练即可提升代码安全性。

When Emotion Becomes Trigger: Emotion-style dynamic Backdoor Attack Parasitising Large Language Models

当情绪成为触发：利用情绪风格动态后门攻击寄生大语言模型

Ziyu Liu, Tao Li, Tao Yang, Tianjie Ni, Xiaolong Lan, Wengang Ma, Junjiang He

机构 * School of Cyber Science and Engineering, Sichuan University（四川大学计算机科学与工程学院） ； School of Computer Science, China West Normal University（西南大学计算机科学学院） ； School of Electronic and Information Engineering, Lanzhou Jiaotong University（兰州交通大学电子信息工程学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出Paraesthesia攻击，通过情绪风格动态后门触发机制，在大语言模型中实现高隐蔽性的恶意输出。

A Comedy of Estimators: On KL Regularization in RL Training of LLMs

估计器的喜剧：关于在LLM训练中的KL正则化

Vedant Shah, Johan Obando-Ceron, Vineet Jain, Brian Bartoldson, Bhavya Kailkhura, Sarthak Mittal, Glen Berseth, Pablo Samuel Castro, Yoshua Bengio, Esmeralda S. Whitammer, Moksh Jain, Siddarth Venkatraman, Aaron Courville

机构 * McGill University（麦吉尔大学） ； LawZero（法零） ； LLNL（劳伦斯利弗莫尔国家实验室） ； University of Edinburgh（爱丁堡大学） ； CIFAR AI Chair（CIFAR人工智能主席） ； CIFAR Fellow 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了在LLM训练中使用KL正则化的估计器方法，分析了不同配置对训练稳定性及下游性能的影响，发现偏导数估计器可能导致训练不稳定，而无偏导数估计器能提升模型在领域内外任务的表现。

UCO: A Multi-Turn Interactive Reinforcement Learning Method for Adaptive Teaching with Large Language Models

UCO：一种用于基于大语言模型的自适应教学的多轮交互强化学习方法

Shouang Wei, Min Zhang, Xin Lin, Bo Jiang, Kun Kuang, Jingyuan Chen, Zhongxiang Dai

机构 * East China Normal University（东华大学） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 UCO通过多轮交互强化学习方法，利用进展奖励和支架奖励函数，提升大语言模型在教育场景中的自适应教学能力。

Comments Accepted to EMNLP 2026 (Main Conference)

LatentSkill: From In-Context Textual Skills to In-Weight Latent Skills for LLM Agents

LatentSkill: 从上下文文本技能到LLM智能体的权重内隐技能

Aofan Yu, Chenyu Zhou, Tianyi Xu, Zihan Guo, Rong Shan, Zhihui Fu, Jun Wang, Weiwen Liu, Yong Yu, Weinan Zhang, Jianghao Lin

机构 * Shanghai Jiao Tong University（上海交通大学） ； Sun Yat-Sen University（中山大学） ； Shanghai Innovation Institute（上海创新研究院） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 提出LatentSkill框架，通过预训练超网络将文本技能转换为即插即用的LoRA适配器，将技能知识存储在权重空间而非上下文空间，从而减少预填充令牌并提升性能。

Comments 10 pages, 4 figures

GradSentry: Gradient Spectral Entropy for Backdoor Sample Filtering in Large Language Model Fine-Tuning

GradSentry: 大语言模型微调中基于梯度谱熵的后门样本过滤

Haodong Zhao, Tianyi Xu, Tianhang Zhao, Zhuosheng Zhang, Gongshen Liu

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)

AI总结 提出GradSentry方法，利用每个样本梯度的谱熵区分后门样本与干净样本，无需聚类即可在任意投毒比例下有效过滤后门样本。

Comments Accepted as EMNLP 2026 Main

AgentDiff: Meaning-Bearing Rewrites Trigger Deeper Divergence than Presentation Changes in LLM Agents

LLM 代理何时对表面噪声与语义噪声做出不同处理？一项基于 68 个单元格的测量研究及留出轨迹级验证

Liyun Zhang, Jiayi Guo

机构 * School of Information and Software Engineering, UESTC（信息与软件工程学院，电子科技大学） ； Jacobs School of Engineering, UC San Diego（工程学院，加州大学圣地亚哥分校） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.CL

AI总结 本研究通过 68 个单元格的测量实验，发现大语言模型驱动的思维链和 ReAct 代理对语义扰动（如释义、同义词）比表现扰动（如格式、重排序）更敏感，并基于留出模型和轨迹级机制分析提出了“隐蔽发散”解释。

Reconstruction of Personally Identifiable Information from Proprietary Data in Supervised Fine-Tuned Models

从监督微调模型中重建个人身份信息

Sae Furukawa, Alina Oprea

机构 * Northeastern University（东北大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文研究了从监督微调模型中重建个人身份信息的问题，提出COVA算法在前缀攻击下优于现有提取方法，揭示了不同PII类型泄露程度差异。

Synthesizing Instruction-Tuning Datasets with Contrastive Decoding

通过对比解码合成指令微调数据集

Tatsuya Ichinose, Youmi Ma, Masanari Oi, Ryuto Koike, Naoaki Okazaki

机构 * Department of Computer Science, School of Computing, Institute of Science Tokyo（东京科学大学计算机科学系） ； National Institute of Advanced Industrial Science and Technology（国家先进工业科学与技术研究院） ； Research and Development Center for Large Language Models, NII（大型语言模型研究与开发中心，日本信息产业技术综合研究所） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 本文提出CoDIT方法，通过对比解码分离预训练知识与指令遵循能力，提升指令微调效果。实验表明基于CoDIT构建的数据集在多个基准上表现更优。

Comments 26 pages, 7 figures

SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning

SAME: 用于多模态持续指令调优的稳定混合专家模型

Zhen-Hao Xie, Jun-Tao Tang, Yu-Cheng Shi, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

机构 * State Key Laboratory of Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对多模态持续指令调优中专家路由漂移和专家漂移问题，提出稳定混合专家模型（SAME），通过正交子空间分解路由动态和曲率感知缩放更新专家，实现无重放的状态最优性能。

Comments Accepted to ICML 2026. Code is available at this https URL (https://github.com/LAMDA-CL/Prism)

From National Curricula to Cultural Awareness: Constructing Open-Ended Culture-Specific Question Answering Dataset

从国家课程到文化意识：构建开放性文化特定问答数据集

Haneul Yoo, Won Ik Cho, Geunhye Kim, Jiyoon Han

机构 * KAIST AI Center（韩国国立科学技术院人工智能中心） ； Samsung Electronics（三星电子） ； Hankuk University of Foreign Studies（韩国外语大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 本文提出CuCu框架，利用国家课程构建文化特定的开放性问答数据集KCaQA，以提升语言模型在文化对齐方面的表现。

Comments EMNLP 2026

Ladder Up, Memory Down: Low-Cost Fine-Tuning With Side Nets

向上爬，记忆下降：低成本微调与侧边网络

Estelle Zheng, Nathan Cerisara, Sébastien Warichet, Emmanuel Helbert, Christophe Cerisara

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 LST通过轻量级侧边网络实现高效微调，比QLoRA更节省内存，同时在多个任务中保持竞争力。

Comments 24 pages, 20 figures

World Models for Policy Refinement in StarCraft II

为《星际2》政策细化设计的世界模型

Yixin Zhang, Ziyi Wang, Yiming Rong, Haoxi Wang, Jinling Jiang, Shuang Xu, Haoran Wu, Shiyu Zhou, Bo Xu

机构 * The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（认知与决策智能复杂系统重点实验室，自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 StarWM为《星际2》政策细化设计的世界模型，通过预测未来观察和结构化文本表示提升策略决策性能。

A Layer-wise Analysis of Supervised Fine-Tuning

对监督微调的分层分析

Qinghua Zhao, Xueling Gong, Xinyu Chen, Zhongfeng Kang, Xinlu Li

机构 * Hefei University（合肥大学） ； Lanzhou University（兰州大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文通过信息论、几何和优化指标分析模型规模，揭示了中间层稳定而顶层敏感的分层特性，并提出Mid-Block Efficient Tuning方法，在GSM8K数据集上优于LoRA，证明有效对齐是局部而非分布的。

Comments Accepted by ACL 2026 main conference

Two Heads are Better Than One: Test-time Scaling of Multi-agent Collaborative Reasoning

两个脑袋胜过一个：测试时扩展多智能体协作推理

Can Jin, Hongwu Peng, Qixin Zhang, Yang Zhou, Yujin Tang, Tong Che, Dimitris N. Metaxas

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对单智能体测试时扩展（TTS）的瓶颈，提出用多智能体系统（MAS）升级TTS，引入M500数据集并结合CEO智能体的自适应策略，微调的Qwen2.5-32B-MAS等模型性能优于基础模型。