语言大模型 / LLM

Provable Knowledge Acquisition and Extraction in One-Layer Transformers

在单层变换器中可证明的知识获取与提取

Ruichen Xu, Kexin Chen

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了单层变换器中知识获取与提取的机制，通过理论分析和实验验证，揭示了预训练和微调过程中知识存储与提取的关系，以及低秩微调如何恢复预训练的事实知识。

GQA-μP: The maximal parameterization update for grouped query attention

GQA-μP：组查询注意力的最大参数更新

Kyle R. Chickering, Huijuan Wang, Mengxi Wu, Alexander Moreno, Muhao Chen, Xuezhe Ma, Daria Soboleva, Joel Hestness, Zhengzhong Liu, Eric Xing

机构 * UC Davis（加州大学戴维斯分校） ； MBZUAI IFM（脑科学与人工智能研究院（MBZUAI IFM）） ； USC（南加州大学） ； Cerebras（Cerebras公司） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文基于谱特征学习观点，提出组查询注意力的最大参数更新方法，通过数学分析实现参数转移，解决了新模型架构下的参数更新难题。

Comments 18 pages

ENSEMBITS: an alphabet of protein conformational ensembles

ENSEMBITS: 蛋白质构象集合的字母表

Kaiwen Shi, Carlos Oliver

机构 * Department of Computer Science, Vanderbilt University（范德比尔特大学计算机科学系） ； Center for AI in Protein Dynamics, Vanderbilt University（蛋白质动力学中的人工智能中心，范德比尔特大学） ； Department of Molecular Physiology and Biophysics, Vanderbilt University（分子生理学与生物物理学系，范德比尔特大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Ensembits，首个蛋白质构象集合分词器，通过残差VQ-VAE训练，在动态数据稀疏性挑战中表现优异，提升RMSF预测及多种结构预测任务性能。

AgentForesight: Online Auditing for Early Failure Prediction in Multi-Agent Systems

AgentForesight：多智能体系统中在线审计的早期故障预测

Boxuan Zhang, Jianing Zhu, Zeru Shi, Dongfang Liu, Ruixiang Tang

机构 * Rutgers University（新泽西罗格拉大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Purdue University（普渡大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出AgentForesight框架，通过在线审计实现多智能体系统中早期故障预测，利用AFTraj-2K数据集训练出AgentForesight-7B模型，在性能和定位精度上优于GPT-4.1等模型。

Comments 33 pages, 7 figures

Tokenizing Single-Channel EEG with Time-Frequency Motif Learning

使用时间-频率动机学习对单通道EEG进行分词

Jathurshan Pradeepkumar, Xihao Piao, Zheng Chen, Jimeng Sun

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； SANKEN, Osaka University（大阪大学SANKEN） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出TFM-Tokenizer，通过学习单通道EEG信号的时间-频率动机词汇，提升EEG分词准确性，实验显示在多个基准上性能提升达11%，且适用于多种基础模型，具备良好的通用性和可扩展性。

Comments Accepted to ICLR 2026

DUET: Optimizing Training Data Mixtures via Feedback from Unseen Evaluation Tasks

DUET：通过未见评估任务的反馈优化训练数据混合

Zhiliang Chen, Gregory Kang Ruey Lau, Chuan-Sheng Foo, Bryan Kian Hsiang Low

机构 * National University of Singapore（新加坡国立大学） ； Agency for Research, Science, Technology and Research (A*STAR)（研究、科技与研发机构） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出DUET算法，通过结合影响函数与贝叶斯优化，利用未见评估任务的反馈优化训练数据混合，理论证明其能收敛至最优混合，实验显示优于现有方法。

Comments Accepted to ICLR 2026 main conference

MulTaBench: Benchmarking Multimodal Tabular Learning with Text and Image

MulTaBench: 基于文本和图像的多模态表格学习基准测试

Alan Arazi, Eilam Shapira, Shoham Grunblat, Mor Ventura, Elad Hoffer, Gioia Blayer, David Holzmüller, Lennart Purucker, Gaël Varoquaux, Frank Hutter, Roi Reichart

机构 * Technion – Israel Institute of Technology（技术ion – 以色列理工学院） ； Prior Labs（Prior实验室） ； NVIDIA ； SODA Team, INRIA Saclay, Palaiseau（SODA团队，INRIA萨克莱，帕莱索） ； University of Freiburg（弗赖堡大学） ； Probabl ； ELLIS Institute Tübingen（图宾根ELLIS研究所） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 MulTaBench通过40个数据集评估多模态表格学习，强调任务特定的表示学习，展示目标感知表示在文本和图像模态中的泛化能力。

Dynamic Linear Coregionalization for Realistic Synthetic Multivariate Time Series

动态线性共区域化用于真实合成多变量时间序列

Annita Vapsi, Penghang Liu, Saheed Obitayo, Aakriti, Manoj Cherukumalli, Prathamesh Patil, Amit Varshney, Nicolas Marchesotti, Elizabeth Fons, Vamsi K. Potluru, Manuela Veloso

机构 * JPMorganChase（摩根大通） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DynLMC模型，通过引入时变和制度切换相关性及跨通道滞后结构，生成与真实数据相似的多变量时间序列，提升FMTS的迁移能力。

Comments ICLR 2026 Workshop on Time Series in the Age of Large Models

Rethinking Weight Tying: Pseudo-Inverse Tying for LM Stable Training and Updates

重新思考权重绑定：用于语言模型稳定训练和更新的伪逆绑定

Jian Gu, Aldeida Aleti, Chunyang Chen, Hongyu Zhang

机构 * Monash University（墨尔本大学） ； Technical University of Munich（慕尼黑技术大学） ； Chongqing University（重庆大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出伪逆绑定方法，通过同步嵌入和解嵌入作为共享的潜在令牌记忆的耦合投影，提升语言模型训练稳定性与接口一致性，同时改善可解释性探查。

Comments an early-stage version

Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production

暂停呼吸：自适应计算用于自 paced 序列生成

Alexandre Galashov, Matt Jones, Rosemary Ke, Yuan Cao, Vaishnavh Nagarajan, Michael C. Mozer

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CYB损失函数，通过自适应计算机制提升模型表达能力，实验显示在预训练和微调中优于标准交叉熵，降低困惑度并提升下游任务准确率。

Model-Based Proactive Cost Generation for Learning Safe Policies Offline with Limited Violation Data

基于模型的主动成本生成：用于在有限违规数据下学习安全策略

Ruiqi Xue, Lei Yuan, Kainuo Cheng, Jing-Wen Yang, Yang Yu

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； Polixir Technologies Nanjing, China（南京Polixir科技有限公司） ； Tencent Game AI Center Shenzhen, China（腾讯深圳游戏AI中心） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出PROCO框架，利用大语言模型整合自然语言知识，通过构建保守成本函数和模型基于的模拟，减少约束违规并提升安全性，适用于离线数据中极少或无违规样本的高风险场景。

APPSI-139: A Parallel Corpus of English Application Privacy Policy Summarization and Interpretation

APPSI-139: 一个平行语料库，用于英语应用隐私政策的摘要与解释

Pengyun Zhu, Qiheng Sun, Long Wen, Yanbo Wang, Yang Cao, Junxu Liu, Deyi Xiong, Jinfei Liu, Zhibo Wang, Kui Ren

机构 * Tianjin University（天津大学） ； Zhejiang University（浙江大学） ； North University of China（北方工业大学） ； Institute of Science Tokyo（东京科学研究所） ； The Hong Kong Polytechnic University（香港理工大学） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术区（滨江）区块链与数据安全研究院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出APPSI-139平行语料库，包含139个隐私政策及15,692个改写语料，结合TCSI-pp-V2框架提升摘要与解释的可读性与可靠性，优于GPT-4o等大模型。

Comments Accepted to ACL 2026 Main Conference

Association Is Not Similarity: Learning Corpus-Specific Associations for Multi-Hop Retrieval

关联并非相似性：为多跳检索学习语料特定的关联

Jason Dury

机构 * Independent Researcher（独立研究者） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出AAR方法，通过对比学习在嵌入空间中学习语料特定的关联关系，提升多跳检索的召回率，且无需评估集调优。

Comments 10 pages, 7 appendices, 10 tables. Code: https://github.com/EridosAI/AAR

Mix and Match: Context Pairing for Scalable Topic-Controlled Educational Summarisation

混合与匹配：用于可扩展主题控制教育摘要的上下文配对

Nathikan Yodthapa, Thanapong Intharah, Sahan Bulathwela

机构 * Visual Intelligence Laboratory, Department of Statistics, Faculty of Science, Khon Kaen University, Khon Kaen 40002, Thailand（科纳坎大学科学学院统计学系视觉智能实验室） ； Centre for Artificial Intelligence, Department of Computer Science, University College London, London WC1E 6BT, The United Kingdom（伦敦大学学院人工智能中心计算机科学系） 纠错

专题命中 预训练与数据 ：language model(abstract)；small language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种数据增强策略，通过跨文档上下文配对提升小语言模型的主题控制摘要能力，实验表明增强规模增加可提升模型表现，且在参数和训练数据较少时仍能竞争性地表现优异。

Comments To be published at the International Conference on Artificial Intelligence in Education (AIED'26)

The Potential of Second-Order Optimization for LLMs: A Study with Full Gauss-Newton

二阶优化在大语言模型中的潜力：基于完整高斯-牛顿方法的探讨

Natalie Abreu, Nikhil Vyas, Sham Kakade, Depen Morwani

机构 * Kempner Institute, Harvard University（哈佛大学凯普纳研究所） ； Department of Computer Science, Harvard University（哈佛大学计算机科学系） 纠错

专题命中 预训练与数据 ：LLM(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过完整高斯-牛顿预处理探讨了二阶优化在大语言模型训练中的潜力，发现其在训练迭代次数上比现有优化器提升5.4倍，并表明分层Hessian结构能有效实现性能提升。

RA-RRG: Multimodal Retrieval-Augmented Radiology Report Generation with Key Phrase Extraction

RA-RRG：结合关键短语提取的多模态检索增强放射学报告生成

Jonggwon Park, Byungmu Yoon, Soobum Kim, Kyoyun Choi

机构 * DEEPNOID Inc.（DEEPNOID公司） ； Department of Artificial Intelligence and Data Science, Sejong University（Sejong大学人工智能与数据科学系） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 RA-RRG通过结合多模态检索与大语言模型生成放射学报告，减少幻觉和计算需求，实验显示在CheXbert指标上优于现有模型。

Comments ACL 2026, Findings of the Association for Computational Linguistics

Syn-TurnTurk: A Synthetic Dataset for Turn-Taking Prediction in Turkish Dialogues

Syn-TurnTurk：一种用于土耳其对话中轮询预测的合成数据集

Ahmet Tuğrul Bayrak, Mustafa Sertaç Türkel, Fatma Nur Korkmaz

机构 * Qwen（通义实验室） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Syn-TurnTurk数据集，通过Qwen大语言模型生成土耳其对话数据，用于提升轮询预测的准确性与AUC分数，促进自然的人机交互。

Comments Accepted for publication in IEEE ICASI 2026

Caption First, VQA Second: Knowledge Density, Not Task Format, Drives Multimodal Scaling

先caption，后VQA：知识密度而非任务格式驱动多模态扩展

Hongjian Zou, Yue Ge, Qi Ding, Yixuan Liao, Xiaoxin Chen

机构 * vivo AI Lab（vivo人工智能实验室） ； Wuhan University（武汉大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究发现，多模态模型扩展的关键瓶颈在于训练数据的知识密度而非任务格式，通过结构化caption增强和跨模态知识注入可提升模型性能，表明当前多模态模型因训练数据知识覆盖不足而难以扩展。

Comments 23 pages, 4 figures, 10 tables. Preprint

Can Small Training Runs Reliably Guide Data Curation? Rethinking Proxy-Model Practice

小规模训练能否可靠地指导数据整理？重新审视代理模型实践

Jiachen T. Wang, Tong Wu, Kaifeng Lyu, James Zou, Dawn Song, Ruoxi Jia, Prateek Mittal

机构 * Princeton University（普林斯顿大学） ； Tsinghua University（清华大学） ； UC Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） ； Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨了小规模代理模型训练在数据整理中的可靠性问题，指出固定配置协议与全规模模型开发流程的差异，并提出通过降低学习率提升小规模实验的可靠性。

Comments ICLR 2026

VisionFoundry: Teaching VLMs Visual Perception with Synthetic Images

VisionFoundry: 通过合成图像教授VLMs的视觉感知

Guanyu Zhou, Yida Yin, Wenhao Chai, Shengbang Tong, Xingyu Fu, Zhuang Liu

机构 * Princeton University（普林斯顿大学） ； New York University（纽约大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出VisionFoundry，通过任务关键词生成合成数据，提升VLMs在空间理解和视角识别等视觉感知任务上的性能，构建了包含10k图像-问题-答案三元组的VQA数据集，并在多个基准测试中取得显著提升。

Comments Project Page: https://zlab-princeton.github.io/VisionFoundry/

Structured Exploration and Exploitation of Label Functions for Automated Data Annotation

结构化探索与利用标签函数以实现自动化数据标注

Phong Lam, Ha-Linh Nguyen, Thu-Trang Nguyen, Son Nguyen, Hieu Dinh Vo

机构 * Faculty of Information Technology, VNU University of Engineering and Technology（越南国立大学工程与技术学院信息技术系） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出EXPONA框架，通过多级标签函数探索与可靠性机制提升自动化标注质量，实现更一致的标签质量和下游性能。

Comments Accepted by KBS Journal

ADAPTive Input Training for Many-to-One Pre-Training on Time-Series Classification

适应性输入训练用于时间序列分类的多对一预训练

Paul Quinlan, Qingguo Li, Xiaodan Zhu

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ADAPT方法，通过适应性输入训练提升时间序列多任务预训练效果，实现跨数据集的高效对齐与泛化，取得分类基准新高。

Evaluating In-Context Translation with Synchronous Context-Free Grammar Transduction

基于上下文的翻译评估：同步上下文无关文法转换

Jackson Petty, Jaulie Goe, Tal Linzen

机构 * New York University（纽约大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究LLM在低资源语言翻译中的挑战，通过构建形式文法模型评估翻译性能，发现语法规模、句子长度及语言差异显著影响翻译准确性。

Retrieval Augmented Time Series Forecasting

检索增强的时间序列预测

Kutay Tire, Ege Onur Taga, Muhammed Emrullah Ildiz, Samet Oymak

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of Michigan, Ann Arbor（密歇根大学安娜堡分校） 纠错

专题命中 预训练与数据 ：LLM(abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出检索增强预测框架RAF，用于提升时间序列预测的准确性，尤其在大规模模型中效果更显著。

InfoTok: Information-Theoretic Regularization for Capacity-Constrained Shared Visual Tokenization in Unified MLLMs

InfoTok: 基于信息理论的容量受限共享视觉标记化在统一多模态大语言模型中的应用

Lv Tang, Tianyi Zheng, Bo Li, Xingyu Li

机构 * University of Alberta（阿尔伯塔大学） ； vivo Mobile Communication Co., Ltd（维沃移动通信有限公司） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出InfoTok，一种基于信息瓶颈原理的信息正则化标记化机制，通过互信息约束平衡压缩与任务相关性，提升统一多模态大语言模型的图像理解和生成性能。

BidirLM: From Text to Omnimodal Bidirectional Encoders by Adapting and Composing Causal LLMs

BidirLM：通过适应和组合因果语言模型实现从文本到多模态双向编码

Nicolas Boizard, Théo Deschamps-Berger, Hippolyte Gisserot-Boukhlef, Céline Hudelot, Pierre Colombo

机构 * Diabolocom ； Artefact Research Center（Artefact 研究中心） ； MICS, CentraleSupélec, Université Paris-Saclay（MICS，中央理工-高等电力学院，巴黎-萨克雷大学） ； Cohere 纠错

专题命中 预训练与数据 ：LLM(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过系统消融实验发现，通过引入先验掩码阶段和双策略可提升因果语言模型的双向编码性能，最终提出BidirLM家族五种编码器，在文本、视觉和音频表示基准上优于现有方法。

Comments 30 pages, 16 figures, 10 tables

Test-Time Scaling Makes Overtraining Compute-Optimal

测试时扩展使过训练计算最优

Nicholas Roberts, Sungjun Cho, Zhiqi Gao, Tzu-Heng Huang, Albert Wu, Gabriel Orlanski, Avi Trost, Kelly Buchanan, Aws Albarghouthi, Frederic Sala

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出Train-to-Test（T²）扩展定律，通过联合优化模型大小、训练token和推理样本数，在固定端到端预算下提升性能，发现考虑推理成本时最优预训练决策进入过训练区域，验证了其在现代部署中的有效性。

In-context Learning in Presence of Spurious Correlations

在存在虚假相关性时的上下文学习

Hrayr Harutyunyan, Rafayel Darbinyan, Samvel Karapetyan, Hrant Khachatrian

机构 * Google DeepMind（谷歌DeepMind） ； ServiceTitan ； YerevaNN ； Yerevan State University（埃里温国立大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了在存在虚假特征时训练上下文学习器的可行性，提出了一种新方法，该方法在分类任务中表现优异，但泛化能力有限。

A Deep Dive into Scaling RL for Code Generation with Synthetic Data and Curricula

深入探讨通过合成数据和课程学习扩展强化学习用于代码生成

Cansu Sancaktar, David Zhang, Gabriel Synnaeve, Taco Cohen

机构 * University of Tübingen（图宾根大学） ； Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出多轮合成数据生成流程，通过教师模型迭代优化问题难度，提升代码生成性能，并系统研究任务难度、课程调度和环境多样性对强化学习训练的影响。

VTAM: Video-Tactile-Action Models for Complex Physical Interaction Beyond VLAs

VTAM：用于复杂物理交互的视频-触觉-动作模型超越VLAs

Haoran Yuan, Weigang Yi, Zhenyu Zhang, Wendi Chen, Yuchen Mo, Jiashi Yin, Xinzhuo Li, Xiangyu Zeng, Chuan Wen, Cewu Lu, Katherine Driggs-Campbell, Ismini Lourentzou

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Stanford University（斯坦福大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 VTAM通过整合触觉感知提升复杂物理交互的稳定性，其多模态框架在接触密集任务中表现优异，成功率达到90%。

Comments https://plan-lab.github.io/projects/vtam/