语言大模型 / LLM

Regret Pre-training: Bridging Prior and Posterior Views for Enhanced Knowledge Grounding

遗憾预训练：桥接先验与后验视角以增强知识基础

Mingkuan Zhao, Xiayu Sun, Wentao Hu, Suquan Chen, Jiaxuan Li, Xiaoyan Zhu, Xin Lai, Jiayin Wang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出遗憾预训练框架，通过双视角架构利用未来信息增强因果语言模型，在OLMoE-1B-7B架构上平均准确率提升至33.9%。

Cross-Modal Contrastive Learning of ECG and Angiography Representations for Severe Stenosis Classification

用于严重狭窄分类的心电图与血管造影表示的跨模态对比学习

Nikola Cenikj, Özgün Turgut, Alexander Müller, Alexander Steger, Jan Kehrer, Marcus Brugger, Daniel Rueckert, Philip Müller

机构 * Chair for AI in Healthcare and Medicine, Technical University of Munich and TUM University Hospital（人工智能在医疗与医学中的研究所，慕尼黑技术大学及慕尼黑大学医院） ； Department of Computing, Imperial College London（伦敦帝国理工学院计算机系） ； Munich Center for Machine Learning (MCML), Munich, Germany（慕尼黑机器学习中心（MCML）） ； Department of Internal Medicine, TUM University Hospital（慕尼黑大学医院内科学系） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出StenCE预训练框架，通过跨模态对比学习从心电图特征中实现冠状动脉狭窄风险分层，在严重狭窄分类中首次达到高性能。

DeMuon: A Decentralized Muon for Matrix Optimization over Graphs

DeMuon：一种用于图上矩阵优化的去中心化Muon方法

Chuan He, Shuyi Ren, Jingwei Mao, Erik G. Larsson

机构 * Department of Mathematics, Linköping University（利乌普堡大学数学系） ； Department of Electrical Engineering, Linköping University（利乌普堡大学电气工程系） ； Department of Computer and Information Science, Linköping University（利乌普堡大学计算机与信息科学系） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出DeMuon方法，通过牛顿-舒尔茨迭代实现矩阵正交化，并利用梯度跟踪处理局部函数异质性，在重尾噪声下达到与集中式算法匹配的复杂度，首次将Muon扩展到去中心化图优化并具有可证明的复杂度保证。

Comments Add an accelerated variant of the proposed method. New proofs of proposed methods

Block-Based Double Decoders

基于块的双解码器

Asher Labovich, Benjamin Bradley, Vanessa Alexander, Chaitanya Harsha

机构 * Brown University（布朗大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出基于块的双解码器架构，利用双重因果块注意力掩码实现全损失监督和静态序列打包，结合解码器训练效率与编码器-解码器推理效率，在缩放定律实验中优于编码器-解码器并接近解码器模型，推理时KV缓存和每token计算减少至少2/3。

Comments 8 pages main, 13 pages total

On the "Induction Bias" in Sequence Models

论序列模型中的“归纳偏置”

M. Reza Ebrahimi, Michaël Defferrard, Sunny Panchal, Roland Memisevic

机构 * Qualcomm AI Research is an initiative of Qualcomm Technologies, Inc（高通人工智能研究，由高通技术公司发起） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 通过大规模实验比较Transformer和RNN在状态跟踪任务上的数据效率，发现Transformer需要更多训练数据且难以跨长度共享权重，而RNN通过权重共享实现有效学习。

Comments Accepted to the International Conference on Machine Learning (ICML) 2026

Who Gets Credit or Blame? Attributing Accountability in Modern AI Systems

谁获得功劳或责备？在现代AI系统中分配责任

Shichang Zhang, Hongzhe Du, Jiaqi W. Ma, Himabindu Lakkaraju

机构 * Harvard University, Cambridge, MA, USA（哈佛大学） ； University of California, Los Angeles, Los Angeles, CA, USA（加州大学洛杉矶分校） ； University of Illinois Urbana-Champaign, Urbana-Champaign, IL, USA（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出一个归因框架，通过反事实问题量化模型开发各阶段（预训练、微调等）对最终行为的影响，并设计无需重训练的估计器，成功识别并移除多阶段任务中的虚假关联。

Relational In-Context Learning via Synthetic Pre-training with Structural Prior

通过结构先验的合成预训练实现关系上下文学习

Yanbo Wang, Jiaxuan You, Chuan Shi, Muhan Zhang

机构 * Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） ； University of Illinois at Urbana-Champaign（伊利诺伊大学香槟分校） ； Institute of Computing Technology, Beijing University of Post（北京邮电大学计算机学院） ； State Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 提出RDB-PFN，首个仅通过合成数据训练的关系基础模型，利用结构因果模型生成多样关系数据库，实现对新数据库的即时上下文学习，在19个真实关系预测任务上优于现有表格基础模型。

BrahmicTokenizer-131K: An Indic-Capable Drop-In Replacement for o200k_base

BrahmicTokenizer-131K：一种可替代o200k_base的印度文字兼容分词器

Rohan Shravan

机构 * The School of AI（人工智能学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 提出BrahmicTokenizer-131K，一种131072词汇量的字节级BPE分词器，通过两阶段改造在保持非印度文字性能的同时，显著提升印度文字的压缩效率。

Comments 24 pages, 15 tables, 3 code listings. Tokenizer artifact, verification scripts, and reproduction code at https://huggingface.co/theschoolofai/BrahmicTokenizer-131K and https://github.com/theschoolofai/BrahmicTokenizer-131K

When and How Human Curation Backfires: Preference Alignment under Multi-Model Self-Consuming Loop

人类策展何时以及如何适得其反：多模型自消费循环下的偏好对齐

Yang Zhang, Xiukun Wei, Xueru Zhang

机构 * Department of Computer Science and Engineering, The Ohio State University, Columbus, Ohio（计算机科学与工程系，俄亥俄州立大学，哥伦布，俄亥俄） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 研究多模型自消费训练中人类策展对模型对齐的影响，发现跨模型交互可能削弱甚至逆转策展效果，导致长期对齐退化。

Activation Steering for Synthetic Data Generation: The Role of Diversity in Downstream Safety Detection

用于合成数据生成的激活引导：多样性在下游安全检测中的作用

Vijeta Deshpande, Tootiya Giyahchi, Veena Padmanabhan, Leman Akoglu, Anna Rumshisky

机构 * UMass Lowell（马萨诸塞大学洛厄尔分校） ； Amazon（亚马逊公司） ； CMU（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：prompting(abstract)；分类 cs.CL、cs.LG

AI总结 研究激活引导（AS）生成高质量训练数据用于下游安全检测分类器，发现多样性是关键但被忽视的轴，且AS在窄参数范围内优于提示生成。

ParsVoice: A Large-Scale Multi-Speaker Persian Speech Corpus for Text-to-Speech Synthesis

ParsVoice: 面向文本到语音合成的大规模多说话人波斯语语音语料库

Mohammad Javad Ranjbar Kalahroodi, Heshaam Faili, Azadeh Shakery

机构 * School of Electrical and Computer Engineering, University of Tehran（塔里哈大学电气与计算机工程学院） ； Institute for Research in Fundamental Sciences (IPM)（基础科学研究所（IPM）） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出ParsVoice，目前最大的公开波斯语语音-文本语料库，通过可扩展的流水线从长篇有声读物构建高质量数据，用于训练多说话人TTS系统，并验证了其在零样本多说话人TTS中的有效性。

Mapping the Schedule x Bit-Width Boundary in Sub-100M Quantisation-Aware Training

在小于100M参数量化感知训练中映射调度策略与位宽边界

Christian Brandt Thomassen

机构 * Dwarf A/S（Dwarf公司） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 通过大规模实验研究子100M参数解码器语言模型中，量化感知训练的最佳学习率调度是否依赖于位宽，发现INT6 QAT无需不同调度，INT4在50M以上需wd33调度，以下则噪声主导。

Comments 20 pages, 6 figures, 4 tables. 1345 training runs total (720 + 625). Submitted for review at TMLR

Latent Q-Barrier Shielding for Safe In-Context Reinforcement Learning

潜在Q-屏障屏蔽用于安全上下文强化学习

Minjae Kwon, Amir Moeini, Shangtong Zhang, Lu Feng

机构 * University of Virginia（弗吉尼亚大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种潜在Q-屏障屏蔽方法，通过学习上下文表示、潜在动力学和集成成本评论家，在部署时无需参数更新即可根据剩余预算和预测未来成本过滤或软重加权候选动作，从而改善安全上下文强化学习在分布外转移下的奖励-安全权衡。

Mitigating Label Shift in Tabular In-Context Learning via Test-Time Posterior Adjustment

通过测试时后验调整缓解表格上下文学习中的标签偏移

Seunghan Lee

机构 * LG AI Research（LG人工智能研究） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 针对TabPFN在表格数据上下文学习中对标签偏移敏感的问题，提出DistPFN方法，通过测试时后验调整重新缩放类别概率，无需修改架构或额外训练，在250多个OpenML数据集上显著提升分类性能。

Comments ICML 2026

MindAlign: Bridging EEG, Vision, and Language for Zero-Shot Visual Decoding

MindAlign: 弥合脑电图、视觉和语言实现零样本视觉解码

Zexuan Chen, Sichao Liu, Runhao Lu, Huichao Qi, Alexandra Woolgar, Xi Vincent Wang, Lihui Wang

机构 * KTH, SWeden（瑞典皇家理工学院） ； University of Cambridge, UK（剑桥大学） ； EPFL, Switzerland（瑞士联邦理工学院） ； McGill University, Canada（麦吉尔大学） ； Karolinska Institutet, Sweden（卡罗林斯卡研究所） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.LG

AI总结 提出一种三模态对比学习框架MindAlign，通过对齐脑电图、图像和文本表示，在Things-EEG2零样本基准上实现54.1% Top-1和83.4% Top-5准确率，显著超越先前方法。

Comments 20 pages, 10 figures, 15 tables

Generative Visual Code Mobile World Models

生成式视觉代码移动世界模型

Woosung Koh, Sungjun Han, Segyu Lee, Se-Young Yun, Jamin Shin

机构 * Trillion Labs（万亿实验室） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出通过单一视觉语言模型预测可执行网页代码来生成移动GUI下一状态，结合文本和视觉世界模型优势，实现高保真视觉生成与精确文本渲染。

Comments ICML 2026

Epicure: Navigating the Emergent Geometry of Food Ingredient Embeddings

Epicure：探索食品成分嵌入的涌现几何

Jakub Radzikowski, Josef Chen

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Epicure，一种基于三兄弟skip-gram模型重新训练的食品成分嵌入方法，通过多语言食谱语料库构建了包含1790个标准成分的嵌入模型，并通过三种不同的随机游走方案生成了不同侧重的模型。

Can Transformers Learn to Verify During Backtracking Search?

Transformer能否在回溯搜索中学习验证？

Yin Jun Phua, Tony Ribeiro, Tuan Nguyen, Katsumi Inoue

机构 * Yin Jun Phua (corresponding author) Institute of Science Tokyo, 2-12-1 Ookayama, Meguro-ku, Tokyo 152-8550, Japan Tony Ribeiro Centrale Nantes, CNRS, Laboratoire des Sciences du Num\'erique de Nantes, LS2N, UMR 6004, F-44000 Nantes, France National Institute of Informatics, 2-1-2 Hitotsubashi, Chiyoda-ku, Tokyo 101-8430, Japan Steelous Protocol, 8-20-32, Ginza, Chuo-ku, Tokyo 104-0061, Japan Tuan Nguyen Hanoi University of Science ； Technology, No. 1 Dai Co Viet, Hai Ba Trung, Ha Noi, Vietnam Katsumi Inoue National Institute of Informatics, 2-1-2 Hitotsubashi, Chiyoda-ku, Tokyo 101-8430, Japan 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了Transformer在回溯搜索中的验证能力，指出传统方法在处理轨迹数据时存在散列检索和历史纠缠问题，并提出局部化和选择性状态注意力（SSA）来解决这些问题，通过实验验证了SSA在3-SAT、图着色、Blocks World和回溯解析等任务中的有效性。

Rethinking Forward Processes for Score-Based Nonlinear Data Assimilation in High Dimensions

重新思考高维数据同化中的分数基非线性数据同化前向过程

Eunbi Yoon, Won Chang, Donghan Kim, Dae Wook Kim

机构 * KAIST（韩国科学技术院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种针对数据同化问题的改进前向过程，用于高维非线性系统的状态估计，通过改进的分数基滤波器在测量空间中转换系统状态，提高了同化性能。

DISC: Decoupling Instruction from State-Conditioned Control via Policy Generation

DISC: 通过策略生成解耦指令与状态条件控制

Hanxiang Ren, Pei Zhou, Xunzhe Zhou, Yanchao Yang

机构 * Zhejiang University（浙江大学） ； The University of Hong Kong（香港大学） ； TranscEngram 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 DISC通过策略生成解耦指令与状态条件控制，解决了任务状态耦合导致的观察泄漏问题，并在多个基准测试中表现出色，证明了语言生成的策略参数驱动行为。

TimeRewarder: Learning Dense Reward from Passive Videos via Frame-wise Temporal Distance

TimeRewarder: 通过帧间时间距离从被动视频中学习密集奖励

Yuyang Liu, Chuan Wen, Yihang Hu, Dinesh Jayaraman, Yang Gao

机构 * Institute for Interdisciplinary Information Sciences, Tsinghua University, Beijing, China（清华大学交叉信息研究院） ； Shanghai Qi Zhi Institute（上海启智研究院） ； Shanghai Jiao Tong University（上海交通大学） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出TimeRewarder方法，通过帧间时间距离从被动视频中学习密集奖励，以提升强化学习在稀疏奖励任务中的性能，实验表明其在多个任务中显著提高了成功率和样本效率。

Comments ICML 2026 spotlight paper

A Bitter Lesson for Data Filtering

数据过滤的惨痛教训

Christopher Mohri, John Duchi, Tatsunori Hashimoto

机构 * Department of Computer Science（计算机科学系） ； Departments of Statistics and Electrical Engineering（统计学与电气工程系） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了大规模模型预训练中的数据过滤，发现即使有足够的计算资源，过滤数据也不是最佳选择，因为充分训练的大型模型能够容忍低质量数据甚至从中受益。

CATA: Continual Machine Unlearning via Conflict-Averse Task Arithmetic

CATA: 通过冲突厌恶任务算术实现持续机器去学习

Shen Lin, Junhao Dong, Rongjie Chen, Xiaoyu Zhang, Li Xu, Xiaofeng Chen

机构 * Fujian Normal University（福建师范大学） ； Nanyang Technological University（南洋理工大学） ； Xidian University（西安电子科技大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文首次研究了视觉语言模型的持续去学习问题，提出CATA方法，通过冲突厌恶任务算术有效解决去学习中的有效性、模型保真度和持续性挑战。

SomaliWeb v1: A Quality-Filtered Somali Web Corpus with a Matched Tokenizer and a Public Language-Identification Benchmark

SomaliWeb v1: 一个经过质量过滤的索马里网页语料库，配有匹配的分词器和公开的语言识别基准

Khalid Yusuf Dahir

机构 * Independent researcher（独立研究者） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了SomaliWeb v1，一个经过质量过滤的索马里语语料库，包含匹配的BPE-16K分词器和首个公开的索马里语言识别基准，揭示了现有分布中的质量问题。

Comments 16 pages, 6 figures, 6 tables. Code: https://github.com/khaledyusuf44/somali-corpus Dataset: https://huggingface.co/datasets/khaledyusuf44/somaliweb-v1

Automatic Generation of High-Performance RL Environments

自动生成高性能强化学习环境

Seth Karten, Rahul Dev Appapogu, Chi Jin

机构 * Princeton University（普林斯顿大学） ； Independent Researcher（独立研究者） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种闭环方法，通过最小的计算成本生成等效的高性能强化学习环境，展示了三种不同的工作流程，并在五个环境中验证了无仿真到仿真的差距，同时展示了新的环境创建方法。

Comments 20 pages, 5 figures

How Do Electrocardiogram Models Scale?

ECG模型如何扩展？

Jiawei Li, Fabio Bonassi, Ming Jin, Stefan Gustafsson, Johan Sundström, Thomas B. Schön, Antônio H. Ribeiro

机构 * Uppsala University（乌普萨拉大学） ； Griffith University（格里菲斯大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了ECG模型在不同规模下的扩展规律，发现监督学习模型在数据受限时表现不佳，而自监督学习模型在模型和数据规模上都具有鲁棒性，同时自监督Transformer在非常大的模型规模上超越了ResNet。

AVEX: What Matters for Animal Vocalization Encoding

AVEX：动物发声编码中什么因素至关重要

Marius Miron, David Robinson, Milad Alizadeh, Ellen Gilsenan-McMahon, Gagan Narula, Emmanuel Chemla, Maddie Cusimano, Felix Effenberger, Masato Hagiwara, Benjamin Hoffman, Sara Keen, Diane Kim, Jane Lawton, Jen-Yu Liu, Aza Raskin, Olivier Pietquin, Matthieu Geist

机构 * Earth Species Project（地球物种项目） 纠错

专题命中 预训练与数据 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过大规模实验研究，探讨了生物声学编码中训练数据多样性、模型架构及评估任务的重要性，发现自监督预训练结合监督后训练在多种任务中表现最佳。

Comments In The Fourteenth International Conference on Learning Representations 2026

ROAD: Adaptive Data Mixing for Offline-to-Online Reinforcement Learning via Bi-Level Optimization

ROAD: 通过双层优化实现的自适应数据混合用于离线到在线强化学习

Letian Yang, Xu Liu, Yiqiang Lu, Jian Liu, Weiqiang Wang, Shuai Li

机构 * Shanghai Jiao Tong University（上海交通大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ROAD框架，通过双层优化解决离线数据与在线策略间分布偏移问题，提升稳定性和性能。

Comments 20 pages, 9 figures, 7 tables. Accepted to IJCAI 2026

ECG-NAT: A Self-supervised Neighborhood Attention Transformer for Multi-lead Electrocardiogram Classification

ECG-NAT：一种用于多导联心电图分类的自监督邻域注意力变换器

Mahsa Gazeran, Sayvan Soleymanbaigi, Fatemeh Daneshfar, Amjad Seyedi, Fardin Akhlaghian Tab

机构 * Department of Computer Engineering, University of Kurdistan（库尔德斯坦大学计算机工程系） ； Department of Mathematics and Operational Research, University of Mons（蒙斯大学数学与运筹学系） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ECG-NAT，一种自监督学习方法，通过分阶段预训练和微调，有效提取多尺度特征，实现高效准确的多导联心电图分类，仅用1%标注数据即可达到88.1%的准确率。

EvObj: Learning Evolving Object-centric Representations for 3D Instance Segmentation without Scene Supervision

EvObj：学习无需场景监督的3D实例分割的演进对象表示

Jiahao Chen, Zihui Zhang, Yafei Yang, Jinxi Li, Shenxing Wei, Zhixuan Sun, Bo Yang

机构 * Shenzhen Research Institute, The Hong Kong Polytechnic University（深圳研究 institute，香港理工大学） ； vLAR Group, The Hong Kong Polytechnic University（vLAR 团队，香港理工大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 EvObj通过整合对象辨别和完成模块，解决合成数据与真实点云间的几何差距问题，实现无需场景监督的3D实例分割，实验表明其在真实和合成数据上均优于基线方法。

Comments CVPR 2026. Code and data are available at: https://github.com/vLAR-group/EvObj