语言大模型 / LLM

Training-Free Universal Approximation by Prompting Random Transformers

通过提示随机Transformer实现无训练的通用逼近

Alexander Hsu, Rongjie Lai

机构 * Purdue University（普渡大学） 纠错

专题命中 预训练与数据 ：prompting(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 该研究证明预训练Transformer可选，随机未训练的单层softmax注意力网络经软提示引导可实现通用逼近，其继承核回归的极小极大最优速率，还揭示了提示相关参数的权衡关系。

Comments 31 pages, 5 figures. Comments welcome!

CellWorld: From Gene-Level Reconstruction to Latent Cell Prediction in Spatial Transcriptomics Foundation Models

CellWorld：空间转录组学基础模型中从基因水平重建到潜在细胞预测

Haiping Liu, Qian Zhao, Lijing Lin, Jingyuan Sun, Hongpeng Zhou

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本文提出CellWorld，将空间转录组学基础模型的预测目标从基因测量转向潜在细胞表示，在多基准测试中其性能优于现有基线，仅用5%语料库预训练的大型模型也表现出色。

Language Models Generalize to Human-like Word Order Preferences

语言模型可泛化出类人的词序偏好

Amanda Popadich, Shane Steinert-Threlkeld

机构 * University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 本研究发现不同规模的语言模型可从贫乏输入中泛化出类人的范围同态名词短语修饰语顺序偏好，且该偏好无法用点互信息解释。

The Fairness Collapse Phenomenon: Bias Amplification in Language Models Trained on Synthetic Data

公平性崩溃现象：在合成数据上训练的语言模型中的偏差放大

Irina Proskurina, Antoine Gourru, Julien Velcin

机构 * Laboratoire Hubert Curien（于贝尔·屈里安实验室） ； CNRS（法国国家科学研究中心） ； Université Claude Bernard Lyon 1（里昂第一大学） ； Université Lumière Lyon 2（里昂第二大学） ； École Centrale de Lyon（里昂中央理工学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL

AI总结 该研究发现，在合成数据上反复训练语言模型会出现公平性崩溃，即偏差在标准指标未明显下降时悄然放大，揭示了合成数据污染的关键风险。

LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models

LLaDA MoE v2：扩展混合专家扩散语言模型

Fengqi Zhu, Shaoxuan Xu, Jingyang Ou, Zebin You, Yipeng Xing, Huabin Liu, Xiaolu Zhang, Jun Zhou, Zhenzhong Lan, Yankai Lin, Wayne Xin Zhao, Jianguo Li, Chongxuan Li, Ji-Rong Wen

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 该研究明确MoE扩散语言模型的扩展规律，训练30B-A3B的LLaDA MoE v2，其预训练令牌量为Qwen3的65%，经微调后在多数推理编码基准上优于SDAR Chat且接近Qwen3。

EEG-JEPA: Structured Latent Prediction for EEG Foundation Models

EEG-JEPA：用于脑电基础模型的结构化隐变量预测

Jinhao Li, Zhiyuan Ma, Xueqiao Han, Zhongye Xia, Xinche Zhang, Shanghong Xie, Yixuan Liu, Yongjian Li, Runmin Gan, Tianlin Huo, Sen Song

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本研究提出EEG-JEPA结构化隐变量预测框架，通过优化目标设计提升EEG基础模型性能，在EEG-FM-Bench等基准上实现了14任务、9任务的平衡准确率提升，为EEG基础建模提供了新方案。

Comments 9 pages, 6 figures

HarMoE: Multi-Source Chest Radiograph Pretraining with Dataset-Disentangled Experts

HarMoE：基于数据集解耦专家的多源胸部X射线预训练

Haozhe Luo, Ziyu Zhou, Shelley Zixin Shu, Mauricio Reyes

机构 * University of Bern（伯尔尼大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究提出HarMoE框架，通过解耦数据集专家从异构胸部X射线数据集学习，提升了放射学视觉-语言模型的零样本分类、分布外迁移等性能，相关代码与87.3万份数据集将公开。

Understanding and Correcting Low-Frequency Bias in EEG Foundation Model

脑电（EEG）基础模型中低频偏差的理解与修正

Junjie Yu, Zihan Deng, Jianyu Zhang, Junrong Mu, Jiahui An, Wenxiao Ma, Ziling Lu, Yue Wang, Yan Zhu, Kexin Lou, Quanying Liu

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 针对EEG基础模型存在的低频偏差问题，提出频率平衡掩码自编码框架FAME，在OmniEEG-Bench的41项下游任务中24项达到SOTA，凸显平衡频谱监督的重要性。

LM-GRASP: Instance-Specific Language Models for Combinatorial Construction via Online Imitation Learning

LM-GRASP：基于在线模仿学习的组合构造的实例特定语言模型

Mohand Mezmaz, Grégoire Danoy

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本研究提出LM-GRASP框架，将GRASP随机构造阶段转为在线模仿学习任务，用仅解码器Transformer作构造策略，在Taillard PFSP基准上平均比GPU-GRASP提升28.4个制造跨度单位，是手工构造器的实用替代方案。

CuraWeb: Joint Optimization of Quality, Redundancy, and Diversity for Web-Scale Pretraining Data

CuraWeb：网络规模预训练数据的质量、冗余性和多样性联合优化

Peiguang Li, Yongwei Zhou, Juncheng Diao, Yuchun Fan, Jian Yang, Jianxiao Yang, Zhongda Su, Shuguang Jiao, Xiao Wei, Zhiye Zou, Gan Dong, Zhizhao Zeng, Rongxiang Weng, Jingang Wang, Xunliang Cai

机构 * Meituan（美团） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 研究针对开放网络语料库预训练数据优化的局限性，提出质量、冗余性和多样性联合优化范式，结合双轨清理与混合去重，构建CuraWeb语料库，实验证明其在多基准测试中性能显著优于基线。

Detecting LLM-Generated Tokens in Human--LLM Coauthored Text

在人类与大语言模型合作撰写的文本中检测大语言模型生成的令牌

Yangjun Lu, Hongyi Zhou, Fabian Spill, Kai Ye, Chengchun Shi, Jin Zhu

机构 * School of Mathematics, University of Birmingham（伯明翰大学数学学院） ； School of Statistics and Data Science, Shanghai University of Finance and Economics（上海财经大学统计与数据科学学院） ； Department of Statistics, The London School of Economics and Political Science（伦敦政治经济学院统计系） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；language model(abstract)；分类 cs.AI

AI总结 针对人类与大语言模型合作撰写文本中难以检测大语言模型生成内容的问题，提出在令牌级别运行、基于现有分数并平滑分数降低变异性的新方法，在合成与真实数据集上性能强，还部署了网站。

MSBraM: A Multi-scale Self-supervised Brain Foundation Model for Hierarchical EEG Dynamics Learning

MSBraM：用于分层脑电动力学学习的多尺度自监督脑基础模型

Tao Zhou, Jing Han, Lingyu Shu, Zixing Zhang

机构 * Hunan University（湖南大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 针对现有方法难捕捉EEG信号多尺度时间结构的问题，提出MSBraM模型。该模型采用两阶段预训练框架，经多尺度神经分词器和课程多尺度掩码策略学习分层EEG表征。实验显示其在多个下游任务中性能优越，证明显式建模多尺度时间动态对EEG基础模型的重要性。

Multimodal Pretraining for Generalizable EEG Representation Learning

用于可泛化脑电信号表征学习的多模态预训练

Targol Bakhtiarvand, Jugal Kalita, Adham Atyabi

机构 * University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 研究针对癫痫EEG模型应用局限问题，开发多模态EEG基础模型，结合多种编码器，通过创新预训练技术创建癫痫相关表征。在多个数据集和评估设置下实验，该模型实现强大癫痫检测与适应新场景能力，支持可解释癫痫定位，性能达当前最优。

BrainNext: A General-Purpose Self-Supervised Foundation Model for Brain MRI Analysis

BrainNext：用于脑MRI分析的通用自监督基础模型

Moona Mazher, Abdul Qayyum, Steven A. Niederer, Daniel C. Alexander

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 研究提出BrainNext通用自监督基础模型用于脑MRI分析，结合MAE预训练与三维双向xLSTM-UNet架构，从大量未标记数据学习，经微调用于下游任务，在FOMO 2025评估中表现出色，证明其可转移性和作为基础模型的潜力。

Knowledgeless Language Models: Suppressing Parametric Recall for Evidence-Grounded Language Modeling

无知识语言模型：抑制参数化记忆以进行基于证据的语言建模

Roi Cohen, Yvan Carré, Nick Lechtenbörger, Hendrik Droste, Lucas Kerschke, Russa Biswas, Gerard de Melo, Jan Buys

机构 * HPI / University of Potsdam（波茨坦大学哈索·普拉特纳数字工程学院） ； African Institute for Mathematical Sciences（非洲数学科学研究所） ； Department of Computer Science Aalborg University（奥尔堡大学计算机科学系） ； Department of Computer Science University of Cape Town（开普敦大学计算机科学系） ； Polytechnique Montréal（蒙特利尔理工大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL

AI总结 研究修改预训练信号能否使语言模型从参数化记忆转向基于证据的推理，引入无知识语言模型（KLLMs），其在命名实体匿名化语料库上预训练，实验表明能降低闭卷事实记忆，在多任务基准上表现优，提升鲁棒性与校准，为语言模型训练提供新思路。

CITRAS-FM: Tiny Time Series Foundation Model for Covariate-Informed Zero-Shot Forecasting

CITRAS-FM: 面向协变量信息零样本预测的微型时间序列基础模型

Yosuke Yamaguchi, Issei Suemitsu, Yuki Kajihara, Wenpeng Wei

机构 * University of Tokyo（东京大学） ； Keio University（庆应大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出CITRAS-FM，一个仅7M参数的时间序列基础模型，通过引入Shifted Attention和协变量合成方法CovSynth，实现高效零样本预测，在100个任务上达到子10M模型最优精度且CPU推理时间低于0.1秒。

Comments Accepted to EUSIPCO 2026. Code available at https://github.com/hitachi-ais/citras-fm

Prompting Complexity: Shortest Prompts for Texts and Behaviors in LLMs

提示复杂性：大语言模型中用于文本和行为的最短提示

Adrian Cosma

机构 * Dalle Molle Institute for Artificial Intelligence (IDSIA)（达勒·莫利人工智能研究所） 纠错

专题命中 预训练与数据 ：prompting(title,abstract)；language model(abstract)；分类 cs.CL

AI总结 研究提示复杂性，定义其为固定语言模型产生目标文本的最短合理提示量，类似资源受限柯尔莫哥洛夫复杂性。介绍计算方法、扩展定义到软提示复杂性，定义提示距离等，据此制定研究议程以探究短提示可实现的文本和行为。

A Unified Framework for In-Context Learning with Causal and Masked Language Models

一种用于上下文学习的因果和掩码语言模型统一框架

Chenrui Liu, Chuanlong Xie, Falong Tan, Yicheng Zeng, Lixing Zhu

机构 * Beijing Normal University at Zhuhai（北京师范大学珠海分校） ； Hunan University（湖南大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 研究上下文学习，提出统计学习框架，将自回归和掩码预训练目标置于共同风险分析中，在特定条件下得出推理时MASK和自回归目标的同阶上界等成果，做了实验验证。

LeVLJEPA: End-to-End Vision-Language Pretraining Without Negatives

LeVLJEPA：无负样本的端到端视觉语言预训练

Lukas Kuhn, Giuseppe Serra, Randall Balestriero, Florian Buettner

机构 * German Cancer Research Center（德国癌症研究中心） ； German Cancer Consortium（德国癌症联盟） ； Goethe University Frankfurt（法兰克福大学） ； Brown University（布朗大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.AI

AI总结 提出首个完全非对比的端到端视觉语言预训练方法LeVLJEPA，通过跨模态预测与分布正则化学习，无需负样本、温度参数等，生成更强的密集语义特征，在下游任务中优于对比基线。

Prototype Language Models

原型语言模型

Dan Ley, Giang Nguyen, Himabindu Lakkaraju, Julius Adebayo

机构 * Harvard University（哈佛大学） ； Guide Labs Inc.（Guide Labs公司） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract_cn)；分类 cs.LG

AI总结 提出原型语言模型架构PRISM，通过稀疏非负原型混合进行预测，在保持下游精度的同时实现快速训练数据归因和可解释性。

Scaling limit of the Random Language Model

随机语言模型的标度极限

Eric De Giuli

机构 * Department of Physics, Toronto Metropolitan University（物理系，多伦多 Metropolitan 大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 研究随机语言模型在隐藏符号数趋于无穷、语法温度趋于零的标度极限下的相变行为，发现规则使用在临界值x_c=1/8处发生凝聚转变，并推导出熵等可观测量的标度律。

Comments 17 pages + 14 pages SI

moBERTo: A Modern Encoder for Portuguese via Continued Pretraining of ModernBERT

moBERTo: 通过ModernBERT的持续预训练实现的现代葡萄牙语编码器

Thiago Laitz, Thales Sales Almeida, João Guilherme Alves Santos, Giovana Kerche Bonás

机构 * UNICAMP（坎皮纳斯州立大学） ； Tropic AI ； Maritaca AI 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；post-training(abstract)；分类 cs.CL

AI总结 提出moBERTo，通过对ModernBERT-base在600亿token上持续预训练得到葡萄牙语编码器，在检索、分类、NER和NLU任务上表现优异，并揭示了持续预训练优于从头训练、分词器适配和长上下文后训练的影响。

Atomistic Language Models Understand and Generate Materials

原子语言模型理解与生成材料

Sathya Edamadaka, Krithik Ramesh, Ju Li, Rafael Gómez-Bombarelli

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Lyra Labs ； Lila Sciences 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

AI总结 提出原子语言模型（ALMs），通过连续投影和分阶段训练统一原子编码器、大语言模型和去噪扩散模型，实现从自然语言生成和优化晶体结构，在晶体结构预测和从头生成上达到最优。

Qwen-RobotManip Technical Report: Alignment Unlocks Scale for Robotic Manipulation Foundation Models

Qwen-RobotManip 技术报告：对齐解锁机器人操作基础模型的规模

Haoqi Yuan, Zhixuan Liang, Anzhe Chen, Ye Wang, Haoyang Li, Pei Lin, Yiyang Huang, Zixing Lei, Tong Zhang, Jiazhao Zhang, Jie Zhang, Jingyang Fan, Gengze Zhou, Qihang Peng, Chenxu Lv, Xiaoyue Chen, An Yang, Fei Huang, Junyang Lin, Dayiheng Liu, Jingren Zhou, Chenfei Wu, Xiong-Hui Chen

机构 * Qwen Team（Qwen团队） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出 Qwen-RobotManip，通过统一的对齐框架（表示、运动和行为维度）实现多源异构操作数据的大规模协同训练，构建约38,100小时预训练语料，在零样本指令跟随、跨本体迁移等泛化能力上超越先前模型。

Comments 44 pages

EyeMVP: OCT-Informed Fundus Representation Learning via Paired CFP--OCT Pretraining

EyeMVP: 通过配对CFP-OCT预训练实现OCT启发的眼底表征学习

Zhuo Deng, Ruiheng Zhang, Ziheng Zhang, Weihao Gao, Yitong Li, Qian Wang, Lei Shao, Jiaoyue Dong, Zhixi Zeng, Lijian Fang, Haibo Wang, Xiaobin Lin, Tao Liu, Zhicheng Du, Zhengwei Zhang, Lin Yang, Zheng Gong, Xinyu Zhao, Zhenquan Wu, Fang Li, Zhiguang Zhou, Guoming Zhang, Sun Jing, Han Lv, Wenbin We, Lan Ma

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Beijing Tongren Eye Center, Beijing Tongren Hospital, Capital Medical University（首都医科大学附属北京同仁医院北京同仁眼科中心） ； Liangxiang Hospital of Beijing Fangshan District, Capital Medical University（首都医科大学北京市房山区良乡医院） ； The Third People's Hospital of Dalian（大连市第三人民医院） ； National Clinical Research Center for Endocrine and Metabolic Diseases, The Second Xiangya Hospital of Central South University（中南大学湘雅二医院国家内分泌代谢病临床医学研究中心） ； The Central Hospital of Baoji City（宝鸡市中心医院） ； Wuxi No.2 People's Hospital, Affiliated Wuxi Clinical College of Nantong University（南通大学附属无锡临床学院无锡市第二人民医院） ； Shenzhen Eye Hospital, Southern Medical University（南方医科大学深圳眼科医院） ； Beijing Friendship Hospital, Capital Medical University（首都医科大学附属北京友谊医院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 提出跨模态视网膜基础模型EyeMVP，利用配对CFP-OCT预训练，通过跨模态掩码重建将OCT结构信息注入CFP表征，在16项下游任务中优于现有模型，尤其对黄斑疾病诊断有显著提升。

GeoRoPE: Ground-Aware Rotary Adaptation for Remote Sensing Foundation Models

GeoRoPE: 面向遥感基础模型的地面感知旋转适配

Yu Luo, Kun Hu, Mengwei He, Xiaogang Zhu, Shan Zeng, Allen Benter, Wei Xiang, Patrick Filippi, Thomas Francis Bishop, Zhiyong Wang

机构 * The University of Sydney（悉尼大学） ； Edith Cowan University（埃迪斯科文大学） ； Adelaide University（阿德莱德大学） ； Wuhan Polytechnic University（武汉轻工大学） ； Climate, Orange Agricultural Institute（气候研究所，奥兰治农业研究所） ； La Trobe University（拉筹伯大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 提出GeoRoPE方法，通过地理坐标校准和频率校准解决遥感基础模型中的尺度失配问题，提升跨分辨率鲁棒性和尺度敏感表征学习。

Towards Graph Foundation Models for Dynamics in Complex Networked Systems: Lessons from Super-Spreader Identification in Multilayer Networks

面向复杂网络系统中动力学的图基础模型：来自多层网络超级传播者识别的教训

Michał Czuba, Mateusz Stolarski, Adam Piróg, Piotr Bielak, Piotr Bródka

机构 * Department of Artificial Intelligence, Wroc{\l}aw University of Science and Technology, Wroc{\l}aw, Poland（人工智能系，沃斯拉夫科技大学，沃斯拉夫，波兰） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出图基础模型在动力学中需具备归纳跨网络泛化能力，通过仅基于合成多层网络训练的ts-net模型，在真实多层网络上实现零样本泛化，并优于传统方法。

GNSS-FM: A Self-Supervised Foundation Model for Daily GNSS Displacement Time Series

GNSS-FM：用于日常GNSS位移时间序列的自监督基础模型

Nick Teutschmann, Laura Crocetti, Fanny Lehmann, Leonardo Trentini, Benedikt Soja

机构 * Institute of Geodesy and Photogrammetry, ETH Zurich（大地测量与摄影测量研究所，苏黎世联邦理工学院） ； ETH AI Center（ETH人工智能中心） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出GNSS-FM自监督基础模型，通过双流输入和掩码潜在预测预训练，在位移预测和地震阶跃定位任务上优于强基线。

GRASP: Geometry-aware Residual Alignment for Scalable Pretraining Data Attribution

GRASP：面向可扩展预训练数据归因的几何感知残差对齐

Yue Min, Ruining Chen, Yujun Li

机构 * Wizard Quant ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 提出GRASP方法，通过二次几何惩罚建模子集交互，结合低维特征草图与有限置信度选择协议，实现可扩展的预训练数据归因，显著提升反事实子集保真度并降低计算成本。

Small Experiments, Cheaper Decisions: A Case Study in Staged Promotion for Micro-Pretraining

小实验，更经济的决策：微预训练中分阶段提升的案例研究

Felipe Chavarro Polania

机构 * Hewlett Packard Enterprise（慧与科技公司） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究微预训练中分阶段提升协议，通过固定预算筛选配置，在Windows A100和Linux L40S上验证，发现早期排名不稳定，但最终协议以144 GPU小时找到最优配置，成本低于全量筛选。

Comments 14 pages, 5 figures; 12-hour dual-host micro-pretraining promotion study; source package includes curated ancillary artifacts