语言大模型 / LLM

Inertia-1: An Open Exploration of Wearable Motion Foundation Models

Inertia-1：可穿戴运动基础模型的开放探索

Zongzhe Xu, Aakarsh Anand, Sarah Jiang, Chuntung Zhuang, Zitao Shuai, Sriram Sankararaman, Yuzhe Yang

机构 * John Hopkins University（约翰·霍普金斯大学） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究可穿戴运动基础模型，利用大量加速度计数据构建框架，涵盖数据、模型和训练选择等，通过多数据集评估得出有趣发现，不仅提供先进方法，还为可穿戴运动表示学习提供全面实用开放指南。

Rosetta: Composable Native Multimodal Pretraining

Rosetta: 可组合的原生多模态预训练

Xiangyue Liu, Zijian Zhang, Miles Yang, Zhao Zhong, Liefeng Bo, Ping Tan

机构 * HKUST（香港科技大学） ； Tencent Hunyuan（腾讯混元） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.CL、cs.LG

AI总结 提出Rosetta框架，通过动量锚定正交投影（MAOP）实现无损模态扩展，解决多模态预训练中的灾难性遗忘和梯度冲突问题。

On the Nonlinearity of Learning Rate Scaling for LLM Training

关于大语言模型训练中学习率缩放的非线性研究

Zaiwen Yang, Huaqing Zhang, Jing Xu, Jingzhao Zhang

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过实验发现，在大规模训练中，最优学习率呈现向上弯曲的非线性缩放，而使用有效学习率（归一化权重空间的步长）和数据量外推可消除该非线性，并解释了其成因。

MACROCAST: A Vintage-Consistent Time Series Foundation Model for Real-Time Macroeconomic Forecasting

MACROCAST: 一种用于实时宏观经济预测的年份一致时间序列基础模型

Andrea Carriero, Davide Pettenuzzo, Shubhranshu Shekhar

机构 * School of Economics and Finance, Queen Mary University of London（伦敦大学玛丽女王学院经济与金融学院） ； School of Business and Economics, Brandeis University（布兰迪大学商学院与经济学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出MACROCAST，一种轻量级时间序列基础模型，通过纯合成数据预训练和年份特定数据微调，避免时间污染和修正偏差，在实时预测中优于现有模型。

Internal Data Repetition Destroys Language Models

内部数据重复破坏语言模型

Jessica Chudnovsky, Joshua Kazdan, Noam Levi, Rylan Schaeffer, Yegor Denisov-Blanch, Bo He, Mehmet Donmez, Sanmi Koyejo, David Donoho

机构 * Stanford Computer Science（斯坦福大学计算机科学系） ； Stanford Statistics（斯坦福大学统计学系） ； Tel Aviv University（特拉维夫大学） ； IMC Trading 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究重复数据对语言模型的影响，通过无重复缩放定律量化计算等效损失，发现重复次数存在最坏点，且该点随模型规模呈幂律增长。

NeuroShield: A Device-Agnostic Foundation Model for EEG Authentication

NeuroShield: 一种设备无关的EEG认证基础模型

Matin Fallahi, Patricia Arias-Cabarcos, Thorsten Strufe

机构 * Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院） ； Joint Research Centre, European Commission（欧盟委员会联合研究中心） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 针对EEG认证中模型因采集设备差异而难以复用的问题，提出NeuroShield基础模型，采用双阶段Transformer架构从变通道、变长度EEG中学习身份判别嵌入，在三个公开数据集预训练后，微调后等错误率降低0.44-8.06个百分点，并泛化至未见过的通道布局和更长信号段。

Removing Noise, not Finding Gold: Quality Filtering for Large-Scale Pretraining

去除噪声，而非寻找黄金：大规模预训练的质量过滤

Thiziri Nait Saada, Louis Bethune, Michal Klein, David Grangier, Marco Cuturi, Pierre Ablin

机构 * Work done as an intern at Apple（苹果公司实习生） ； University of Oxford（牛津大学） ； Apple（苹果公司） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文深入分析基于分类器的质量过滤（CQF）方法，发现其虽提升下游任务性能，但会隐式过滤高质量数据，且与基于合成数据的模型行为趋势不同，质疑CQF捕捉数据质量的有效性。

Comments 21 pages, 22 figures, 2 tables, accepted at ICML 2026

A Multi-Center Study on the Adaptability of a Shared Foundation Model for Electronic Health Records

多中心研究：共享电子健康记录基础模型的适应性

Lin Lawrence Guo, Jason Fries, Ethan Steinberg, Scott Lanyon Fleming, Keith Morse, Catherine Aftandilian, Jose Posada, Nigam Shah, Lillian Sung

机构 * Program in Child Health Evaluative Sciences, The Hospital for Sick Children, Toronto, ON, 1 Canada（儿童健康评估科学计划，多伦多医院儿童医学中心，多伦多，加拿大） ； Stanford Center for Biomedical Informatics Research, Stanford University, Palo Alto, CA, USA（斯坦福大学生物医学信息学研究中心，斯坦福大学，帕洛阿尔托，美国） ； Universidad del Norte, Barranquilla, Columbia（北方大学，巴兰基利亚，哥伦比亚） ； Division of Haematology/Oncology, The Hospital for Sick Children, Toronto, ON, Canada（血液肿瘤科，多伦多医院儿童医学中心，多伦多，加拿大） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本研究评估了共享电子健康记录基础模型在不同医院间的适应性，证明其在较少标注数据下仍能提供优于本地训练的性能，且更高效。

Comments 46 pages, 5 figures, 3 tables, 14 appendices

Cohort-Anchored Foundation Models for Electronic Health Records: From Risk Scores to Auditable Peer Cohorts

基于队列锚定的电子健康记录基础模型：从风险评分到可审计的同行队列

Kaiping Zheng

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出CAFM框架，将患者队列作为一等对象融入学习流程，通过四个阶段提升数据质量、组织表示并支持可审计决策，以解决基础模型在临床部署中的可解释性、分布偏移和临床对齐问题。

B[FM]$^2$: Brain Foundation Model via Flow Matching with SplitUNet

B[FM]$^2$: 基于流匹配与SplitUNet的脑基础模型

Jaedong Hwang, Kathleen Zhang, Wei Dai, Konstantinos Kontras, Maarten Vanmarcke, Maarten De Vos, Ila Fiete, Paul Pu Liang

机构 * Massachusetts Institute of Technology（麻省理工学院） ； KU Leuven（鲁汶大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出B[FM]$^2$，通过连续时间流匹配直接在原始EEG信号上预训练，避免离散化带来的时间动态损失，并设计SplitUNet网络处理时间-电极不对称性，在9个下游任务中7个达到最优，预训练数据量减少约30倍。

Nothing from Something: Can a Language Model Discover 0?

无中生有：语言模型能否发现0？

Phoebe Zeng, Thomas L. Griffiths, Brenden M. Lake

机构 * Department of Computer Science, Princeton University（普林斯顿大学计算机科学系） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 研究语言模型能否独立发现“零”的概念，通过算术任务测试，发现GPT-2规模模型无法在测试时泛化，但少量示例训练后显著提升，且语言预训练减少所需示例约50%。

IHUBERT: Vector-Based Semantic Deduplication and Domain-Balanced Pretraining for Persian Resources

IHUBERT: 面向波斯语资源的基于向量的语义去重与领域平衡预训练

Arash Ghafouri, Mahdi Firouzmandi, Hossein Saberi, Mohammad Reza Hasani Ahangar

机构 * Department of Artificial Intelligence and Cognitive Science, Imam Hossein Comprehensive University（人工智能与认知科学系，伊玛目·侯赛因综合大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出IHUBERT，一个基于RoBERTa-base的波斯语预训练模型，通过多阶段预处理（包括基于向量数据库的语义去重和领域平衡）在45GB语料上训练，在多项NLU任务上取得领先结果，尤其抽取式问答表现突出。

X-Tokenizer: A Multimodal Action Tokenizer for Vision-Language-Action Pretraining

X-Tokenizer: 一种用于视觉-语言-动作预训练的多模态动作分词器

Miracle Kang, Lights Shi, Lucy Liang, Roy Gan, Dongxiu Liu, Pushi Zhang, Sylas Chen, Shawn Qin, Yinan Zheng, Jinliang Zheng, Hao Wang, Xianyuan Zhan, Hang Su

机构 * Square Robot ； City University of Hong Kong（香港城市大学） ； Tsinghua University（清华大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 提出X-Tokenizer，通过语义残差量化（SRQ）和掩码动作建模（MAM）将动作离散化为语义接口，在2.4M轨迹上预训练后提升VLA模型的多模态接地和长程任务性能。

Comments Project page: https://x-square-robot.github.io/X-Tokenizer_projectPage/

Emerging Flexible Designs for Geospatial Multimodal Foundation Models

地理空间多模态基础模型的新兴灵活设计

Philipe Dias, Waqwoya Abebe, Abhishek Potnis, Aristeidis Tsaris, Dan Lu, Xiao Wang, Dalton Lunga

机构 * Oak Ridge National Laboratory（橡树岭国家实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文系统比较了不同架构的地理空间基础模型，在统一设置下评估其灵活性与性能，为多模态推理提供设计指导。

Unraveling Syntax: Language Modeling and the Substructure of Grammars

解析句法：语言建模与语法的子结构

Laura Ying Schulz, Daniel Mitropolsky, Tomaso Poggio

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究语言模型在上下文无关语法子结构上的学习行为，证明损失函数在顶层子语法上线性递归，并发现参数化模型并行学习子语法，子语法预训练能提升小模型性能并改善内部表征。

Comments Equal contribution by LYS and DM. Accepted to the 43rd International Conference on Machine Learning (ICML 2026)

Hubs or Fringes: Pretraining Data Selection via Web Graph Centrality

枢纽或边缘：基于网页图中心性的预训练数据选择

Vedant Badoni, Danqi Chen, Xinyi Wang

机构 * Princeton Language and Intelligence（普林斯顿语言与智能） ； Princeton University（普林斯顿大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出WebGraphMix框架，利用Common Crawl主机级网页图的结构中心性得分调整预训练数据中中心与边缘文档的比例，无需模型训练或标注数据，在400M和1B参数模型上平均性能提升至41.4%。

Comments 10 pages

Tractogram foundation model

TractFM：纤维束图基础模型

Guikun Chen, Yuqian Chen, Yijie Li, Yogesh Rathi, Nikos Makris, Fan Zhang, Wenguan Wang, Lauren J. O'Donnell

机构 * The State Key Lab of Brain-Machine Intelligence, Zhejiang University, Hangzhou（脑机智能国家重点实验室，浙江大学，杭州） ； Department of Radiology, Brigham and Women’s Hospital, Mass General Brigham, Boston（放射科，布里洛妇女医院，马萨诸塞总医院，波士顿） ； Harvard Medical School, Boston（哈佛医学院，波士顿） ； Academy of Medical Engineering and Translational Medicine, Tianjin University, Tianjin（医学工程与转化医学研究院，天津大学，天津） ； School of Information and Communication Engineering, University of Electronic Science and Technology of China, Chengdu（信息与通信工程学院，电子科技大学，成都） ； Psychiatry Neuroimaging Laboratory, Brigham and Women’s Hospital, Mass General Brigham, Boston（精神病神经影像实验室，布里洛妇女医院，马萨诸塞总医院，波士顿） ； Department of Psychiatry, Center for Morphometric Analysis, Massachusetts General Hospital, Boston（精神病科，形态分析中心，马萨诸塞总医院，波士顿） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出TractFM基础模型，直接从全脑纤维束集学习可复用表示，结合局部纤维编码器和置换等变纤维束编码器，通过密集解剖束分割预训练，实现纤维束级和受试者级任务的迁移。

BCG-FM: A Foundation Model for Ambient Cardiac Health Sensing

BCG-FM：一种用于环境心脏健康感知的基础模型

Magnus Ruud Kjaer, Haejun Han, Ashish Neupane, David Q. Sun

机构 * Department of Computer Science and Engineering, University of California, San Diego（1 加州大学圣迭戈分校计算机科学与工程系） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出首个环境机械生物信号基础模型BCG-FM，利用床垫压电传感器无感采集心冲击图，通过14.6万人的275万小时数据预训练，在生物年龄估计上达到3.26年MAE，并实现15种健康状态的临床相关判别。

A robust PPG foundation model using multimodal physiological supervision

一种使用多模态生理监督的鲁棒PPG基础模型

Eloy Geenjaar, Vince Calhoun, Scott Daly, Gouthaman KV, Lie Lu, Trisha Mittal, Daniel P. Darcy

机构 * Dolby Laboratories（杜比实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种PPG基础模型，利用ICU数据集中的心电和呼吸信号选择对比样本，无需高质量或场域数据预训练，在15个下游任务中14个取得性能提升。

Are Common Substructures Transferable? Riemannian Graph Foundation Model with Neural Vector Bundles

常见子结构可迁移吗？基于神经向量丛的黎曼图基础模型

Li Sun, Zhenhao Huang, Yiding Wang, Qin Chen, Pietro Lio, Philip S. Yu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 针对图结构迁移性理论缺失的问题，提出基于黎曼几何的神经向量丛框架GAUGE，通过内在几何学习实现可迁移子结构表征，在零样本链接预测和图同构任务中验证了优越性。

Comments Accepted by ICML 2026

Typhoon: Towards an Effective Task-Specific Masking Strategy for Pre-trained Language Models

Typhoon: 面向预训练语言模型的有效任务特定掩码策略

Muhammed Shahir Abdurrahman, Hashem Elezabi, Bruce Changlong Xu

机构 * Department of Computer Science, Stanford University（斯坦福大学计算机科学系） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Typhoon，一种基于任务损失梯度的自适应掩码策略，在GLUE任务上对比随机掩码和整词掩码，经严格评估发现无显著优势。

Comments 9 pages, 2 figures

Linguistics-Aware Non-Distortionary LLM Watermarking

语言学感知的无失真LLM水印

Shinwoo Park, Hyejin Park, Hyeseon An, Yo-Sub Han

机构 * Yonsei University（延世大学） ； Rensselaer Polytechnic Institute（罗切斯特理工学院） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 提出LUNA水印方法，通过语言自适应非失真二元锦标赛采样器，在保持文本质量的同时实现高检测性能，在12种设置中AUROC达0.9959且中位困惑度偏移仅0.045。

Language Models Learn Constructional Semantics, Not To Mention Syntax: Investigating LM Understanding of Paired-Focus Constructions

语言模型学习构式语义，更不用说句法：探究LM对配对焦点构式的理解

Wesley Scivetti, Ethan Wilcox, Nathan Schneider, Kanishka Misra, Leonie Weissweiler

机构 * Georgetown University（乔治城大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Leipzig University（莱比锡大学） 纠错

专题命中 预训练与数据 ：language model(title)；LLM(abstract_cn)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 通过构建新数据集，研究不同规模开源语言模型对英语中稀有配对焦点构式（如“let alone”）的语义理解，发现中等规模模型能掌握其形式和意义，且语义学习晚于句法知识，并与世界知识相关。

Comments Conference on Natural Language Learning (CoNLL) 2026

Bridging the Stability-Expressivity Gap: Synthetic Data Scaling and Preference Alignment for Low-Resource Spoken Language Models

弥合稳定性与表现力之间的差距：低资源口语语言模型的合成数据扩展与偏好对齐

Yizhong Geng, Yanliang Li, Jinghan Yang, Tianhan Jiang, Boxun An, Ya Li, Xiaoyu Shen

机构 * Beijing University of Posts（北京邮电大学） ； University of California, USA（美国加州大学） ； Northwestern University, USA（美国西北大学） ； Eastern Institute of Technology, Ningbo, China（宁波工程技术学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；SLM(abstract_cn)；分类 cs.CL、cs.AI

AI总结 针对低资源口语语言模型因合成数据导致的表现力崩溃问题，提出两种自对齐框架（DGSA和TDSC）以恢复韵律多样性，实现超越商业系统的性能并首次支持老挝语零样本语音克隆。

A Multimodal 3D Foundation Model for Light Sheet Fluorescence Microscopy Enables Few-Shot Segmentation, Classification, and Deblurring

一种用于光片荧光显微镜的多模态3D基础模型实现少样本分割、分类和去模糊

Adina Scheinfeld, Haotan Zhang, Shang Mu, Rudolf L. M. van Herten, Lucas Stoffl, Ali Erturk, Zhuhao Wu, Johannes C. Paetzold

机构 * Tri-Institutional Program in Computational Biology \& Medicine, Weill Cornell Medicine, New York, NY, USA Department of Radiology, Weill Cornell Medicine, New York, NY, USA Helen ； Robert Appel Alzheimers Disease Research Institute, Feil Family Brain ； Mind Research Institute, Weill Cornell Medicine, New York, NY, USA Graduate Program in Physiology, Biophysics ； Systems Biology, Weill Cornell Medicine, New York, NY, USA Cornell Tech, New York, NY, USA Institute for Intelligent Biotechnologies (iBIO), Helmholtz Center Munich, Neuherberg, Germany Institute for Stroke ； Dementia Research, Klinikum der Universität München, Ludwig-Maximilians University Munich, Munich, Germany 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种基于掩码重建与图像-文本对齐联合优化的3D基础模型，在光片荧光显微镜数据上预训练，通过少样本适应显著降低标注成本并提升分割、分类和去模糊性能。

Comments 11 pages, 3 figures

DIVER-1: Scaling Intracranial EEG Foundation Models for Transferable Representations

DIVER-1: 扩展颅内脑电图基础模型以实现可迁移表示

Danny Dongyeop Han, Yonghyeon Gwon, Ahhyun Lucy Lee, Taeyang Lee, Seong Jin Lee, Jubin Choi, Sebin Lee, Jihyun Bang, Seungju Lee, David Keetae Park, Shinjae Yoo, Chun Kee Chung, Jiook Cha

机构 * Seoul National University（首尔国立大学） ； Brookhaven National Laboratory（布鲁克海文国家实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出DIVER-1自监督iEEG基础模型，通过可变电极-时间注意力、时空重采样等设计处理可变输入，在5310小时ECoG和SEEG上预训练，在认知解码和癫痫检测任务上超越现有模型，并首次进行受控计算感知的扩展研究。

Comments 31 pages, 12 figures, 14tables

Billion-Scale Graph Foundation Models

十亿级图基础模型

Maya Bechler-Speicher, Yoel Gottlieb, Andrey Isakov, David Abensur, Ami Tavory, Daniel Haimovich, Ido Guy, Udi Weinsberg

机构 * Meta 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出GraphBFF，一种用于构建大规模异构图的十亿参数图基础模型的端到端方法，通过引入GraphBFF Transformer架构，揭示了异构图的神经缩放定律，并在多个下游任务中展示了其优越的性能。

Language models struggle with compartmentalization

语言模型在 compartmentalization 方面遇到困难

Thomas Vincent Howe, David Wingate

机构 * Department of Computer Science（计算机科学系） ； Brigham Young University 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究探讨了大型语言模型在处理统一概念的不同表达方式时的 compartmentalization 问题，发现模型在不同表达方式之间无法有效共享统计信息，导致模型容量浪费和样本效率降低。

Comments 9 pages, 8 figures, plus 9 pages of appendices. Submitted to NeurIPS 2026. Code: https://github.com/vinhowe/compartmentalization. Eval data: https://doi.org/10.5281/zenodo.20171021

Shaping the Prior: How Synthetic Task Distributions Determine Tabular Foundation Model Quality

塑造先验：合成任务分布如何决定表格基础模型的质量

Mohamed Bouadi, Nassim Bouarour, Varun Kulkarni, Shivam Dubey, Aditya Tanna, Vinay Kumar Sankarapu

机构 * Lexsi Labs（Lexsi实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了合成任务分布对表格基础模型质量的影响，提出O'Prior方法，通过四个耦合组件构建更真实的先验，提升了下游任务的准确性和鲁棒性。

Scaling Laws for Mixture Pretraining Under Data Constraints

混合预训练下的扩展规律

Anastasiia Sedova, Skyler Seto, Natalie Schluter, Pierre Ablin

机构 * Apple（苹果公司） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究混合预训练中数据限制下的扩展规律，发现重复是影响目标领域性能的核心因素，提出考虑重复的混合扩展定律以优化预训练配置。