PDE foundation models are skillful AI weather emulators for the Martian atmosphere
偏微分方程基础模型是火星大气的技能型AI天气模拟器
专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG
AI总结 基于预训练的偏微分方程基础模型，通过扩展至三维并适应稀疏初始条件，实现了对火星大气天气的高精度模拟。
AI 大模型
语言大模型 / LLM
大语言模型、预训练、指令微调、后训练和语言模型应用。
1. 预训练与数据 12429 篇
Scaling Behavior of Discrete Diffusion Language Models
离散扩散语言模型的扩展行为
机构 * ETH Zürich（苏黎世联邦理工学院） ； ELLIS Institute Tübingen（图宾根ELLIS研究所） ； Max Planck Institute for Intelligent Systems, Tübingen（图宾根人工智能研究所）
专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；分类 cs.LG
AI总结 本研究探讨了离散扩散语言模型在不同噪声类型下的扩展行为，发现其扩展特性与自回归语言模型有显著差异，并展示了在数据受限环境下均匀扩散的潜力。
TabICLv2: A better, faster, scalable, and open tabular foundation model
TabICLv2：一种更优、更快、可扩展且开源的表格基础模型
机构 * inria（法国国家信息与自动化研究所）
专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG
AI总结 TabICLv2通过合成数据生成、架构创新和优化预训练协议，在无需调优的情况下超越现有最佳模型，实现更快、更高效的表格数据处理。
Federated EndoViT: Pretraining Vision Transformers via Federated Learning on Endoscopic Image Collections
联邦端oscopeViT：通过联邦学习在内窥镜图像集上预训练视觉Transformer
机构 * National Center for Tumor Diseases (NCT)（国家肿瘤中心） ； Translational Surgical Oncology（转化外科肿瘤学） ； Faculty of Medicine and University Hospital Carl Gustav Carus, TUD Dresden University of Technology（医学系和图林根大学技术大学卡尔·古斯塔夫·卡尔医院） ； DKFZ, Faculty of Medicine and University Hospital Carl Gustav Carus, TUD Dresden University of Technology（德累斯顿大学技术大学医学系和德累斯顿癌症研究中心） ； Helmholtz-Zentrum Dresden-Rossendorf (HZDR)（德累斯顿-罗斯多夫亥姆霍兹中心） ； Centre for Tactile Internet with Human-in-the-Loop (CeTI), TU Dresden（具有人类在环的触觉互联网中心，德累斯顿技术大学） ； Visceral, Thoracic and Vascular Surgery, Faculty of Medicine and University Hospital Carl Gustav Carus, TU Dresden（visceral、胸外科和血管外科，医学系和图林根大学技术大学卡尔·古斯塔夫·卡尔医院） ； Weldon School of Biomedical Engineering, Purdue University（生物医学工程韦尔登学校，普渡大学） ； Medical Oncology, NCT, University Hospital Heidelberg, Germany（医学肿瘤学，国家肿瘤中心，海德堡大学医院，德国） ； Medicine I, Faculty of Medicine and University Hospital Carl Gustav Carus, TU Dresden（医学I，医学系和图林根大学技术大学卡尔·古斯塔夫·卡尔医院）
专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.LG
AI总结 本文提出FL-EndoViT框架，通过联邦学习在内窥镜图像集上预训练视觉Transformer，解决数据隐私问题，提升手术基础模型的稳健性和泛化能力。
Comments Preprint submitted to MIDL
Modalities, a PyTorch-native Framework For Large-scale LLM Training and Research
模态，一种用于大规模大语言模型训练和研究的PyTorch原生框架
机构 * Fraunhofer IAIS（弗劳恩霍夫智能系统研究所） ； AI Sweden（人工智能瑞典） ； University of Bonn（波恩大学） ； Lamarr Institute（拉马尔研究所）
专题命中 预训练与数据 ：LLM(title,abstract)；pretraining(abstract)；分类 cs.LG
AI总结 Modalities是一个基于PyTorch的框架，旨在通过整合先进的并行策略和模块化设计，提升大规模大语言模型训练和研究的效率与可扩展性。
MaD-Mix: Multi-Modal Data Mixtures via Latent Space Coupling for Vision-Language Model Training
MaD-Mix: 通过潜在空间耦合实现多模态数据混合用于视觉-语言模型训练
机构 * LIONS, EPFL（EPFL 雷奥尼实验室）
专题命中 预训练与数据 ：language model(title,abstract)；instruction tuning(abstract)；分类 cs.LG
AI总结 MaD-Mix通过潜在空间耦合实现多模态数据混合，提升视觉-语言模型训练效率，减少训练步骤并增强复杂场景下的性能。
Unlocking Noisy Real-World Corpora for Foundation Model Pre-Training via Quality-Aware Tokenization
通过质量感知的分词解锁噪声真实世界语料用于基础模型预训练
机构 * Broad Institute of MIT and Harvard, Cambridge, MA, USA（麻省理工学院与哈佛大学Broad研究所） ； Massachusetts Institute of Technology, Cambridge, MA, USA（麻省理工学院） ； Koch Institute for Integrative Cancer Research, MIT, Cambridge, MA, USA（麻省理工学院Koch整合癌症研究 institute） ； Department of Neurology and Neurosurgery, McGill University, Montreal, Canada（麦吉尔大学神经学与神经外科系） ； The Montreal Neurological Hospital-Institute, Montreal, Canada（蒙特利尔神经科学医院-研究所）
专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI
AI总结 本研究提出质量感知分词方法，通过双层优化、强化学习和自适应参数学习机制，提升基础模型在基因组和金融领域的预训练效果。
PhenoLIP: Integrating Phenotype Ontology Knowledge into Medical Vision-Language Pretraining
PhenoLIP：将表型本体知识整合到医学视觉-语言预训练中
机构 * School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL
AI总结 PhenoLIP通过整合表型本体知识提升医学视觉-语言模型的表型识别与跨模态检索性能。
Empowering Time Series Analysis with Large-Scale Multimodal Pretraining
通过大规模多模态预训练增强时间序列分析
机构 * East China Normal University, Shanghai, China（华东师范大学） ； HuaWei, ShenZhen, China（华为，深圳，中国）
专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.LG
AI总结 本文提出HORAI模型，通过多模态预训练提升时间序列分析的泛化能力，实现零样本预测和异常检测的最优性能。
Investigating the Impact of Histopathological Foundation Models on Regressive Prediction of Homologous Recombination Deficiency
探究病理基础模型对同源重组缺陷的回归预测影响
机构 * Leibniz University Hannover（汉诺威莱布尼茨大学）
专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI
AI总结 本研究探讨了病理基础模型在预测同源重组缺陷评分中的影响，通过实验发现基于基础模型的模型在预测准确性方面优于基线，并提出了缓解数据不平衡的上采样策略。
Comments 9 pages, 7 figures and 5 tables
Midtraining Bridges Pretraining and Posttraining Distributions
中期训练连接预训练和后训练分布
机构 * Language Technologies Institute, Carnegie Mellon University, USA（语言技术研究所，卡内基梅隆大学，美国）
专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL
AI总结 中期训练通过提供更好的初始化提升模型性能，尤其在与通用预训练数据距离较远的领域表现突出，且起始时间和混合权重的相互作用影响其效果。
Hessian Spectral Analysis at Foundation Model Scale
基础模型规模下的Hessian谱分析
机构 * Mathematical Institute, University of Oxford, UK（牛津大学数学研究所）
专题命中 预训练与数据 ：foundation model(title,abstract)；language model(abstract)；分类 cs.LG
AI总结 本研究在大规模基础模型上实现了Hessian谱的准确分析，揭示了块对角曲率近似在中等规模LLM中的失效问题，展示了谱探测的计算效率与实际应用价值。
RobustDebias: Debiasing Language Models using Distributionally Robust Optimization
RobustDebias: 使用分布鲁棒优化去偏语言模型
机构 * Deep Gandhi University of Alberta（Deep Gandhi 阿尔伯塔大学） ； Katyani Singh University of Alberta（Katyani Singh 阿尔伯塔大学） ； Nidhi Hegde University of Alberta（Nidhi Hegde 阿尔伯塔大学） ； Alberta Machine Intelligence Institute（阿尔伯塔人工智能研究所）
专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.AI
AI总结 RobustDebias通过分布鲁棒优化在微调过程中减少语言模型的偏见，有效缓解偏见的同时保持性能
Zonkey: A Hierarchical Diffusion Language Model with Differentiable Tokenization and Probabilistic Attention
Zonkey：一种具有可微分分词和概率注意力的分层扩散语言模型
机构 * Alon Rozental（独立研究者）
专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL
AI总结 Zonkey是一种通过可微分分词和概率注意力机制实现的分层扩散语言模型，能够从噪声中生成连贯文本并提升领域适应性。
EvolVE: Evolutionary Search for LLM-based Verilog Generation and Optimization
EvolVE: 基于LLM的Verilog生成与优化的进化搜索
机构 * Department of Electrical Engineering（电气工程系） ； National Taiwan University（国立台湾大学） ； Department of Computer Science and Information Engineering（计算机科学与信息工程系） ； Institute of Information Science（信息科学研究所）
专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 EvolVE通过进化搜索方法提升LLM在Verilog生成与优化中的性能，达到98.1%的准确率并优化行业级集成电路设计。
Comments 17 pages, 6 figures, 8 tables
Understanding the Transfer Limits of Vision Foundation Models
理解视觉基础模型的迁移限制
机构 * University College London（伦敦大学学院）
专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI
AI总结 本文研究了视觉基础模型在迁移时的限制，发现预训练目标与下游任务需求的匹配程度影响迁移性能，提出通过改进预训练目标以提升模型效果。
Comments accepted in ISBI 2026
Uncovering Intrinsic Capabilities: A Paradigm for Data Curation in Vision-Language Models
揭示内在能力：一种用于视觉-语言模型数据整理的范式
机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） ； Hong Kong Baptist University, China（香港 Baptist大学） ； City University of Hong Kong, China（香港城市大学）
专题命中 预训练与数据 ：language model(title,abstract)；instruction tuning(abstract)；分类 cs.AI
AI总结 CADC通过揭示视觉-语言模型的内在能力，提供了一种基于能力分析的数据整理范式，以提升指令微调的效果。
Lens: A Knowledge-Guided Foundation Model for Network Traffic
Lens: 一种基于知识的网络流量基础模型
专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG
AI总结 Lens提出了一种基于知识的网络流量基础模型，通过知识引导的预训练和上下文感知微调，在分类和生成任务中均取得优异性能。
Training Language Models with homotokens Leads to Delayed Overfitting
通过homotokens训练语言模型导致过拟合延迟
机构 * Dalle Molle Institute for Artificial Intelligence (IDSIA)（达勒莫莱人工智能研究所） ； National University of Science and Technology POLITEHNICA Bucharest（科学与技术国家大学）
专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL
AI总结 通过homotokens训练语言模型可延迟过拟合并提升泛化能力，方法通过辅助编码器和注意力机制实现tokenization不变性。
Comments 8 pages, 6 figures, 3 Appendices
PDR: A Plug-and-Play Positional Decay Framework for LLM Pre-training Data Detection
PDR: 一种用于LLM预训练数据检测的即插即用位置衰减框架
专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 PDR是一种无需训练的即插即用框架，通过位置衰减重加权提升LLM预训练数据检测的鲁棒性与准确性。
A Unified Shape-Aware Foundation Model for Time Series Classification
面向时间序列分类的统一形状感知基础模型
专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG
AI总结 UniShape是一种面向时间序列分类的统一形状感知基础模型，通过自适应聚合多尺度判别子序列提升模型可解释性，并在多个数据集上实现最先进的分类性能。
Comments Accepted in AAAI 2026
Stochastic Siamese MAE Pretraining for Longitudinal Medical Images
随机时序Siamese MAE预训练用于纵向医学图像
机构 * Institute of Artificial Intelligence, Center for Medical Data Science, Medical University of Vienna（人工智能研究所，医学数据科学中心，维也纳医科大学） ； Department of Ophthalmology and Optometry, Medical University of Vienna（眼科学与视光学系，维也纳医科大学） ； Ophthalmic Image Analysis Group (OPTIMA), Medical University of Vienna（眼科影像分析组（OPTIMA），维也纳医科大学） ； BioMedIA, Department of Computing, Imperial College London（BioMedIA，计算系，伦敦帝国理工学院） ； Chair for AI in Healthcare and Medicine, Technical University of Munich（医学与健康人工智能教授职位，慕尼黑技术大学） ； Moorfields National Institute for Health and Care Biomedical Research Centre, Moorfields Eye Hospital（莫尔菲尔兹国家健康与护理生物医学研究中心，莫尔菲尔兹眼科医院）
专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.LG
AI总结 STAMP通过随机过程和条件变分推断，提升纵向医学图像中疾病进展的建模能力。
Comments Under review. Code is available in https://github.com/EmreTaha/STAMP
PI-MFM: Physics-informed multimodal foundation model for solving partial differential equations
PI-MFM：基于物理的多模态基础模型用于求解偏微分方程
机构 * Department of Statistics and Data Science, Yale University（统计与数据科学系，耶鲁大学） ； Department of Applied Mathematics and Statistics, Johns Hopkins University（应用数学与统计学系，约翰霍普金斯大学） ； Department of Applied Computational Mathematics and Statistics, University of Notre Dame（应用计算数学与统计学系，圣母大学） ； Department of Mathematics, University of California Los Angeles（数学系，加州大学洛杉矶分校） ； Department of Chemical and Environmental Engineering, Yale University（化学与环境工程系，耶鲁大学）
专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG
AI总结 PI-MFM是一种基于物理的多模态基础模型，通过强制执行偏微分方程在预训练和适应过程中，提高求解PDE的效率和鲁棒性。
Scaling Laws for Economic Productivity: Experimental Evidence in LLM-Assisted Consulting, Data Analyst, and Management Tasks
经济生产力的扩展定律：在LLM辅助咨询、数据分析师和管理任务中的实验证据
专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 本文通过实验发现，LLM训练计算量和算法进展可提升专业任务效率，非代理分析任务的生产力增益更大，预计未来十年美国生产力将提升约20%。
Investigating Spatial Attention Bias in Vision-Language Models
探究视觉-语言模型中的空间注意力偏差
机构 * Birla Institute of Technology and Science, Pilani, India（比拉理工学院和科学研究院，帕利尼，印度）
专题命中 预训练与数据 ：language model(title,abstract)；prompting(abstract)；分类 cs.CL
AI总结 本文研究了视觉-语言模型在处理水平拼接图像时存在的系统性空间注意力偏差，发现模型倾向于优先描述左位置内容，且该偏差在不同架构和语言训练下均存在。
Overcoming the Generalization Limits of SLM Finetuning for Shape-Based Extraction of Datatype and Object Properties
超越基于形状的抽取数据类型和对象属性的SLM微调泛化限制
机构 * Univ. Côte d’Azur（里昂大学） ； Inria（法国国家信息与自动化技术研究院） ； CNRS（法国国家科学研究中心） ； I3S（信息科学与系统研究所）
专题命中 预训练与数据 ：SLM(title)；language model(abstract)；small language model(abstract)；分类 cs.CL
AI总结 本文提出通过构建训练集确保属性出现次数超过阈值，以提升SLM在抽取数据类型和对象属性时的泛化能力。
Comments Accepted at KCAP 2025
Enhanced Spatiotemporal Consistency for Image-to-LiDAR Data Pretraining
增强的时空一致性用于图像到LiDAR数据预训练
机构 * College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院） ； School of Computing, Department of Computer Science, National University of Singapore（新加坡国立大学计算机学院） ； School of Computer Science, Nanjing University of Posts and Telecommunications（南京邮电大学计算机学院） ； Shanghai AI Laboratory（上海人工智能实验室） ； S-Lab, Nanyang Technological University（南洋理工大学S实验室）
专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.LG
AI总结 SuperFlow++通过整合时空线索提升图像到LiDAR数据预训练效果，实现更鲁棒的特征表示和更高效的自动驾驶感知。
Comments IEEE Transactions on Pattern Analysis and Machine Intelligence
Bootstrapping Fuzzers for Compilers of Low-Resource Language Dialects Using Language Models
通过语言模型构建编译器低资源语言方言的模糊测试器
机构 * University of California San Diego（加州大学圣地亚哥分校） ； Max Planck Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所）
专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG
AI总结 通过语言模型构建编译器低资源语言方言的模糊测试器，利用语法和覆盖引导技术生成种子输入，提升测试效率和覆盖率。
EgoDTM: Towards 3D-Aware Egocentric Video-Language Pretraining
EgoDTM: 向3D感知的自体视频-语言预训练迈进
机构 * AIM3 Lab, Renmin University of China（中国人民大学人工智能3实验室）
专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.AI
AI总结 EgoDTM通过结合大规模3D感知视频预训练和视频-文本对比学习，提升视频-语言模型的3D感知能力，实现更丰富的空间理解。
Comments Code: https://github.com/xuboshen/EgoDTM
Multi-Aspect Knowledge-Enhanced Medical Vision-Language Pretraining with Multi-Agent Data Generation
多方面知识增强的医学视觉-语言预训练与多代理数据生成
机构 * Department of Data Science and AI, Faculty of Information Technology, Monash University（数据科学与人工智能系，信息科技学院，墨尔本大学） ； Victorian Melanoma Service, Alfred Health（维多利亚黑色素瘤服务，阿尔弗雷德健康） ； Frazer Institute, The University of Queensland, Dermatology Research Centre（弗雷泽研究所，昆士兰大学，皮肤科研究中心）
专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.AI
AI总结 本研究提出一种多代理数据生成与多方面知识增强的医学视觉-语言预训练框架，通过提升数据质量和细粒度对齐，实现零样本性能的突破。
Comments 10 pages. Under Review
