语言大模型 / LLM

Spatial Transcriptomics as Images for Large-Scale Pretraining

空间转录组学作为图像进行大规模预训练

Yishun Zhu, Jiaxin Qi, Jian Wang, Yuhua Zheng, Jianqiang Huang

机构 * Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心） ； Hangzhou Institute for Advanced Study, University of the Chinese Academy of Sciences（中国科学院大学杭州高等研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 提出将空间转录组学数据视为可裁剪的多通道图像，通过空间分块和基因子集选择来增加训练样本并保留空间上下文，实现大规模预训练，显著提升下游任务性能。

ROMEVA: Geometry-Preserving Vocabulary Expansion for Roman Urdu Language Models

ROMEVA: 罗马乌尔都语语言模型的几何保持词汇扩展

Mahnoor Khan, Afsheen Asif, Milhan Afzal Khan, Seemab Latif, Mehwish Fatima

机构 * Department of Computer Science, University of Agriculture Faisalabad（费萨拉巴德农业大学计算机科学系） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 针对罗马乌尔都语拼写变异导致的子词碎片化问题，提出ROMEVA方法，结合子词平均初始化和PCA引导的锚点损失来稳定词汇扩展中的嵌入，实验发现下游性能与嵌入稳定性存在脱节。

Provably Efficient Policy-Reward Co-Pretraining for Adversarial Imitation Learning

对抗模仿学习的可证明高效策略-奖励联合预训练

Tian Xu, Zexuan Chen, Zhilong Zhang, Yi-Chen Li, Chenyang Wang, Lei Yuan, Yang Yu

机构 * National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 针对对抗模仿学习（AIL）需大量在线交互的问题，提出基于奖励塑形分析的理论框架，设计策略-奖励联合预训练方法CoPT-AIL，首次从理论上证明预训练能提升AIL的模仿性能。

Comments Paper accepted by ICML 2026

A Limit Theory of Foundation Models: A Mathematical Approach to Understanding Emergent Intelligence and Scaling Laws

基础模型的极限理论：从极限理论角度理解涌现智能与扩展定律的数学方法

Jun Shu, Junxiong Jia, Deyu Meng, Zongben Xu

机构 * School of Mathematics and Statistics（数学与统计学学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文通过极限理论构建数学框架，量化智能行为，揭示涌现智能源于参数极限架构，并推导基础模型的扩展定律。

Comments There exist some typos and inaccurate expression in this version

ECGFlowCMR: Pretraining with ECG-Generated Cine CMR Helps Cardiac Disease Classification and Phenotype Prediction

ECGFlowCMR: 利用心电图生成电影心脏磁共振的预训练助力心脏病分类和表型预测

Xiaocheng Fang, Zhengyao Ding, Guangkun Nie, Jieyi Cai, Yujie Xiao, Bo Liu, Jiarui Jin, Haoyu Wang, Shun Huang, Ting Chen, Hongyan Li, Shenda Hong

机构 * School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院） ； Polytechnic Institute of Zhejiang University, Zhejiang University（浙江大学 polytechnic 院） ； Institute of Computing Technology, University of the Chinese Academy of Sciences（中国科学院计算技术研究所） ； National Institute of Health Data Science, Peking University（北京大学健康数据科学国家研究院） ； Institute of Microelectronics, University of the Chinese Academy of Sciences（中国科学院微电子研究所） ； Department of Cardiology, Zhejiang University（浙江大学心内科部） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 提出ECGFlowCMR框架，通过相位感知掩码自编码器和解剖运动解耦流解决ECG与CMR的跨模态时序错配和解剖可观测性差距，生成逼真电影CMR序列，提升下游心脏病分类和表型预测性能。

Comments Accepted to KDD 2026

Contextualizing Biological Language Models across Modalities via Logit-Space Contrastive Alignment

跨模态生物学语言模型的逻辑空间对比对齐

Yanjun Shao, Yundi Chen, Yashvi Patel, Aurelien Pelissier, María Rodríguez Martínez

机构 * Biomedical Informatics and Data Science, Yale School of Medicine（耶鲁医学院生物医学信息学与数据科学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.LG

AI总结 提出LOGICA框架，在输出逻辑空间进行对比学习，通过门控跨模态适配器保留预训练似然接口，实现跨不同词汇表模型的上下文条件预测，在蛋白质-配体结合、TCR-肽活性和药物耐药性预测任务上超越现有方法。

Geometry-Consistent Endoscopic Representations for Image-Guided Navigation via Structured Foundation Model Adaptation

几何一致的内窥镜表示用于图像引导导航：基于结构化基础模型适配

Hongchao Shu, Roger D. Soberanis-Mukul, Hao Ding, Morgan Ringel, Mali Shen, Saif Iftekar Sayed, Hedyeh Rafii-Tari, Mathias Unberath

机构 * Department of Computer Science, Johns Hopkins University（约翰霍普金斯大学计算机科学系） ； Semaphor Surgical ； Johnson & Johnson MedTech（强生医疗科技） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出统一框架，结合合成数据管道与层级感知几何语义适配，学习几何一致且领域鲁棒的图像表示，提升单目内窥镜中的位姿估计与深度预测性能。

SMGFM: Spectral Multimodal Graph Pretraining for Multimodal-Attributed Graphs

SMGFM: 面向多模态属性图的谱多模态图预训练

Zhengyu Wu, Xu Wang, Hongchao Qin, Xunkai Li, Guang Zeng, Rong-Hua Li, Guoren Wang

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 提出SMGFM框架，利用图频谱分解区分结构诱导语义与模态特有语义，通过频带路由实现跨模态融合，在图级和模态级任务上取得最优性能。

Task-Agnostic Contrastive Pretraining for Relational Deep Learning

关系深度学习中的任务无关对比预训练

Jakub Peleška, Gustav Šír

机构 * Czech Technical University in Prague（捷克技术大学布拉格分校） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 本文提出一种任务无关的对比预训练方法，通过三层对比目标提升关系数据的表示学习，实验表明预训练模型在关系数据迁移学习中表现优异。

Comments arXiv admin note: text overlap with arXiv:2506.22199

Time Series Causal Discovery via Context-Conditioned and Causality-Augmented Pretraining

基于上下文条件与因果增强预训练的时间序列因果发现

Biao Ouyang, Tengxue Zhang, Zhihao Zhuang, Yang Shu, Chenjuan Guo, Bin Yang

机构 * East China Normal University（东华师范大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 提出PTCD框架，通过上下文条件建模和可迁移因果增强的预训练范式，提升跨任务时间序列因果发现的泛化能力，在多个真实OOD数据集上因果发现和根因识别表现优异。

Comments 20 pages

A Quantitative Experimental Repeated Measures Study of Training Dynamics in a Small Llama Style Language Model Under a Compute-Aware Token Budget

在计算感知令牌预算下小型Llama风格语言模型训练动态的定量实验重复测量研究

Joe Dwyer

机构 * Department of Computer Information Science, ECPI University（ECPI大学计算机信息科学系） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

AI总结 本研究通过重复测量设计，分析在固定计算预算下训练小型Llama模型时，验证损失、困惑度等指标随令牌数变化的动态，发现早期快速改进后出现非单调退化，表明计算感知评估应关注训练轨迹而非终点指标。

Probabilistic Contrastive Pretraining for Multi-task ADME Property Prediction

概率对比预训练用于多任务ADME性质预测

Yifan Xue, Srimukh Prasad Veccham, Saee Paliwal, Tyler Shimko, Micha Livne

机构 * NVIDIA（英伟达） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 提出分子图-Transformer预训练框架，结合化学自监督与对比互信息，通过统一概率潜变量目标优化重构、对比和化学任务，在多任务微调中采用任务特定MLP头，在三个数据集上平均提升7.6%-9.5%。

Self-Supervised Multisensory Pretraining for Contact-Rich Robot Reinforcement Learning

面向接触丰富机器人强化学习的自监督多感官预训练

Rickmer Krohn, Vignesh Prasad, Gabriele Tiboni, Georgia Chalvatzaki

机构 * Interactive Robot Perception & Learning (PEARL) Lab, TU Darmstadt, Germany（图腾机器人感知与学习实验室，图腾施塔德大学，德国） ； Hessian.AI（海斯堡人工智能） ； Robotics Institute Germany (RIG)（德国机器人研究所（RIG）） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 提出MSDP框架，通过掩码自编码和跨模态预测学习多感官表示，并采用非对称架构（评论家使用交叉注意力提取动态特征，演员使用稳定池化表示）加速策略学习，在模拟和真实机器人任务中展现出鲁棒性和高效性。

Comments 8 pages, 11 figures

Journal ref IEEE Robotics and Automation Letters, 2026, Vol. 11, No. 6, pp. 6799-6806

Modeling semantic association in self-paced reading with language model embeddings

使用语言模型嵌入建模自定步速阅读中的语义关联

Sara Møller Østergaard, Kenneth Enevoldsen, Afra Alishahi, Bruno Nicenboim

机构 * Department of Computational Cognitive Science, Tilburg University（蒂尔堡大学计算认知科学系） ； Center for Humanities Computing, Aarhus University（奥胡斯大学人文计算中心） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 本研究使用语言模型嵌入的十种实现方式量化语义关联，通过贝叶斯模型分析其对N400和自定步速阅读时间的影响，发现句子嵌入能可靠捕捉超出词可预测性的语义关联。

Modular Monolingual Adaptation using Pretrained Language Models

使用预训练语言模型的模块化单语适应

Nalin Kumar, Ondřej Dušek

机构 * Charles University, Faculty of Mathematics and Physics Institute of Formal and Applied Linguistics（查尔斯大学数学与物理系形式与应用语言学研究所） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 提出一种模块化方法，通过替换标记、冻结对应嵌入并调整模型其余部分，在低资源语言上提升NLU任务性能，优于全模型微调。

Comments Accepted to ACL 2026 Industry Track

Trajectory Dynamics in Language Model Hidden States Predict Human Processing Costs Beyond Surprisal

语言模型隐藏状态中的轨迹动力学预测超越惊讶度的人类处理成本

Elan Barenholtz

机构 * Machine Perception & Cognitive Robotics Laboratory（机器感知与认知机器人实验室） ； Department of Psychology（心理学系） ； Center for Complex Systems（复杂系统中心） ； Florida Atlantic University（佛罗里达 Atlantic 大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 通过线性外推语言模型隐藏状态轨迹的偏差，提出轨迹外推误差作为独立于惊讶度的人类处理成本预测因子，并在自然故事语料库中验证其对自定步速阅读时间的预测能力。

Comments 17 pages, 3 figures, 6 tables

An accurate nucleic acid-small molecule docking framework via geometric deep learning with large-scale pretraining

基于几何深度学习与大尺度预训练的核酸-小分子精准对接框架

Shi Li, Xujun Zhang, Mingquan Liu, Hui Zhang, Shuoying Jia, Yu Kang, Tingjun Hou, Peichen Pan

机构 * College of Pharmaceutical Sciences, Zhejiang University（浙江大学药学院） ； Faculty of Health Sciences, University of Macau（澳门大学健康科学学院） ； Zhejiang Provincial Key Laboratory for Intelligent Drug Discovery and Development, Jinhua Institute of Zhejiang University（浙江省智能药物发现与开发重点实验室，浙江大学金华研究院） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 提出NucleoDock框架，通过物理引导的大规模预训练和精细调优，结合序列、结构及原子级特征，利用混合密度网络几何评分头实现核酸-小分子对接，在125个复合物基准上达到56%的top-1成功率（RMSD<2.0Å），优于传统方法。

Comments 34 pages, 4 figures, 4 tabels, Supplementary Materials includes 8 tabels

PI-JEPA: Label-Free Surrogate Pretraining for Coupled Multiphysics Simulation via Operator-Split Latent Prediction

PI-JEPA: 一种无需标签的替代预训练方法，用于通过操作符分裂潜在预测的耦合多物理场模拟

Brandon Yee, Pairie Koh

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 该研究提出了一种无需完整PDE求解的替代预训练框架PI-JEPA，通过掩码潜在预测和每子操作符PDE残差正则化，在未标记的参数场上训练，从而减少多物理场替代部署所需的模拟预算。

Comments Substantial Revision Required

Effective vocabulary expansion of multilingual language models for extremely low-resource languages

针对极低资源语言的多语言语言模型的有效词汇扩展

Jianyu Zheng

机构 * School of Foreign Languages, University of Electronic Science and Technology of China（电子科技大学外国语言学院） ； School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 提出通过筛选源语言偏置词汇并利用双语词典初始化扩展词汇表示，对多语言预训练模型进行持续预训练，在词性标注和命名实体识别任务上分别提升0.54%和2.60%。

Comments 12 pages, 5 figures, 7 tables, under review

When Meaning Travels: A Granular Lens on Hybrid-MoE's Role in Idiomatic Understanding for Language Models

当意义旅行：混合专家模型在语言模型习语理解中的细粒度作用

Sarmistha Das, Vaibhav Vishal, Shreyas Guha, Amaan Ali, Kitsuchart Pasupa, Sriparna Saha

机构 * Department of Computer Science and Engineering, Indian Institute of Technology Patna, India（印度理工学院帕纳瓦分校计算机科学与工程系） ； School of Information Technology, King Mongkut’s Institute of Technology Ladkrabang, Thailand（泰国拉差班国王理工大学信息科技学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 针对低资源东南亚语言中习语的文化隐喻复杂性，提出Varnika多模态习语语料库和混合专家模型HybridMoE，通过控制混合和掩码多模态嵌入缓解专家稀疏性，实现习语理解性能提升5-6%。

CryoProt: A Protein Pretraining Framework with Cross-Box Interactions on Cryo-EM Density Maps

CryoProt: 一种基于冷冻电镜密度图跨盒交互的蛋白质预训练框架

Dan Luo, Xuan Lin, Peng Zhou, Junwen Zhu, Tengfei Ma, Xiangxiang Zeng, Yiping Liu

机构 * College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院） ； School of Computer Science, Xiangtan University（湘潭大学计算机学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 提出 CryoProt 框架，通过多头潜在注意力机制实现密度图跨盒交互建模，并采用多任务预训练策略，在蛋白质柔性预测等下游任务中取得最高12%的性能提升。

Latent Diffusion Pretraining for Crystal Property Prediction

晶体性质预测的潜在扩散预训练

Shrimon Mukherjee, Kishalay Das, Partha Basuchowdhuri, Pawan Goyal, Niloy Ganguly

机构 * University of California, Berkeley（加州大学伯克利分校） ； Indian Institute of Technology, Bombay（印度班加罗尔印度理工学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 提出基于潜在扩散的预训练框架CrysLDNet，结合变分自编码器和扩散模型，从无标注晶体结构中学习表示，微调后显著提升性质预测性能。

Comments Published in ICML 2026

When Do Graph Foundation Models Transfer? A Data-Centric Theory

图基础模型何时迁移？一个以数据为中心的理论

Jiajun Zhu, Ying Chen, Peihao Wang, Yixuan He, Pan Li, Aditya Akella, Zhangyang Wang

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Arizona State University（亚利桑那州立大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文通过图论连续极限方法，将跨域输出偏移分解为有限样本近似项和结构不匹配的内在域差异，并验证了位置编码稳定性对迁移的影响。

Comments 21 pages, including appendix. Accepted at ICML 2026

Mind-Omni: A Unified Multi-Task Framework for Brain-Vision-Language Modeling via Discrete Diffusion

Mind-Omni：通过离散扩散实现脑-视觉-语言建模的统一多任务框架

Yizhuo Lu, Changde Du, Qingyu Shi, Hang Chen, Jie Peng, Liuyun Jiang, Shuangchen Zhao, Huiguang He

机构 * NeuBCI Lab, State Key Laboratory of Brain Cognition ； Brain-inspired Intelligence Technology, Institute of Automation, Chinese Academy of Sciences, Beijing, China ； School of Future Technology, University of Chinese Academy of Sciences, Beijing, China ； School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China ； Zhongguancun Academy, Beijing, China ； Peking University, Beijing, China 纠错

专题命中 预训练与数据 ：language model(title)；foundation model(abstract)；分类 cs.AI

AI总结 提出Mind-Omni框架，利用离散扩散范式统一七种编码与解码任务，通过脑分词器将连续脑信号转化为离散令牌，实现多模态交互，并构建脑问答指令调优数据集，在多项任务上达到或超越专用模型性能。

ReasonLight: A Multimodal Foundation Model-Enhanced Reinforcement Learning Framework for Zero-Shot Traffic Signal Control

ReasonLight: 一种多模态基础模型增强的强化学习框架用于零样本交通信号控制

Aoyu Pang, Maonan Wang, Yuejiao Xie, Chung Shue Chen, Zhiwei Yang, Man-On Pun

机构 * School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）科学与工程学院） ； Department of Mechanical and Automation Engineering, The Chinese University of Hong Kong, Hong Kong（香港中文大学机械与自动化工程系） ； Shanghai AI Laboratory, Shanghai, China（上海人工智能实验室） ； Nokia Bell Labs, Paris-Saclay, France（法国巴黎萨克雷诺基贝尔实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出ReasonLight框架，通过多模态基础模型增强强化学习，利用路侧传感器和摄像头数据实现零样本适应罕见交通事件，显著降低紧急车辆等待时间。

On the Role of Inductive Bias in Time-Series Pretraining: A Case Study in Learning Generalizable Representations for Clinical Time Series

论归纳偏置在时间序列预训练中的作用：以临床时间序列学习通用表征的案例研究

Sharmita Dey, Diego Paez-Granados

机构 * ETH Zurich（苏黎世联邦理工学院） ； Swiss Paraplegic Research（瑞士脊髓损伤研究所） ； ETH Zurich, Swiss Paraplegic Research（苏黎世联邦理工学院、瑞士脊髓损伤研究所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 通过PathoFM编码器中心Transformer，结合局部补全、时间连续性和无监督上下文动力学三种互补目标，研究预训练目标中归纳偏置对跨任务类型和受试者迁移的影响，发现动态中心混合目标能产生最平衡的迁移表征。

Respecting Modality Gap in Post-hoc Out-of-distribution Detection with Pre-trained Vision-Language Models

在预训练视觉语言模型的后验分布外检测中尊重模态差距

Yuanwei Hu, Bo Peng, Yadan Luo, Zhen Fang, Ling Chen, Jie Lu

机构 * The University of Queensland（昆士兰大学） ； University of Technology Sydney（悉尼科技大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

AI总结 针对预训练视觉语言模型在后验分布外检测中文本原型与视觉原型存在模态差距的问题，提出在线伪监督框架直接在视觉特征空间学习类原型，实现新最优性能。

Anchored Decoding: Provably Reducing Copyright Risk for Any Language Model

锚定解码：可证明降低任何语言模型的版权风险

Jacqueline He, Jonathan Hayase, Wen-tau Yih, Sewoong Oh, Luke Zettlemoyer, Pang Wei Koh

机构 * University of Washington（华盛顿大学） ； Allen Institute for Artificial Intelligence（人工智能研究院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 提出锚定解码，一种即插即用的推理时方法，通过将生成内容约束在许可训练的安全模型附近，可证明地抑制语言模型逐字复制受版权保护的内容，实现可调的风险-效用权衡。

Comments Accepted to ICML 2026. 53 pages, 14 figures, 22 tables. Code is publicly available at https://github.com/jacqueline-he/anchored-decoding

Lifting Data-Tracing Machine Unlearning to Knowledge-Tracing for Foundation Models

将数据追踪的机器遗忘提升为基础模型的知识追踪

Yuwen Tan, Boqing Gong

机构 * Boston University（波士顿大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出将数据追踪的机器遗忘提升为基础模型的知识追踪，以应对多样化遗忘请求，并更接近人类遗忘机制，通过视觉语言模型案例展示实现范式。

Comments Accepted to TMLR

TypedCSIP: Typed Counterfactual Pretraining for Chinese Legislative Conflict Classification

TypedCSIP：面向中国立法冲突分类的类型化反事实预训练

Yao Liu

机构 * Chengdu University of Technology, Leshan, China（成都理工大学，乐山，中国） ； School of Computer Sciences, Universiti Sains Malaysia, Penang, Malaysia（马来西亚理科大学计算机科学学院，槟城，马来西亚） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL

AI总结 提出TypedCSIP方法，通过类型化反事实选择性干预预训练（阶段1）和五路分类头迁移（阶段2），在LCR-CN基准上提升立法冲突分类的宏F1值。