语言大模型 / LLM

EvoLen: Evolution-Guided Tokenization for DNA Language Model

EvoLen：基于进化的标记化方法用于DNA语言模型

Nan Huang, Xiaoxiao Zhou, Junxia Cui, Mario Tapia-Pacheco, Tiffany Amariuta, Yang Li, Jingbo Shang

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； Washington University in St. Louis（圣路易斯华盛顿大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.LG

AI总结 EvoLen通过整合进化信息优化DNA标记化，优先保留功能序列模式，提升基因组上下文区分和进化约束对齐，优于标准BPE。

Interventional Time Series Priors for Causal Foundation Models

干预时间序列先验用于因果基础模型

Dennis Thumm, Ying Chen

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出CausalTimePrior框架，生成合成时间结构因果模型，支持可配置因果图、非线性自回归机制和多干预类型，推动时间序列因果推断的基础模型发展。

Comments ICLR 2026 1st Workshop on Time Series in the Age of Large Models (TSALM)

PIAST: Rapid Prompting with In-context Augmentation for Scarce Training data

PIAST：基于上下文增强的快速提示生成以应对稀少训练数据

Pawel Batorski, Paul Swoboda

机构 * Heinrich Heine Universität Düsseldorf（海因里希·海涅大学杜塞尔多夫） 纠错

专题命中 预训练与数据 ：prompting(title,abstract)；分类 cs.CL

AI总结 PIAST通过生成少量示例快速构建提示，利用蒙特卡洛沙普利估计优化示例效用，实现在有限计算资源下提升文本简化、GSM8K和分类任务的性能。

CPT: Controllable and Editable Design Variations with Language Models

CPT：基于语言模型的可控可编辑设计变体

Karthik Suresh, Amine Ben Khalifa, Li Zhang, Wei-ting Hsu, Fangzheng Wu, Vinay More, Asim Kadav

机构 * Adobe ； Atta 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.LG

AI总结 本文提出CPT系统，利用解码器-only语言模型生成可编辑的设计变体，通过Creative Markup Language实现结构与细节的精准描述，提升设计流程的可扩展性与个性化。

Comments 18 pages, 6 figures, Accepted at NeurIPS 2025 Workshop on Generative and Protective AI for Content Creation (GenProCC 2025)

Align Your Structures: Generating Trajectories with Structure Pretraining for Molecular Dynamics

对齐你的结构：利用结构预训练生成分子动力学轨迹

Aniketh Iyengar, Jiaqi Han, Pengwei Sun, Mingjian Jiang, Jianwen Xie, Stefano Ermon

机构 * Stanford University（斯坦福大学） ； Lambda, Inc（Lambda公司） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 本文提出利用结构预训练生成分子动力学轨迹的方法，通过扩散模型生成结构并结合插值模块保证时间一致性，有效解决分子动力学数据稀缺问题。

Comments Published at ICLR 2026. 38 pages, 17 figures, 17 tables

Molmo2: Open Weights and Data for Vision-Language Models with Video Understanding and Grounding

Molmo2：具有视频理解和 grounding 的开放权重和数据的视觉语言模型

Christopher Clark, Jieyu Zhang, Zixian Ma, Jae Sung Park, Mohammadreza Salehi, Rohun Tripathi, Sangho Lee, Zhongzheng Ren, Chris Dongjoo Kim, Yinuo Yang, Vincent Shao, Yue Yang, Weikai Huang, Ziqi Gao, Taira Anderson, Jianrui Zhang, Jitesh Jain, George Stoica, Winson Han, Ali Farhadi, Ranjay Krishna

机构 * Allen Institute for AI（艾伦人工智能研究所） ； University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

AI总结 Molmo2 是一种开放源代码的视频语言模型，通过7个新视频数据集和2个多图像数据集，实现了单图像、多图像和视频任务中的点驱动 grounding 能力，其8B模型在短视频计数和描述任务中表现优异，在视频 grounding 任务中超越了现有开源和专有模型。

Comments Updated first authors

TEDDY: A Family Of Foundation Models For Understanding Single Cell Biology

TEDDY：单细胞生物学理解的模型家族

Alexis Chevalier, Soumya Ghosh, Urvi Awasthi, James Watkins, Julia Bieniewska, Nichita Mitrea, Olga Kotova, Kirill Shkura, Andrew Noble, Michael Steinbaugh, Vijay Sadashivaiah, George Dasoulas, Julien Delile, Christoph Meier, Leonid Zhukov, Iya Khalil, Srayanta Mukherjee, Judith Mueller

机构 * BCG AI Science Institute, Boston, USA（BCG人工智能科学研究所，波士顿，美国） ； MSD (UK) Limited, London, UK（默沙东（英国）有限公司，伦敦，英国） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出TEDDY模型家族，通过扩大预训练数据和利用大规模生物注释提升单细胞基础模型性能，验证了模型在疾病状态识别和生物学探索中的有效性。

Comments ICML 2025 Generative AI and Biology (GenBio) Workshop

J-CHAT: Japanese Large-scale Spoken Dialogue Corpus for Spoken Dialogue Language Modeling

J-CHAT：用于 spoken dialogue 语言建模的日本大规模口语对话语料库

Wataru Nakata, Kentaro Seki, Hitomi Yanaka, Yuki Saito, Shinnosuke Takamichi, Hiroshi Saruwatari

机构 * The University of Tokyo（东京大学） ； Keio University（庆应义塾大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出 J-CHAT，一个76000小时的日本口语对话语料库，用于改进 spoken dialogue 语言模型，通过自动化方法确保高质量和自然性，推动人机对话研究。

Comments 8 pages, 3 figures

DuoTok: Source-Aware Dual-Track Tokenization for Multi-Track Music Language Modeling

DuoTok：面向多轨音乐语言模型的源感知双轨分词

Rui Lin, Zhiyue Wu, Jiahe Le, Kangdi Wang, Weixiong Chen, Junyu Dai, Tao Jiang

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

AI总结 DuoTok通过分阶段解耦方法，实现多轨音乐语言模型中高保真重建、强预测性和跨轨对应性的平衡，达到最佳预测性与保真度的折中。

Comments 17 pages, 5 figures, 8 tables. Project page: https://eps-acoustic-revolution-lab.github.io/DUO_TOK/

Disentangled Graph Prompting for Out-Of-Distribution Detection

解耦图提示用于分布外检测

Cheng Yang, Yu Hao, Qi Zhang, Chuan Shi

机构 * Beijing Key Lab of Intelligent Telecommunications Software and Multimedia, Beijing University of Posts and Telecommunications（北京邮电大学智能通信软件与多媒体北京市重点实验室） ； China Mobile Group Shaanxi Co., Ltd.（中国移动通信集团陕西有限公司） 纠错

专题命中 预训练与数据 ：prompting(title,abstract)；分类 cs.LG

AI总结 本文提出解耦图提示方法，通过预训练和提示机制捕捉细粒度分布内模式，提升图分布外检测性能，实验表明其在多个数据集上优于现有基线。

Comments Accepted for publication in IEEE Transactions on Knowledge and Data Engineering (TKDE)

Scaling Atomistic Protein Binder Design with Generative Pretraining and Test-Time Compute

基于生成预训练和测试时计算的原子级蛋白质结合物设计扩展

Kieran Didi, Zuobai Zhang, Guoqing Zhou, Danny Reidenbach, Zhonglin Cao, Sooyoung Cha, Tomas Geffner, Christian Dallago, Jian Tang, Michael M. Bronstein, Martin Steinegger, Emine Kucukbenli, Arash Vahdat, Karsten Kreis

机构 * NVIDIA（英伟达） ； University of Oxford（牛津大学） ； Mila - Québec AI Institute（米拉-魁北克人工智能研究所） ； Université de Montréal（蒙特利尔大学） ； HEC Montréal（蒙特利尔高等商学院） ； CIFAR AI Chair（CIFAR人工智能主席） ； AITHYRA ； School of Biological Sciences, Seoul National University（首尔大学生物科学学院） ； Interdisciplinary Program in Bioinformatics, Seoul National University（首尔大学生物信息学跨学科项目） ； Institute of Molecular Biology and Genetics, Seoul National University（首尔大学分子生物学与遗传学研究所） ； Artificial Intelligence Institute, Seoul National University（首尔大学人工智能研究所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 本文提出Proteina-Complexa方法，结合生成模型与结构预测，实现高精度蛋白质结合物设计，优于现有生成和幻觉方法，同时扩展至小分子和酶设计。

Comments ICLR 2026 Oral Presentation. Project page: https://research.nvidia.com/labs/genair/proteina-complexa/

Seeing Like Radiologists: Context- and Gaze-Guided Vision-Language Pretraining for Chest X-rays

像放射科医生一样观察：面向胸部X光片的上下文和目光引导的视觉-语言预训练

Kang Liu, Zhuoqi Ma, Siyu Liang, Yunan Li, Xiyue Gao, Chao Liang, Kun Xie, Qiguang Miao

机构 * Xidian University（西安电子科技大学） ； Wuhan University（武汉大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 本文提出CoGaze框架，通过整合临床上下文和放射科医生目光引导，提升胸部X光片的视觉-语言预训练效果，实验显示在多个任务上均优于现有方法。

Comments Code: https://github.com/mk-runner/CoGaze

Humans vs Vision-Language Models: A Unified Measure of Narrative Coherence

人类与视觉-语言模型：叙事连贯性的一种统一衡量方法

Nikolai Ilinykh, Hyewon Jang, Shalom Lappin, Asad Sayeed, Sharid Loáiciga

机构 * University of Gothenburg（哥德堡大学） ； Queen Mary University of London（伦敦玛丽女王大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 研究通过比较人类写作与视觉语言模型生成的叙事，评估视觉基础故事中的叙事连贯性，发现模型在连贯性方面与人类存在系统性差异。

Comments 9 pages of content, 1 page of appendices, 9 tables, 3 figures

SMILES-Mamba: Chemical Mamba Foundation Models for Drug ADMET Prediction

SMILES-Mamba：用于药物ADMET预测的化学Mamba基础模型

Bohao Xu, Yingzhou Lu, Chenhao Li, Ling Yue, Xiao Wang, Tianfan Fu, Minjie Shen, Lulu Chen

机构 * Rensselaer Polytechnic Institute（伦斯勒理工学院） ； Stanford University（斯坦福大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Washington（华盛顿大学） ； Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 预训练与数据 ：foundation model(title)；pretraining(abstract)；分类 cs.LG

AI总结 SMILES-Mamba通过自监督预训练和微调策略，利用未标记和标记数据预测药物ADMET属性，在22个数据集上表现优异，提升分子属性预测准确性并减少对大规模标注数据的依赖。

Imaging foundation model for universal enhancement of non-ideal measurement CT

用于非理想测量CT通用增强的成像基础模型

Rongjun Ge, Yuxin Liu, Zhan Wu, Shangwen Yang, Yuan Gao, Chenyu You, Ge Wang, Shuo Li, Yuting He, Yang Chen

机构 * School of Instrument Science and Engineering, Southeast University, China（东南大学仪器科学与工程学院, 中国） ； School of Computer Science and Engineering, Southeast University, China（东南大学计算机科学与工程学院, 中国） ； Department of Radiology, Nanjing Drum Tower Hospital, Affiliated Hospital of Medical School, Nanjing University（南京鼓楼医院放射科, 南京大学附属医院） ； Shandong Fundamental Research Center for Computer Science, Qilu University of Technology (Shandong Academy of Sciences), China（山东省计算机科学基础研究中心, 青鲁科技大学（山东科学院）, 中国） ； Department of Electrical & Computer Engineering, Yale University, USA（耶鲁大学电气与计算机工程系, 美国） ； Department of Biomedical Engineering, Rensselaer Polytechnic Institute, USA（雷士拉尔理工学院生物医学工程系, 美国） ； Department of Computer and Data Sciences, Case Western Reserve University, USA（凯斯西储大学计算机与数据科学系, 美国） ； Department of Biomedical Engineering, Case Western Reserve University, USA（凯斯西储大学生物医学工程系, 美国） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文提出TAMP模型，通过多尺度集成Transformer架构，提升非理想测量CT图像质量，适用于多种临床场景，实验验证其在医学影像中的有效性。

Comments This paper has been accepted by Nature Communications

Reinforcement-guided generative protein language models enable de novo design of highly diverse AAV capsids

强化引导的生成性蛋白质语言模型实现高多样性的AAV衣壳从头设计

Lucas Ferraz, Ana F. Rodrigues, Pedro Giesteira Cotovio, Mafalda Ventura, Gabriela Silva, Ana Sofia Coroadinha, Miguel Machuqueiro, Catia Pesquita

机构 * LASIGE, Faculdade de Ciências da Universidade de Lisboa（里斯本大学科学学院LASIGE实验室） ； BioISI, Faculdade de Ciências da Universidade de Lisboa（里斯本大学科学学院BioISI实验室） ； iBET – Instituto de Biologia Experimental e Tecnológica（生物实验与技术研究所） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.LG

AI总结 本文提出基于蛋白质语言模型和强化学习的生成设计框架，用于从头设计高多样性的AAV衣壳，通过强化学习引导序列生成，提升序列空间探索能力。

TDMM-LM: Bridging Facial Understanding and Animation via Language Models

TDMM-LM：通过语言模型弥合面部理解与动画之间的差距

Luchuan Song, Pinxin Liu, Haiyang Liu, Zhenchao Jin, Yolo Yunlong Tang, Zichong Xu, Susan Liang, Jing Bi, Jason J Corso, Chenliang Xu

机构 * University of Rochester（罗切斯特大学） ； University of Tokyo（东京大学） ； University of Michigan（密歇根大学） ； Voxel51 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

AI总结 本文通过语言模型实现面部动作的双向建模，提出TDMM-LM框架，利用生成模型合成面部行为数据集，并通过Motion2Language和Language2Motion任务实现面部动画与理解的统一路径。

Comments 12 pages, 13 figures

Towards Robust Multimodal Physiological Foundation Models: Handling Arbitrary Missing Modalities

迈向稳健的多模态生理基础模型：处理任意缺失模态

Wei-Bang Jiang, Xi Fu, Yi Ding, Cuntai Guan

机构 * Nanyang Technological University（南洋理工大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文提出PhysioOmni模型，通过解耦多模态信号提取通用表示，解决现有方法在跨数据集泛化和缺失模态处理上的不足，实验显示其在情绪识别等任务中表现优异。

Comments 19 pages, 5 figures

Pretraining and Benchmarking Modern Encoders for Latvian

为拉脱维亚语预训练和基准测试现代编码器

Arturs Znotins

机构 * Institute of Mathematics and Computer Science, University of Latvia（拉脱维亚大学数学与计算机科学学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL

AI总结 本文通过预训练基于RoBERTa、DeBERTaV3和ModernBERT架构的拉脱维亚语专用编码器，评估其在拉脱维亚语诊断和语言基准测试中的表现，提出了一种性能优异的模型。

Data Darwinism Part II: DataEvolve -- AI can Autonomously Evolve Pretraining Data Curation

数据达尔文主义 第二部分：DataEvolve -- AI可以自主进化预训练数据筛选

Tiantian Mi, Dongming Shan, Zhen Huang, Yiwei Qin, Muhang Xie, Yuxuan Qiao, Yixiu Liu, Chenyang Zhou, Pengfei Liu

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 本文提出DataEvolve框架，通过迭代优化而非手动设计实现预训练数据筛选策略的自动化进化，生成Darwin-CC数据集并在多个基准测试中表现优异。

Continued Pretraining for Low-Resource Swahili ASR: Achieving State-of-the-Art Performance with Minimal Labeled Data

持续预训练用于低资源斯瓦希里语语音识别：在极少量标注数据下实现最先进的性能

Hillary Mutisya, John Mugane

机构 * Harvard University（哈佛大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 通过持续预训练和监督微调，在极少量标注数据下实现斯瓦希里语ASR的高性能，较基线提升82%，超越现有最佳系统61%。

Mock Worlds, Real Skills: Building Small Agentic Language Models with Synthetic Tasks, Simulated Environments, and Rubric-Based Rewards

假世界，真实技能：利用合成任务、模拟环境和评分标准奖励构建小型代理语言模型

Yuanjie Lyu, Chengyu Wang, Lei Shen, Jun Huang, Tong Xu

专题命中 预训练与数据 ：language model(title)；LLM(abstract)；分类 cs.CL

AI总结 SYNTHAGENT框架通过合成多样化任务和模拟环境，结合评分标准奖励，提升小型LLM在数学、搜索和工具使用等任务中的代理能力。

Comments The first author prefers the more commonly used English name "Yuanjie Lyu" over "Yuan-Jay Lü", so we have updated it; both refer to the same person

When Priors Backfire: On the Vulnerability of Unlearnable Examples to Pretraining

当先验知识失效：在预训练模型中不可学习示例的易受性

Zhihao Li, Gezheng Xu, Jiale Cai, Ruiyi Fang, Di Wu, Qicheng Lao, Charles Ling, Boyu Wang

机构 * Western University（西方大学） ； Concordia University（康科迪亚大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Vector Institute（向量研究所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 本文提出BAIT方法，通过双层优化机制有效对抗预训练先验对不可学习示例的干扰，保持数据不可学习性。

Comments ICLR 2026 camera-ready

PDE foundation model-accelerated inverse estimation of system parameters in inertial confinement fusion

偏微分方程基础模型加速惯性约束聚变系统参数反演

Mahindra Rautela, Alexander Scheinker, Bradley Love, Diane Oyen, Nathan DeBardeleben, Earl Lawrence, Ayan Biswas

机构 * AOT-IC Group, Los Alamos National Laboratory（AOT-IC组，洛斯阿拉莫斯国家实验室） ； CAI Division, Los Alamos National Laboratory（CAI部门，洛斯阿拉莫斯国家实验室） ； HPC Division, Los Alamos National Laboratory（HPC部门，洛斯阿拉莫斯国家实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本研究利用偏微分方程基础模型加速惯性约束聚变系统参数反演，通过微调和轻量级头部训练实现高精度超光谱重建与参数回归。

Separators in Enhancing Autoregressive Pretraining for Vision Mamba

分离器在增强视觉Mamba自回归预训练中的应用

Hanpeng Liu, Zidan Wang, Shuoxi Zhang, Kaiyuan Gao, Kun He

机构 * Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 本文提出STAR方法，通过引入分隔符技术扩展视觉Mamba的输入序列长度，提升其在ImageNet-1k上的准确率至83.5%

Manipulating language models' training data to study syntactic constraint learning: the case of English passivization

操控语言模型的训练数据以研究句法约束学习：以英语被动化为例

Cara Su-Yi Leong, Tal Linzen

机构 * Department of Linguistics, New York University（语言学系，纽约大学） ； Department of Linguistics and Center for Data Science, New York University（语言学系和数据科学中心，纽约大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 本研究通过操控语言模型训练数据，探讨英语被动化例外的习得机制，发现频率和语义因素共同影响动词被动化能力。

Comments Journal of Memory and Language

Characterizing Memorization in Diffusion Language Models: Generalized Extraction and Sampling Effects

刻画扩散语言模型中的记忆化：通用提取与采样效应

Xiaoyu Luo, Wenrui Yu, Qiongxiu Li, Johannes Bjerva

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 本文研究了扩散语言模型的记忆化现象，提出通用概率提取框架并验证其理论，显示DLMs在记忆化信息泄露方面优于自回归模型。

Comments 21 pages, 9 figures

Brain-Semantoks: Learning Semantic Tokens of Brain Dynamics with a Self-Distilled Foundation Model

Brain-Semantoks: 通过自蒸馏基础模型学习脑动态的语义标记

Sam Gijsen, Marc-Andre Schulz, Kerstin Ritter

机构 * Hertie Institute for AI in Brain Health, University of Tübingen（图宾根大学脑健康人工智能研究所） ； Tübingen AI Center, University of Tübingen（图宾根大学图宾根人工智能中心） ； Charité – Universitätsmedizin Berlin, Department of Psychiatry and Psychotherapy（柏林夏里特医学院心理治疗系） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 Brain-Semantoks通过自蒸馏基础模型学习脑动态的语义标记，提升fMRI时间序列在下游任务中的性能。

Comments Accepted at ICLR 2026. Code and pretrained models available at https://github.com/SamGijsen/Brain-Semantoks

ViTSP: A Vision Language Models Guided Framework for Solving Large-Scale Traveling Salesman Problems

ViTSP：一种由视觉语言模型引导的解决大规模旅行商问题的框架

Zhuoli Yin, Yi Ding, Reem Khir, Hua Cai

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

AI总结 ViTSP利用预训练视觉语言模型指导大规模TSP求解，通过识别子问题提升全局解的质量，实验表明其在大规模实例上优于现有方法。

Do Vision-Language Models Leak What They Learn? Adaptive Token-Weighted Model Inversion Attacks

视觉-语言模型是否会泄露所学内容？基于自适应令牌加权的模型逆向攻击

Ngoc-Bao Nguyen, Sy-Tuyen Ho, Koh Jun Hao, Ngai-Man Cheung

机构 * Singapore University of Technology and Design (SUTD)（新加坡科技设计大学） ； University of Maryland, College Park（马里兰大学学院公园分校） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.LG

AI总结 本研究提出SMI-AW攻击方法，揭示视觉-语言模型在隐私泄露方面的脆弱性，通过自适应令牌加权提升图像重建效果，验证了VLMs在敏感领域中的隐私风险。

Comments Accepted to CVPR 2026