语言大模型 / LLM

PretrainZero: Reinforcement Active Pretraining

PretrainZero：强化主动预训练

Xingrun Xing, Zhiyuan Fan, Jie Lou, Guoqi Li, Jiajun Zhang, Debing Zhang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Xiaohongshu Inc.（小红书公司） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 PretrainZero通过主动预训练和自监督学习方法，提升通用推理能力，并在多个基准测试中取得显著成绩。

Robust Tabular Foundation Models

鲁棒表格基础模型

Matthew Peroni, Franck Le, Vadim Sheinin

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出鲁棒表格基础模型（RTFM），通过参数化生成器分布实现对抗鲁棒性，提升表格基础模型的基准性能。

Comments Shaping Responsible Synthetic Data in the Era of Foundation Models, AAAI 2026

Journal ref Shaping Responsible Synthetic Data in the Era of Foundation Models, AAAI 2026

Multi-Aspect Knowledge-Enhanced Medical Vision-Language Pretraining with Multi-Agent Data Generation

多方面知识增强的医学视觉-语言预训练与多代理数据生成

Xieji Li, Siyuan Yan, Yingsheng Liu, H. Peter Soyer, Monika Janda, Victoria Mar, Zongyuan Ge

机构 * Department of Data Science and AI, Faculty of Information Technology, Monash University（数据科学与人工智能系，信息科技学院，墨尔本大学） ； Victorian Melanoma Service, Alfred Health（维多利亚黑色素瘤服务，阿尔弗雷德健康） ； Frazer Institute, The University of Queensland, Dermatology Research Centre（弗雷泽研究所，昆士兰大学，皮肤科研究中心） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 本研究提出一种多代理数据生成与多方面知识增强的医学视觉-语言预训练框架，通过提升数据质量和细粒度对齐，实现零样本性能的突破。

Comments 10 pages. Under Review

LargeAD: Large-Scale Cross-Sensor Data Pretraining for Autonomous Driving

LargeAD: 大规模跨传感器数据预训练用于自动驾驶

Lingdong Kong, Xiang Xu, Youquan Liu, Jun Cen, Runnan Chen, Wenwei Zhang, Liang Pan, Kai Chen, Ziwei Liu

机构 * WorldBench Team（WorldBench团队） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.LG

AI总结 LargeAD通过跨传感器数据预训练提升自动驾驶中的三维场景理解，结合多模态对比学习和时间一致性，实现更鲁棒的感知性能。

Comments IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)

PixCell: A generative foundation model for digital histopathology images

PixCell：数字病理图像的生成基础模型

Srikar Yellapragada, Alexandros Graikos, Zilinghan Li, Kostas Triaridis, Varun Belagali, Tarak Nath Nandi, Karen Bai, Beatrice S. Knudsen, Tahsin Kurc, Rajarsi R. Gupta, Prateek Prasanna, Ravi K Madduri, Joel Saltz, Dimitris Samaras

机构 * Stony Brook University（石溪大学） ； Argonne National Laboratory（阿贡国家实验室） ； The University of Chicago（芝加哥大学） ； University of Utah（犹他大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；language model(abstract)

AI总结 PixCell是首个针对数字病理图像的生成基础模型，通过扩散模型在大规模数据集上训练，实现隐私保护的数据生成和虚拟染色任务，提升病理学研究效率。

Comments Project page - https://histodiffusion.github.io/docs/projects/pixcell

Two-Stage Vision Transformer for Image Restoration: Colorization Pretraining + Residual Upsampling

双阶段视觉Transformer用于图像恢复：颜色化预训练+残差上采样

Aditya Chaudhary, Prachet Dev Singh, Ankit Jha

机构 * LNMIIT（拉纳印度理工学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 本文提出双阶段视觉Transformer方法，通过颜色化预训练和残差上采样提升图像超分辨率性能，实现在DIV2K数据集上的高SSIM和PSNR指标。

Comments Accepted as a Tiny Paper at the 13th Indian Conference on Computer Vision, Graphics and Image Processing (ICVGIP 2025), IIT Mandi, India. 3 pages, 1 figure

Modeling Topics and Sociolinguistic Variation in Code-Switched Discourse: Insights from Spanish-English and Spanish-Guaraní

在混合语言话语中建模主题与社会语言学变异：来自西班牙-英语和西班牙-瓜拉尼语的洞察

Nemika Tyagi, Nelvin Licona Guevara, Olga Kellert

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究利用大型语言模型构建标注流程，分析西班牙-英语和西班牙-瓜拉尼语混合话语中的主题与社会语言学变异，揭示性别、语言主导地位与话语功能的关系，并扩展了双语现象的定量证据。

Comments 10 pages, 4 figures

AtomDisc: An Atom-level Tokenizer that Boosts Molecular LLMs and Reveals Structure--Property Associations

AtomDisc: 一种提升分子大语言模型并揭示结构-性质关联的原子级分词器

Mingxu Zhang, Dazhong Shen, Ying Sun

机构 * The Thrust of Artificial Intelligence, The Hong Kong University of Science and Technology (Guangzhou)（人工智能动力部，香港科学与技术大学（广州）） ； The College of Computer Science and Technology, The Nanjing University of Aeronautics and Astronautics（计算机科学与技术学院，南京航空航天大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 AtomDisc通过原子级分词提升分子LLM性能，揭示结构-性质关联。

NLP Datasets for Idiom and Figurative Language Tasks

用于隐喻和修辞语言任务的NLP数据集

Blake Matheny, Phuong Minh Nguyen, Minh Le Nguyen, Stephanie Reynolds

机构 * Japan Advanced Institute of Science and Technology（日本先进科学研究院） ； International College of Technology（国际技术学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出用于隐喻和修辞语言任务的NLP数据集，通过构建综合隐喻列表和人工标注数据集，评估预训练语言模型在隐喻识别任务中的表现。

Comments 32 pages, 10 figures

Test-Time Training Scaling Laws for Chemical Exploration in Drug Design

药物设计中的测试时间训练扩展规律用于化学探索

Morgan Thomas, Albert Bou, Gianni De Fabritiis

机构 * Computational Science Laboratory, Universitat Pompeu Fabra, Barcelona Biomedical Research Park (PRBB), C Dr. Aiguader 88, 08003 Barcelona, Spain（计算科学实验室，庞培法布拉大学，巴塞罗那生物医学研究公园（PRBB），C Dr. Aiguader 88，08003巴塞罗那，西班牙） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究提出通过扩展测试时间训练方法提升化学空间探索效率，引入MolExp基准并验证了扩展TTT的对数线性扩展规律，为生成分子设计提供了可扩展的框架。

S5: Scalable Semi-Supervised Semantic Segmentation in Remote Sensing

S5: 远程感知中可扩展的半监督语义分割

Liang Lv, Di Wang, Jing Zhang, Lefei Zhang

机构 * National Engineering Research Center for Multimedia Software, School of Computer Science, Wuhan University（国家多媒体软件工程研究中心，计算机学院，武汉大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)

AI总结 S5提出了一种可扩展的半监督语义分割框架，通过大规模数据集和预训练范式提升遥感任务的性能。

Comments AAAI 2026 Oral

Physics-informed self-supervised learning for predictive modeling of coronary artery digital twins

基于物理的自监督学习用于冠状动脉数字孪生的预测建模

Xiaowu Sun, Thabo Mahendiran, Ortal Senouf, Denise Auberson, Bernard De Bruyne, Stephane Fournier, Olivier Muller, Pascal Frossard, Emmanuel Abbe, Dorina Thanou

机构 * Chair of Mathematical Data Science, EPFL, Lausanne, Switzerland（数学数据科学教授职位，苏黎世联邦理工学院，拉沃斯，瑞士） ； LTS4 laboratory, EPFL, Lausanne, Switzerland（LTS4实验室，苏黎世联邦理工学院，拉沃斯，瑞士） ； School of AI and Advanced Computing, Xi’an Jiaotong-Liverpool University, China（人工智能与高级计算学院，西安交通大学利物浦大学，中国） ； Cardiology Department, Lausanne University Center Hospital, Lausanne, Switzerland（心血管科，拉沃斯大学中心医院，拉沃斯，瑞士） ； OLV Hospital, Aalst, Belgium（OLV医院，阿尔斯特，比利时） ； AI Center, EPFL, Lausanne, Switzerland（人工智能中心，苏黎世联邦理工学院，拉沃斯，瑞士） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 PINS-CAD通过基于物理的自监督学习框架，利用合成数据预训练图神经网络，提升样本效率并生成具有生理意义的预测模型，用于冠状动脉疾病的预测和预防。

Comments 19 pages

Perch 2.0 transfers 'whale' to underwater tasks

Perch 2.0将'鲸'转移到水下任务

Andrea Burns, Lauren Harrell, Bart van Merriënboer, Vincent Dumoulin, Jenny Hamer, Tom Denton

机构 * Google DeepMind（谷歌DeepMind） ； Google Research（谷歌研究） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.LG

AI总结 Perch 2.0通过少样本迁移学习在海洋哺乳动物分类中表现出色，优于其他预训练生物声学模型。

Comments 8 pages, 3 figures, 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop: AI for Non-Human Animal Communication

Contrastive Deep Learning for Variant Detection in Wastewater Genomic Sequencing

对比学习在污水基因组测序中的变异检测中的深度学习

Adele Chinda, Richmond Azumah, Hemanth Demakethepalli Venkateswara

机构 * Georgia State University（佐治亚州立大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出了一种基于VQ-VAE的无监督方法，用于污水基因组测序中的变异检测，通过对比学习提高变异区分能力，实现高准确率的变异识别。

Comments 13 pages, 4 figures

UniMo: Unifying 2D Video and 3D Human Motion with an Autoregressive Framework

UniMo：基于自回归框架统一2D视频与3D人体运动

Youxin Pang, Yong Zhang, Ruizhi Shao, Xiang Deng, Feng Gao, Xu Xiaoming, Xiaoming Wei, Yebin Liu

机构 * Tsinghua University（清华大学） ； Meituan（美团） 纠错

专题命中 预训练与数据 ：LLM(abstract)

AI总结 UniMo通过自回归框架统一2D视频与3D人体运动，实现同时生成与理解，提升多模态联合建模能力。

Comments https://carlyx.github.io/UniMo/

Flow to the Mode: Mode-Seeking Diffusion Autoencoders for State-of-the-Art Image Tokenization

流到模式：用于最新图像标记化的模式寻求扩散自编码器

Kyle Sargent, Kyle Hsu, Justin Johnson, Li Fei-Fei, Jiajun Wu

机构 * Stanford University（斯坦福大学） ； University of Michigan（密歇根大学） 纠错

专题命中 预训练与数据 ：post-training(abstract)

AI总结 FlowMo是一种基于Transformer的扩散自编码器，通过模式匹配和模式寻求阶段实现图像标记化的新SOTA，无需卷积、对抗损失等。

Comments ICCV 2025, 19 pages