语言大模型 / LLM

Scaling up self-supervised learning for improved surgical foundation models

提升自监督学习以改进手术基础模型

Tim J. M. Jaspers, Ronald L. P. D. de Jong, Yiping Li, Carolus H. J. Kusters, Franciscus H. A. Bakker, Romy C. van Jaarsveld, Gino M. Kuiper, Richard van Hillegersberg, Jelle P. Ruurda, Willem M. Brinkman, Josien P. W. Pluim, Peter H. N. de With, Marcel Breeuwer, Yasmina Al Khalil, Fons van der Sommen

机构 * Department of Electrical Engineering, Video Coding \& Architectures, Eindhoven University of Technology, Eindhoven, The Netherlands ； Department of Biomedical Engineering, Medical Image Analysis, Eindhoven University of Technology, Eindhoven, The Netherlands ； Department of Surgery, University Medical Center Utrecht, Utrecht, The Netherlands ； Department of Oncological Urology, University Medical Center Utrecht, Utrecht, The Netherlands ； Department of Urology, Catharina Hospital, Eindhoven, The Netherlands 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 本研究提出SurgeNetXL，通过大规模预训练提升手术计算机视觉性能，实现多个任务上的显著改进。

Journal ref Medical Image Analysis, 2025

Power Lines: Scaling Laws for Weight Decay and Batch Size in LLM Pre-training

电力线：大规模预训练中权重衰减和批量大小的缩放定律

Shane Bergsma, Nolan Dey, Gurpreet Gosal, Gavia Gray, Daria Soboleva, Joel Hestness

机构 * Cerebras Systems（Cerebras系统） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了大规模语言模型预训练中权重衰减和批量大小的缩放定律，揭示了超参数在不同训练设置下的优化规律，并提出了基于令牌数比的精确预测方法。

Comments NeurIPS 2025

Landslide Hazard Mapping with Geospatial Foundation Models: Geographical Generalizability, Data Scarcity, and Band Adaptability

Wenwen Li, Sizhe Wang, Hyunho Lee, Chenyan Lu, Sujit Roy, Rahul Ramachandran, Chia-Yu Hsu

机构 * School of Geographical Sciences and Urban Planning（地理科学与城市规划学院） ； Arizona State University（亚利桑那州立大学） ； School of Computing and Augmented Intelligence（计算与增强智能学院） ； NASA Marshall Space Flight Center（国家航空航天局马歇尔航天飞行中心） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

Training Optimal Large Diffusion Language Models

Jinjie Ni, Qian Liu, Chao Du, Longxu Dou, Hang Yan, Zili Wang, Tianyu Pang, Michael Qizhe Shieh

机构 * National University of Singapore（新加坡国立大学） ； Sea AI Lab（Sea AI 实验室） ； StepFun ； Shanghai Qiji Zhifeng Co Ltd（上海启智丰有限公司） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

ChemFM as a Scaling Law Guided Foundation Model Pre-trained on Informative Chemicals

Feiyang Cai, Katelin Zacour, Tianyu Zhu, Tzuen-Rong Tzeng, Yongping Duan, Ling Liu, Srikanth Pilla, Gang Li, Feng Luo

专题命中 预训练与数据 ：foundation model(title,abstract)；language model(abstract)

L$^2$M: Mutual Information Scaling Law for Long-Context Language Modeling

Zhuo Chen, Oriol Mayné i Comas, Zhuotao Jin, Di Luo, Marin Soljačić

机构 * NSF AI Institute for Artificial Intelligence and Fundamental Interactions（NSF人工智能与基础相互作用研究院） ； Massachusetts Institute of Technology（麻省理工学院） ； Polytechnic University of Catalonia（加泰罗尼亚理工大学） ； Harvard University（哈佛大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 34 pages, 13 figures, 2 tables

Class-Aware Prototype Learning with Negative Contrast for Test-Time Adaptation of Vision-Language Models

Xiaozhen Qiao, Jingkai Zhao, Yuqiu Jiang, Xianda Guo, Zhe Sun, Hongyuan Zhang, Xuelong Li

机构 * School of Information Science and Technology, University of Science and Technology of China（信息科学与技术学院，中国科学技术大学） ； Institute of Artificial Intelligence (TeleAI), China Telecom, P. R. China（人工智能研究所（TeleAI），中国电信，中华人民共和国） ； College of Computer Science, Wuhan University（计算机科学学院，武汉大学） ； School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University（人工智能学院，光学与电子学（iOPEN），西北工业大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)

Neural Plasticity-Inspired Multimodal Foundation Model for Earth Observation

Zhitong Xiong, Yi Wang, Fahong Zhang, Adam J. Stewart, Joëlle Hanna, Damian Borth, Ioannis Papoutsis, Bertrand Le Saux, Gustau Camps-Valls, Xiao Xiang Zhu

机构 * Chair of Data Science in Earth Observation, Technical University of Munich (TUM)（地球观测数据科学教授职位，慕尼黑技术大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； AIML Lab, School of Computer Science, University of St. Gallen（人工智能实验室，圣加尔登大学计算机科学学院） ； School of Rural, Surveying and Geoinformatics Engineering, National Technical University of Athens（农村、测绘与地理信息工程学院，国家技术大学雅典） ； Image Processing Laboratory (IPL), Universitat de València（图像处理实验室（IPL），瓦伦西亚大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

Comments 18 pages, 8 figures

Isolated Channel Vision Transformers: From Single-Channel Pretraining to Multi-Channel Finetuning

Wenyi Lian, Patrick Micke, Joakim Lindblad, Nataša Sladoje

机构 * Department of Information Technology Uppsala University（信息科技系乌普萨拉大学） ； Department of Immunology, Genetics and Pathology Uppsala University（免疫学、遗传学和病理学系乌普萨拉大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)

Comments Paper has been accepted by BMVC as an Oral presentation

Towards Foundation Models for Cryo-ET Subtomogram Analysis

Runmin Jiang, Wanyue Feng, Yuntian Yang, Shriya Pingulkar, Hong Wang, Xi Xiao, Xiaoyu Cao, Genpei Zhang, Xiao Wang, Xiaolong Wu, Tianyang Wang, Yang Liu, Xingjian Li, Min Xu

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Harvard University（哈佛大学） ； University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； Oak Ridge National Laboratory（橡树岭国家实验室） ； K. J. Somaiya College of Engineering（K.J. Somaiya 工程学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

GeoLink: Empowering Remote Sensing Foundation Model with OpenStreetMap Data

Lubian Bai, Xiuyuan Zhang, Siqi Zhang, Zepeng Zhang, Haoyu Wang, Wei Qin, Shihong Du

机构 * School of Earth and Space Sciences, Peking University（地球与空间科学学院，北京大学） ； College of Urban and Environmental Sciences, Peking University（城市与环境科学学院，北京大学） ； State Key Laboratory of Multimodal Artificial Intelligence Systems Institute of Automation, CAS（多模态人工智能系统国家重点实验室，中国科学院自动化研究所） ； Intelligent Maintenance and Operations Systems Lab（智能维护与运营系统实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

Comments NeurIPS 2025

Brain Harmony: A Multimodal Foundation Model Unifying Morphology and Function into 1D Tokens

Zijian Dong, Ruilin Li, Joanna Su Xian Chong, Niousha Dehestani, Yinghui Teng, Yi Lin, Zhizhou Li, Yichi Zhang, Yapei Xie, Leon Qi Rong Ooi, B. T. Thomas Yeo, Juan Helen Zhou

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

Comments NeurIPS 2025. The first two authors contributed equally

Can Generative Geospatial Diffusion Models Excel as Discriminative Geospatial Foundation Models?

Yuru Jia, Valerio Marsocci, Ziyang Gong, Xue Yang, Maarten Vergauwen, Andrea Nascetti

机构 * KU Leuven（鲁汶大学） ； KTH（皇家理工学院） ； European Space Agency（欧洲航天局） ； Shanghai AI Lab（上海人工智能实验室） ； SJTU（上海交通大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

Comments ICCV 2025, camera ready

FoMo4Wheat: Toward reliable crop vision foundation models with globally curated data

Bing Han, Chen Zhu, Dong Han, Rui Yu, Songliang Cao, Jianhui Wu, Scott Chapman, Zijian Wang, Bangyou Zheng, Wei Guo, Marie Weiss, Benoit de Solan, Andreas Hund, Lukas Roth, Kirchgessner Norbert, Andrea Visioni, Yufeng Ge, Wenjuan Li, Alexis Comar, Dong Jiang, Dejun Han, Fred Baret, Yanfeng Ding, Hao Lu, Shouyang Liu

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

A Generative Foundation Model for Chest Radiography

Yuanfeng Ji, Dan Lin, Xiyue Wang, Lu Zhang, Wenhui Zhou, Chongjian Ge, Ruihang Chu, Xiaoli Yang, Junhan Zhao, Junsong Chen, Xiangde Luo, Sen Yang, Jin Fang, Ping Luo, Ruijiang Li

机构 * Department of Radiation Oncology, Stanford University School of Medicine（斯坦福大学医学院放射肿瘤科） ； Department of Computer Science, School of Computing and Data Science, The University of Hong Kong（香港大学计算机科学系） ； Department of Population Medicine and Diagnostic Sciences, College of Veterinary Medicine, Cornell University（康奈尔大学兽医学院人口医学与诊断科学系） ； Department of Radiology, The First Affiliated Hospital of Jinan University（暨南大学第一附属医院放射科） ； Department of Radiology, Stanford University School of Medicine（斯坦福大学医学院放射科） ； Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程系） ； Department of Biomedical Informatics, Harvard Medical School（哈佛医学院生物医学信息学系） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

Prompting with Sign Parameters for Low-resource Sign Language Instruction Generation

Md Tariquzzaman, Md Farhan Ishmam, Saiyma Sittul Muna, Md Kamrul Hasan, Hasan Mahmud

机构 * Department of Computer Science and Engineering（计算机科学与工程系） 纠错

专题命中 预训练与数据 ：prompting(title,abstract)；language model(abstract)

Comments CV4A11y@ICCV 2025

MM-Retinal: Knowledge-Enhanced Foundational Pretraining with Fundus Image-Text Expertise

Ruiqi Wu, Chenran Zhang, Jianle Zhang, Yi Zhou, Tao Zhou, Huazhu Fu

机构 * School of Computer Science and Engineering, Southeast University, China（东南大学计算机科学与工程学院） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications, Ministry of Education, China（教育部新一代人工智能技术及其交叉应用重点实验室） ； Nanjing University of Science and Technology, Nanjing, China（南京理工大学） ； Agency for Science, Technology and Research (A*STAR), Singapore（新加坡科技研究局） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)

Comments Early Accepted by The International Conference on Medical Image Computing and Computer Assisted Intervention(MICCAI)2024

SupraTok: Cross-Boundary Tokenization for Enhanced Language Model Performance

Andrei-Valentin Tănase, Elena Pelican

机构 * Faculty of Mathematics and Computer Science, "Ovidius" University of Constanta（数学与计算机科学学院，"奥维迪乌"康斯坦察大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

When Vision-Language Model (VLM) Meets Beam Prediction: A Multimodal Contrastive Learning Framework

Ji Wang, Bin Tang, Jian Xiao, Qimei Cui, Xingwang Li, Tony Q. S. Quek

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)

Effortless Vision-Language Model Specialization in Histopathology without Annotation

Jingna Qiu, Nishanth Jain, Jonas Ammeling, Marc Aubreville, Katharina Breininger

机构 * Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-厄林根-纽伦堡大学） ； Ingolstadt University of Applied Sciences（因戈尔施塔特应用科学大学） ； Flensburg University of Applied Sciences（弗拉森堡应用科学大学） ； Julius-Maximilians-Universität Würzburg（朱利叶斯-马克斯-魏扎克大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)

Interleaved Speech-Text Language Models for Simple Streaming Text-to-Speech Synthesis

Yifan Yang, Shujie Liu, Jinyu Li, Hui Wang, Lingwei Meng, Haiyang Sun, Yuzhe Liang, Ziyang Ma, Yuxuan Hu, Rui Zhao, Jianwei Yu, Yan Lu, Xie Chen

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)

Negation-Aware Test-Time Adaptation for Vision-Language Models

Haochen Han, Alex Jinpeng Wang, Fangming Liu, Jun Zhu

机构 * Department of AI Computing, Pengcheng Laboratory（人工智能计算系，鹏城实验室） ； School of Computer Science and Technology, Central South University（计算机科学与技术学院，中南大学） ； Department of Computer Science and Technology, Institute for AI, BNRist Center, THBI Lab, Tsinghua-Bosch Joint Center for ML, Tsinghua University（计算机科学与技术系，人工智能研究院，BNRist中心，THBI实验室，清华-博世联合人工智能中心，清华大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；post-training(abstract)

Comments This paper will be submitted to the IEEE for possible publication

Foundation Models for Clean Energy Forecasting: A Comprehensive Review

Md Meftahul Ferdaus, Tanmoy Dam, Md Rasel Sarkar, Moslem Uddin, Sreenatha G. Anavatti

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

Comments This paper is currently under review at the journal

A Language Model-Driven Semi-Supervised Ensemble Framework for Illicit Market Detection Across Deep/Dark Web and Social Platforms

Navid Yazdanjue, Morteza Rakhshaninejad, Hossein Yazdanjouei, Mohammad Sadegh Khorshidi, Mikko S. Niemela, Fang Chen, Amir H. Gandomi

机构 * Data Science Institute, University of Technology Sydney（技术科学研究院，技术科技大学） ； Department of Data Analysis and Mathematical Modeling, Ghent University（数据分析与数学建模系，根特大学） ； Department of Computer Science, Khazar University（计算机科学系，卡扎尔大学） ； Cyber Intelligence House (CIH), Singapore（网络智能屋（CIH），新加坡） ； University Research and Innovation Center (EKIK), Óbuda University（大学研究与创新中心（EKIK），奥布达大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 16 pages, 5 figures, 9 tables

HQ-CLIP: Leveraging Large Vision-Language Models to Create High-Quality Image-Text Datasets and CLIP Models

Zhixiang Wei, Guangting Wang, Xiaoxiao Ma, Ke Mei, Huaian Chen, Yi Jin, Fengyun Rao

机构 * University of Science and Technology of China（中国科学技术大学） ； WeChat Vision, Tencent Inc.（腾讯公司） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)

Scaling and Data Saturation in Protein Language Models

Aviv Spinner, Erika DeBenedictis, Corey M. Hudson

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)

Comments Presented at the GenBio Workshop, ICML 2025

Reconstructing hadronically decaying tau leptons with a jet foundation model

Laurits Tani, Joosep Pata, Joschka Birk

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

Comments Submission to SciPost

Journal ref SciPost Phys. Core 8, 046 (2025)

Scaling Data-Constrained Language Models

Niklas Muennighoff, Alexander M. Rush, Boaz Barak, Teven Le Scao, Aleksandra Piktus, Nouamane Tazi, Sampo Pyysalo, Thomas Wolf, Colin Raffel

机构 * Hugging Face ； Harvard University（哈佛大学） ； University of Turku（图尔库大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 50 pages (9 main), 39 figures, 15 tables

Data Efficacy for Language Model Training

Yalun Dai, Yangyu Huang, Xin Zhang, Wenshan Wu, Chong Li, Wenhui Lu, Shijie Cao, Li Dong, Scarlett Li

机构 * Microsoft Research（微软研究院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Vector Contrastive Learning For Pixel-Wise Pretraining In Medical Vision

Yuting He, Shuo Li

机构 * Dept. of CDS, Case Western Reserve University, US（计算机科学与工程系，凯斯西储大学，美国） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)

Comments Accepted by ICCV 2025