语言大模型 / LLM

Tahakom LLM Guidelines and Recipes: From Pre-training Data to an Arabic LLM

Areej AlOtaibi, Lina Alyahya, Raghad Alshabanah, Shahad Alfawzan, Shuruq Alarefei, Reem Alsabti, Nouf Alsubaie, Abdulaziz Alhuzaymi, Lujain Alkhelb, Majd Alsayari, Waad Alahmed, Omar Talabay, Jalal Alowibdi, Salem Alelyani, Adel Bibi

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

Decoding-Free Sampling Strategies for LLM Marginalization

David Pohl, Marco Cognetta, Junyoung Lee, Naoaki Okazaki

机构 * nlp.c.titech.ac.jp（东京技术大学自然语言处理研究所） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；language model(abstract)；分类 cs.CL

Comments 10 pages, 3 figures

SEMPO: Lightweight Foundation Models for Time Series Forecasting

Hui He, Kun Yi, Yuanchi Ma, Qi Zhang, Zhendong Niu, Guansong Pang

机构 * Beijing Institute of Technology（北京理工大学） ； Singapore Management University（新加坡管理大学） ； State Information Center（国家信息中心） ； Tongji University（同济大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

Comments Accepted by NeurIPS 2025

From TOWER to SPIRE: Adding the Speech Modality to a Translation-Specialist LLM

Kshitij Ambilduke, Ben Peters, Sonal Sannigrahi, Anil Keshwani, Tsz Kin Lam, Bruno Martins, André F. T. Martins, Marcely Zanon Boito

机构 * ENS Paris-Saclay（巴黎-萨克雷大学） ； INESC-ID ； Instituto de Telecomunicações（电信研究所） ； Instituto Superior Técnico, Universidade de Lisboa（里斯本大学技术学院） ； Sapienza University of Rome（罗马萨皮恩扎大学） ； University of Edinburgh（爱丁堡大学） ； TransPerfect ； NAVER LABS Europe（NAVER欧洲实验室） 纠错

专题命中 预训练与数据 ：LLM(title)；language model(abstract)；pretraining(abstract)；分类 cs.CL

Comments EMNLP 2025 (Findings) camera ready

GeoRecon: Graph-Level Representation Learning for 3D Molecules via Reconstruction-Based Pretraining

Shaoheng Yan, Zian Li, Muhan Zhang

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.LG

Leveraging Robust Optimization for LLM Alignment under Distribution Shifts

Mingye Zhu, Yi Liu, Zheren Fu, Yongdong Zhang, Zhendong Mao

机构 * University of Science and Technology of China（中国科学技术大学） ； State Key Laboratory of Communication Content Cognition（通信内容认知国家重点实验室） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments NeurIPS 2025

NeurIPT: Foundation Model for Neural Interfaces

Zitao Fang, Chenxuan Li, Hongting Zhou, Shuyang Yu, Guodong Du, Ashwaq Qasem, Yang Lu, Jing Li, Junsong Zhang, Sim Kuan Goh

机构 * Xiamen University Malaysia（马来西亚厦门大学） ； Columbia University（哥伦比亚大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Xiamen University（厦门大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

Comments Accepted by The Thirty-Ninth Annual Conference on Neural Information Processing Systems (NeurIPS 2025). Project Page: https://ZzzitaoFang.github.io/projects/NeurIPT/

BrainOmni: A Brain Foundation Model for Unified EEG and MEG Signals

Qinfan Xiao, Ziyun Cui, Chi Zhang, Siqi Chen, Wen Wu, Andrew Thwaites, Alexandra Woolgar, Bowen Zhou, Chao Zhang

机构 * Shanghai Artificial Intelligence Laboratory, China（上海人工智能实验室） ； Department of Electronic Engineering, Tsinghua University, China（清华大学电子工程系） ； Department of Psychology, University of Cambridge, UK（剑桥大学心理学系） ； Speech Hearing and Phonetic Sciences, University College London, UK（伦敦大学学院语音听力与语音科学系） ； MRC Cognition and Brain Sciences Unit, University of Cambridge, UK（剑桥大学MRC认知与脑科学单位） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

Comments Accepted by the 39th Conference on Neural Information Processing Systems (NeurIPS 2025)

Simple and Robust Forecasting of Spatiotemporally Correlated Small Earth Data with A Tabular Foundation Model

Yuting Yang, Gang Mei, Zhengjing Ma, Nengxiong Xu, Jianbing Peng

机构 * School of Engineering and Technology, China University of Geosciences (Beijing)（工程与技术学院，中国地质大学（北京）） ； School of Geological Engineering and Geomatics, Chang'an University（地质工程与测绘学院，长安大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

Faver: Boosting LLM-based RTL Generation with Function Abstracted Verifiable Middleware

Jianan Mu, Mingyu Shi, Yining Wang, Tianmeng Yang, Bin Sun, Xing Hu, Jing Ye, Huawei Li

机构 * Huawei（华为） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；SFT(abstract)；分类 cs.AI

Towards Open Foundation Language Model and Corpus for Macedonian: A Low-Resource Language

Stefan Krsteski, Matea Tashkovska, Borjan Sazdov, Hristijan Gjoreski, Branislav Gerazov

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

Comments Camera-ready version accepted at SlavNLP-2025@ACL

Probability Signature: Bridging Data Semantics and Embedding Structure in Language Models

Junjie Yao, Zhi-Qin John Xu

机构 * Institute of Natural Sciences, MOE-LSC, Shanghai Jiao Tong University（上海交通大学自然科学研究院） ； School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

What are Foundation Models Cooking in the Post-Soviet World?

Anton Lavrouk, Tarek Naous, Alan Ritter, Wei Xu

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.CL

Comments Accepted to EMNLP 2025 Main Conference

A Unified AI Approach for Continuous Monitoring of Human Health and Diseases from Intensive Care Unit to Home with Physiological Foundation Models (UNIPHY+)

Minxiao Wang, Saurabh Kataria, Juntong Ni, Timothy G. Buchman, Jocelyn Grunwell, Mark Mai, Wei Jin, Matthew Clark, Stephanie Brown, Michael Fundora, Puneet Sharma, Tony Pan, Sam Khan, Timothy Ruchti, Naveen Muthu, Kevin Maher, Sivasubramanium V Bhavani, Xiao Hu

机构 * Emory University（埃默里大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

Enhancing LLM Language Adaption through Cross-lingual In-Context Pre-training

Linjuan Wu, Haoran Wei, Huan Lin, Tianhao Li, Baosong Yang, Fei Huang, Weiming Lu

机构 * Zhejiang University（浙江大学） ； Tongyi Lab, Alibaba Group（阿里巴巴集团 Tongyi 实验室） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments 12 pages, 6 figures, EMNLP 2025

Data Scaling Laws for Radiology Foundation Models

Maximilian Ilse, Harshita Sharma, Anton Schwaighofer, Sam Bond-Taylor, Fernando Pérez-García, Olesya Melnichenko, Anne-Marie G. Sykes, Kelly K. Horst, Ashish Khandelwal, Maxwell Reynolds, Maria T. Wetscherek, Noel C. F. Codella, Javier Alvarez-Valle, Korfiatis Panagiotis, Valentina Salvatelli

机构 * Microsoft Health Futures UK（微软健康未来英国） ； Microsoft Health Futures US（微软健康未来美国） ； Mayo Clinic M.D（梅奥诊所） ； Radiology AI Lab, Mayo Clinic M.D（放射学AI实验室，梅奥诊所） ； Microsoft Health & Life Sciences（微软健康与生命科学） ； Cambridge University Hospitals M.D（剑桥大学医院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

DIET-CP: Lightweight and Data Efficient Self Supervised Continued Pretraining

Bryan Rodas, Natalie Montesino, Jakob Ambsdorf, David Klindt, Randall Balestriero

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.LG

Evaluating Language Models as Synthetic Data Generators

Seungone Kim, Juyoung Suk, Xiang Yue, Vijay Viswanathan, Seongyun Lee, Yizhong Wang, Kiril Gashteovski, Carolin Lawrence, Sean Welleck, Graham Neubig

机构 * Carnegie Mellon University（卡内基梅隆大学） ； KAIST AI（韩国科学技术院人工智能研究所） ； University of Washington（华盛顿大学） ； NEC Laboratories Europe（NEC欧洲实验室） ； Ss. Cyril and Methodius University of Skopje（斯科普里塞奥尼和方法ius大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL

Comments ACL 2025 (main)

Structuring GUI Elements through Vision Language Models: Towards Action Space Generation

Yi Xu, Yesheng Zhang, Jiajia Liu, Jingdong Chen

机构 * Shanghai Jiao Tong University（上海交通大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

Comments 10pageV0

GPTCast: a weather language model for precipitation nowcasting

Gabriele Franch, Elena Tomasi, Rishabh Wanjari, Virginia Poli, Chiara Cardinali, Pier Paolo Alberoni, Marco Cristoforetti

机构 * Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会） ； Arpae Emilia-Romagna（艾米利亚-罗马涅阿帕斯研究所） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

Comments 20 pages, 10 figures

Large-scale Multi-sequence Pretraining for Generalizable MRI Analysis in Versatile Clinical Applications

Zelin Qiu, Xi Wang, Zhuoyao Xie, Juan Zhou, Yu Wang, Lingjie Yang, Xinrui Jiang, Juyoung Bae, Moo Hyun Son, Qiang Ye, Dexuan Chen, Rui Zhang, Tao Li, Neeraj Ramesh Mahboobani, Varut Vardhanabhuti, Xiaohui Duan, Yinghua Zhao, Hao Chen

机构 * th Medical Center of Chinese PLA General Hospital（中国人民解放军第五医疗中心） ； HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深圳-香港协同创新研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.AI

Layerwise Importance Analysis of Feed-Forward Networks in Transformer-based Language Models

Wataru Ikeda, Kazuki Yano, Ryosuke Takahashi, Jaesung Lee, Keigo Shibata, Jun Suzuki

机构 * Tohoku University（东邦大学） ； RIKEN（理化学研究所） ； NII LLMC（日本学术振兴会语言模型中心） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL

Comments Accepted to COLM 2025

TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation

Yinda Chen, Haoyuan Shi, Xiaoyu Liu, Te Shi, Ruobing Zhang, Dong Liu, Zhiwei Xiong, Feng Wu

机构 * MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China（脑启发智能感知与认知大学科学与技术大学实验室） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（人工智能研究所） ； Institute for Brain and Intelligence, Fudan University（脑与智能研究所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.AI

Comments Accepted by ICCV 2025

Enhancing Rumor Detection Methods with Propagation Structure Infused Language Model

Chaoqun Cui, Siyuan Li, Kunkun Ma, Caiyan Jia

机构 * School of Computer Science and Technology & Beijing Key Lab of Traffic Data Analysis and Mining（计算机科学与技术学院及北京交通数据与挖掘重点实验室） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL

Comments This paper is accepted by COLING2025

Journal ref Proceedings of the 31st International Conference on Computational Linguistics. 2025: 7165-7179

CodonMoE: DNA Language Models for mRNA Analyses

Shiyi Du, Litian Liang, Jiayi Li, Carl Kingsford

机构 * School of Computer Science, Carnegie Mellon University（计算机科学系，卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.LG

Meta-rater: A Multi-dimensional Data Selection Method for Pre-training Language Models

Xinlin Zhuang, Jiahui Peng, Ren Ma, Yinfan Wang, Tianyi Bai, Xingjian Wei, Jiantao Qiu, Chi Zhang, Ying Qian, Conghui He

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； School of Computer Science and Technology, East China Normal University（东华大学计算机科学与技术学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

Comments ACL 2025 Best Theme Paper Award

Iterative Pretraining Framework for Interatomic Potentials

Taoyong Cui, Zhongyao Wang, Dongzhan Zhou, Yuqiang Li, Lei Bai, Wanli Ouyang, Mao Su, Shufei Zhang

机构 * The Chinese University of Hong Kong（香港中文大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； College of Computer Science and Artificial Intelligence（计算机科学与人工智能学院） ； Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.AI

Scaling Analysis of Interleaved Speech-Text Language Models

Gallil Maimon, Michael Hassid, Amit Roth, Yossi Adi

机构 * Department of Computer Science and Engineering（计算机科学与工程系） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；SLM(abstract)；分类 cs.CL

Comments Accepted at COLM 2025

The Other Mind: How Language Models Exhibit Human Temporal Cognition

Lingyu Li, Yang Yao, Yixu Wang, Chubo Li, Yan Teng, Yingchun Wang

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI

Comments 12 pages, 9 figures, 4 tables

Time Series Foundation Models for Multivariate Financial Time Series Forecasting

Ben A. Marconi

机构 * Imperial College London（伦敦帝国学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

Comments 66 pages