语言大模型 / LLM

NovoMolGen: Rethinking Molecular Language Model Pretraining

Kamran Chitsaz, Roshan Balaji, Quentin Fournier, Nirav Pravinbhai Bhatt, Sarath Chandar

机构 * Mila – Quebec AI Institute（魁北克AI研究所） ； Wadhwani School of Data Science and AI, IIT Madras（数据科学与人工智能学院，印度理工学院马德拉斯分校） ； The Centre for Integrative Biology and Systems medicinE (IBSE)（整合生物学与系统医学中心） ； IIT Madras Zanzibar（印度理工学院马德拉斯分校（赞赞比尔）） ； Polytechnique Montréal Canada（蒙特利尔理工学院，加拿大） ； CIFAR AI Chair（CIFAR人工智能主席） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；large language model(abstract)；foundation model(abstract)

Noise, Adaptation, and Strategy: Assessing LLM Fidelity in Decision-Making

Yuanjun Feng, Vivek Choudhary, Yash Raj Shrestha

机构 * University of Lausanne（洛桑大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Comments Accepted to EMNLP 2025 (Main Conference)

InteChar: A Unified Oracle Bone Character List for Ancient Chinese Language Modeling

Xiaolei Diao, Zhihan Zhou, Lida Shi, Ting Wang, Ruihua Qi, Hao Xu, Daqian Shi

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Probabilistic Pretraining for Neural Regression

Boris N. Oreshkin, Shiv Tavker, Dmitry Efimov

机构 * Amazon（亚马逊） 纠错

专题命中 预训练与数据 ：pretraining(title)；foundation model(abstract)；分类 cs.LG

ARSP: Automated Repair of Verilog Designs via Semantic Partitioning

Bingkun Yao, Ning Wang, Xiangfeng Liu, Yuxin Du, Yuchen Hu, Hong Gao, Zhe Jiang, Nan Guan

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)

From Linearity to Non-Linearity: How Masked Autoencoders Capture Spatial Correlations

Anthony Bisulco, Rahul Ramesh, Randall Balestriero, Pratik Chaudhari

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Brown University（布朗大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)

Establishing Task Scaling Laws via Compute-Efficient Model Ladders

Akshita Bhagia, Jiacheng Liu, Alexander Wettig, David Heineman, Oyvind Tafjord, Ananya Harsh Jha, Luca Soldaini, Noah A. Smith, Dirk Groeneveld, Pang Wei Koh, Jesse Dodge, Hannaneh Hajishirzi

机构 * Allen Institute for AI（艾伦人工智能研究所） ； University of Washington（华盛顿大学） ； Princeton University（普林斯顿大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

Comments COLM 2025

HandCraft: Dynamic Sign Generation for Synthetic Data Augmentation

Gaston Gustavo Rios, Pedro Dal Bianco, Franco Ronchetti, Facundo Quiroga, Oscar Stanchi, Santiago Ponte Ahón, Waldo Hasperué

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

Comments 26 pages, 4 figures, 9 tables, code available at https://github.com/okason97/HandCraft