语言大模型 / LLM

Data Caricatures: On the Representation of African American Language in Pretraining Corpora

Nicholas Deas, Blake Vente, Amith Ananthram, Jessica A. Grieser, Desmond Patton, Shana Kleiner, James Shepard, Kathleen McKeown

机构 * Columbia University, Department of Computer Science（哥伦比亚大学计算机科学系） ； University of Michigan, Department of Linguistics（密歇根大学语言学系） ； University of Pennsylvania, School of Social Policy and Practice, Annenberg School for Communications（宾夕法尼亚大学社会政策与实践学院、安纳伯格通讯学院） ； University of Tennessee, Knoxville, Department of English（田纳西大学基洛纳分校英语系） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL

Comments ACL 2025

LLM-based Embedders for Prior Case Retrieval

Damith Premasiri, Tharindu Ranasinghe, Ruslan Mitkov

机构 * School of Computing and Communications, Lancaster University, UK（计算与通讯学院，兰卡斯特大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.CL

Comments Accepted in Recent Advancements in Natural Language Processing (RANLP 2025) conference

AGENTS-LLM: Augmentative GENeration of Challenging Traffic Scenarios with an Agentic LLM Framework

Yu Yao, Salil Bhatnagar, Markus Mazzola, Vasileios Belagiannis, Igor Gilitschenski, Luigi Palmieri, Simon Razniewski, Marcel Hallgarten

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.AI

UniEmoX: Cross-modal Semantic-Guided Large-Scale Pretraining for Universal Scene Emotion Perception

Chuang Chen, Xiao Sun, Zhi Liu

机构 * School of Artificial Intelligence, Anhui University（安徽大学人工智能学院） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥国家综合科学中心人工智能研究所） ； Anhui Province Key Laboratory of Affective Computing and Advanced Intelligent Machines, School of Computer Science and Information Engineering, Hefei University of Technology（安徽省情感计算与先进智能机器重点实验室，合肥工业大学计算机科学与信息工程学院） ； Department of Computer and Network Engineering, The University of Electro-Communications（电子通信大学计算机与网络工程系） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

Comments Accepted by IEEE TIP

PhysiX: A Foundation Model for Physics Simulations

Tung Nguyen, Arsh Koneru, Shufan Li, Aditya Grover

机构 * UCLA（加州大学洛杉矶分校） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

Comments 21 pages, 10 figures

Impact of Pretraining Word Co-occurrence on Compositional Generalization in Multimodal Models

Helen Qu, Sang Michael Xie

机构 * Flatiron Institute（Flatiron研究所） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

LangMamba: A Language-driven Mamba Framework for Low-dose CT Denoising with Vision-language Models

Zhihao Chen, Tao Chen, Chenhui Wang, Qi Gao, Huidong Xie, Chuang Niu, Ge Wang, Hongming Shan

机构 * Institute of Science and Technology for Brain-inspired Intelligence, Fudan University（脑启发智能科学与技术研究院，复旦大学） ； Department of Biomedical Engineering, Yale University（生物医学工程系，耶鲁大学） ； Biomedical Imaging Center, Center for Biotechnology and Interdisciplinary Studies, Department of Biomedical Engineering, Rensselaer Polytechnic Institute（生物医学成像中心，生物技术与跨学科研究所在生物医学工程系，罗切斯特理工学院） ； Institute of Science and Technology for Brain-inspired Intelligence, MOE Frontiers Center for Brain Science and Key Laboratory of Computational Neuroscience and Brain-Inspired Intelligence (Ministry of Education), Fudan University（脑启发智能科学与技术研究院，教育部脑科学前沿中心和计算神经科学与脑启发智能重点实验室，复旦大学） ； Shanghai Center for Brain Science and Brain-inspired Technology（上海脑科学与脑启发技术中心） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

Comments 11 pages, 8 figures

OLMoTrace: Tracing Language Model Outputs Back to Trillions of Training Tokens

Jiacheng Liu, Taylor Blanton, Yanai Elazar, Sewon Min, YenSung Chen, Arnavi Chheda-Kothary, Huy Tran, Byron Bischoff, Eric Marsh, Michael Schmitz, Cassidy Trier, Aaron Sarnat, Jenna James, Jon Borchardt, Bailey Kuehl, Evie Cheng, Karen Farley, Sruthi Sreeram, Taira Anderson, David Albright, Carissa Schoenick, Luca Soldaini, Dirk Groeneveld, Rock Yuren Pang, Pang Wei Koh, Noah A. Smith, Sophie Lebrecht, Yejin Choi, Hannaneh Hajishirzi, Ali Farhadi, Jesse Dodge

机构 * Allen Institute for AI（艾伦人工智能研究所） ； University of Washington（华盛顿大学） ； UC Berkeley（伯克利加州大学） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Comments ACL 2025 demo track

Advancing Stroke Risk Prediction Using a Multi-modal Foundation Model

Camille Delgrange, Olga Demler, Samia Mora, Bjoern Menze, Ezequiel de la Rosa, Neda Davoudi

机构 * Signal Processing Institute EPFL University Lausanne（瑞士洛桑联邦理工学院信号处理研究所） ； Brigham and Women’s Hospital Harvard Medical School（哈佛医学院布里奇沃特医院） ； Department of Quantitative Biomedicine University of Zurich（苏黎世大学定量生物医学系） ； ETH AI Center, Department of Computer Science Department of Quantitative Biomedicine University of Zurich（苏黎世大学定量生物医学系） 纠错

专题命中 预训练与数据 ：foundation model(title)；pretraining(abstract)；分类 cs.AI

Comments Accepted as oral paper at AIM-FM workshop, Neurips 2024

OMS: On-the-fly, Multi-Objective, Self-Reflective Ad Keyword Generation via LLM Agent

Bowen Chen, Zhao Wang, Shingo Takamatsu

机构 * Sony Group Corporation（索尼集团） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.AI

Adapting Language Models to Indonesian Local Languages: An Empirical Study of Language Transferability on Zero-Shot Settings

Rifki Afina Putri

机构 * Department of Computer Science and Electronics（计算机科学与电子系） ； Universitas Gadjah Mada（加德满都大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Comments AMLDS 2025

Contrasting Cognitive Styles in Vision-Language Models: Holistic Attention in Japanese Versus Analytical Focus in English

Ahmed Sabir, Azinovič Gasper, Mengsay Loem, Rajesh Sharma

机构 * University of Tartu（塔尔图大学） ； University of Ljubljana（卢布尔雅那大学） ； Sansan, Inc.（Sansan公司） ； Plaksha University（Plaksha大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Language Models Learn Rare Phenomena from Less Rare Phenomena: The Case of the Missing AANNs

Kanishka Misra, Kyle Mahowald

机构 * Department of Linguistics（语言学系） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Comments Added Corrigendum to correct 4-gram baseline performance and chance performance

An ab initio foundation model of wavefunctions that accurately describes chemical bond breaking

Adam Foster, Zeno Schätzle, P. Bernát Szabó, Lixue Cheng, Jonas Köhler, Gino Cassella, Nicholas Gao, Jiawei Li, Frank Noé, Jan Hermann

机构 * Microsoft Research AI for Science（微软研究院人工智能科学部） ； Freie Universität Berlin（柏林自由大学） 纠错

专题命中 预训练与数据 ：foundation model(title)；pretraining(abstract)；分类 cs.AI

Joint Embedding Predictive Architecture for self-supervised pretraining on polymer molecular graphs

Francesco Piccoli, Gabriel Vogel, Jana M. Weber

机构 * Department of Intelligent Systems, Delft University of Technology（智能系统系，代尔夫特理工大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

Language Models Grow Less Humanlike beyond Phase Transition

Tatsuya Aoyama, Ethan Wilcox

专题命中 预训练与数据 ：language model(title)；pretraining(abstract)；分类 cs.CL

Comments Accepted to ACL 2025

Statistical Learning for Heterogeneous Treatment Effects: Pretraining, Prognosis, and Prediction

Maximilian Schuessler, Erik Sverdrup, Robert Tibshirani

机构 * Department of Biomedical Data Science, Stanford University（生物医学数据科学系，斯坦福大学） ； Department of Econometrics & Business Statistics, Monash University（计量经济学与商业统计学系，墨尔本大学） ； Departments of Biomedical Data Science and of Statistics, Stanford University（生物医学数据科学系和统计学系，斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

How much do language models memorize?

John X. Morris, Chawin Sitawarin, Chuan Guo, Narine Kokhlikyan, G. Edward Suh, Alexander M. Rush, Kamalika Chaudhuri, Saeed Mahloujifar

机构 * FAIR at Meta（Meta 的 FAIR 部门） ； Google DeepMind（谷歌DeepMind） ； Cornell University（康奈尔大学） ； NVIDIA（NVIDIA 公司） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Analyzing the relationships between pretraining language, phonetic, tonal, and speaker information in self-supervised speech models

Michele Gubian, Ioana Krehan, Oli Liu, James Kirby, Sharon Goldwater

机构 * Institute for Phonetics and Speech Processing（语音处理研究所） ； School of Informatics（信息学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL

Intrinsic Bias is Predicted by Pretraining Data and Correlates with Downstream Performance in Vision-Language Encoders

Kshitish Ghate, Isaac Slaughter, Kyra Wilson, Mona Diab, Aylin Caliskan

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：pretraining(title)；language model(abstract)；分类 cs.AI

Comments Accepted to NAACL Main, 2025

Capturing research literature attitude towards Sustainable Development Goals: an LLM-based topic modeling approach

Francesco Invernici, Francesca Curati, Jelena Jakimov, Amirhossein Samavi, Anna Bernasconi

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.CL

Comments 27 pages, 8 figures, 5 tables

Journal ref J Big Data 12, 139 (2025)

Initial Model Incorporation for Deep Learning FWI: Pretraining or Denormalization?

Ruihua Chen, Bangyu Wu, Meng Li, Kai Yang

机构 * School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学学院） ； Department of Oil and Gas Geophysics, CNPC Research Institute of Petroleum Exploration & Development（石油勘探开发研究院油气地球物理系） ； School of Marine and Earth Science, Tongji University（同济大学海洋与地球科学学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

Automatically Suggesting Diverse Example Sentences for L2 Japanese Learners Using Pre-Trained Language Models

Enrico Benedetti, Akiko Aizawa, Florian Boudin

机构 * National Institute of Informatics, Japan（日本信息处理研究所） ； JFLI, CNRS, Nantes University, France（JFLI、法国国家科学研究中心、法国南特大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Comments Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 4: Student Research Workshop)

On the Acquisition of Shared Grammatical Representations in Bilingual Language Models

Catherine Arnett, Tyler A. Chang, James A. Michaelov, Benjamin K. Bergen

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Comments 9 pages, 5 figures. Accepted at ACL 2025

The Inverse Scaling Effect of Pre-Trained Language Model Surprisal Is Not Due to Data Leakage

Byung-Doh Oh, Hongao Zhu, William Schuler

机构 * Center for Data Science（数据科学中心） ； School of Foreign Languages（外国语言学院） ； Department of Linguistics（语言学系） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Comments ACL Findings 2025; results with Natural Stories alignment issue corrected (commit 4700daa)

Data-Efficient Operator Learning via Unsupervised Pretraining and In-Context Learning

Wuyang Chen, Jialin Song, Pu Ren, Shashank Subramanian, Dmitriy Morozov, Michael W. Mahoney

机构 * Simon Fraser University（西蒙弗雷泽大学） ； Lawrence Berkeley National Laboratory（伯克利国家实验室） ； International Computer Science Institute（国际计算机科学研究所） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

Do Language Models Understand Honorific Systems in Javanese?

Mohammad Rifqi Farhansyah, Iwan Darmawan, Adryan Kusumawardhana, Genta Indra Winata, Alham Fikri Aji, Derry Tanti Wijaya

机构 * Institut Teknologi Bandung（技术科技大学） ； Monash Indonesia（莫纳什印尼分校） ； Boston University（波士顿大学） ； Capital One ； MBZUAI 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Comments ACL 2025 - Main Conference

Optimize Cardinality Estimation Model Pretraining by Simplifying the Training Datasets

Boyang Fang

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

Comments Preliminary analysis uncovered data quality concerns in our experimental dataset

Securing Federated Learning against Backdoor Threats with Foundation Model Integration

Xiaohuan Bi, Xi Li

机构 * Renmin University of China（中国人民大学） ； The University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

Comments This paper has been accepted to IEEE IRI 2025

Scaling and Prompting for Improved End-to-End Spoken Grammatical Error Correction

Mengjie Qian, Rao Ma, Stefano Bannò, Kate M. Knill, Mark J. F. Gales

机构 * University of CambridgeUK（剑桥大学） 纠错

专题命中 预训练与数据 ：prompting(title)；foundation model(abstract)；分类 cs.CL

Comments submitted to Interspeech