语言大模型 / LLM

Front-Loading Reasoning: The Synergy between Pretraining and Post-Training Data

Syeda Nahida Akter, Shrimai Prabhumoye, Eric Nyberg, Mostofa Patwary, Mohammad Shoeybi, Yejin Choi, Bryan Catanzaro

机构 * NVIDIA ； Carnegie Mellon University（卡内基梅隆大学） ； Boston University（波士顿大学） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；post-training(title,abstract)；LLM(abstract)；language model(abstract)

A Statistical Hypothesis Testing Framework for Data Misappropriation Detection in Large Language Models

Yinpeng Cai, Lexin Li, Linjun Zhang

机构 * Peking University（北京大学） ； University of California at Berkeley（加州大学伯克利分校） ； Rutgers University（罗格斯大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 29 pages, 5 figures

Rethinking the Role of Text Complexity in Language Model Pretraining

Dan John Velasco, Matthew Theodore Roque

机构 * Samsung R&D Institute Philippines（三星菲律宾研发中心） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

Comments Camera-ready version for BabyLM Workshop at EMNLP 2025

Instability in Downstream Task Performance During LLM Pretraining

Yuto Nishida, Masaru Isonuma, Yusuke Oda

机构 * Nara Institute of Science and Technology（那拉科学与技术研究所） ； Tohoku University（东北大学） ； Research and Development Center for Large Language Models, National Institute of Informatics（大型语言模型研究与开发中心，信息学国家研究所） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；pretraining(title)；large language model(abstract)；language model(abstract)

Comments Accepted to EMNLP 2025 Findings

Rezwan: Leveraging Large Language Models for Comprehensive Hadith Text Processing: A 1.2M Corpus Development

Majid Asgari-Bidhendi, Muhammad Amin Ghaseminia, Alireza Shahbazi, Sayyed Ali Hossayni, Najmeh Torabian, Behrouz Minaei-Bidgoli

机构 * Noor Avaran Jelvehaye Maanaei Najm Co.（诺尔·阿瓦兰·贾尔韦哈耶·马纳埃尼纳姆公司） ； Iran University of Science and Technology（伊朗科学技术大学） ； Islamic Azad University（伊斯兰 Azad 大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Comments 9 pages, 3 figures

Behavior Injection: Preparing Language Models for Reinforcement Learning

Zhepeng Cen, Yihang Yao, William Han, Zuxin Liu, Ding Zhao

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Salesforce AI Research（Salesforce人工智能研究） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；post-training(abstract)；SFT(abstract)

Comments NeurIPS 2025

LexiMark: Robust Watermarking via Lexical Substitutions to Enhance Membership Verification of an LLM's Textual Training Data

Eyal German, Sagiv Antebi, Edan Habler, Asaf Shabtai, Yuval Elovici

机构 * Department of Software and Information Systems Engineering, Ben-Gurion University of the Negev（软件与信息系统工程系，贝内尔根大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Unlocking In-Context Learning for Natural Datasets Beyond Language Modelling

Jelena Bratulić, Sudhanshu Mittal, David T. Hoffmann, Samuel Böhm, Robin Tibor Schirrmeister, Tonio Ball, Christian Rupprecht, Thomas Brox

机构 * Computer Vision Group, University of Freiburg（弗赖堡大学计算机视觉组） ； Neuromedical A.I. Lab, Medical Center -- University of Freiburg（弗赖堡大学医学神经AI实验室） ； Medical Physics, Medical Center -- University of Freiburg（弗赖堡大学医学物理） ； Visual Geometry Group, University of Oxford（牛津大学视觉几何组） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Best Paper Honorable Mention at GCPR 2025 (German Conference on Pattern Recognition). This is the updated version submitted to the conference, not the official conference proceedings

LongTail-Swap: benchmarking language models' abilities on rare words

Robin Algayres, Charles-Éric Saint-James, Mahi Luthra, Jiayi Shen, Dongyan Lin, Youssef Benchekroun, Rashel Moritz, Juan Pino, Emmanuel Dupoux

机构 * Meta AI 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

Scaling Laws of Synthetic Data for Language Models

Zeyu Qin, Qingxiu Dong, Xingxing Zhang, Li Dong, Xiaolong Huang, Ziyi Yang, Mahmoud Khademi, Dongdong Zhang, Hany Hassan Awadalla, Yi R. Fung, Weizhu Chen, Minhao Cheng, Furu Wei

机构 * Microsoft（微软公司） ； HKUST（香港科技大学） ； Peking University（北京大学） ； Penn State University（宾夕法尼亚州立大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

Comments COLM 2025

Towards Foundation Models for Cryo-ET Subtomogram Analysis

Runmin Jiang, Wanyue Feng, Yuntian Yang, Shriya Pingulkar, Hong Wang, Xi Xiao, Xiaoyu Cao, Genpei Zhang, Xiao Wang, Xiaolong Wu, Tianyang Wang, Yang Liu, Xingjian Li, Min Xu

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Harvard University（哈佛大学） ； University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； Oak Ridge National Laboratory（橡树岭国家实验室） ； K. J. Somaiya College of Engineering（K.J. Somaiya 工程学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

Multimodal machine learning with large language embedding model for polymer property prediction

Tianren Zhang, Dai-Bei Yang

机构 * Department of Materials Science and Engineering, University of Delaware, Newark, Delaware 19716, United States（材料科学与工程系，德雷克塞尔大学） ； Department of Chemistry, University of Pennsylvania, Philadelphia, Pennsylvania 19104, United States（化学系，宾夕法尼亚大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Journal ref Chem. Mater. 2025, 37, 7002-7013

Meta-Pretraining for Zero-Shot Cross-Lingual Named Entity Recognition in Low-Resource Philippine Languages

David Demitri Africa, Suchir Salhan, Yuval Weiss, Paula Buttery, Richard Diehl Martinez

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL、cs.AI

Comments Accepted (poster) to 5th Workshop on Multilingual Representation Learning at EMNLP 2025

Does Using Counterfactual Help LLMs Explain Textual Importance in Classification?

Nelvin Tan, James Asikin Cheung, Yu-Ching Shih, Dong Yang, Amol Salunkhe

机构 * American Express（美国运通） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 8 pages, 2 figures

OpenWHO: A Document-Level Parallel Corpus for Health Translation in Low-Resource Languages

Raphaël Merx, Hanna Suominen, Trevor Cohn, Ekaterina Vylomova

机构 * School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院） ； School of Computing, The Australian National University（澳大利亚国立大学计算学院） ； School of Medicine and Psychology, The Australian National University（澳大利亚国立大学医学与心理学学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted at WMT 2025

Enhancing Fake News Video Detection via LLM-Driven Creative Process Simulation

Yuyan Bu, Qiang Sheng, Juan Cao, Shaofei Wang, Peng Qi, Yuhui Shi, Beizhe Hu

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； Media Synthesis and Forensics Lab（媒体合成与取证实验室） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)

Comments ACM CIKM 2025

Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs

Jiawei Kong, Hao Fang, Xiaochen Yang, Kuofeng Gao, Bin Chen, Shu-Tao Xia, Ke Xu, Han Qiu

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Department of Software Engineering, Harbin Institute of Technology（哈尔滨工业大学软件工程系） ； School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳校区计算机科学与技术学院） ； Institute for Network Sciences and Cyberspace, Tsinghua University（清华大学网络科学与空间研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Automating construction safety inspections using a multi-modal vision-language RAG framework

Chenxin Wang, Elyas Asadi Shamsabadi, Zhaohui Chen, Luming Shen, Alireza Ahmadian Fard Fini, Daniel Dias-da-Costa

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments 33 pages, 11 figures, 7 tables

Towards Understanding Bias in Synthetic Data for Evaluation

Hossein A. Rahmani, Varsha Ramineni, Emine Yilmaz, Nick Craswell, Bhaskar Mitra

机构 * University College London（伦敦大学学院） ； Microsoft（微软） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments CIKM 2025

DACL-RAG: Data Augmentation Strategy with Curriculum Learning for Retrieval-Augmented Generation

Shaohan Wang, Licheng Zhang, Zheren Fu, Zhendong Mao, Yongdong Zhang

机构 * School of Information Science and Technology, University of Science and Technology of China（信息科学与技术学院，中国科学技术大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（人工智能研究院，合肥综合性国家科学中心） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Thin Bridges for Drug Text Alignment: Lightweight Contrastive Learning for Target Specific Drug Retrieval

Mallikarjuna Tupakula

机构 * Rochester Institute of Technology（罗切斯特技术研究所） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

A First Context-Free Grammar Applied to Nawatl Corpora Augmentation

Juan-José Guzmán-Landa, Juan-Manuel Torres-Moreno, Miguel Figueroa-Saavedra, Ligia Quintana-Torres, Martha-Lorena Avendaño-Garrido, Graham Ranger

机构 * Laboratoire Informatique d’Avignon（阿维尼翁信息实验室） ； Avignon Université（阿维尼昂大学） ； Facultad de Matemáticas（数学系） ； Instituto de Investigaciones en Educación（教育研究所） ； Universidad Veracruzana（韦拉克鲁斯大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

Comments 11 pages, 7 tables, 1 figure

Deep learning framework for predicting stochastic take-off and die-out of early spreading

Wenchao He, Tao Jia

机构 * College of Computer and Information Science（计算机与信息科学学院） ； Southwest University（西南大学） ； Chongqing Normal University（重庆师范大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

Comments 29 pages, 11 figures

Flexible Locomotion Learning with Diffusion Model Predictive Control

Runhan Huang, Haldun Balim, Heng Yang, Yilun Du

机构 * Kempner Institute, Harvard University（凯普纳研究所，哈佛大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

Comments 9 pages, 8 figures

Can AI agents understand spoken conversations about data visualizations in online meetings?

Rizul Sharma, Tianyu Jiang, Seokki Lee, Jillian Aurisano

机构 * DaVInCi Laboratory（DaVInCi实验室） ； University of Cincinnati（克利夫兰大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.AI

Journal ref The 2nd MERCADO Workshop at IEEE VIS 2025: Multimodal Experiences for Remote Communication Around Data Online, IEEE VIS 2025

REAR: Rethinking Visual Autoregressive Models via Generator-Tokenizer Consistency Regularization

Qiyuan He, Yicong Li, Haotian Ye, Jinghao Wang, Xinyao Liao, Pheng-Ann Heng, Stefano Ermon, James Zou, Angela Yao

机构 * National University of Singapore（新加坡国立大学） ； Stanford University（斯坦福大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 预训练与数据 ：language model(abstract)

Comments 27 pages, 23 figures, 5 tables

APIDA-Chat: Structured Synthesis of API Search Dialogues to Bootstrap Conversational Agents

Zachary Eberhart, Collin McMillan

专题命中 预训练与数据 ：LLM(abstract)

Comments 4 pages, 2 figures. To be published in Proceedings of the 40th IEEE/ACM International Conference on Automated Software Engineering