语言大模型 / LLM

TiC-LM: A Web-Scale Benchmark for Time-Continual LLM Pretraining

Jeffrey Li, Mohammadreza Armandpour, Iman Mirzadeh, Sachin Mehta, Vaishaal Shankar, Raviteja Vemulapalli, Samy Bengio, Oncel Tuzel, Mehrdad Farajtabar, Hadi Pouransari, Fartash Faghri

机构 * University of Washington（华盛顿大学） ； Apple（苹果公司） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(title)；large language model(abstract)；language model(abstract)

Comments Code available at: https://github.com/apple/ml-tic-lm

SongComposer: A Large Language Model for Lyric and Melody Generation in Song Composition

Shuangrui Ding, Zihan Liu, Xiaoyi Dong, Pan Zhang, Rui Qian, Junhao Huang, Conghui He, Dahua Lin, Jiaqi Wang

机构 * The Chinese University of Hong Kong（中国香港大学） ； Beihang University（北航） ； Shanghai AI Laboratory（上海人工智能实验室） ； CPII under InnoHK（创新香港下的CPII） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Comments ACL 2025 main. project page: https://pjlab-songcomposer.github.io/ code: https://github.com/pjlab-songcomposer/songcomposer

Chameleon: A Flexible Data-mixing Framework for Language Model Pretraining and Finetuning

Wanyun Xie, Francesco Tonin, Volkan Cevher

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

Comments ICML 2025

FuxiMT: Sparsifying Large Language Models for Chinese-Centric Multilingual Machine Translation

Shaolin Zhu, Tianyu Dong, Bo Li, Deyi Xiong

机构 * College of Intelligence and Computing, Tianjin University（智能与计算学院，天津大学） ； School of Software, Tsinghua University（软件学院，清华大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Neural Thermodynamic Laws for Large Language Model Training

Ziming Liu, Yizhou Liu, Jeff Gore, Max Tegmark

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

Comments 18 pages, 10 figures

Mining Hidden Thoughts from Texts: Evaluating Continual Pretraining with Synthetic Data for LLM Reasoning

Yoichi Ishibashi, Taro Yano, Masafumi Oyamada

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(title)；large language model(abstract)；language model(abstract)

Advanced Crash Causation Analysis for Freeway Safety: A Large Language Model Approach to Identifying Key Contributing Factors

Ahmed S. Abdelrahman, Mohamed Abdel-Aty, Samgyu Yang, Abdulrahman Faden

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

Aligning Large Language Models with Healthcare Stakeholders: A Pathway to Trustworthy AI Integration

Kexin Ding, Mu Zhou, Akshay Chaudhari, Shaoting Zhang, Dimitris N. Metaxas

机构 * Rutgers University（罗格斯大学） ； Stanford University（斯坦福大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Distilling and exploiting quantitative insights from Large Language Models for enhanced Bayesian optimization of chemical reactions

Roshan Patel, Saeed Moayedpour, Louis De Lescure, Lorenzo Kogler-Anele, Alan Cherney, Sven Jager, Yasser Jangjou

机构 * CMC Synthetics Platform, Sanofi（赛诺菲CMC合成平台） ； Digital R&D, Sanofi（赛诺菲数字研发部） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.AI、cs.LG

DataMan: Data Manager for Pre-training Large Language Models

Ru Peng, Kexin Yang, Yawen Zeng, Junyang Lin, Dayiheng Liu, Junbo Zhao

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

Comments ICLR2025 paper

SemEval-2025 Task 4: Unlearning sensitive content from Large Language Models

Anil Ramakrishna, Yixin Wan, Xiaomeng Jin, Kai-Wei Chang, Zhiqi Bu, Bhanukiran Vinzamuri, Volkan Cevher, Mingyi Hong, Rahul Gupta

机构 * Amazon AGI（亚马逊AGI） ； UCLA（加利福尼亚大学洛杉矶分校） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； EPFL（洛桑联邦理工学院） ； University of Minnesota（明尼苏达大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

Are Large Language Models Memorizing Bug Benchmarks?

Daniel Ramos, Claudia Mamede, Kush Jain, Paulo Canelas, Catarina Gamboa, Claire Le Goues

机构 * Carnegie Mellon University（卡内基梅隆大学） ； INESC-ID ； FEUP（波尔图大学工程学院） ； LASIGE 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models

Lynn Chua, Badih Ghazi, Yangsibo Huang, Pritish Kamath, Ravi Kumar, Pasin Manurangsi, Amer Sinha, Chulin Xie, Chiyuan Zhang

机构 * Princeton University（普林斯顿大学） ； Google Research（谷歌研究院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

How Does Code Pretraining Affect Language Model Task Performance?

Jackson Petty, Sjoerd van Steenkiste, Tal Linzen

机构 * New York University（纽约大学） ； Google Research（谷歌研究院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

Journal ref Transactions on Machine Learning Research (January 2025)

Human Preferences in Large Language Model Latent Space: A Technical Analysis on the Reliability of Synthetic Data in Voting Outcome Prediction

Sarah Ball, Simeon Allmendinger, Frauke Kreuter, Niklas Kühl

机构 * Ludwig-Maximilian-University Munich（慕尼黑大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； University of Bayreuth（拜罗伊特大学） ； Fraunhofer Institute for Applied Information Technology FIT（弗劳恩霍夫应用信息技术研究所） ； University of Maryland（马里兰大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

LLM Pretraining with Continuous Concepts

Jihoon Tack, Jack Lanchantin, Jane Yu, Andrew Cohen, Ilia Kulikov, Janice Lan, Shibo Hao, Yuandong Tian, Jason Weston, Xian Li

机构 * FAIR at Meta（Meta FAIR研究院） ； KAIST（韩国科学技术院） ； UC San Diego（加州大学圣迭戈分校） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(title)；large language model(abstract)；language model(abstract)

Beam Prediction based on Large Language Models

Yucheng Sheng, Kai Huang, Le Liang, Peng Liu, Shi Jin, Geoffrey Ye Li

机构 * Southeast University（东南大学） ； Purple Mountain Laboratories（紫金山实验室） ； Huawei Technologies Co., Ltd.（华为技术有限公司） ； Imperial College London（帝国理工学院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

Large Language Models are Few-shot Multivariate Time Series Classifiers

Yakun Chen, Zihao Li, Chao Yang, Xianzhi Wang, Guandong Xu

机构 * University of Technology Sydney（悉尼科技大学） ； Ocean University of China（中国海洋大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

Synthetic User Behavior Sequence Generation with Large Language Models for Smart Homes

Zhiyao Xu, Dan Zhao, Qingsong Zou, Jingyu Xiao, Yong Jiang, Zhenhui Yuan, Qing Li

机构 * Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院） ； PengCheng Laboratory（鹏城实验室） ； The Chinese University of Hong Kong（香港中文大学） ； University of Warwick（华威大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

Phase Transitions in Large Language Models and the $O(N)$ Model

Youran Sun, Babak Haghighat

机构 * Tsinghua University（清华大学） ； Beijing Institute of Mathematical Sciences（北京数学科学研究所） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

Do Large Language Models Mirror Cognitive Language Processing?

Yuqi Ren, Renren Jin, Tongxuan Zhang, Deyi Xiong

机构 * College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部） ； College of Computer and Information Engineering, Tianjin Normal University（天津师范大学计算机与信息工程学院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Analyzing Memorization in Large Language Models through the Lens of Model Attribution

Tarun Ram Menta, Susmit Agrawal, Chirag Agarwal

机构 * Adobe MDSR ； IIT Hyderabad（印度理工学院海得拉巴分校） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

HindiLLM: Large Language Model for Hindi

Sanjay Chouhan, Shubha Brata Nath, Aparajita Dutta

机构 * Indian Institute of Information Technology Guwahati（印度古瓦哈蒂印度信息技术学院） ； National Institute of Technology Silchar（锡尔恰尔印度国家技术学院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Journal ref Pattern Recognition. ICPR 2024. Lecture Notes in Computer Science, vol 15306, pp. 255--270, Springer, Cham, 2025

Time Will Tell: Timing Side Channels via Output Token Count in Large Language Models

Tianchen Zhang, Gururaj Saileshwar, David Lie

机构 * University of Toronto（多伦多大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

Do Influence Functions Work on Large Language Models?

Zhe Li, Wei Zhao, Yige Li, Jun Sun

机构 * Singapore Management University（新加坡管理大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Comments 15 pages, 4 figures

HLAT: High-quality Large Language Model Pre-trained on AWS Trainium

Haozheng Fan, Hao Zhou, Guangtai Huang, Parameswaran Raman, Xinwei Fu, Gaurav Gupta, Dhananjay Ram, Yida Wang, Jun Huan

机构 * Amazon Web Services（亚马逊网络服务） ； AWS AI Labs（AWS AI实验室） ； AGI Foundations, Amazon（亚马逊AGI基础研究部） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

Pretraining and Updates of Domain-Specific LLM: A Case Study in the Japanese Business Domain

Kosuke Takahashi, Takahiro Omi, Kosuke Arima, Tatsuya Ishigaki

机构 * Stockmark（斯托克马克公司） ； National Institute of Advanced Industrial Science and Technology（国立先进工业科学技术研究院） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；pretraining(title)；large language model(abstract)；language model(abstract)

Comments Accepted at PACLIC 38

Have You Merged My Model? On The Robustness of Large Language Model IP Protection Methods Against Model Merging

Tianshuo Cong, Delong Ran, Zesen Liu, Xinlei He, Jinyuan Liu, Yichen Gong, Qi Li, Anyu Wang, Xiaoyun Wang

机构 * Tsinghua University（清华大学） ； Xidian University（西安电子科技大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Zhongguancun Laboratory（中关村实验室） ； National Financial Cryptography Research Center（国家金融密码研究中心） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Comments Accepted by ACM CCS-LAMPS 2024 (Best Paper Award)

Self-Retrieval: End-to-End Information Retrieval with One Large Language Model

Qiaoyu Tang, Jiawei Chen, Zhuoqun Li, Bowen Yu, Yaojie Lu, Cheng Fu, Haiyang Yu, Hongyu Lin, Fei Huang, Ben He, Xianpei Han, Le Sun, Yongbin Li

机构 * Chinese Academy of Sciences（中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Comments NeurIPS 2024 Camera-ready Version. Code: https://github.com/icip-cas/SelfRetrieval

Stealth edits to large language models

Oliver J. Sutton, Qinghua Zhou, Wei Wang, Desmond J. Higham, Alexander N. Gorban, Alexander Bastounis, Ivan Y. Tyukin

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

Comments 28 pages, 14 figures. Open source implementation: https://github.com/qinghua-zhou/stealth-edits