语言大模型 / LLM

LinkBERT: Pretraining Language Models with Document Links

Michihiro Yasunaga, Jure Leskovec, Percy Liang

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.LG

Comments Published at ACL 2022. Code, data, and pretrained models are available at https://github.com/michiyasunaga/LinkBERT

COCO-LM: Correcting and Contrasting Text Sequences for Language Model Pretraining

Yu Meng, Chenyan Xiong, Payal Bajaj, Saurabh Tiwary, Paul Bennett, Jiawei Han, Xia Song

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.LG

Comments NeurIPS 2021. (Code and Models: https://github.com/microsoft/COCO-LM)

Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing

Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, Hoifung Poon

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.LG

Comments ACM Transactions on Computing for Healthcare (HEALTH)

Extracting Training Data from Large Language Models

Nicholas Carlini, Florian Tramer, Eric Wallace, Matthew Jagielski, Ariel Herbert-Voss, Katherine Lee, Adam Roberts, Tom Brown, Dawn Song, Ulfar Erlingsson, Alina Oprea, Colin Raffel

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

K-XLNet: A General Method for Combining Explicit Knowledge with Language Model Pretraining

Ruiqing Yan, Lanchang Sun, Fang Wang, Xiaoming Zhang

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.AI

Knowledge-Aware Language Model Pretraining

Corby Rosset, Chenyan Xiong, Minh Phan, Xia Song, Paul Bennett, Saurabh Tiwary

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.LG

Composer Style Classification of Piano Sheet Music Images Using Language Model Pretraining

TJ Tsai, Kevin Ji

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.LG

Comments 8 pages, 7 figures. Accepted paper at the International Society for Music Information Retrieval Conference (ISMIR) 2020

Don't Stop Pretraining: Adapt Language Models to Domains and Tasks

Suchin Gururangan, Ana Marasović, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, Noah A. Smith

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.LG

Comments ACL 2020

Code-switched Language Models Using Dual RNNs and Same-Source Pretraining

Saurabh Garg, Tanmay Parekh, Preethi Jyothi

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.LG

Comments Accepted at EMNLP 2018

Measuring Spiritual Values and Bias of Large Language Models

Songyuan Liu, Ziyang Zhang, Runze Yan, Wei Wu, Carl Yang, Jiaying Lu

机构 * Department of Computer Science（计算机科学系） ； Center for Data Science, School of Nursing（数据科学中心、护理学院） ； Department of Religion（宗教系） ； Emory University（埃默里大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL；LLM(journal_ref)

Comments 9 pages including appendix; 5 figures; 5 tables

Journal ref in Proceedings of KDD 2025 SciSoc LLM Workshop

CausalMix: Data Mixture as Causal Inference for Language Model Training

CausalMix: 数据混合作为语言模型训练的因果推断

Zinan Tang, Yukun Zhang, Shaomian Zheng, Zhuoshi Pan, Qizhi Pei, Dingnan Jin, Jun Zhou, Yujun Wang, Biqing Huang

机构 * Tsinghua University（清华大学） ； Ant Group（蚂蚁集团） ； Renmin University of China（中国人民大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出CausalMix框架，将数据混合优化视为因果推断问题，通过条件平均处理效应估计最优混合比例，在7B模型上提升多任务性能，并具备可解释性。

Comments 22 pages, 3 figures

HumanScale: Egocentric Human Video Can Outperform Real-Robot Data for Embodied Pretraining

HumanScale: 以自我为中心的人类视频在具身预训练中可超越真实机器人数据

Juncheng Ma, Jianxin Bi, Yufan Deng, Xuanran Zhai, Kewei Zhang, Ye Huang, Bo Liang, Shukai Gong, Jiankai Tu, Xiaotian Tang, Jiaxin Li, Kaiqi Chen, Duomin Wang, Yuqi Wang, Bingyi Kang, Eric Huang, Zhiyang Dou, Zhen Dong, Enze Xie, Wojciech Matusik, Tat-Seng Chua, Daquan Zhou

机构 * PKU（北京大学） ； NUS（新加坡国立大学） ； MIT（麻省理工学院） ； UCSB（加州大学圣塔芭芭拉分校） ； NVIDIA（英伟达） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文通过系统比较发现，经过精心设计的过滤和标注流程，以自我为中心的人类视频在具身基础模型预训练中不仅可行，而且性能优于遥操作真实机器人数据，验证了“预训练于人类视频+少量机器人数据适配”的可扩展范式。

Comments Github: https://github.com/DAGroup-PKU/HumanNet/

MotionGPT-2: A General-Purpose Motion-Language Model for Motion Generation and Understanding

MotionGPT-2：用于运动生成与理解的通用运动-语言模型

Yuan Wang, Di Huang, Yaqi Zhang, Wanli Ouyang, Jile Jiao, Xuetao Feng, Dan Xu, Shixiang Tang

机构 * Tsinghua University（清华大学） ； The University of Sydney（悉尼大学） ； University of Science and Technology of China（中国科学技术大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Intime Department Store（Intime百货） ； Deepeleph ； HKUST（香港科技大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；pretraining(abstract)

AI总结 提出MotionGPT-2，一种统一的大规模运动-语言模型，通过预训练大语言模型支持多模态控制条件，实现运动生成、描述和补全等多种任务，并引入Part-Aware VQVAE实现细粒度身体和手部运动表示。

DOMBA: Double Model Balancing for Access-Controlled Language Models via Minimum-Bounded Aggregation

DOMBA: 通过最小有界聚合实现访问控制语言模型的双模型平衡

Tom Segal, Asaf Shabtai, Yuval Elovici

机构 * Ben-Gurion University（本·古里安大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出DOMBA方法，通过最小有界平均函数聚合两个不同访问级别文档训练的语言模型的概率分布，在保证安全性的同时实现高效用。

Comments Code: https://github.com/ppo1/DOMBA 11 pages, 3 figures

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 39, pp. 25101-25109, 2025

What You Approve Is What Executes: Consent Integrity for Black-Box LLM Agents

你批准即执行：黑盒LLM代理的同意完整性

Xiaoqi Weng

专题命中 预训练与数据 ：LLM(title,title_cn)；prompting(abstract)

AI总结 针对黑盒LLM代理的批准对话框存在摘要伪造漏洞，本文引入同意完整性概念，通过可信中介确保人类看到的动作与真实执行的动作一致，并分析了该机制的局限性与权衡。

Comments Preprint. IEEE conference format. Proof-of-concept; artifact at https://github.com/zjnbwxq/agentguard-ci

Which English Do LLMs Prefer? Triangulating Structural Bias Towards American English in Foundation Models

LLMs更倾向于哪种英语？通过结构偏见的角度探讨基础模型中对美式英语的偏向

Mir Tafseer Nayeem, Davood Rafiei

机构 * University of Alberta（阿尔伯塔大学） 纠错

专题命中 预训练与数据 ：foundation model(title)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文通过分析基础模型开发各阶段的数据倾向，揭示LLMs在英语方言上的结构性偏见，发现美式英语被优先采用，引发语言同质化和全球AI部署不公的担忧。

Comments Preprint

Self-Improving Pretraining: using post-trained models to pretrain better models

自我改进预训练：利用后训练模型来预训练更好的模型

Ellen Xiaoqing Tan, Jack Lanchantin, Shehzaad Dhuliawala, Danwei Li, Thao Nguyen, Jing Xu, Ping Yu, Ilia Kulikov, Sainbayar Sukhbaatar, Jason Weston, Xian Li, Olga Golovneva

机构 * FAIR at Meta（Meta FAIR） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出一种新的预训练和中训练方法，通过利用已有的强后训练模型来重写预训练数据并判断策略模型的 rollout，从而在早期训练中引入安全、事实性、生成质量和推理能力等关键行为，提升模型整体性能。

Train Once, Answer All: Many Pretraining Experiments for the Cost of One

一次训练，全部回答：为一次训练成本进行多项预训练实验

Sebastian Bordt, Martin Pawelczyk

机构 * University of Tübingen（图宾根大学） ； Tübingen AI Center（图宾根人工智能中心） ； University of Vienna（维也纳大学） ； Faculty of Computer Science（计算机科学学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 通过一次训练运行同时进行多项预训练实验，有效降低计算成本并提升研究的严谨性。

Comments ICLR 2026

Counting Clues: A Lightweight Probabilistic Baseline Can Match an LLM

计数线索：一个轻量级概率基线可以匹配LLM

Furong Jia, Yuan Pu, Finn Guo, Monica Agrawal

机构 * Duke University（杜克大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出了一种轻量级概率排名器FBPR，通过共现统计信息实现与LLM相当的性能，展示了概率基线在临床诊断中的互补优势。

ixi-GEN: Efficient Industrial sLLMs through Domain Adaptive Continual Pretraining

Seonwu Kim, Yohan Na, Kihun Kim, Hanhee Cho, Geun Lim, Mintae Kim, Seongik Park, Ki Hyun Kim, Youngsub Han, Byoung-Ki Jeon

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

Comments Accepted at EMNLP 2025 Industry Track

Mind the Gap: A Review of Arabic Post-Training Datasets and Their Limitations

Mohammed Alkhowaiter, Norah Alshahrani, Saied Alshahrani, Reem I. Masoud, Alaa Alzahrani, Deema Alnuhait, Emad A. Alghamdi, Khalid Almubarak

机构 * Refine AI ； ASAS AI ； University of Bisha（比沙大学） ； University College London（伦敦大学学院） ； King Salman Global Academy for Arabic（萨勒曼全球阿拉伯学院） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； King Abdulaziz University（阿卜杜勒阿齐兹大学） ； HUMAIN 纠错

专题命中 预训练与数据 ：post-training(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Nemotron-CC-Math: A 133 Billion-Token-Scale High Quality Math Pretraining Dataset

Rabeeh Karimi Mahabadi, Sanjeev Satheesh, Shrimai Prabhumoye, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro

机构 * NVIDIA（英伟达） ； Boston University（波士顿大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Planted in Pretraining, Swayed by Finetuning: A Case Study on the Origins of Cognitive Biases in LLMs

Itay Itzhak, Yonatan Belinkov, Gabriel Stanovsky

机构 * Technion – Israel Institute of Technology（以色列技术学院） ； The Hebrew University of Jerusalem（耶路撒冷希伯来大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

Comments CoLM 2025

DiffLM: Controllable Synthetic Data Generation via Diffusion Language Models

Ying Zhou, Xinyao Wang, Yulei Niu, Yaojie Shen, Lexin Tang, Fan Chen, Ben He, Le Sun, Longyin Wen

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所信息处理实验室） ； ByteDance Inc.（字节跳动公司） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；prompting(abstract)

Comments 21 pages, 9 figures, Accepted by ACL 2025, Findings

CommGPT: A Graph and Retrieval-Augmented Multimodal Communication Foundation Model

Feibo Jiang, Wanyun Zhu, Li Dong, Kezhi Wang, Kun Yang, Cunhua Pan, Octavia A. Dobre

专题命中 预训练与数据 ：foundation model(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Large Scale Transfer Learning for Tabular Data via Language Modeling

Josh Gardner, Juan C. Perdomo, Ludwig Schmidt

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；foundation model(abstract)

Comments NeurIPS 2024 camera-ready updates

Adaptation Odyssey in LLMs: Why Does Additional Pretraining Sometimes Fail to Improve?

Fırat Öncel, Matthias Bethge, Beyza Ermis, Mirco Ravanelli, Cem Subakan, Çağatay Yıldız

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Comments Accepted to EMNLP 2024 Main Conference

Tag-LLM: Repurposing General-Purpose LLMs for Specialized Domains

Junhong Shen, Neil Tenenholtz, James Brian Hall, David Alvarez-Melis, Nicolo Fusi

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Comments ICML 2024

Physics of Language Models: Part 3.1, Knowledge Storage and Extraction

Zeyuan Allen-Zhu, Yuanzhi Li

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；pretraining(abstract)

Comments V2 polishes writing + fixes author name; V3 includes additional Llama experiments and writing improvements

A decoder-only foundation model for time-series forecasting

Abhimanyu Das, Weihao Kong, Rajat Sen, Yichen Zhou

专题命中 预训练与数据 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)