语言大模型 / LLM

Detecting Corpus-Level Knowledge Inconsistencies in Wikipedia with Large Language Models

Sina J. Semnani, Jirayu Burapacheep, Arpandeep Khatua, Thanawan Atchariyachanvanit, Zheng Wang, Monica S. Lam

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

Comments EMNLP 2025 (Main Conference)

Large Language Models and Futures Price Factors in China

Yuhan Cheng, Heyang Zhou, Yanchu Liu

机构 * School of Management, Shandong University（山东大学管理学院） ； Lingnan College, Sun Yat-sen University（中山大学岭南学院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

Comments 46 pages;1 figure

Advantage Weighted Matching: Aligning RL with Pretraining in Diffusion Models

Shuchen Xue, Chongjian Ge, Shilong Zhang, Yichen Li, Zhi-Ming Ma

机构 * UCAS（中国科学院大学） ； Adobe Research（Adobe研究） ； HKU（香港大学） ； MIT（麻省理工学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

Contrastive Learning Enhances Language Model Based Cell Embeddings for Low-Sample Single Cell Transcriptomics

Luxuan Zhang, Douglas Jiang, Qinglong Wang, Haoqi Sun, Feng Tian

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；foundation model(abstract)

Comments 14 pages, 4 figures, 2 tables

Beyond Repetition: Text Simplification and Curriculum Learning for Data-Constrained Pretraining

Matthew Theodore Roque, Dan John Velasco

机构 * Samsung R&D Institute Philippines（三星菲律宾研发中心） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments To be published in BabyLM Workshop at EMNLP 2025

ByteSized32Refactored: Towards an Extensible Interactive Text Games Corpus for LLM World Modeling and Evaluation

Haonan Wang, Junfeng Sun, Xingdi Yuan, Ruoyao Wang, Ziang Xiao

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Liaoning Technical University（辽宁技术大学） ； Microsoft Research Montréal（微软研究院蒙特利尔分校） ； Central University of Finance and Economics（中央财经大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments 14 pages,15 figures, Accepted to the 5th Wordplay: When Language Meets Games Workshop, EMNLP 2025

Making Language Model a Hierarchical Classifier

Yihong Wang, Zhonglin Jiang, Ningyuan Xi, Yue Zhao, Qingqing Gu, Xiyuan Chen, Hao Wu, Sheng Xu, Hange Zhou, Yong Chen, Luo Ji

机构 * Geely AI Lab（地平线AI实验室） ； Tsinghua University（清华大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

Brain Harmony: A Multimodal Foundation Model Unifying Morphology and Function into 1D Tokens

Zijian Dong, Ruilin Li, Joanna Su Xian Chong, Niousha Dehestani, Yinghui Teng, Yi Lin, Zhizhou Li, Yichi Zhang, Yapei Xie, Leon Qi Rong Ooi, B. T. Thomas Yeo, Juan Helen Zhou

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

Comments NeurIPS 2025. The first two authors contributed equally

HS-STaR: Hierarchical Sampling for Self-Taught Reasoners via Difficulty Estimation and Budget Reallocation

Feng Xiong, Hongling Xu, Yifei Wang, Runxi Cheng, Yong Wang, Xiangxiang Chu

机构 * Alibaba Group（阿里巴巴集团） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tsinghua University（清华大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Fine-grained Contrastive Learning for ECG-Report Alignment with Waveform Enhancement

Haitao Li, Che Liu, Zhengyao Ding, Ziyi Liu, Wenqi Shao, Zhengxing Huang

机构 * Zhejiang University（浙江大学） ； Imperial College London（伦敦帝国学院） ； Transtek Medical Electronics Co., Ltd（Transtek医疗电子有限公司） ； Shanghai AI Lab（上海AI实验室） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

DART: Differentiable Dynamic Adaptive Region Tokenizer for Vision Foundation Models

Shicheng Yin, Kaixuan Yin, Yang Liu, Weixing Chen, Liang Lin

机构 * Sun Yat-sen University（中山大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)

Comments Code is available at https://github.com/HCPLab-SYSU/DART

PipelineRL: Faster On-policy Reinforcement Learning for Long Sequence Generation

Alexandre Piché, Ehsan Kamalloo, Rafael Pardinas, Xiaoyin Chen, Dzmitry Bahdanau

机构 * ServiceNow AI Research（ServiceNow人工智能研究） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Retrieval-augmented GUI Agents with Generative Guidelines

Ran Xu, Kaixin Ma, Wenhao Yu, Hongming Zhang, Joyce C. Ho, Carl Yang, Dong Yu

机构 * Emory University（埃默里大学） ； Tencent AI Lab（腾讯AI实验室） 纠错

专题命中 预训练与数据 ：language model(abstract)；SFT(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to EMNLP 2025 (Main Conference)

Towards a Comprehensive Scaling Law of Mixture-of-Experts

Guoliang Zhao, Yuhan Fu, Shuaipeng Li, Xingwu Sun, Ruobing Xie, An Wang, Weidong Han, Zhen Yang, Weixuan Sun, Yudong Zhang, Cheng-zhong Xu, Di Wang, Jie Jiang

机构 * Tencent Hunyuan（腾讯文元） ； University of Macau（澳门大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Paired by the Teacher: Turning Unpaired Data into High-Fidelity Pairs for Low-Resource Text Generation

Yen-Ju Lu, Thomas Thebaud, Laureano Moro-Velazquez, Najim Dehak, Jesus Villalba

机构 * Center for Language and Speech Processing, Johns Hopkins University（语言与语音处理中心，约翰霍普金斯大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted at EMNLP 2025 (Main Conference)

Vision Function Layer in Multimodal LLMs

Cheng Shi, Yizhou Yu, Sibei Yang

机构 * Sun Yat-sen University（中山大学） ； School of Computing and Data Science（计算与数据科学学院） ； The University of Hong Kong（香港大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

Comments Accepted at NeurIPS 2025 (preview; camera-ready in preparation)

Generalized Correctness Models: Learning Calibrated and Model-Agnostic Correctness Predictors from Historical Patterns

Hanqi Xiao, Vaidehi Patil, Hyunji Lee, Elias Stengel-Eskin, Mohit Bansal

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.AI

Comments Code: https://github.com/The-Inscrutable-X/CalibratedModelAgnosticCorrectness

A Partition Cover Approach to Tokenization

Jia Peng Lim, Shawn Tan, Davin Choo, Hady W. Lauw

机构 * Singapore Management University（新加坡管理大学） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室） ； Harvard University（哈佛大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

Comments NeurIPS 2025

Evaluating the Robustness of Chinchilla Compute-Optimal Scaling

Rylan Schaeffer, Noam Levi, Andreas Kirsch, Theo Guenais, Brando Miranda, Elyas Obbad, Sanmi Koyejo

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

LLMs Behind the Scenes: Enabling Narrative Scene Illustration

Melissa Roemmele, John Joon Young Chung, Taewook Kim, Yuqian Sun, Alex Calderwood, Max Kreminski

机构 * Midjourney ； Northwestern University（西北大学） ； University of California, Santa Cruz（加州大学圣克鲁兹分校） 纠错

专题命中 预训练与数据 ：prompting(abstract)；分类 cs.CL

Comments Accepted at EMNLP 2025

VoxCPM: Tokenizer-Free TTS for Context-Aware Speech Generation and True-to-Life Voice Cloning

Yixuan Zhou, Guoyang Zeng, Xin Liu, Xiang Li, Renjie Yu, Ziyang Wang, Runchuan Ye, Weiyue Sun, Jiancheng Gui, Kehan Li, Zhiyong Wu, Zhiyuan Liu

机构 * VoxCPM Team（VoxCPM 团队） 纠错

专题命中 预训练与数据 ：language model(abstract)

Comments Technical Report

UniFlow-Audio: Unified Flow Matching for Audio Generation from Omni-Modalities

Xuenan Xu, Jiahao Mei, Zihao Zheng, Ye Tao, Zeyu Xie, Yaoyun Zhang, Haohe Liu, Yuning Wu, Ming Yan, Wen Wu, Chao Zhang, Mengyue Wu

机构 * Shanghai Artificial Intelligence Lab（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Peking University（北京大学） ； Meta ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

Comments Project page: https://wsntxxn.github.io/uniflow_audio

Bridging the Task Gap: Multi-Task Adversarial Transferability in CLIP and Its Derivatives

Kuanrong Liu, Siyuan Liang, Cheng Qian, Ming Zhang, Xiaochun Cao

机构 * Shenzhen Campus of Sun Yat-sen University, China（中山大学深圳校区） ； The National University of Singapore, Singapore（新加坡国立大学） ； National Key Laboratory of Science and Technology on Information System Security, China（信息系统安全科学技术国家重点实验室） 纠错

专题命中 预训练与数据 ：pretraining(abstract)