语言大模型 / LLM

Benchmarking Optimizers for Large Language Model Pretraining

Andrei Semenov, Matteo Pagliardini, Martin Jaggi

机构 * EPFL（瑞士联邦理工学院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；LLM(abstract)

Comments 73 pages, 44 figures, 48 tables

Natural Context Drift Undermines the Natural Language Understanding of Large Language Models

Yulong Wu, Viktor Schlegel, Riza Batista-Navarro

机构 * Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系） ； Imperial College London, Imperial Global Singapore（伦敦帝国学院，帝国全球新加坡） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；pretraining(abstract)

Comments EMNLP 2025 Findings

From Anchors to Answers: A Novel Node Tokenizer for Integrating Graph Structure into Large Language Models

Yanbiao Ji, Chang Liu, Xin Chen, Dan Luo, Mei Li, Yue Ding, Wenqing Lin, Hongtao Lu

机构 * Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学） ； Lehigh University（莱斯大学） ； Tencent（腾讯） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；pretraining(abstract)

Comments Accepted by CIKM 2025

A Law of Next-Token Prediction in Large Language Models

Hangfeng He, Weijie J. Su

机构 * University of Rochester（罗切斯特大学） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Transferred for publication to Physical Review E from Physical Review Research (to waive publication charges)

Traj-MLLM: Can Multimodal Large Language Models Reform Trajectory Data Mining?

Shuo Liu, Di Yao, Yan Lin, Gao Cong, Jingping Bi

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； Department of Computer Science, Aalborg University（奥胡斯大学计算机科学系） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Comments 20 pages, 10 figures

Distilled Pretraining: A modern lens of Data, In-Context Learning and Test-Time Scaling

Sachin Goyal, David Lopez-Paz, Kartik Ahuja

机构 * FAIR at Meta（Meta旗下的FAIR） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Evaluating Language Models as Synthetic Data Generators

Seungone Kim, Juyoung Suk, Xiang Yue, Vijay Viswanathan, Seongyun Lee, Yizhong Wang, Kiril Gashteovski, Carolin Lawrence, Sean Welleck, Graham Neubig

机构 * Carnegie Mellon University（卡内基梅隆大学） ； KAIST AI（韩国科学技术院人工智能研究所） ； University of Washington（华盛顿大学） ； NEC Laboratories Europe（NEC欧洲实验室） ； Ss. Cyril and Methodius University of Skopje（斯科普里塞奥尼和方法ius大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL

Comments ACL 2025 (main)

Structuring GUI Elements through Vision Language Models: Towards Action Space Generation

Yi Xu, Yesheng Zhang, Jiajia Liu, Jingdong Chen

机构 * Shanghai Jiao Tong University（上海交通大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

Comments 10pageV0

Mitigating Catastrophic Forgetting in Continual Learning through Model Growth

Ege Süalp, Mina Rezaei

机构 * Department of Statistics Ludwig-Maximilian University（统计系路德维希-马克西米利安大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Multitask Battery Management with Flexible Pretraining

Hong Lu, Jiali Chen, Jingzhao Zhang, Guannan He, Xuebing Han, Minggao Ouyang

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI、cs.LG

LLM-HyPZ: Hardware Vulnerability Discovery using an LLM-Assisted Hybrid Platform for Zero-Shot Knowledge Extraction and Refinement

Yu-Zheng Lin, Sujan Ghimire, Abhiram Nandimandalam, Jonah Michael Camacho, Unnati Tripathi, Rony Macwan, Sicong Shao, Setareh Rafatirad, Rozhin Yasaei, Pratik Satam, Soheil Salehi

机构 * Department of Electrical and Computer Engineering, University of Arizona, Tucson, AZ, USA（电气与计算机工程系，亚利桑那大学） ； Department of Systems and Industrial Engineering, University of Arizona, Tucson, AZ, USA（系统与工业工程系，亚利桑那大学） ； College of Information Science, University of Arizona, Tucson, AZ, USA（信息科学学院，亚利桑那大学） ； School of Electrical Engineering and Computer Science, University of North Dakota, Grand Forks, ND, USA（电气工程与计算机科学学院，北达科他大学） ； Department of Computer Science, University of California Davis, CA, USA（计算机科学系，加州大学戴维斯分校） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.AI

Comments 10 pages, 6 figures

Attributes as Textual Genes: Leveraging LLMs as Genetic Algorithm Simulators for Conditional Synthetic Data Generation

Guangzeng Han, Weisi Liu, Xiaolei Huang

机构 * Department of Computer Science, University of Memphis（计算机科学系，孟菲斯大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Accepted to EMNLP2025 Findings

Not All Data Are Unlearned Equally

Aravind Krishnan, Siva Reddy, Marius Mosbach

机构 * Mila – Quebec AI Institute（魁北克AI研究所） ； McGill University（麦吉尔大学） ； Saarland University（萨尔兰大学） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能 chair） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Accepted at COLM 2025

Automated Essay Scoring Incorporating Annotations from Automated Feedback Systems

Christopher Ormerod

机构 * Cambium Assessment Inc.（Cambium评估公司） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 10 pages, AIME-Con Conference Submission

From Intents to Conversations: Generating Intent-Driven Dialogues with Contrastive Learning for Multi-Turn Classification

Junhua Liu, Yong Keat Tan, Bin Fu, Kwan Hui Lim

机构 * Singapore University of Technology and Design（新加坡科技设计大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted to Proceedings of CIKM'25

Open Data Synthesis For Deep Research

Ziyi Xia, Kun Luo, Hongjin Qian, Zheng Liu

机构 * BAAI（北京人工智能研究院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Re-examining learning linear functions in context

Omar Naim, Guilhem Fouilhé, Nicholas Asher

机构 * Institut de Recherche en Informatique de Toulouse, IRIT France（图卢兹信息研究所，IRIT法国） ； Université de Toulouse, France（图卢兹大学，法国） ； CNRS, France（法国国家科学研究中心） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Journal ref KI 2025: Advances in Artificial Intelligence

Cache Management for Mixture-of-Experts LLMs -- extended version

Spyros Angelopoulos, Loris Marchal, Adrien Obrecht, Bertrand Simon

机构 * CNRS（法国国家科学研究中心） ； International Laboratory on Learning Systems（学习系统国际实验室） ； École Normale Supérieure de Lyon（里昂高等师范学院） ； CNRS IN2P3 Computing Center（法国国家科学研究中心IN2P3计算中心） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

Negative Matters: Multi-Granularity Hard-Negative Synthesis and Anchor-Token-Aware Pooling for Enhanced Text Embeddings

Tengyu Pan, Zhichao Duan, Zhenyu Li, Bowen Dong, Ning Liu, Xiuxing Li, Jianyong Wang

机构 * Tsinghua University（清华大学） ； Shandong University（山东大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

MoTo: A Zero-shot Plug-in Interaction-aware Navigation for General Mobile Manipulation

Zhenyu Wu, Angyuan Ma, Xiuwei Xu, Hang Yin, Yinan Liang, Ziwei Wang, Jiwen Lu, Haibin Yan

专题命中 预训练与数据 ：language model(abstract)；foundation model(abstract)

Comments Accepted to CoRL 2025. Project Page: https://gary3410.github.io/MoTo/

OpenVision 2: A Family of Generative Pretrained Visual Encoders for Multimodal Learning

Yanqing Liu, Xianhang Li, Letian Zhang, Zirui Wang, Zeyu Zheng, Yuyin Zhou, Cihang Xie

机构 * University of California Santa Cruz（加州大学圣克鲁兹分校） ； Apple（苹果公司） ； University of California Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)

Promptable Longitudinal Lesion Segmentation in Whole-Body CT

Yannick Kirchhoff, Maximilian Rokuss, Fabian Isensee, Klaus H. Maier-Hein

机构 * German Cancer Research Center (DKFZ) Heidelberg（德国癌症研究中心（DKFZ）海德堡） ； Division of Medical Image Computing（医学影像计算 division） ； HIDSS4Health - Helmholtz Information and Data Science School for Health（HIDSS4Health - 赫尔姆霍茨信息与数据科学健康学校） ； Faculty of Mathematics and Computer Science（数学与计算机科学学院） ； Heidelberg University（海德堡大学） ； Helmholtz Imaging（赫尔姆霍茨成像） ； Pattern Analysis and Learning Group（模式分析与学习小组） ； Department of Radiation Oncology（放射肿瘤科） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；prompting(abstract)

Data Cartography for Detecting Memorization Hotspots and Guiding Data Interventions in Generative Models

Laksh Patel, Neel Shanbhag

机构 * Illinois Mathematics and Science Academy（伊利诺伊数学与科学学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 6 pages, 2 figures, 1 table; Presented at the 42nd International Conference on Machine Learning (ICML), winning the "Best Poster" award at ICML's workshop for data in generative models (DIG-BUGS)

SurgLLM: A Versatile Large Multimodal Model with Spatial Focus and Temporal Awareness for Surgical Video Understanding

Zhen Chen, Xingjian Luo, Kun Yuan, Jinlin Wu, Danny T. M. Chan, Nassir Navab, Hongbin Liu, Zhen Lei, Jiebo Luo

机构 * Hong Kong Institute of Science & Innovation（香港科学与工业创新研究院） ； CAMP, Technische Universität München（CAMP，慕尼黑技术大学） ； Department of Surgery, Faculty of Medicine, The Chinese University of Hong Kong（香港中文大学医学院外科部） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

Annotation and modeling of emotions in a textual corpus: an evaluative approach

Jonas Noblet

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

Comments in French language. 27{è}me Rencontre des {É}tudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RECITAL), Jun 2025, Marseille, France

PBI-Attack: Prior-Guided Bimodal Interactive Black-Box Jailbreak Attack for Toxicity Maximization

Ruoxi Cheng, Yizhong Ding, Shuirong Cao, Ranjie Duan, Xiaoshuang Jia, Shaowei Yuan, Simeng Qin, Zhiqiang Wang, Xiaojun Jia

机构 * Alibaba Group（阿里巴巴集团） ； Beijing Electronic Science and Technology Institute（北京电子科技研究所） ； Nanjing University（南京大学） ； Renmin University of China（中国人民大学） ； Northeastern University（东北大学） ； BraneMatrix AI ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

Comments Prior-Guided Bimodal Interactive Black-Box Jailbreak Attack for Toxicity Maximization

SQL-Factory: A Multi-Agent Framework for High-Quality and Large-Scale SQL Generation

Jiahui Li, Tongwang Wu, Yuren Mao, Yunjun Gao, Yajie Feng, Huaizhong Liu

专题命中 预训练与数据 ：language model(abstract)

CascadeFormer: A Family of Two-stage Cascading Transformers for Skeleton-based Human Action Recognition

Yusen Peng, Alper Yilmaz

专题命中 预训练与数据 ：pretraining(abstract)

Port-LLM: A Port Prediction Method for Fluid Antenna based on Large Language Models

Yali Zhang, Haifan Yin, Weidong Li, Emil Bjornson, Merouane Debbah

专题命中 指令微调 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)

Comments 14 pages, 13 figures, 3 tables

Enhancing Large Language Model for Knowledge Graph Completion via Structure-Aware Alignment-Tuning

Yu Liu, Yanan Cao, Xixun Lin, Yanmin Shang, Shi Wang, Shirui Pan

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； Griffith University（格里菲斯大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；instruction tuning(abstract)

Comments EMNLP 2025, Main, Long Paper