语言大模型 / LLM

Electronic Circuit Principles of Large Language Models

Qiguang Chen, Libo Qin, Jinhao Liu, Dengyun Peng, Jiaqi Wang, Mengkang Hu, Zhi Chen, Wanxiang Che, Ting Liu

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Central South University（中南大学） ； The Chinese University of Hong Kong（香港中文大学） ； The University of Hong Kong（香港大学） ； ByteDance Seed (China)（字节跳动种子（中国）） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

Comments Manuscript

LayerIF: Estimating Layer Quality for Large Language Models using Influence Functions

Hadi Askari, Shivanshu Gupta, Fei Wang, Anshuman Chhabra, Muhao Chen

机构 * University of California, Davis（加州大学戴维斯分校） ； University of California, Irvine（加州大学伊市分校） ； University of Southern California（南加州大学） ； University of South Florida（佛罗里达州立大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Neurips 2025

REVE: A Foundation Model for EEG -- Adapting to Any Setup with Large-Scale Pretraining on 25,000 Subjects

Yassine El Ouahidi, Jonathan Lys, Philipp Thölke, Nicolas Farrugia, Bastien Pasdeloup, Vincent Gripon, Karim Jerbi, Giulia Lioi

机构 * IMT Atlantique Lab-STICC UMR CNRS 6285（IMT Atlantique 实验室） ； Psychology Department Université de Montréal（蒙特利尔大学心理学系） ； Mila (Quebec AI research institute)（魁北克人工智能研究院） ； UNIQUE (Quebec Neuro-AI research center)（魁北克神经人工智能研究中心） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.LG

Comments Code available at: https://brain-bzh.github.io/reve/

Data-Centric Lessons To Improve Speech-Language Pretraining

Vishaal Udandarao, Zhiyun Lu, Xuankai Chang, Yongqiang Wang, Violet Z. Yao, Albin Madapally Jose, Fartash Faghri, Josh Gardner, Chung-Cheng Chiu

机构 * Apple（苹果公司） ； University of Cambridge（剑桥大学） ； University of Tübingen（图宾根大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments Tech Report

L$^2$M: Mutual Information Scaling Law for Long-Context Language Modeling

Zhuo Chen, Oriol Mayné i Comas, Zhuotao Jin, Di Luo, Marin Soljačić

机构 * NSF AI Institute for Artificial Intelligence and Fundamental Interactions（NSF人工智能与基础相互作用研究院） ； Massachusetts Institute of Technology（麻省理工学院） ； Polytechnic University of Catalonia（加泰罗尼亚理工大学） ； Harvard University（哈佛大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 34 pages, 13 figures, 2 tables

GranViT: A Fine-Grained Vision Model With Autoregressive Perception For MLLMs

Guanghao Zheng, Bowen Shi, Mingxing Xu, Ruoyu Sun, Peisen Zhao, Zhibo Zhang, Wenrui Dai, Junni Zou, Hongkai Xiong, Xiaopeng Zhang, Qi Tian

机构 * Shanghai Jiao Tong University（上海交通大学） ； Huawei Inc.（华为公司） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Comments 21 pages, 6 figures

Scalable Vision-Language-Action Model Pretraining for Robotic Manipulation with Real-Life Human Activity Videos

Qixiu Li, Yu Deng, Yaobo Liang, Lin Luo, Lei Zhou, Chengtang Yao, Lingqi Zeng, Zhiyuan Feng, Huizhi Liang, Sicheng Xu, Yizhong Zhang, Xi Chen, Hao Chen, Lily Sun, Dong Chen, Jiaolong Yang, Baining Guo

机构 * Tsinghua University（清华大学） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI、cs.LG

Comments Project page: https://microsoft.github.io/VITRA/

ViTime: Foundation Model for Time Series Forecasting Powered by Vision Intelligence

Luoxiao Yang, Yun Wang, Xinqi Fan, Israel Cohen, Jingdong Chen, Zijun Zhang

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

Journal ref Transactions on Machine Learning Research,2025

Mitra: Mixed Synthetic Priors for Enhancing Tabular Foundation Models

Xiyuan Zhang, Danielle C. Maddix, Junming Yin, Nick Erickson, Abdul Fatir Ansari, Boran Han, Shuai Zhang, Leman Akoglu, Christos Faloutsos, Michael W. Mahoney, Cuixiong Hu, Huzefa Rangwala, George Karypis, Bernie Wang

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

Comments NeurIPS 2025. We released both classifier (autogluon/mitra-classifier) and regressor (autogluon/mitra-regressor) model weights on HuggingFace

Virus Infection Attack on LLMs: Your Poisoning Can Spread "VIA" Synthetic Data

Zi Liang, Qingqing Ye, Xuan Liu, Yanyun Wang, Jianliang Xu, Haibo Hu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Hong Kong Baptist University（香港 Baptist 大学） ； PolyU Research Centre for Privacy and Security Technologies in Future Smart Systems（PolyU 未来智能系统隐私与安全技术研究中心） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Camera Ready of NeurIPS 2025 Spotlight. Source code: https://github.com/liangzid/VirusInfectionAttack

Universal Cross-Tokenizer Distillation via Approximate Likelihood Matching

Benjamin Minixhofer, Ivan Vulić, Edoardo Maria Ponti

机构 * University of Cambridge（剑桥大学） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments NeurIPS 2025

A Data-Centric Approach to Multilingual E-Commerce Product Search: Case Study on Query-Category and Query-Item Relevance

Yabo Yin, Yang Xi, Jialong Wang, Shanqi Wang, Jiateng Hu

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)

Typoglycemia under the Hood: Investigating Language Models' Understanding of Scrambled Words

Gianluca Sperduti, Alejandro Moreo

机构 * Institute of Information Science and Technologies National Research Council University of Pisa（信息科学与技术研究所国家研究 council 皮萨大学） 纠错

专题命中 预训练与数据 ：language model(title)；分类 cs.CL

Leverage Unlearning to Sanitize LLMs

Antoine Boutet, Lucas Magnana

机构 * INSA Lyon, Inria, CITI, UR3720（里昂国立应用科学学院、法国国家科学研究中心、CITI、UR3720） ； Inria, INSA Lyon, CITI, UR3720（法国国家科学研究中心、里昂国立应用科学学院、CITI、UR3720） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Are the LLMs Capable of Maintaining at Least the Language Genus?

Sandra Mitrović, David Kletz, Ljiljana Dolamic, Fabio Rinaldi

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Forging GEMs: Advancing Greek NLP through Quality-Based Corpus Curation

Alexandra Apostolopoulou, Konstantinos Kanaris, Athanasios Koursaris, Dimitris Tsakalidis, George Domalis, Ioannis E. Livieris

机构 * Novelcore ； Department of Statistics & Insurance University of Piraeus（统计与保险系 帕里埃斯大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

Comments The manuscript is submitted to Applied Sciences

ScoreMix: Synthetic Data Generation by Score Composition in Diffusion Models Improves Recognition

Parsa Rahimi, Sebastien Marcel

机构 * EPFL（苏黎世联邦理工学院） ； Idiap（日内瓦智能感知研究院） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

Comments Extended version of ICMLw25 Oral

Principled Data Augmentation for Learning to Solve Quadratic Programming Problems

Chendi Qian, Christopher Morris

机构 * Department of Computer Science（计算机科学系） ； RWTH Aachen University（亚琛工业大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

Comments Accepted at NeurIPS 2025 as spotlight

Leveraging Classical Algorithms for Graph Neural Networks

Jason Wu, Petar Veličković

机构 * University of Cambridge（剑桥大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

LVLMs are Bad at Overhearing Human Referential Communication

Zhengxiang Wang, Weiling Li, Panagiotis Kaliosis, Owen Rambow, Susan E. Brennan

机构 * Department of Linguistics（语言学系） ； Institute for Advanced Computational Science（先进计算科学研究所） ； Department of Psychology（心理学系） ； Department of Computer Science, Stony Brook University（石溪大学计算机科学系） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

Comments EMNLP 2025 (Main)

Uniform Information Density and Syntactic Reduction: Revisiting $\textit{that}$-Mentioning in English Complement Clauses

Hailin Hao, Elsi Kaiser

机构 * University of Southern California（南加州大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

Comments To appear in EMNLP 2025

WorldGrow: Generating Infinite 3D World

Sikuang Li, Chen Yang, Jiemin Fang, Taoran Yi, Jia Lu, Jiazhong Cen, Lingxi Xie, Wei Shen, Qi Tian

机构 * MoE Key Lab of Artificial Intelligence, School of Computer Science, SJTU（人工智能前沿实验室，计算机科学学院，上海交通大学） ； Huawei Inc.（华为公司） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

Comments Project page: https://world-grow.github.io/ Code: https://github.com/world-grow/WorldGrow

Calibrated Language Models and How to Find Them with Label Smoothing

Jerry Huang, Peng Lu, Qiuhao Zeng

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；instruction tuning(abstract)；SFT(abstract)

Comments Accepted to the Forty-second International Conference on Machine Learning (ICML) 2025. First two authors contributed equally. Official proceedings version available at https://proceedings.mlr.press/v267/huang25w.html

VESSA: Video-based objEct-centric Self-Supervised Adaptation for Visual Foundation Models

Jesimon Barreto, Carlos Caetano, André Araujo, William Robson Schwartz

机构 * Departamento de Ciência da Computação, Universidade Federal de Minas Gerais (UFMG)（巴西联邦大学矿务学院计算机科学系（UFMG）） ； Recod.ai, Instituto de Computação, Universidade Estadual de Campinas (UNICAMP)（Recod.ai，计算机学院，坎皮纳斯州立大学（UNICAMP）） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；language model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

Comments Conference on Neural Information Processing Systems (NeurIPS 2025)

Fast and Fluent Diffusion Language Models via Convolutional Decoding and Rejective Fine-tuning

Yeongbin Seo, Dongha Lee, Jaehyung Kim, Jinyoung Yeo

机构 * Department of Artificial Intelligence（人工智能系） ； Yonsei University（延世大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments NeurIPS 2025 spotlight

Simulating Society Requires Simulating Thought

Chance Jiajie Li, Jiayi Wu, Zhenze Mo, Ao Qu, Yuhan Tang, Kaiya Ivy Zhao, Yulu Gan, Jie Fan, Jiangbo Yu, Jinhua Zhao, Paul Liang, Luis Alonso, Kent Larson

机构 * MIT Media Lab（麻省理工学院媒体实验室） ； MIT EECS（麻省理工学院电子工程与计算机科学系） ； MIT BCS（麻省理工学院生物工程与计算机科学系） ； MIT IDSS（麻省理工学院国际设计与研究系统） ； MIT CEE（麻省理工学院土木与环境工程系） ； MIT DUSP（麻省理工学院设计与科学计划） ； MIT Architecture（麻省理工学院建筑系） ； Northeastern University（东北大学） ； Brown University（布朗大学） ； McGill University（麦吉尔大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments NeurIPS 2025 (Position Paper Track)

SharpZO: Hybrid Sharpness-Aware Vision Language Model Prompt Tuning via Forward-Only Passes

Yifan Yang, Zhen Zhang, Rupak Vignesh Swaminathan, Jing Liu, Nathan Susanj, Zheng Zhang

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.LG

Fundamental Limitations in Pointwise Defences of LLM Finetuning APIs

Xander Davies, Eric Winsor, Alexandra Souly, Tomek Korbak, Robert Kirk, Christian Schroeder de Witt, Yarin Gal

机构 * DSIT（数据与信息技术局） 纠错

专题命中 指令微调 ：LLM(title,abstract)；分类 cs.LG

ZING-3D: Zero-shot Incremental 3D Scene Graphs via Vision-Language Models

Pranav Saxena, Jimmy Chiun

机构 * Birla Institute of Technology and Science Pilani, K.K Birla Goa Campus（比拉理工学院和科学学院，比拉戈阿校园） ； Department of Mechanical Engineering, College of Design and Engineering, National University of Singapore（设计与工程学院机械工程系，新加坡国立大学） 纠错

专题命中 指令微调 ：language model(title)；foundation model(abstract)

FPT-Noise: Dynamic Scene-Aware Counterattack for Test-Time Adversarial Defense in Vision-Language Models

Jia Deng, Jin Li, Zhenhua Zhao, Shaowei Wang

专题命中 指令微调 ：language model(title,abstract)

Comments 11pages,4figures