语言大模型 / LLM

Impact of Frame Rates on Speech Tokenizer: A Case Study on Mandarin and English

Haoyang Zhang, Hexin Liu, Xiangyu Zhang, Qiquan Zhang, Yuchen Hu, Junqi Zhao, Fei Tian, Xuerui Yang, Leibny Paola Garcia, Eng Siong Chng

机构 * Peking University（北京大学） ； StepFun ； Nanyang Technological University（南洋理工大学） ； UNSW（新南威尔士大学） ； University of Surrey（萨里大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

Comments 6 pages, 5 figures

FreshStack: Building Realistic Benchmarks for Evaluating Retrieval on Technical Documents

Nandan Thakur, Jimmy Lin, Sam Havens, Michael Carbin, Omar Khattab, Andrew Drozdov

机构 * University of Waterloo（滑铁卢大学） ； Databricks（Databricks公司） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.AI

Comments 21 pages, 4 figures, 8 tables

Paired Completion: Flexible Quantification of Issue-framing at Scale with LLMs

Simon D Angus, Lachlan O'Neill

机构 * Dept. of Economics & SoDa Laboratories（经济系及SoDa实验室） ； Monash Business School（莫纳什商学院） ； Monash University（莫纳什大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.AI

Comments 9 pages, 4 figures

A Cognac Shot To Forget Bad Memories: Corrective Unlearning for Graph Neural Networks

Varshita Kolipaka, Akshit Sinha, Debangan Mishra, Sumit Kumar, Arvindh Arun, Shashwat Goel, Ponnurangam Kumaraguru

专题命中 预训练与数据 ：post-training(abstract)；分类 cs.AI、cs.LG

Comments In Proceedings of ICML 2025

Sparse Autoencoders for Hypothesis Generation

Rajiv Movva, Kenny Peng, Nikhil Garg, Jon Kleinberg, Emma Pierson

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.AI

Comments ICML 2025. First two authors contributed equally. v3 adds SAE ablation experiments and qualitative annotation study to v2. Code: https://github.com/rmovva/HypotheSAEs

Exploring Diffusion Transformer Designs via Grafting

Keshigeyan Chandrasegaran, Michael Poli, Daniel Y. Fu, Dongjun Kim, Lea M. Hadzic, Manling Li, Agrim Gupta, Stefano Massaroli, Azalia Mirhoseini, Juan Carlos Niebles, Stefano Ermon, Li Fei-Fei

机构 * Stanford University（斯坦福大学） ； Liquid AI ； Together AI ； UC San Diego（加州大学圣地亚哥分校） ； Northwestern University（西北大学） ； Google DeepMind（谷歌DeepMind） ； Salesforce Research（Salesforce研究） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

Comments 22 pages; Project website: https://grafting.stanford.edu

Scaling Laws for Robust Comparison of Open Foundation Language-Vision Models and Datasets

Marianna Nezhurina, Tomer Porian, Giovanni Pucceti, Tommie Kerssies, Romain Beaumont, Mehdi Cherti, Jenia Jitsev

机构 * LAION ； Juelich Supercomputing Center (JSC), Research Center Juelich (FZJ)（联合计算中心（JSC），焦耳希中心（FZJ）） ； Eindhoven University of Technology（埃因霍温理工大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

Comments Preprint. In Review

VLMs Can Aggregate Scattered Training Patches

Zhanhui Zhou, Lingjie Chen, Chao Yang, Chaochao Lu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

PAST: Phonetic-Acoustic Speech Tokenizer

Nadav Har-Tuv, Or Tal, Yossi Adi

机构 * The School of Computer Science and Engineering（计算机科学与工程学院） ； The Hebrew University of Jerusalem（耶路撒冷希伯来大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

Scaling Laws for Floating Point Quantization Training

Xingwu Sun, Shuaipeng Li, Ruobing Xie, Weidong Han, Kan Wu, Zhen Yang, Yixing Li, An Wang, Shuai Li, Jinbao Xue, Yu Cheng, Yangyu Tao, Zhanhui Kang, Chengzhong Xu, Di Wang, Jie Jiang

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.LG

Dictionaries to the Rescue: Cross-Lingual Vocabulary Transfer for Low-Resource Languages Using Bilingual Dictionaries

Haruki Sakajo, Yusuke Ide, Justin Vasselli, Yusuke Sakai, Yingtao Tian, Hidetaka Kamigaito, Taro Watanabe

机构 * Nara Institute of Science and Technology（奈良科学技术大学） ； Sakana AI 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted to ACL 2025 Findings

How do Transformer Embeddings Represent Compositions? A Functional Analysis

Aishik Nagar, Ishaan Singh Rawal, Mansi Dhanania, Cheston Tan

机构 * ASUS Intelligent Cloud Services（ASUS智能云服务） ； Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)（高性能计算研究所（A*STAR）） ； Center for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR)（前沿人工智能研究中心（A*STAR）） ； Texas A&M University（德克萨斯大学阿姆斯特朗分校） ； McGill University（麦吉尔大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

AdaWorld: Learning Adaptable World Models with Latent Actions

Shenyuan Gao, Siyuan Zhou, Yilun Du, Jun Zhang, Chuang Gan

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

Comments ICML 2025. Project page: https://adaptable-world-model.github.io/, code: https://github.com/Little-Podi/AdaWorld, model: https://huggingface.co/Little-Podi/AdaWorld

DIS-CO: Discovering Copyrighted Content in VLMs Training Data

André V. Duarte, Xuandong Zhao, Arlindo L. Oliveira, Lei Li

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

A Reality Check on Context Utilisation for Retrieval-Augmented Generation

Lovisa Hagström, Sara Vera Marjanović, Haeun Yu, Arnav Arora, Christina Lioma, Maria Maistro, Pepa Atanasova, Isabelle Augenstein

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted at ACL 2025

Phir Hera Fairy: An English Fairytaler is a Strong Faker of Fluent Speech in Low-Resource Indian Languages

Praveen Srinivasa Varadhan, Srija Anand, Soma Siddhartha, Mitesh M. Khapra

机构 * Indian Institute of Technology Madras（印度理工学院马德拉斯学院） ； Saryps Labs（Saryps实验室） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.LG

Mixture of Low Rank Adaptation with Partial Parameter Sharing for Time Series Forecasting

Licheng Pan, Zhichao Chen, Haoxuan Li, Guangyi Liu, Zhijian Xu, Zhaoran Liu, Hao Wang, Ying Wei

机构 * Zhejiang University（浙江大学） ； Peking University（北京大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

Can Community Notes Replace Professional Fact-Checkers?

Nadav Borenstein, Greta Warren, Desmond Elliott, Isabelle Augenstein

机构 * University of Copenhagen（哥本哈根大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted to the main proceedings of ACL 2025

Thinking like a CHEMIST: Combined Heterogeneous Embedding Model Integrating Structure and Tokens

Nikolai Rekut, Alexey Orlov, Klea Ziu, Elizaveta Starykh, Martin Takac, Aleksandr Beznosikov

机构 * Moscow Institute of Physics and Technology（莫斯科物理技术学院） ； A. N. Nesmeyanov Institute of Organoelement compounds Russian Academy of Sciences（有机元素化合物A.N.涅斯梅亚诺夫研究所俄罗斯科学院） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； HSE University（高等经济大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

Controlled Training Data Generation with Diffusion Models

Teresa Yeo, Andrei Atanov, Harold Benoit, Aleksandr Alekseev, Ruchira Ray, Pooya Esmaeil Akhoondi, Amir Zamir

机构 * Swiss Federal Institute of Technology Lausanne（瑞士联邦理工学院洛桑分校） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

Comments Project page at https://adversarial-prompts.epfl.ch/

All You Need Is Synthetic Task Augmentation

Guillaume Godin

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

Comments 14 pages, 3 Figures, 6 tables

Next Word Suggestion using Graph Neural Network

Abisha Thapa Magar, Anup Shakya

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

Human-like Cognitive Generalization for Large Models via Brain-in-the-loop Supervision

Jiaxuan Chen, Yu Qi, Yueming Wang, Gang Pan

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

Multi-modal Synthetic Data Training and Model Collapse: Insights from VLMs and Diffusion Models

Zizhao Hu, Mohammad Rostami, Jesse Thomason

机构 * University of Southern California（南加州大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

Knowledge Guided Encoder-Decoder Framework: Integrating Multiple Physical Models for Agricultural Ecosystem Modeling

Qi Cheng, Licheng Liu, Yao Zhang, Mu Hong, Shiyuan Luo, Zhenong Jin, Yiqun Xie, Xiaowei Jia

机构 * University of Pittsburgh（匹兹堡大学） ； University of Minnesota - Twin Cities（明尼苏达大学-双城分校） ； Colorado State University（科罗拉多州立大学） ； University of Maryland, College Park（马里兰大学学院市分校） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

Transformers Handle Endogeneity in In-Context Linear Regression

Haodong Liang, Krishnakumar Balasubramanian, Lifeng Lai

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

Comments 37 pages, 8 figures

Recite, Reconstruct, Recollect: Memorization in LMs as a Multifaceted Phenomenon

USVSN Sai Prashanth, Alvin Deng, Kyle O'Brien, Jyothir S, Mohammad Aflah Khan, Jaydeep Borkar, Christopher A. Choquette-Choo, Jacob Ray Fuehne, Stella Biderman, Tracy Ke, Katherine Lee, Naomi Saphra

机构 * EleutherAI ； Microsoft（微软） ； New York University（纽约大学） ； DatologyAI ； Northeastern University（东北大学） ； MPI-SWS ； IIIT Delhi（德里印度理工学院） ； Google DeepMind（谷歌DeepMind） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Harvard University（哈佛大学） ； Kempner Institute（Kempner研究所） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

DriveGPT: Scaling Autoregressive Behavior Models for Driving

Xin Huang, Eric M. Wolff, Paul Vernaza, Tung Phan-Minh, Hongge Chen, David S. Hayden, Mark Edmonds, Brian Pierce, Xinxin Chen, Pratik Elias Jacob, Xiaobai Chen, Chingiz Tairbekov, Pratik Agarwal, Tianshi Gao, Yuning Chai, Siddhartha Srinivasa

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

Comments ICML 2025. 14 pages, 17 figures, 8 tables, and 1 video link

CORG: Generating Answers from Complex, Interrelated Contexts

Hyunji Lee, Franck Dernoncourt, Trung Bui, Seunghyun Yoon

机构 * KAIST AI（韩国科学技术院人工智能实验室） ； Adobe Research（Adobe研究院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

Comments published at Findings of NAACL 2025

DISCO: learning to DISCover an evolution Operator for multi-physics-agnostic prediction

Rudy Morel, Jiequn Han, Edouard Oyallon

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG