语言大模型 / LLM

ARC Is a Vision Problem!

Keya Hu, Ali Cy, Linlu Qiu, Xiaoman Delores Ding, Runqian Wang, Yeyin Eva Zhu, Jacob Andreas, Kaiming He

机构 * MIT（麻省理工学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Technical Report. Project webpage: https://github.com/lillian039/VARC

From Model Training to Model Raising

Roland Aydin, Christian Cyron, Steve Bachelor, Ashton Anderson, Robert West

机构 * Hamburg University of Technology（汉堡理工大学） ； Helmholtz-Zentrum Hereon（海德堡研究中心） ； University of Toronto（多伦多大学） ； EPFL（苏黎世联邦理工学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Accepted for publication in Communications of the ACM (CACM), Opinion section

Private-RAG: Answering Multiple Queries with LLMs while Keeping Your Data Private

Ruihan Wu, Erchi Wang, Zhiyuan Zhang, Yu-Xiang Wang

机构 * Computer Science and Engineering University of California, San Diego（计算机科学与工程大学加州大学圣地亚哥分校） ； Halıcıoğlu Data Science Institute University of California, San Diego（Halıcıoğlu数据科学研究所加州大学圣地亚哥分校） ； Department of Computer Science University of California, Los Angeles（计算机科学系加州大学洛杉矶分校） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Wasm: A Pipeline for Constructing Structured Arabic Interleaved Multimodal Corpora

Khalil Hennara, Ahmad Bastati, Muhammad Hreden, Mohamed Motasim Hamed, Zeina Aldallal, Sara Chrouf, Safwan AlModhayan

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Scaling Laws and In-Context Learning: A Unified Theoretical Framework

Sushant Mehta, Ishan Gupta

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Journal ref Workshop on Principles of Generative Modeling (PriGM) @ EurIPS2025

Datasets, Documents, and Repetitions: The Practicalities of Unequal Data Quality

Alex Fang, Hadi Pouransari, Matt Jordan, Alexander Toshev, Vaishaal Shankar, Ludwig Schmidt, Tom Gunter

机构 * Apple（苹果公司） ； Stanford（斯坦福大学） ； UT Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Beyond Contrastive Learning: Synthetic Data Enables List-wise Training with Multiple Levels of Relevance

Reza Esfandiarpoor, George Zerveas, Ruochen Zhang, Macton Mgonzo, Carsten Eickhoff, Stephen H. Bach

机构 * Brown University（布朗大学） ； Microsoft（微软） ； University of Tübingen（图宾根大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments Findings of the EMNLP 2025

ConTextTab: A Semantics-Aware Tabular In-Context Learner

Marco Spinaci, Marek Polewczyk, Maximilian Schambach, Sam Thelin

机构 * SAP France（SAP法国分公司） ； SAP SE（SAP德国分公司） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Accepted as spotlight at NeurIPS 2025

Measuring Algorithmic Partisanship via Zero-Shot Classification and Its Implications on Political Discourse

Nathan Junzi Chen

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 19 pages, 7 figures

Outlier Gradient Analysis: Efficiently Identifying Detrimental Training Samples for Deep Learning Models

Anshuman Chhabra, Bo Li, Jian Chen, Prasant Mohapatra, Hongfu Liu

机构 * University of South Florida, Tampa, FL, USA（佛罗里达州立大学） ； Brandeis University, Waltham, MA, USA（布兰迪大学） ； Tsinghua University（清华大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Accepted to ICML 2025 (Oral)

Broken-Token: Filtering Obfuscated Prompts by Counting Characters-Per-Token

Shaked Zychlinski, Yuval Kainan

机构 * JFrog 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 16 pages, 9 figures

Retrieval-Augmented Generation-based Relation Extraction

Sefika Efeoglu, Adrian Paschke

机构 * Electrical Engineering and Computer Science Department, Technische Universitaet Berlin（技术大学柏林电子工程与计算机科学系） ； Department of Computer Science, Freie Universitaet Berlin（柏林自由大学计算机科学系） ； Data Analytic Center (DANA), Fraunhofer Institute FOKUS（弗劳恩霍夫研究所FOKUS数据分析中心） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments published at the Semantic Web journal. The last version is available: https://doi.org/10.1177/22104968251385519

Epistemic Deep Learning: Enabling Machine Learning Models to Know When They Do Not Know

Shireen Kudukkil Manchingal

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments PhD thesis

The Atlas of In-Context Learning: How Attention Heads Shape In-Context Retrieval Augmentation

Patrick Kahardipraja, Reduan Achtibat, Thomas Wiegand, Wojciech Samek, Sebastian Lapuschkin

机构 * Department of Artificial Intelligence, Fraunhofer Heinrich Hertz Institute（人工智能系，弗劳恩霍夫海因里希·赫兹研究所） ； Department of Electrical Engineering and Computer Science, Technische Universität Berlin（电气工程与计算机科学系，柏林技术大学） ； BIFOLD - Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所） ； Centre of eXplainable Artificial Intelligence, Technological University Dublin（可解释人工智能中心，都柏林技术大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments Accepted at NeurIPS 2025

A Framework for Quantifying How Pre-Training and Context Benefit In-Context Learning

Bingqing Song, Jiaxiang Li, Rong Wang, Songtao Lu, Mingyi Hong

机构 * Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家） ； School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Diffusion Beats Autoregressive in Data-Constrained Settings

Mihir Prabhudesai, Mengning Wu, Amir Zadeh, Katerina Fragkiadaki, Deepak Pathak

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Lambda 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Project Webpage: https://diffusion-scaling.github.io

Leverage Unlearning to Sanitize LLMs

Antoine Boutet, Lucas Magnana

机构 * INSA Lyon, Inria, CITI, UR3720（里昂国立应用科学学院、法国国家科学研究中心、CITI、UR3720） ； Inria, INSA Lyon, CITI, UR3720（法国国家科学研究中心、里昂国立应用科学学院、CITI、UR3720） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Can we Evaluate RAGs with Synthetic Data?

Jonas van Elburg, Peter van der Putten, Maarten Marx

机构 * IRLab, Informatics Institute, UvA, Amsterdam, the Netherlands（IR实验室、信息研究所、乌得勒支大学、阿姆斯特丹、荷兰） ； AI Lab, Pegasystems, Amsterdam, the Netherlands（AI实验室、佩加系统的阿姆斯特丹分部） ； LIACS, Leiden University, Leiden, the Netherlands（LIACS、莱顿大学、莱顿、荷兰） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted for the SynDAiTE workshop at the European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML-PKDD 2025), September 15, 2025 - Porto, Portugal

Market-Driven Subset Selection for Budgeted Training

Ashish Jha, Valentin Leplat, AH Phan

机构 * Skolkovo Institute of Science and Technology（斯克洛夫诺科学与技术研究所） ； Innopolis University（因诺波利斯大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Retitled major revision of the same work (formerly "Market-Based Data Subset Selection -- Principled Aggregation of Multi-Criteria Example Utility"). Abstract and exposition revised; ablations added; theory clarified. Core results unchanged. Supersedes v1; please process as a replacement

Hope vs. Hate: Understanding User Interactions with LGBTQ+ News Content in Mainstream US News Media through the Lens of Hope Speech

Jonathan Pofcher, Christopher M. Homan, Randall Sell, Ashiqur R. KhudaBukhsh

机构 * Rochester Institute of Technology（罗切斯特理工学院） ； Drexel University（德雷塞尔大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Layer-Aware Influence for Online Data Valuation Estimation

Ziao Yang, Longbo Huang, Hongfu Liu

机构 * Department of Computer Science（计算机科学系） ； Brandeis University（布兰迪斯大学） ； Institute for Interdisciplinary Information Sciences（交叉信息科学研究院） ； Tsinghua University（清华大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

MotionScript: Natural Language Descriptions for Expressive 3D Human Motions

Payam Jome Yazdian, Rachel Lagasse, Hamid Mohammadi, Eric Liu, Li Cheng, Angelica Lim

机构 * School of Computing Science, Simon Fraser University（西蒙弗雷泽大学计算机科学系） ； Dept. of Electrical and Computer Engineering, University of Alberta（阿尔伯塔大学电气与计算机工程系） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Project webpage: https://pjyazdian.github.io/MotionScript

SeCon-RAG: A Two-Stage Semantic Filtering and Conflict-Free Framework for Trustworthy RAG

Xiaonan Si, Meilin Zhu, Simeng Qin, Lijia Yu, Lijun Zhang, Shuaitong Liu, Xinfeng Li, Ranjie Duan, Yang Liu, Xiaojun Jia

机构 * Institute of Software Chinese Academy of Sciences Beijing China（中国科学院软件研究所） ； Key Laboratory of System Software (Chinese Academy of Sciences) and State Key Laboratory of Computer Science, Institute of Software, Chinese Academy of Sciences, Beijing, China（中国科学院系统软件重点实验室和计算机科学国家重点实验室） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学） ； Northeast University China（东北大学） ； Institute of Ai For industries Nanjing China（人工智能产业研究院） ； Southwest University China（西南大学） ； Nanyang Technological University Singapore（新加坡南洋理工大学） ； Alibaba China（阿里巴巴（中国）） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted at NeurIPS 2025

Valid Inference with Imperfect Synthetic Data

Yewon Byun, Shantanu Gupta, Zachary C. Lipton, Rachel Leah Childers, Bryan Wilder

机构 * Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系） ； University of Zurich（苏黎世大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments NeurIPS 2025

2 OLMo 2 Furious

Team OLMo, Pete Walsh, Luca Soldaini, Dirk Groeneveld, Kyle Lo, Shane Arora, Akshita Bhagia, Yuling Gu, Shengyi Huang, Matt Jordan, Nathan Lambert, Dustin Schwenk, Oyvind Tafjord, Taira Anderson, David Atkinson, Faeze Brahman, Christopher Clark, Pradeep Dasigi, Nouha Dziri, Allyson Ettinger, Michal Guerquin, David Heineman, Hamish Ivison, Pang Wei Koh, Jiacheng Liu, Saumya Malik, William Merrill, Lester James V. Miranda, Jacob Morrison, Tyler Murray, Crystal Nam, Jake Poznanski, Valentina Pyatkin, Aman Rangapur, Michael Schmitz, Sam Skjonsberg, David Wadden, Christopher Wilhelm, Michael Wilson, Luke Zettlemoyer, Ali Farhadi, Noah A. Smith, Hannaneh Hajishirzi

机构 * Allen Institute for AI（艾伦人工智能研究所） ； University of Washington（华盛顿大学） ； New York University（纽约大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

Comments Shorter version accepted to COLM 2025. Updated to include 32B results. Model demo available at playground.allenai.org

Spoken Language Understanding on Unseen Tasks With In-Context Learning

Neeraj Agrawal, Sriram Ganapathy

机构 * Indian Institute of Science（印度科学研究院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Journal ref Proc. Interspeech 2025, 4103-4107

Unpacking Let Alone: Human-Scale Models Generalize to a Rare Construction in Form but not Meaning

Wesley Scivetti, Tatsuya Aoyama, Ethan Wilcox, Nathan Schneider

机构 * Georgetown University（杰克逊维尔大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

Comments Empirical Methods for Natural Language Processing (EMNLP) 2025, Camera-Ready Version

The Dragon Hatchling: The Missing Link between the Transformer and Models of the Brain

Adrian Kosowski, Przemysław Uznański, Jan Chorowski, Zuzanna Stamirowska, Michał Bartoszkiewicz

机构 * Pathway 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Code available at: https://github.com/pathwaycom/bdh Accompanying blog: https://pathway.com/research/bdh

Scaling Laws for Online Advertisement Retrieval

Yunli Wang, Zhen Zhang, Zixuan Yang, Tianyu Xu, Zhiqiang Wang, Yu Li, Rufan Zhou, Zhiqiang Liu, Yanjie Zhu, Jian Yang, Shiyang Wen, Peng Jiang

机构 * Kuaishou Technology（快手科技） ； M-A-P 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments v2 add some theoretical analysis and experimental validation; 26 pages, 11 figures

No Labels Needed: Zero-Shot Image Classification with Collaborative Self-Learning

Matheus Vinícius Todescato, Joel Luís Carbonera

机构 * Institute of Informatics（信息学院） ； UFRGS（乌拉圭国家研究学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments This paper was accepted at International Conference on Tools with Artificial Intelligence (ICTAI) 2025