语言大模型 / LLM

Pretraining Large Language Models with NVFP4

用NVFP4预训练大语言模型

NVIDIA, Felix Abecassis, Anjulie Agrusa, Dong Ahn, Jonah Alben, Stefania Alborghetti, Michael Andersch, Sivakumar Arayandi, Alexis Bjorlin, Aaron Blakeman, Evan Briones, Ian Buck, Bryan Catanzaro, Muya Chang, Jinhang Choi, Mike Chrzanowski, Eric Chung, Victor Cui, Steve Dai, Bita Darvish Rouhani, Carlo del Mundo, Deena Donia, Burc Eryilmaz, Henry Estela, Abhinav Goel, Oleg Goncharov, Yugi Guvvala, Robert Hesse, Russell Hewett, Herbert Hum, Ujval Kapasi, Brucek Khailany, Mikail Khona, Nick Knight, Alex Kondratenko, Ronny Krashinsky, Ben Lanir, Simon Layton, Michael Lightstone, Daniel Lo, Paulius Micikevicius, Asit Mishra, Tim Moon, Deepak Narayanan, Chao Ni, Abhijit Paithankar, Satish Pasumarthi, Ankit Patel, Mostofa Patwary, Ashwin Poojary, Gargi Prasad, Sweta Priyadarshi, Yigong Qin, Xiaowei Ren, Oleg Rybakov, Charbel Sakr, Sanjeev Satheesh, Stas Sergienko, Pasha Shamis, Kirthi Shankar, Nishant Sharma, Mohammad Shoeybi, Michael Siu, Misha Smelyanskiy, Darko Stosic, Dusan Stosic, Bor-Yiing Su, Frank Sun, Nima Tajbakhsh, Shelby Thomas, Przemek Tredak, Evgeny Tsykunov, Gandhi Vaithilingam, Aditya Vavre, Rangharajan Venkatesan, Roger Waleffe, Qiyu Wan, Hexin Wang, Mengdi Wang, Lizzie Wei, Hao Wu, Evan Wu, Keith Wyss, Ning Xu, Jinze Xue, Charlene Yang, Yujia Zhai, Ruoxi Zhang, Jingyang Zhu, Zhongbo Zhu

机构 * NVIDIA 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；LLM(abstract)

AI总结 本研究提出了一种基于NVFP4的预训练方法，通过整合随机哈达玛变换、二维量化方案和随机舍入等技术，实现稳定且高效的大型语言模型训练。

Comments Update includes: (1) fixing a typo in eq. 2 (2) updating author list, and (3) adding a related work

Adapting Speech Foundation Models for Unified Multimodal Speech Recognition with Large Language Models

为统一多模态语音识别适应语音基础模型与大语言模型

Jing-Xuan Zhang, Genshun Wan, Jin Li, Jianqing Gao, Duo Zhao, Zhen-Hua Ling

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；foundation model(title,abstract)；LLM(abstract)

AI总结 本文提出UASR-LLM框架，通过大语言模型与语音基础模型结合，实现多模态语音识别的统一优化与性能提升。

Comments 10 pages, 4 figures, 5 tables

LLM-Select: Feature Selection with Large Language Models

Daniel P. Jeong, Zachary C. Lipton, Pradeep Ravikumar

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

Comments Published in Transactions on Machine Learning Research (TMLR), April 2025

Fine-tuning can Help Detect Pretraining Data from Large Language Models

Hengxiang Zhang, Songxin Zhang, Bingyi Jing, Hongxin Wei

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；LLM(abstract)

Soft Prompting for Unlearning in Large Language Models

Karuna Bhaila, Minh-Hao Van, Xintao Wu

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；prompting(title,abstract)；LLM(abstract)

Aligning Quantum Operators with Large Language Models

对齐量子算子与大型语言模型

Rogerio Feris, Yunchao Liu, Pengyuan Li, Hang Hua, David Kremer

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)

AI总结 提出将酉算子映射到LLM潜空间的方法，实现量子与语言输入的联合建模，在Clifford+T电路合成任务上取得与最先进方法竞争的结果，并支持语言条件合成。

Fence: Specialized SLM Guardrails for LLM Applications

Fence：用于大语言模型应用的专用小型语言模型护栏

Kumud Lakara, Ruibo Shi, Fran Silavong

机构 * JPMorgan（摩根大通） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；SLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究使用闭源大语言模型的实际应用的安全措施问题，提出用在合成数据上训练的小型语言模型作专用护栏，引入受GAN启发的合成数据生成方法，实验证明该方法训练的护栏比基于提示的性能更优。

GIFT: Geometry-Informed Low-precision Gradient Communication for LLM Pretraining

GIFT：用于大语言模型预训练的几何感知低精度梯度通信

Jieying Wang, Shuyuan Fan, Mingkai Zheng, Zhao Zhang

机构 * Rutgers University（罗格斯大学） 纠错

专题命中 预训练与数据 ：LLM(title,summary_cn)；pretraining(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究针对LLM预训练中梯度通信瓶颈，提出几何感知梯度缩放方法GIFT，通过变换梯度到近各向同性空间进行低精度通信，开发简化算法平衡开销与减少量，经实验验证可减少预训练时间并改善下游任务保留情况。

Comments 12 pages, 6 figures, 3 tables

Labeling Training Data for Entity Matching Using Large Language Models

使用大型语言模型为实体匹配标注训练数据

Aaron Steiner, Christian Bizer

机构 * Data and Web Science Group（数据与网络科学组） ； University of Mannheim（曼海姆大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；small language model(abstract)

AI总结 研究利用知识蒸馏工作流，以LLM为教师模型标注训练数据，训练小型学生模型进行实体匹配，在五个基准上学生模型性能与基准训练集相当，且成本远低于人工标注。

Comments 13 pages, 5 figures, 9 tables

Not All Invariants Are Equal: Curating Training Data to Accelerate Program Verification with SLMs

并非所有不变式都同等重要：利用SLM通过精选训练数据加速程序验证

Ido Pinto, Yizhak Yisrael Elboher, Haoze Wu, Nina Narodytska, Guy Katz

机构 * Hebrew University of Jerusalem, Israel（特拉维夫大学） ； Amherst College, USA（阿默斯特学院） ； VMware Research by Broadcom, USA（Broadcom VMware 研究） 纠错

专题命中 预训练与数据 ：SLM(title_cn,summary_cn)；LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出Wonda数据筛选流水线，通过AST归一化和LLM语义重写从原始验证器输出中提取高质量训练不变式，微调小语言模型（SLM）后，在多个模型上使不变式正确性和加速率翻倍甚至三倍，小模型性能媲美大模型。

Comments A preprint of the ICML 2026 paper with the same title

Characterizing Narrative Content in Web-scale LLM Pretraining Data

网络规模LLM预训练数据中的叙事内容特征化

Teagan Johnson, Elliott Ash, Andrew Piper, Maria Antoniak

机构 * University of Colorado Boulder（科罗拉多大学波尔德分校） ； ETH Zürich（苏黎世联邦理工学院） ； McGill University（麦吉尔大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(title,abstract)；分类 cs.CL

AI总结 首次细粒度研究LLM预训练语料库Dolma的叙事特征，提出涵盖三个核心叙事元素（能动性、场景、事件）的框架，构建NarraBERT模型并发布NarraDolma数据集，揭示叙事结构在异构数据中可测量且分布不均。

Comments 8 pages of main content, 28 total pages. 30 figures

PsychoSafe: Eliciting Psychologically-Informed Refusals in Large Language Models

PsychoSafe：在大语言模型中引发基于心理学的拒绝

Gianluca Barmina, Federico Torrielli, Sven Harms, Jacob Nielsen, Felix Mächtle, Stine Lyngsø Beltoft, Peter Schneider-Kamp, Thomas Eisenbarth, Lukas Galke Poech, Anne Lauscher

机构 * University of Southern Denmark（南丹麦大学） ； University of Turin（都灵大学） ； University of Hamburg（汉堡大学） ； University of Lübeck（吕贝克大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 提出PsychoSafe框架，将LLM的拒绝行为重构为基于证据干预策略的结构化支持性沟通，通过构建5个心理风险领域的8019个提示-响应对，对Qwen 3.5 27B进行提示和参数高效微调，在拒绝质量上比通用基线提升28.1%，同时保持非拒绝任务性能。

Inferring the Size of Large Language Models From Popular Text Memorization

从流行文本记忆推断大型语言模型的规模

Ivica Nikolic

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)

AI总结 提出一种黑盒方法，通过分析模型对流行文本的记忆准确性，仅从生成文本推断LLM参数规模的下界，并验证了开源和闭源模型。

Register Always Matters: Analysis of LLM Pretraining Data Through the Lens of Language Variation

语域始终重要：通过语言变异视角分析LLM预训练数据

Amanda Myntti, Erik Henriksson, Veronika Laippala, Sampo Pyysalo

机构 * University of Turku（图尔库大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文首次利用语域（register）对预训练数据进行分类，通过训练小型生成模型并评估，发现语域显著影响LLM性能，其中“观点”类数据有益而“新闻”类效果不佳，组合特定语域可大幅提升性能。

Malicious and Unintentional Disclosure Risks in Large Language Models for Code Generation

大型语言模型在代码生成中的恶意与非故意披露风险

Rafiqul Rabin, Sean McGregor, Nick Judd

机构 * Digital Safety Research Institute（数字安全研究研究院） ； UL Research Institutes（UL研究机构） 纠错

专题命中 预训练与数据 ：language model(title,summary_cn)；large language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 本文研究了大型语言模型在代码生成训练中可能泄露训练数据中的敏感信息的风险，分析了非故意和恶意披露两种风险，并通过Open Language Model模型评估了不同数据集和模型版本的风险变化。

Comments The 3rd International Workshop on Mining Software Repositories Applications for Privacy and Security (MSR4P&S), co-located with SANER 2025

LLM-Guided Test-Time Discovery of Quantum-Chemical Approximation Algorithms

LLM引导的量子化学近似算法测试时发现

Masaya Hagai, Yuta Suzuki, Tomoya Murata, Shuhei Kurita, Masaki Adachi

机构 * Lattice Lab, Toyota Motor Corporation（丰田汽车公司格子实验室） ； Department of Chemistry, Graduate School of Science, Nagoya University（名古屋大学理学部化学科） ； National Institute of Informatics（国家信息研究所） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；language model(abstract)；foundation model(abstract)；pretraining(abstract)

AI总结 提出LADeQ框架，利用LLM在测试时自动发现、实现并评估量子化学近似算法，无需预训练或特定数据，可加速CCSD和CISD计算并控制误差。

Comments 13 main pages, 6 main figures, and 2 tables

LLM-JEPA: Large Language Models Meet Joint Embedding Predictive Architectures

Hai Huang, Yann LeCun, Randall Balestriero

机构 * Atlassian（Atlassian公司） ； NYU（纽约大学） ； Brown University（布朗大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)

CodePMP: Scalable Preference Model Pretraining for Large Language Model Reasoning

Huimu Yu, Xing Wu, Haotian Xu, Debing Zhang, Songlin Hu

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Xiaohongshu Inc（小红书公司） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；RLHF(abstract)

Comments work in progress

Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining

Daouda Sow, Herbert Woisetschläger, Saikiran Bulusu, Shiqiang Wang, Hans-Arno Jacobsen, Yingbin Liang

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；LLM(abstract)

Comments Accepted for publication at ICLR 2025. Code base available: https://github.com/sowmaster/Sample-Level-Loss-Reweighting-ICLR-2025

Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review

Neha Prakriya, Jui-Nan Yen, Cho-Jui Hsieh, Jason Cong

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；LLM(abstract)

Agent-Centric Projection of Prompting Techniques and Implications for Synthetic Training Data for Large Language Models

Dhruv Dhamani, Mary Lou Maher

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；prompting(title,abstract)；LLM(abstract)

Comments 8 pages, 5 figures. Accepted at ICAART 2025. Derived from an early draft at 2312.17601. arXiv admin note: substantial text overlap with arXiv:2312.17601

Detecting Pretraining Data from Large Language Models

Weijia Shi, Anirudh Ajith, Mengzhou Xia, Yangsibo Huang, Daogao Liu, Terra Blevins, Danqi Chen, Luke Zettlemoyer

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；LLM(abstract)

CarbonScaling: Extending Neural Scaling Laws for Carbon Footprint in Large Language Models

CarbonScaling：扩展神经缩放定律以用于大型语言模型中的碳足迹

Lei Jiang, Fan Chen

机构 * Indiana University（印第安纳大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出CarbonScaling框架，结合神经缩放定律和分布式训练策略，准确建模前沿LLM训练的碳足迹，提高硬件配置和排放估计的精度。

Comments 8 pages

InstructRetro: Instruction Tuning post Retrieval-Augmented Pretraining

Boxin Wang, Wei Ping, Lawrence McAfee, Peng Xu, Bo Li, Mohammad Shoeybi, Bryan Catanzaro

专题命中 预训练与数据 ：instruction tuning(title,abstract)；pretraining(title,abstract)；LLM(abstract)；large language model(abstract)

Comments ICML 2024

Train Yourself as an LLM: Exploring Effects of AI Literacy on Persuasion via Role-playing LLM Training

通过角色扮演训练LLM：探索AI素养对说服力的影响

Qihui Fan, Min Ge, Chenyan Jia, Weiyan Shi

机构 * Institute for Clarity in Documentation（文档清晰研究所） ； Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗康库尔中心） ； Rajiv Gandhi University（拉吉夫·甘地大学） ； Tsinghua University（清华大学） ； Palmer Research Laboratories（帕默研究实验室） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文通过角色扮演训练LLMimic，提升用户AI素养，减少AI说服力效果，并增强诚实与社会责任感。

David vs. Goliath in Next Activity Prediction: Argmax vs. LSTM, Transformer, and LLM

下一活动预测中的大卫与歌利亚：Argmax 与 LSTM、Transformer 和 LLM

Hans Weytjens, Ingo Weber

机构 * Technical University of Munich（慕尼黑工业大学） ； Fraunhofer Gesellschaft（弗劳恩霍夫协会） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文通过系统基准测试，比较了简单计数 argmax 基线、LSTM、Transformer 和 LLM 在下一活动预测中的性能，发现 argmax 基线在多数数据集上可媲美或接近十亿参数 LLM。

Comments Accepted for 24th International Conference on Business Process Management (2026) Forum

Attribute-Based Diagnosis of LLM Alignment with Hate Speech Annotations

基于属性的LLM与仇恨言论标注的对齐诊断

Mohammad Amine Jradi, Faeze Ghorbanpour, Alexander Fraser

机构 * School of Computation, Information and Technology, TU Munich（计算、信息与技术学院，慕尼黑技术大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 通过分析LLM在十个主观属性上的判断与人类标注的对齐情况，发现行为显式维度对齐良好而评价维度系统性反转，并提出基于置信度加权岭回归的属性组合方法，重构连续仇恨言论分数，R²达0.71。

Common Corpus: The Largest Collection of Ethical Data for LLM Pre-Training

Common Corpus: 最大的伦理数据集用于LLM预训练

Pierre-Carl Langlais, Pavel Chizhov, Catherine Arnett, Carlos Rosas Hinostroza, Mattia Nee, Eliot Krzystof Jones, Irène Girard, David Mach, Anastasia Stasenko, Ivan P. Yamshchikov

机构 * PleIAs 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 本文介绍了Common Corpus，一个最大的开放数据集，用于LLM预训练，该数据集包含大量非受版权或开放许可的数据，涵盖了多种语言和领域，为多语言预训练提供了支持。

Journal ref ICLR 2026 (Oral)

A Metamorphic Testing Approach to Diagnosing Memorization in LLM-Based Program Repair

一种用于诊断基于LLM的程序修复中记忆现象的元测试方法

Milan De Koning, Ali Asgari, Pouria Derakhshanfar, Annibale Panichella

机构 * JetBrains Research（JetBrains研究） ； Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文通过结合元测试与负对数似然，揭示LLM程序修复中数据泄露问题，发现模型在变换基准上的修复成功率显著下降，与NLL值高度相关。

Comments 12 pages

Filling the Gaps: Selective Knowledge Augmentation for LLM Recommenders

填补空白：面向LLM推荐系统的选择性知识增强

Jaehyun Lee, Sanghwan Jang, SeongKu Kang, Hwanjo Yu

机构 * Pohang University of Science and Technology（釜山科学技术大学） ； Korea University（韩国大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出KnowSA_CKP方法，通过选择性注入知识来缓解LLM推荐中的知识差距问题，提升推荐准确性和上下文效率。

Comments Accepted to SIGIR 2026 full papers track