语言大模型 / LLM

Where Does the Noise Come From? A Variance-Components Decomposition of Non-Determinism in LLM Brand Answers

噪声从何而来？大语言模型品牌答案中非确定性的方差成分分解

Dmitrij Żatuchin

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究大语言模型品牌答案中非确定性的来源，通过交叉随机效应分解将响应级品牌结果总方差分为提示内重采样等四个来源，应用于多语言多模型语料库，发现查询语言是最大方差来源，跨语言和模型能提升可靠性而非重复提示。

Comments 18 pages, 6 tables, 3 code listings

MetricAnything: Scaling Metric Depth Pretraining with Noisy Heterogeneous Sources

MetricAnything：利用噪声异构源扩展度量深度预训练

Baorui Ma, Jiahui Yang, Donglin Di, Xuancheng Zhang, Jianxun Cui, Hao Li, Yan Xie, Wei Chen

机构 * Li Auto Inc（李自动公司） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 研究针对度量深度估计扩展难题，提出MetricAnything框架，通过随机掩码创建稀疏度量提示解耦空间推理与偏差，用多样3D数据预训练，在多任务中表现出色，推动度量感知发展。

Comments Accepted to ECCV 2026. Project Page: https://metric-anything.github.io/metric-anything-io/

SurrogateShield: Beyond Redaction for High-Utility, Privacy-Preserving LLM Interactions

SurrogateShield：超越脱敏的高效用隐私保护LLM交互

Sherwin Vishesh Jathanna

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出客户端代理SurrogateShield，用本地生成的类型一致替代值替换检测到的PII，在保护隐私的同时保持语义效用，在1124条查询语料上F1达98.87%，BERTScore提升13.26个百分点。

Comments 14 pages, 1 figure, 9 tables. Code and dataset: https://github.com/sherwinvishesh/SurrogateShield

Quantifying the Agreement Between Data-Influence and Data-Similarity to Understand LLM Behavior

量化数据影响与数据相似性之间的一致性以理解LLM行为

Christopher J. Anders, Henrique Da Silva Gameiro, Nico Daheim, Mohammad Emtiyaz Khan

机构 * RIKEN Center for Advanced Intelligence Project, Tokyo, Japan（日本东京理化学研究所先进智能项目中心） ； Section of Computer Science, EPFL Lausanne, Switzerland（瑞士洛桑联邦理工学院计算机科学系） ； Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, Technical University of Darmstadt（达姆施塔特工业大学计算机科学系泛在知识处理实验室） ； National Research Center for Applied Cybersecurity ATHENE, Germany（德国国家应用网络安全研究中心ATHENE） ； TU Darmstadt & Hessian Center for AI (hessian.AI), Darmstadt, Germany（达姆施塔特工业大学与黑森州人工智能中心） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.LG

AI总结 通过排序重叠量化数据相似性与数据影响在输出追踪中的一致性和不对称性，并利用不对称性实现成本-精度权衡。

Comments 37 pages, 35 figures, preprint

Joint Speech and Text Training for LLM-Based End-to-End Spoken Dialogue State Tracking

基于LLM的端到端口语对话状态跟踪的联合语音与文本训练

Katia Vendrame, Bolaji Yusuf, Santosh Kesiraju, Šimon Sedláček, Oldřich Plchot, Jan Černocký

机构 * Brno University of Technology（布拉格技术大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出联合训练口语DST数据和跨域文本DST数据的方法，解决口语数据稀缺和跨域泛化问题，无需目标域口语训练数据即可获得良好性能。

Comments accepted for Interspeech 2026

The Stanford EDGAR Filings Dataset: Reconstructing U.S. Corporate and Financial Disclosures into Layout-Faithful and Token-Efficient Pretraining Data

斯坦福EDGAR文件数据集：将美国公司及财务披露重建为布局忠实且令牌高效的预训练数据

Nick Bettencourt, Xiaowei Ding, Kay Giesecke

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Nanjing University（南京大学） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 为解决长上下文文档稀缺问题，提出SEFD数据集，将SEC文件重建为布局忠实的MultiMarkdown格式，用于金融语言建模与评估，具有令牌高效、与Common Crawl重叠率低于0.1%的特点。

Comments Preprint. Includes appendix, tables, and figures

Large Byte Model: Teaching Language Models About Compiled Code

大型字节模型：教会语言模型关于编译代码的知识

Florian Störtz, Catalin-Andrei Stan, Alexandru Dinu, Sandra Servia-Rodríguez, Mihaela Gaman, Calin Miron, Edward Raff

机构 * CrowdStrike U.K.（CrowdStrike英国分公司） ； CrowdStrike Romania（CrowdStrike罗马尼亚分公司） ； CrowdStrike USA（CrowdStrike美国分公司） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.AI

AI总结 本文提出首个字节原生大语言模型，通过定制字节分词器扩展词汇表，使其能直接处理可执行文件原始字节并回答恶意软件分析问题，在家族分类和架构分类上分别达到69%和98%的准确率。

Scaling Behavior of Single LLM-Driven Multi-Agent Systems

单一LLM驱动的多智能体系统的扩展行为

Jialing Li, Zhouhong Gu, Yin Cai, Hongwei Feng

机构 * Fudan University（复旦大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文通过提出顺序迭代多智能体系统（SIMAS）框架，系统研究了同质多智能体系统性能随智能体数量变化的扩展规律，发现性能并非单调提升，而是受协作协同与协调开销之间的权衡支配，呈现收益递减模式。

A Pre-Training Analogue of Grokking in Language Models: Tracing Delayed Grammatical Generalization

语言模型中预训练的Grokking类比：追踪延迟的语法泛化

Sherin Muckatira, Namrata Shivagunde, Vijeta Deshpande, Anna Rumshisky

机构 * University of Massachusetts Lowell（马萨诸塞大学洛文分校） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；language model(title)；分类 cs.LG

AI总结 本文提出一个基于暴露的框架，在LLM预训练中研究类似grokking的延迟泛化现象，通过BLiMP最小对发现语法泛化延迟，并分析泛化前后语法概念向量的变化。

Comments 18 pages, 10 figures, 9 tables

"Înţelegi Româneşte?'' A Recipe for Romanian Vision-Language Models

Înţelegi Româneşte?'' 罗马尼亚语视觉语言模型的构建配方

Mihai Masala, Marius Leordeanu, Mihai Dascalu, Traian Rebedea

机构 * National University of Science and Technology POLITEHNICA Bucharest（波兰技术大学布加勒斯特国家大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)；分类 cs.CL

AI总结 本文系统研究了构建罗马尼亚语视觉语言模型（VLM）的完整流程，通过翻译英文语料、消融实验分析视觉骨干、语言骨干和OCR数据的影响，并构建文化本地化评估集HoraVQA，证明罗马尼亚语适配模型在性能上超越同尺寸甚至更大尺寸的模型。

Phoneme-Level Visual Speech Recognition via Point-Visual Fusion and Language Model Reconstruction

基于点视觉融合与语言模型重建的音素级视觉语音识别

Matthew Kit Khinn Teng, Haibo Zhang, Takeshi Saitoh

机构 * Kyushu Institute of Technology（九州工业大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；language model(title)；分类 cs.CL

AI总结 提出一种两阶段音素级视觉语音识别框架，通过融合视觉和面部地标运动特征，并利用LLM模型重建单词，在LRS2和LRS3数据集上分别实现17.4%和21.0%的词错误率。

Comments Accepted at ICASSP 2026. This version corresponds to the camera-ready manuscript

Accommodation Goes Both Ways: Studying Linguistic Convergence Between Humans and Language Models

适应是双向的：研究人类与语言模型之间的语言趋同

Terra Blevins

机构 * Khoury College of Computer Sciences（科里学院计算机科学学院） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；language model(title)；分类 cs.CL

AI总结 通过大规模研究人类与LLM对话中的语言趋同现象，发现LLM在功能词和开放类特征上过度适应人类风格，而人类对LLM的适应程度与人类之间对话的基线一致。

Rethinking Muon Beyond Pretraining: Spectral Failures and High-Pass Remedies for VLA and RLVR

重新思考Muon超越预训练：VLA和RLVR中的频谱失败及高频修复

Chongyu Fan, Gaowen Liu, Mingyi Hong, Ramana Rao Kompella, Sijia Liu

机构 * Michigan State University（密歇根州立大学） ； Cisco（思科） ； University of Minnesota（明尼苏达大学） ； IBM Research（IBM研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.LG

AI总结 本文研究了Muon优化器在预训练之外的局限性，提出Pion通过高频NS迭代机制改进VLA和RLVR任务的性能。

CAPC-CG: A Large-Scale, Expert-Directed LLM-Annotated Corpus of Adaptive Policy Communication in China

CAPC-CG：一个大规模、专家指导的中国适应性政策沟通LLM注释语料库

Bolun Sun, Charles Chang, Yuen Yuen Ang, Ruotong Mu, Yuchen Xu, Zhengxin Zhang, Pingxu Hao

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Northwestern University（西北大学） ； Duke Kunshan University（杜克-昆山大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文介绍了CAPC-CG语料库，该语料库是首个开放的中国政策指令注释语料库，基于Ang的适应性政策沟通理论，采用五色分类法对清晰和模糊语言类别进行标注，旨在支持下游任务和多语言NLP研究。

Comments Accepted for publication in the Proceedings of ACL Main 2026

20/20 Vision Language Models: A Prescription for Better VLMs through Data Curation Alone

20/20 Vision Language Models: 通过数据整理单独提升VLMs的方案

DatologyAI, :, Siddharth Joshi, Haoli Yin, Rishabh Adiga, Haakon Mongstad, Alvin Deng, Aldo Carranza, Alex Fang, Amro Abbas, Anshuman Suri, Brett Larsen, Daniel Zayas, Darren Teh, David Schwab, Diego Kiner, Fan Pan, Jack Urbanek, Jason Lee, Jason Telanoff, Josh Wills, Kaleigh Mentzer, Luke Merrick, Maximilian Böther, Parth Doshi, Paul Burstein, Pratyush Maini, Ties Robroek, Tony Jiang, Vidhi Jain, Vineeth Dorna, Zhengping Wang, Bogdan Gaza, Ari Morcos, Matthew Leavitt

机构 * DatologyAI 纠错

专题命中 预训练与数据 ：language model(title,title_cn)；pretraining(abstract)；分类 cs.LG

AI总结 本文通过数据整理提升VLMs性能，展示在20个公开基准和DatBench九个能力轴上均取得显著提升，同时提升可靠性、OOD泛化和推理效率。

Comments 33 pages, 15 figures. DatalogyAI website for more details: https://www.datologyai.com/

Prototype Guided Post-pretraining for Single-Cell Representation Learning

原型引导的单细胞表示学习预训练

Sachini Weerasekara, Natasha Darras, Sagar Kamarthi, Colles Price, Jacqueline Isaacs

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文提出CellRefine方法，通过整合标记基因集作为先验指导单细胞预训练后的优化，提升下游任务性能，实验显示性能提升达15%。

How Much Does Persuasion Strategy Matter? LLM-Annotated Evidence from Charitable Donation Dialogues

说服策略有多重要？来自慈善捐赠对话的LLM注释证据

Tatiana Petrova, Stanislav Sokol, Radu State

机构 * Interdisciplinary Centre for Security, Reliability and Trust (SnT)（安全、可靠性与信任跨学科研究中心） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究通过分析10600个对话中的说服策略，发现仅 guilt induction 与较低的捐款率相关，而 reciprocity 是最强的正相关因素，表明单纯策略识别不足以解释说服效果。

Comments 8 pages, 2 figures, 5 tables. Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg

Exploring Silent Data Corruption as a Reliability Challenge in LLM Training

探索在LLM训练中作为可靠性挑战的静默数据损坏

Anton Altenbernd, Philipp Wiesner, Odej Kao

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 研究静默数据损坏对LLM预训练的影响，通过GPU矩阵乘法指令注入故障，分析不同位位置、内核函数和执行阶段的敏感性，并提出轻量检测方法以缓解有害参数更新。

Comments 10 Pages, 4 Figures, CCGrid 2026

Multi-Sample Prompting and Actor-Critic Prompt Optimization for Diverse Synthetic Data Generation

多样本提示与演员-评论员提示优化用于多样化合成数据生成

Abdelkarim El-Hajjami, Camille Salinesi

机构 * Paris 1 Panthéon–Sorbonne University（巴黎第一大学） 纠错

专题命中 预训练与数据 ：prompting(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出多样本提示与演员-评论员提示优化方法，用于提升合成数据生成的多样性与下游任务表现，实验显示在需求工程分类任务中，F1分数提升达6至43.8个百分点。

Mind the Gap: Pitfalls of LLM Alignment with Asian Public Opinion

注意鸿沟：LLM对齐与亚洲公众意见的陷阱

Hari Shankar, Vedanta S P, Sriharini Margapuri, Debjani Mazumder, Ponnurangam Kumaraguru, Abhijnan Chakraborty

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文研究了LLM在多语言多文化环境中的对齐问题，发现其在宗教观点尤其是少数群体方面存在偏差，提出轻量干预无法消除文化鸿沟，强调需系统性地区审计确保公平部署。

Comments 13 pages, including AAAI Paper Checklist. Accepted in Proceedings of the 20th International AAAI Conference on Web and Social Media (ICWSM 2026)

Optimal low-rank stochastic gradient estimation for LLM training

最优低秩随机梯度估计用于大语言模型训练

Zehao Li, Tao Ren, Zishi Zhang, Xi Chen, Yijie Peng

机构 * Guanghua School of Management, Peking University（北京大学光华管理学院） ； Stern School of Business, New York University（纽约大学 Stern 商学院） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出一种低秩矩阵估计器，通过随机低维子空间投影减少内存占用并控制均方误差，实验证明在RoBERTa-large微调和LLaMA-20M/60M/100M预训练中均取得优异效果。

What Are They Filtering Out? An Experimental Benchmark of Filtering Strategies for Harm Reduction in Pretraining Datasets

他们是在过滤什么？一种减少预训练数据集有害内容的过滤策略实验基准

Marco Antonio Stranisci, Christian Hardmeier

机构 * University of Turin（都灵大学） ； aequa-tech ； IT University of Copenhagen（哥本哈根技术大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文通过实验评估了数据过滤策略对减少有害内容的影响，发现其副作用是加剧了对弱势群体的歧视性不足。

A Scoping Review of Synthetic Data Generation by Language Models in Biomedical Research and Application: Data Utility and Quality Perspectives

基于语言模型生成合成数据在生物医学研究与应用中的综述：数据效用和质量视角

Hanshu Rao, Weisi Liu, Haohan Wang, I-Chan Huang, Zhe He, Xiaolei Huang

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；prompting(abstract)

AI总结 本文综述了语言模型在生物医学领域生成合成数据的应用，分析了不同模态下的数据效用与质量挑战，指出需建立标准化评估框架以提升生物医学研究的应用效果。

Journal ref Journal of Healthcare Informatics Research (2026)

A Brain Graph Foundation Model: Pre-Training and Prompt-Tuning across Broad Atlases and Disorders

脑图基础模型：在广泛的大脑图谱和疾病中进行预训练和提示微调

Xinxu Wei, Kanhao Zhao, Yong Jiao, Lifang He, Yu Zhang

机构 * Lehigh University（莱文大学） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 BrainGFM通过图对比学习和图掩码自动编码器预训练，实现跨多种大脑图谱和疾病的高效泛化与迁移。

Comments 30pages

Towards Building Non-Fine-Tunable Foundation Models

构建不可微调的基础模型

Ziyao Wang, Nizhang Li, Pingzhi Li, Guoheng Sun, Tianlong Chen, Ang Li

机构 * University of Maryland, College Park（马里兰大学 College Park 分校） ； Macau University of Science and Technology（澳门科学技术大学） ； The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出PMP框架，通过构建不可微调的基础模型，限制未经授权微调的适应性提升，从而提高模型的安全性和稳定性。

PROST-LLM: Progressively Enhancing the Speech-to-Speech Translation Capability in LLMs

PROST-LLM：逐步增强大语言模型中的语音到语音翻译能力

Jing Xu, Jiaqi Wang, Daxin Tan, Xiao Chen

机构 * The Chinese University of Hong Kong Huawei Artificial Intelligence Laboratory (Leibniz)（香港中文大学华为人工智能实验室（莱布尼茨）） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 PROST-LLM通过逐步增强方法提升大语言模型在语音到语音翻译中的能力，采用三任务学习和模态链方法，结合自我采样和回译生成偏好对，最终通过偏好优化提升翻译性能。

Comments Accepted by ICASSP 2026

SongSage: A Large Musical Language Model with Lyric Generative Pre-training

SongSage：一种具有歌词生成预训练的大型音乐语言模型

Jiani Guo, Jiajia Li, Jie Wu, Zuchao Li, Yujiu Yang, Ping Wang

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； School of Information Management, Wuhan University（武汉大学信息管理学院） ； Tsinghua University（清华大学） ； School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；pretraining(abstract)；SFT(abstract)

AI总结 SongSage是一种通过歌词生成预训练的大型音乐语言模型，专为提升歌词理解和播放列表推荐能力而设计，同时具备一般知识理解能力。

Native Design Bias: Studying the Impact of English Nativeness on Language Model Performance

Manon Reusens, Philipp Borchert, Jochen De Weerdt, Bart Baesens

机构 * Research Centre for Information Systems Engineering (LIRIS), KU Leuven（信息系统工程研究中心（LIRIS），库勒文大学） ； IESEG School of Management（IESEG管理学院） ； Department of Decision Analytics and Risk, University of Southampton（决策分析与风险系，南安普顿大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；pretraining(abstract)

Comments Accepted at ICJNLP-AACL (findings)

Spend Wisely: Maximizing Post-Training Gains in Iterative Synthetic Data Bootstrapping

Pu Yang, Yunzhen Feng, Ziyuan Chen, Yuhang Wu, Zhuoyuan Li

机构 * Peking University（北京大学） ； New York University（纽约大学） ； UC Berkeley（加州大学伯克利分校） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 预训练与数据 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

Comments NeurIPS 2025 (spotlight)

ADEPT: Continual Pretraining via Adaptive Expansion and Dynamic Decoupled Tuning

Jinyang Zhang, Yue Fang, Hongxin Ding, Weibin Liao, Muyang Ye, Xu Chu, Junfeng Zhao, Yasha Wang

机构 * Key Laboratory of High Confidence Software Technologies, Ministry of Education（高可信软件技术重点实验室，教育部） ； School of Computer Science, Peking University（北京大学计算机学院） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)