语言大模型 / LLM

Speech LLMs in Low-Resource Scenarios: Data Volume Requirements and the Impact of Pretraining on High-Resource Languages

低资源场景下的语音大语言模型：数据量需求及高资源语言预训练的影响

Seraphina Fong, Marco Matassoni, Alessio Brutti

机构 * Department of Information Engineering（信息工程系） ； Center for Augmented Intelligence（增强智能中心） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；pretraining(title)；large language model(abstract)；language model(abstract)

AI总结 该研究针对低资源ASR任务，基于SLAM-ASR框架探究语音LLM的数据量需求，发现高资源语言预训练的投影器可缓解数据稀缺问题，并结合多语LLM在公开基准上验证性能，为相关研究提供方向。

Comments Accepted at Interspeech 2025. 5 pages, 2 figures, 3 tables

AgentRedBench: Dynamic Redteaming and Integration-Aware Defense for LLM Agents over SaaS Integrations

AgentRedBench: 针对SaaS集成的LLM代理的动态红队测试与集成感知防御

Hiskias Dingeto, William Leeney

机构 * StackOne Technologies（StackOne技术公司） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 针对LLM代理在工具使用中面临的间接提示注入威胁，提出动态红队基准AGENTREDBENCH（覆盖24个企业集成、5种攻击类型）和基于集成多样语料训练的防御模型AGENTREDGUARD，将攻击成功率从69.9%降至2.4%，误报率仅0.37%。

The Injection Paradox: Brand-Level Suppression in Safety-Trained LLM Recommendations via RAG Context Injection

注入悖论：通过RAG上下文注入在安全训练的LLM推荐中实现品牌级压制

Hyunseok Paeng

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.CL、cs.LG

AI总结 研究发现在基于RAG的LLM推荐中，安全训练会导致注入提示反而压制目标品牌推荐率，揭示了安全机制可能被逆向利用的风险。

Comments 18 pages, 1 figure, 15 tables. Accepted at the ICML 2026 Workshop on Failure Modes in Agentic AI (FAGEN), a non-archival venue

From Values to Tokens: An LLM-Driven Framework for Context-aware Time Series Forecasting via Symbolic Discretization

从数值到标记：一种基于符号离散化的LLM驱动上下文感知时间序列预测框架

Xiaoyu Tao, Shilong Zhang, Mingyue Cheng, Daoyu Wang, Tingyue Pan, Bokai Pan, Changqing Zhang, Shijin Wang

机构 * State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） ； University of Science and Technology of China（中国科学技术大学） ； College of Intelligence and Computing（智能科学与计算学院） ； iFLYTEK Research（iFLYTEK研究院） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出TokenCast框架，利用大语言模型通过符号离散化将连续时间序列转化为标记，与上下文文本对齐，实现上下文感知的预测，实验证明有效。

Insights Generator: Systematic Corpus-Level Trace Diagnostics for LLM Agents

Insights Generator: LLM代理的系统级语料库追踪诊断

Akshay Manglik, Apaar Shanker, Kaustubh Deshpande, Jason Qin, Yash Maurya, Veronica Chatrath, Vijay S. Kalmath, Levi Lentz, Yuan Xue

机构 * Scale AI, Inc. 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 本文提出Insights Generator，一种多智能体系统，通过在语料库中提出和测试假设来生成基于证据的洞察报告，从而系统性地诊断LLM代理的行为模式。

Demystifying Training-Time Augmentation for Data-Constrained Language Model Pretraining

数据受限语言模型预训练的数据增强

Michael K. Chen, Xikun Zhang, Fan Bai, Zhengding Hu, Zhen Wang

机构 * UC San Diego（加州大学圣地亚哥分校） ； RMIT University（皇家墨尔本理工大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对数据受限下标准自回归预训练严重过拟合的问题，提出三类数据增强方法（token级噪声、序列排列、目标偏移预测），有效降低验证损失并支持数百epoch训练。

MLLM-LLaVA-FL: Multimodal Large Language Model Assisted Federated Learning

MLLM-LLaVA-FL：多模态大语言模型辅助联邦学习

Jianyi Zhang, Hao Frank Yang, Ang Li, Xin Guo, Pu Wang, Haiming Wang, Yiran Chen, Hai Li

机构 * Duke University（杜克大学） ； Johns Hopkins University（约翰霍普金斯大学） ； University of Maryland College Park（马里兰大学学院市分校） ； Lenovo Research（联想研究院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对联邦学习中数据异质性问题，提出MLLM-LLaVA-FL框架，利用多模态大语言模型，通过全球视觉文本预训练、客户端本地训练和服务器端全局对齐三个阶段，提升联邦学习性能。

Comments Accepted to WACV 2025

Journal ref IEEE/CVF Winter Conference on Applications of Computer Vision (WACV 2025)

Single-Round Vector RAG vs an LLM-Compiled Wiki: A Preregistered Comparison on a Small Multi-Domain Research Corpus

向量RAG与LLM编写的维基：在小型多领域研究上的预注册比较

Theodore O. Cochran

机构 * AI for Altruism (A4A)（AI为利他主义（A4A）） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.CL

AI总结 本文通过预注册比较，研究了向量RAG系统与LLM编写的维基在小型多领域研究中的表现，发现两者在跨论文连接、答案组织和成本等方面各有优劣，没有单一系统在所有指标上最优。

Comments v2: two-judge reanalysis of the decomposition-RAG ablation (groundedness advantage +1.15 to +0.15); H3a adjudicated; one registered-plan deviation disclosed; artifact deposit at osf.io/j37b8; title corrected

Beyond Captions: Context-Grounded Reconstruction for Biomedical Multimodal Continued Pretraining

PMC-InterCPT：重新思考用于多模态持续预训练的医学交错数据

Guanghao Zhu, Zeyu Liu, Zhitian Hou, Pengkai Wang, Zhijie Sang, Yang Yu, Minheng Ni, Wenjun Wang, Yanggan Gu, Shuo Cai, Congkai Xie, Jianmin Wu, Hongxia Yang

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Sun Yat-sen University（中山大学） ； InfiX.ai ； PolyU-Daya Bay Technology and Innovation Research Institute（PolyU-大亚湾技术与创新研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(summary_cn,abstract_cn)；SFT(abstract,abstract_cn)；分类 cs.CL

AI总结 针对医学多模态持续预训练中图像-文本对数据存在的上下文缺失、结构噪声等问题，提出PMC-InterCPT交错语料库，通过恢复缺失标题、清洗文本、重建交错样本及LLM监督过滤，结合模态感知重采样，有效提升医学与通用多模态性能。

Select or Project? Evaluating Lower-dimensional Vectors for LLM Training Data Explanations

选择还是投影？评估用于LLM训练数据解释的低维向量

Lukas Hinterleitner, Loris Schoenegger, Benjamin Roth

机构 * Faculty of Computer Science, University of Vienna（维也纳大学计算机科学系） ； UniVie Doctoral School Computer Science, University of Vienna（维也纳大学计算机科学博士学院） ； Faculty of Philological and Cultural Studies, University of Vienna（维也纳大学文学与文化研究系） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文通过对比选择和投影方法，发现有针对性的组件选择在LLM训练数据解释中更有效且计算更高效。

Comments KONVENS 2026. 9 pages

The Correctness Illusion in LLM-Generated GPU Kernels

LLM生成的GPU内核中的正确性错觉

Dipankar Sarkar

机构 * Arizona State University, USA（亚利桑那州立大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.LG

AI总结 通过高精度CPU参考和操作模式感知的模糊测试，发现现有基准测试中基于固定形状的allclose检查无法检测LLM风格的转录错误，提出一种新协议并验证其有效性。

Comments 10 pages, 2 figures, LNCS format. Companion papers to follow on arXiv next week; IDs will be added in a v2 replace

Memorization in Large Language Models in Medicine: Prevalence, Characteristics, and Implications

医学领域大型语言模型中的记忆现象：普遍性、特征与影响

Anran Li, Lingfei Qian, Mengmeng Du, Yu Yin, Yan Hu, Zihao Sun, Yihang Fu, Hyunjae Kim, Erica Stutz, Xuguang Ai, Qianqian Xie, Rui Zhu, Jimin Huang, Yifan Yang, Siru Liu, Yih-Chung Tham, Lucila Ohno-Machado, Hyunghoon Cho, Zhiyong Lu, Hua Xu, Qingyu Chen

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本研究探讨医学领域大型语言模型的记忆现象，分析其普遍性、特征及对医疗应用的影响。

ASRU: Activation Steering Meets Reinforcement Unlearning for Multimodal Large Language Models

ASRU：激活引导与强化遗忘融合用于多模态大语言模型

Jiahui Guang, Haiyan Wang, Yingjie Zhu, Cuiyun Gao, Jing Li, Di Shao, Zhaoquan Gu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 ASRU提出一种可控多模态遗忘框架，通过激活引导和强化学习提升多模态大语言模型的遗忘效果和生成质量，实验显示在Qwen3-VL上遗忘效果提升24.6%，生成质量提升5.8倍。

Toward autocorrection of chemical process flowsheets using large language models

利用大型语言模型实现化工流程图的自动纠错

Lukas Schulze Balhorn, Marc Caballero, Artur M. Schweidtmann

机构 * Process Intelligence Research Group, Department of Chemical Engineering, Delft University of Technology（过程智能研究组，化学工程系，代尔夫特理工大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出一种基于大型语言模型的生成式AI方法，自动识别化工流程图中的错误并给出修正建议，在合成数据集上达到80%的top-1准确率。

Journal ref Computer Aided Chemical Engineering, Volume 53, 2024, Pages 3109-3114

BloomAPR: A Bloom's Taxonomy-based Framework for Assessing the Capabilities of LLM-Powered APR Solutions

BloomAPR：基于布鲁姆教育目标分类学的框架，用于评估大语言模型驱动的自动程序修复（APR）方案的能力

Yinghang Ma, Jiho Shin, Leuson Da Silva, Zhen Ming, Jiang, Song Wang, Foutse Khomh, Shin Hwei Tan

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 BloomAPR是基于布鲁姆教育目标分类学的动态评估框架，评估了ChatRepair、CigaR等APR方案在不同LLM及布鲁姆分类层级下的漏洞修复能力，发现其存在性能差异并指出基准演进的必要性。

Comments 22 pages, 7 figures, Manuscript submitted to ACM Transactions on Software Engineering and Methodology

In-Context Molecular Property Prediction with LLMs: A Blinding Study on Memorization and Knowledge Conflicts

基于LLM的上下文分子性质预测：关于记忆与知识冲突的盲化研究

Matthias Busch, Marius Tacke, Sviatlana V. Lamaka, Mikhail L. Zheludkevich, Christian J. Cyron, Christian Feiler, Roland C. Aydin

机构 * Institute for Continuum and Material Mechanics, Technical University of Hamburg（持续与材料力学研究所，汉堡技术大学） ； Institute of Material Systems Modeling, Helmholtz-Zentrum Hereon（材料系统建模研究所，海德堡-这里恩研究中心） ； Institute of Surface Science, Helmholtz-Zentrum Hereon（表面科学研究所，海德堡-这里恩研究中心） ； German Center for Artificial Intelligence (DFKI), Saarland, Germany（德国人工智能中心（DFKI），萨尔兰州，德国） ； Saarland University（萨尔兰州大学） 纠错

专题命中 预训练与数据 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 通过渐进盲化实验和上下文样本量控制，研究LLM在分子性质预测中是否真正进行上下文回归，还是依赖记忆值，并分析预训练知识与上下文信息的冲突。

Curriculum-Guided Layer Scaling for Language Model Pretraining

用于语言模型预训练的课程引导层缩放

Karanpartap Singh, Neil Band, Ehsan Adeli

机构 * Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 受人类认知发展启发，提出课程引导层缩放框架，通过渐进式层堆叠使数据难度与模型增长同步，在不同参数规模预训练并分层数据，提升模型泛化及零样本性能。

Comments Accepted to ICML 2026. Code available at https://github.com/su-karanps/cgls

Will Scaling Improve Social Simulation with LLMs?

扩展规模会改善基于LLM的社会模拟吗？

Caleb Ziems, William Held, Su Doga Karaca, David Grusky, Tatsunori Hashimoto, Diyi Yang

机构 * Stanford University（斯坦福大学） ； Open Athena（开放雅典娜） 纠错

专题命中 预训练与数据 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究LLM规模扩展对社会模拟保真度的影响，发现多数任务随规模提升而改善，但存在例外，如纵向预测和低资源领域改进缓慢。

Scaling Model and Data for Multilingual Machine Translation with Open Large Language Models

基于开放大语言模型的多语言机器翻译模型与数据扩展

Yuzhe Shang, Pengzhi Gao, Wei Liu, Jian Luan, Jinsong Su

机构 * School of Informatics, Xiamen University, China（厦门大学信息学院） ； MiLM Plus, Xiaomi Inc., Beijing, China（小米公司） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL

AI总结 本文提出MiLMMT-46模型，通过模型和数据扩展提升多语言机器翻译性能，超越现有SOTA模型并接近Google Translate等强 proprietary 系统。

Stabilizing Native Low-Rank LLM Pretraining

稳定原生低秩大语言模型预训练

Paul Janson, Edouard Oyallon, Eugene Belilovsky

机构 * Concordia University, Montreal, Canada（Concordia 大学） ； Mila Quebec AI Institute, Montreal, Canada（Quebec AI 研究院） ； Sorbonne University, CNRS , Paris , France（Sorbonne 大学） 纠错

专题命中 预训练与数据 ：LLM(title)；pretraining(title)；large language model(abstract)；language model(abstract)

AI总结 本文提出Spectron方法，通过谱归一化实现稳定原生低秩大语言模型预训练，显著提升推理效率并优化计算资源使用。

Comments Accepted at ICML 2026

Learning What to Predict: Downstream-Guided Task Design for Continued Pretraining

学习预测什么：下游引导的持续预训练任务设计

Shuqi Ke, Giulia Fanti

机构 * Department of ECE（电子工程系） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：pretraining(title,summary_cn)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出V-pretraining方法，通过轻量级任务设计器为无标签批次构建目标或视图，利用下游损失的一阶减少作为反馈，指导自监督更新，提升目标能力而不损害泛化。

Investigating Adversarial Robustness of Multi-modal Large Language Models

探究多模态大语言模型的对抗鲁棒性

Hashmat Shadab Malik, Muzammal Naseer, Salman Khan

机构 * Mohamed Bin Zayed University of AI, UAE（穆罕默德·本·扎耶德人工智能大学，阿联酋） ； Khalifa University, UAE（哈利法大学，阿联酋） ； Australian National University, Australia（澳大利亚国立大学，澳大利亚） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)

AI总结 通过系统研究多模态大语言模型的对抗鲁棒性，提出诊断性CLIP对齐协议预测鲁棒视觉编码器的迁移效果，并证明端到端多模态对抗训练能显著提升模型在强对抗攻击下的性能。

Journal ref The 37th British Machine Vision Conference (BMVC) 2026

EPSVec: Efficient and Private Synthetic Data Generation via Dataset Vectors

EPSVec: 通过数据集向量实现高效且私密的合成数据生成

Amin Banayeeanzade, Qingchuan Yang, Deqing Fu, Spencer Hong, Erin Babinsky, Alfy Samuel, Anoop Kumar, Robin Jia, Sai Praneeth Karimireddy

机构 * Capital One 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出EPSVec，一种轻量级差分隐私方法，通过提取并净化数据集向量来引导LLM生成合成文本，在低数据场景下实现高保真度，且计算开销低。

Comments Accepted at ICML 2026. Camera-ready version

Exploring Autonomous Agentic Data Engineering for Model Specialization

探索用于模型专业化的自主智能体数据工程

Yujie Luo, Xiangyuan Ru, Jingsheng Zheng, Jingjing Wang, Yuqi Zhu, Jintian Zhang, Runnan Fang, Kewei Xu, Ye Liu, Zheng Wei, Jiang Bian, Zang Li, Shumin Deng

机构 * Zhejiang University（浙江大学） ； Platform and Content Group, Tencent（腾讯平台与内容部） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出自主智能体数据工程任务，让LLM作为自主数据工程师，通过端到端数据策划驱动模型专业化，实验显示GPT-5.2通过迭代数据适应使学生模型性能提升57.29%。

Comments Work in progress

How Does the Pretraining Distribution Shape In-Context Learning? A Fundamental Trade-Off

预训练分布如何塑造上下文学习？一个基本的权衡

Waïss Azizian, Ali Hasan

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 通过理论框架和实验，揭示预训练分布的统计特性（如重尾行为）在上下文学习中导致任务选择鲁棒性与泛化能力之间的基本权衡。

Comments 57 pages, 15 figures; to be presented at ICML 2026

Automated Attribution Graph Interpretation via Probe Prompting

通过探针提示实现自动化归因图解释

Giuseppe Birardi, Gonçalo Paulo

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 预训练与数据 ：prompting(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出探针提示方法，利用跨提示激活签名将归因图特征分组为概念对齐的超节点，并通过因果干预验证标签，在Gemma-2-2B上实现100%的预测转向行为。

Comments 35 pages, 24 figures, 18 tables. Code and interactive demo available

RepBench: Compiling Benchmarks into Capability Representations for Large Language Models

RepBench：将基准编译为大语言模型的能力表征

Yanshi Li, Xueru Bai, Shuman Liu, Long Zhang

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 RepBench构建多基准支撑的大语言模型能力表征探测数据层，揭示读出方式与聚合准则对评估的重要性，相关资源以闭环工作流形式发布。

Comments 22 pages, 8 figures, with appendices. Yanshi Li and Xueru Bai contributed equally

Program Semantic Inequivalence Game with Large Language Models

基于大语言模型的程序语义不等价博弈

Antonio Valerio Miceli-Barone, Vaishak Belle, Ali Payani

机构 * University of Edinburgh（爱丁堡大学） ； Cisco Systems（思科系统） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出基于语义不等价博弈（SInQ）的方法，通过生成器与评估器智能体半对抗训练合成代码推理数据，在跨语言漏洞检测等基准上显著提升LLMs的代码语义理解能力。

An Alternative Trajectory for Generative AI

生成AI的另一种轨迹

Margarita Belova, Yuval Kansal, Yihao Liang, Jiaxin Xiao, Niraj K. Jha

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 本文提出通过构建领域特定超智能（DSS）来改进生成AI，利用符号抽象提升领域推理能力，避免LLM合成数据的模型崩溃问题，实现可持续发展。

MotionGPT-2: A General-Purpose Motion-Language Model for Motion Generation and Understanding

MotionGPT-2：用于运动生成与理解的通用运动-语言模型

Yuan Wang, Di Huang, Yaqi Zhang, Wanli Ouyang, Jile Jiao, Xuetao Feng, Dan Xu, Shixiang Tang

机构 * Tsinghua University（清华大学） ； The University of Sydney（悉尼大学） ； University of Science and Technology of China（中国科学技术大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Intime Department Store（Intime百货） ； Deepeleph ； HKUST（香港科技大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；pretraining(abstract)

AI总结 提出MotionGPT-2，一种统一的大规模运动-语言模型，通过预训练大语言模型支持多模态控制条件，实现运动生成、描述和补全等多种任务，并引入Part-Aware VQVAE实现细粒度身体和手部运动表示。