语言大模型 / LLM

From Runnable to Verifiable: An Independent Reproducibility Study of LLM/Agent-Driven Vulnerability Validation Artifacts

从可运行到可验证：LLM/智能体驱动的漏洞验证制品的独立可复现性研究

Bo Chen

专题命中 预训练与数据 ：LLM(title,title_cn)

AI总结 本研究通过预注册可复现性审计，发现LLM/智能体驱动的漏洞验证制品存在标识符不一致、可运行率低、预言机不可靠等问题，提出的审计方案可作为安全可复现性社区的复用模板。

Comments 16 pages, 2 figures, 6 tables

Tangent: An Empirical Study of Testing Practices for LLM-Based Agent Applications

Tangent：基于大语言模型的智能体应用测试实践的实证研究

Rangeet Pan, Tyler Stennett, Divya Sankar, Bridget McGinn, Alessandro Orso, Raju Pavuluri, Saurabh Sinha, Maja Vukovic

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 Tangent通过对开源项目和行业从业者的研究，分析了LLM智能体应用的测试现状，发现其以单元测试为主、存在覆盖不足等问题，并提出了相关研究方向。

Comments Accepted at ASE'26

BloomAPR: A Bloom's Taxonomy-based Framework for Assessing the Capabilities of LLM-Powered APR Solutions

BloomAPR：基于布鲁姆教育目标分类学的框架，用于评估大语言模型驱动的自动程序修复（APR）方案的能力

Yinghang Ma, Jiho Shin, Leuson Da Silva, Zhen Ming, Jiang, Song Wang, Foutse Khomh, Shin Hwei Tan

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 BloomAPR是基于布鲁姆教育目标分类学的动态评估框架，评估了ChatRepair、CigaR等APR方案在不同LLM及布鲁姆分类层级下的漏洞修复能力，发现其存在性能差异并指出基准演进的必要性。

Comments 22 pages, 7 figures, Manuscript submitted to ACM Transactions on Software Engineering and Methodology

Unreliable in Practice? A Comprehensive Study of Errors in LLM-Generated Code

实践中不可靠？对大语言模型生成代码中的错误的综合研究

Rodrigo Pato Nogueira, Marco Vieira, João R. Campos

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究分析7款LLMs生成的86726个含错代码样本，对比不同模型、语言的错误模式，发现大型模型也常犯简单错误，代码常省略关键安全检查，为提升LLM生成代码可靠性提供依据。

Comments Accepted for publication in the 37th IEEE International Symposium on Software Reliability Engineering (ISSRE) 2026

The Limits of LLM Forecasting: Parametric Knowledge Gaps Across Conflict Zones

LLM预测的局限性：冲突区域间的参数化知识差距

Poli Nemkova

专题命中 预训练与数据 ：LLM(title,title_cn)

AI总结 研究发现LLM在冲突预测中无法区分稳定与升级期，对低覆盖地区预测为总是升级，对高覆盖地区预测为从不升级，性能低于简单逻辑回归模型。

VIB-AVSR: Variational Information Bottleneck for Noise-Robust LLM-Based Audio-Visual Speech Recognition

VIB-AVSR：基于变分信息瓶颈的噪声鲁棒LLM视听语音识别

Piyush Arora, Navlika Singh, Umberto Cappellazzo, Stavros Petridis, Maja Pantic

机构 * Imperial College London（帝国理工学院伦敦分校） ； NatWest AI Research（NatWest人工智能研究） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)

AI总结 提出VIB-AVSR，通过在LLM骨干中插入变分信息瓶颈层来正则化表示，无需架构修改或额外数据，即可在多种噪声条件下提升AVSR鲁棒性。

Comments Accepted to INTERSPEECH 2026. Our code is available at https://github.com/PiyushArora1010/VIB-AVSR

Scaling Dense Retrieval with LLM-Annotated Training Data: Structured Mining and Progressive Curriculum for E-Commerce Sponsored Search

使用LLM标注的训练数据扩展稠密检索：面向电商赞助搜索的结构化挖掘与渐进式课程

Md Omar Faruk Rokon, Shasvat Desai, Jhalak Nilesh Acharya, Isha Shah, Kumar Priyam, Brahanyaa Somasundaram, Vamsee Tangirala, Minuteresa Thomas, Vivek Arora, Vijay Manchi, Hong Yao, Kuang-chih Lee

专题命中 预训练与数据 ：LLM(title,title_cn)

AI总结 针对电商搜索中点击信号偏差和人工标注成本高的问题，提出利用多通道检索挖掘、校准的LLM级联标注和五级渐进式课程训练，在Walmart搜索中实现NDCG@10提升5.1%，尾查询提升显著。

Comments Accepted at E-Commerce Workshop, SIGIR 2026

An LLM-based Chain-of-Response Counter-Scam System

基于LLM的链式响应反诈骗系统

Heedou Kim, Mogan Gim, Donghee Choi, Hoonick Lee, Soonil Bae, Mi-Young Kim, Jaewoo Kang

专题命中 预训练与数据 ：LLM(title,title_cn)

AI总结 提出Counter Scam框架，利用LLM多智能体协同实现从检测到调查的端到端反诈骗响应，通过CSRA、CSRT和CSRD组件提升效率，实验表明微调sLLM在CSRT任务上超越商业模型10%以上。

Comments This paper has been accepted for publication at IJCAI 2026

Divergent Minds, Convergent Baselines: A Bounded-Rationality Account of LLM-Human Strategic Behaviour

分歧的思维，趋同的基线：LLM与人类战略行为的有界理性解释

Po Han Teo

专题命中 预训练与数据 ：LLM(title,title_cn)

AI总结 本文提出有界理性框架，将人类与LLM在战略博弈中的行为差异归因于计算约束的不同，并给出四个操作测试来区分两者的偏差项δ。

Comments 12 pages, 1 table, no figures. Theoretical prequel paper

Check Your LLM's Secret Dictionary! Five Lines of Code Reveal What Your LLM Learned (Including What It Shouldn't Have)

检查你的大语言模型的秘密词典！五行代码揭示你的大语言模型学到了什么（包括它不应该学到的）

Hisashi Miyashita

机构 * Mgnite Inc.（Mgnite公司） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 通过对lm_head权重矩阵进行奇异值分解（仅需五行PyTorch代码且无需模型推理），直接从模型权重中揭示可解释的语义子空间，并发现模型训练数据组成和策展哲学。

Selective Deficits in LLM Mental Self-Modeling in a Behavior-Based Test of Theory of Mind

对LLM心理自我建模能力的有选择性缺陷的测试：基于行为的理论自我认知测试

Christopher Ackerman

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过行为测试探讨LLM在理论自我认知任务中的能力，发现较早的LLM无法完成任务，而较新的LLM在他人认知建模上表现接近人类，但自我建模仍存在缺陷，除非使用推理轨迹辅助。

Comments 22 pages, 13 figures, 1 table

ClawGuard: Out-of-Band Detection of LLM Agent Workflow Hijacking via EM Side Channel

ClawGuard: 通过电磁侧信道检测LLM代理工作流劫持

Leo Linqian Gan, Jeffery Wu, Longyuan Ge, Lanqing Yang, Yonghao Song, Jingkai Zhang, Haojia Jin, Weiyi Wang, Guangtao Xue

专题命中 预训练与数据 ：LLM(title,title_cn)

AI总结 ClawGuard通过电磁侧信道检测LLM代理工作流劫持，利用电磁信号特征识别被篡改的代理行为，实现对主机软件 compromise 的物理验证。

SoK: Security of Autonomous LLM Agents in Agentic Commerce

SoK：自主大语言模型代理在代理商业中的安全性

Qian'ang Mao, Jiaxin Wang, Ya Liu, Li Zhu, Cong Ma, Jiaqi Yan

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本文系统分析了自主LLM代理在商业中的安全问题，提出统一的安全框架，识别12种跨层攻击向量，并提出分层防御架构以解决现有协议的授权漏洞。

LLM-Guided Semantic Bootstrapping for Interpretable Text Classification with Tsetlin Machines

基于Tsetlin机的语义引导语义引导可解释文本分类

Jiechao Gao, Rohan Kumar Yadav, Yuangang Li, Yuandong Pan, Jie Wang, Ying Liu, Michael Lepech

机构 * Stanford University（斯坦福大学） ； University of California, Irvine（加州大学伊文斯顿分校） ； University of the Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 预训练与数据 ：LLM(title,summary_cn)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种将LLM知识转化为符号形式的框架，通过三阶段课程生成子意图，利用非否定Tsetlin机提取高置信度语义线索，提升文本分类的可解释性和准确性。

Comments Accepted to Findings of the Association for Computational Linguistics (ACL 2026)

ParaPO: Aligning Language Models to Reduce Verbatim Reproduction of Pre-training Data

Tong Chen, Faeze Brahman, Jiacheng Liu, Niloofar Mireshghallah, Weijia Shi, Pang Wei Koh, Luke Zettlemoyer, Hannaneh Hajishirzi

机构 * University of Washington（华盛顿大学） ； Allen Institute for Artificial Intelligence（人工智能 Allen 研究院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；post-training(abstract)；preference optimization(abstract)

Full-Parameter Continual Pretraining of Gemma2: Insights into Fluency and Domain Knowledge

Vytenis Šliogeris, Povilas Daniušis, Artūras Nakvosas

机构 * Neurotechnology 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Comments 9 pages, 3 figures, 1 table

Advancing Autonomous Vehicle Intelligence: Deep Learning and Multimodal LLM for Traffic Sign Recognition and Robust Lane Detection

Chandan Kumar Sah, Ankit Kumar Shaw, Xiaoli Lian, Arsalan Shahid Baig, Tuopu Wen, Kun Jiang, Mengmeng Yang, Diange Yang

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

Comments 11 pages, 9 figures

From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems

Jianliang He, Siyu Chen, Fengzhuo Zhang, Zhuoran Yang

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Comments 47 pages, accepted by ICML 2024

InforMask: Unsupervised Informative Masking for Language Model Pretraining

Nafis Sadeq, Canwen Xu, Julian McAuley

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；large language model(abstract)；分类 cs.CL

Journal ref Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP 2022)

In-Context Molecular Property Prediction with LLMs: A Blinding Study on Memorization and Knowledge Conflicts

基于LLM的上下文分子性质预测：关于记忆与知识冲突的盲化研究

Matthias Busch, Marius Tacke, Sviatlana V. Lamaka, Mikhail L. Zheludkevich, Christian J. Cyron, Christian Feiler, Roland C. Aydin

机构 * Institute for Continuum and Material Mechanics, Technical University of Hamburg（持续与材料力学研究所，汉堡技术大学） ； Institute of Material Systems Modeling, Helmholtz-Zentrum Hereon（材料系统建模研究所，海德堡-这里恩研究中心） ； Institute of Surface Science, Helmholtz-Zentrum Hereon（表面科学研究所，海德堡-这里恩研究中心） ； German Center for Artificial Intelligence (DFKI), Saarland, Germany（德国人工智能中心（DFKI），萨尔兰州，德国） ； Saarland University（萨尔兰州大学） 纠错

专题命中 预训练与数据 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 通过渐进盲化实验和上下文样本量控制，研究LLM在分子性质预测中是否真正进行上下文回归，还是依赖记忆值，并分析预训练知识与上下文信息的冲突。

Curriculum-Guided Layer Scaling for Language Model Pretraining

用于语言模型预训练的课程引导层缩放

Karanpartap Singh, Neil Band, Ehsan Adeli

机构 * Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 受人类认知发展启发，提出课程引导层缩放框架，通过渐进式层堆叠使数据难度与模型增长同步，在不同参数规模预训练并分层数据，提升模型泛化及零样本性能。

Comments Accepted to ICML 2026. Code available at https://github.com/su-karanps/cgls

Will Scaling Improve Social Simulation with LLMs?

扩展规模会改善基于LLM的社会模拟吗？

Caleb Ziems, William Held, Su Doga Karaca, David Grusky, Tatsunori Hashimoto, Diyi Yang

机构 * Stanford University（斯坦福大学） ； Open Athena（开放雅典娜） 纠错

专题命中 预训练与数据 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究LLM规模扩展对社会模拟保真度的影响，发现多数任务随规模提升而改善，但存在例外，如纵向预测和低资源领域改进缓慢。

Pretraining EHR Foundation Models with Patient-Aware Sampling

基于患者感知采样的电子健康记录基础模型预训练

Joshua Placidi, Yuxuan Liu, Jinpei Han, Marek Rei, A. Aldo Faisal

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 研究针对电子健康记录自回归基础模型预训练方法存在的问题，提出患者采样方法，通过控制训练信号分布来构建序列，实验表明该方法在真实EHR数据上提升了性能，凸显训练和验证序列构建对相关模型的重要性。

Comments Accepted at the Workshop on Structured Data for Health at the 43rd International Conference on Machine Learning (ICML 2026). 7 pages, 4 figures

Journal ref ICML 2026 Workshop on Structured Data for Health (SD4H)

Scaling Model and Data for Multilingual Machine Translation with Open Large Language Models

基于开放大语言模型的多语言机器翻译模型与数据扩展

Yuzhe Shang, Pengzhi Gao, Wei Liu, Jian Luan, Jinsong Su

机构 * School of Informatics, Xiamen University, China（厦门大学信息学院） ； MiLM Plus, Xiaomi Inc., Beijing, China（小米公司） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL

AI总结 本文提出MiLMMT-46模型，通过模型和数据扩展提升多语言机器翻译性能，超越现有SOTA模型并接近Google Translate等强 proprietary 系统。

Stabilizing Native Low-Rank LLM Pretraining

稳定原生低秩大语言模型预训练

Paul Janson, Edouard Oyallon, Eugene Belilovsky

机构 * Concordia University, Montreal, Canada（Concordia 大学） ； Mila Quebec AI Institute, Montreal, Canada（Quebec AI 研究院） ； Sorbonne University, CNRS , Paris , France（Sorbonne 大学） 纠错

专题命中 预训练与数据 ：LLM(title)；pretraining(title)；large language model(abstract)；language model(abstract)

AI总结 本文提出Spectron方法，通过谱归一化实现稳定原生低秩大语言模型预训练，显著提升推理效率并优化计算资源使用。

Comments Accepted at ICML 2026

UNIT: Unleash Large Language Models Potential for Graph Continual Learning

UNIT：释放大语言模型在图连续学习中的潜力

Tairan Huang, Yili Wang, Beibei Hu, Yiting Shi, Qiutong Li, Changlong He, Jianliang Gao

机构 * Central South University（中南大学） ； Hongkong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Hunan Institute of Engineering（湖南工程学院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 针对图连续学习面临的语义-结构分离和知识转移不平衡问题，提出UNIT框架，通过微调大语言模型、引入不确定感知锚点生成机制和结构融合建模，提升模型适应性与跨任务知识保留能力，在图连续学习任务中达最优性能。

Comments Accepted by ACM MM 2026

Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models

大规模隐藏解码：大语言模型的潜在计算扩展

Aiwei Liu, Cheng Shi, Chuhan Wu, Ci Lei, Di Lu, Donald He, Fan Zhang, Fanhao Kong, Feifei Zhang, Guan Wang, Haicheng Wang, Haoyu Liu, Houjin Yu, Jiachen Ding, Jiayi Feng, Jie Zhou, Jijun Chi, Jindi Shi, Jing Lei, Junjie Zhang, Laiyi Li, Le Tian, Linhao Zhang, Miao Fan, Sijun Zhang, Wei Jia, Weiwei Shi, Wenhan Li, Wentao Zhao, Wenteng Liang, Xiao Zhou, Xiaojin Zhou, Xihuai Wang, Xinyu Gao, Xuanliang Wang, Xuyang Ao, Yang Yu, Yangxiu You, Yinuo Zhao, Yufei Kuang, Yufei Wang, Yuan Liu, Yuan Liu, Yuwen Chen, Zhencong Tian, Zhongyin Zhao, Zilin Yu, Zitao Wang

机构 * WeChat AI Team（微信人工智能团队） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL

AI总结 研究在Transformer主干固定时，通过为token分配更多计算改进大语言模型，提出隐藏解码方法，将token扩展为n个流并结合流分解注意力，实验验证该方法在前沿规模的有效性及跨扩展因子时收益随n增加。

Comments 30 pages, 9 figures

Can Scale Save Us From Plasticity Loss in Large Language Models?

规模能拯救大型语言模型的可塑性丧失吗？

J. Fernando Hernandez-Garcia, Tomás Figliolia, Beren Millidge

机构 * Zyphra 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(title)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 研究GPT风格Transformer模型在持续学习中的可塑性丧失问题，发现可塑性丧失随模型规模呈亚线性增长，表明增大模型只能延缓而非阻止该现象。

Output Vector Editing for Memorization Mitigation in Large Language Models

输出向量编辑：缓解大型语言模型中的记忆化问题

Ahmad Dawar Hakimi, Kaiwei Lei, Isabelle Augenstein, Hinrich Schütze

机构 * Center for Information and Language Processing, LMU Munich（慕尼黑大学语言与信息处理中心） ； Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； Pioneer Centre for AI（人工智能先锋中心） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL

AI总结 提出输出向量编辑方法，通过约束优化修改MLP神经元输出向量引入干扰项，在不改变激活值的情况下抑制记忆化序列，在OLMo-7B上实现87.9%抑制率，并揭示MLP编辑的机制边界。

Principled Synthetic Data Enables the First Scaling Laws for LLMs in Recommendation

原则性合成数据使推荐系统中的LLM首次出现缩放定律

Benyu Zhang, Qiang Zhang, Jianpeng Cheng, Hong-You Chen, Qifei Wang, Wei Sun, Shen Li, Jia Li, Jiahao Wu, Qunshu Zhang, Neeraj Bhatia, Xiangjun Fan, Hong Yan

机构 * Meta 纠错

专题命中 预训练与数据 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种分层框架生成高质量合成数据，通过避免原始数据噪声，首次在推荐领域实现LLM的稳健幂律缩放，并显著提升下游排序任务性能。

Comments update according to icml reviewers feedback

Journal ref ICML 2026