语言大模型 / LLM

Understanding Curriculum Learning in Large Language Models via Cross-Difficulty Optimization Dynamics

基于跨难度优化动力学的大语言模型课程学习理解

Zhikai Ding, Ziyi Ye

机构 * Fudan University（复旦大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过分析不同课程调度的优化动力学，提出衡量跨难度知识迁移的Relative Transfer指标，据此推导TDCS方法，经多推理基准实验证明其性能优于代表性调度策略，为课程学习提供统一优化解释。

Mimicry without understanding: the origins of decision bias in large language models

无理解的模仿：大语言模型中决策偏差的起源

Eldad Yechiam, Adi Tarabeih

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本研究揭示大语言模型（LLMs）存在两类偏差生成机制，经四项经济偏差实验发现ChatGPT-4o和Qwen会表现出社会认同偏差与损失厌恶偏差，偏差程度可被科学报告预测，还明确了LLMs偏差的潜在组成过程。

Comments 33 pages, 3 figures, 2 boxs

LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure

LittleLearner：受教学可控知识暴露约束的语言模型

Fanfei Li, Jana Zeller, Manuel Prada-Corral, Thaddäus Wiedemer, Prasanna Mayilvahanan, Ryan Cotterell, Wieland Brendel

机构 * Ellis Institute（埃利斯研究所） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)；post-training(abstract)

AI总结 本研究推出专为美国小学定制的LITTLECURRICULUM语料库，训练得到受知识边界约束的LittleLearner模型，构建沙盒用于研究模型知识习得，实验证实其注入新知识后不会提升超范围能力。

Knowledge Synthesis Review Framework: Task-Level Benchmarking of LLM-Based Systems for Multi-Source Evidence Synthesis

知识综合评审框架：面向多源证据综合的基于大语言模型系统的任务级基准测试

Wafa Shafqat, Mark Patterson, Steven N. Liss

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究提出KSR人机协作框架，将证据综合拆分为4项任务，对4款LLM系统开展任务级基准测试，发现各系统各有优劣，该框架可揭示单源综合遗漏的信息，且透明可审计。

From Runnable to Verifiable: An Independent Reproducibility Study of LLM/Agent-Driven Vulnerability Validation Artifacts

从可运行到可验证：LLM/智能体驱动的漏洞验证制品的独立可复现性研究

Bo Chen

专题命中 预训练与数据 ：LLM(title,title_cn)

AI总结 本研究通过预注册可复现性审计，发现LLM/智能体驱动的漏洞验证制品存在标识符不一致、可运行率低、预言机不可靠等问题，提出的审计方案可作为安全可复现性社区的复用模板。

Comments 16 pages, 2 figures, 6 tables

Tangent: An Empirical Study of Testing Practices for LLM-Based Agent Applications

Tangent：基于大语言模型的智能体应用测试实践的实证研究

Rangeet Pan, Tyler Stennett, Divya Sankar, Bridget McGinn, Alessandro Orso, Raju Pavuluri, Saurabh Sinha, Maja Vukovic

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 Tangent通过对开源项目和行业从业者的研究，分析了LLM智能体应用的测试现状，发现其以单元测试为主、存在覆盖不足等问题，并提出了相关研究方向。

Comments Accepted at ASE'26

Unreliable in Practice? A Comprehensive Study of Errors in LLM-Generated Code

实践中不可靠？对大语言模型生成代码中的错误的综合研究

Rodrigo Pato Nogueira, Marco Vieira, João R. Campos

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究分析7款LLMs生成的86726个含错代码样本，对比不同模型、语言的错误模式，发现大型模型也常犯简单错误，代码常省略关键安全检查，为提升LLM生成代码可靠性提供依据。

Comments Accepted for publication in the 37th IEEE International Symposium on Software Reliability Engineering (ISSRE) 2026

The Limits of LLM Forecasting: Parametric Knowledge Gaps Across Conflict Zones

LLM预测的局限性：冲突区域间的参数化知识差距

Poli Nemkova

专题命中 预训练与数据 ：LLM(title,title_cn)

AI总结 研究发现LLM在冲突预测中无法区分稳定与升级期，对低覆盖地区预测为总是升级，对高覆盖地区预测为从不升级，性能低于简单逻辑回归模型。

Scaling Dense Retrieval with LLM-Annotated Training Data: Structured Mining and Progressive Curriculum for E-Commerce Sponsored Search

使用LLM标注的训练数据扩展稠密检索：面向电商赞助搜索的结构化挖掘与渐进式课程

Md Omar Faruk Rokon, Shasvat Desai, Jhalak Nilesh Acharya, Isha Shah, Kumar Priyam, Brahanyaa Somasundaram, Vamsee Tangirala, Minuteresa Thomas, Vivek Arora, Vijay Manchi, Hong Yao, Kuang-chih Lee

专题命中 预训练与数据 ：LLM(title,title_cn)

AI总结 针对电商搜索中点击信号偏差和人工标注成本高的问题，提出利用多通道检索挖掘、校准的LLM级联标注和五级渐进式课程训练，在Walmart搜索中实现NDCG@10提升5.1%，尾查询提升显著。

Comments Accepted at E-Commerce Workshop, SIGIR 2026

Pretraining EHR Foundation Models with Patient-Aware Sampling

基于患者感知采样的电子健康记录基础模型预训练

Joshua Placidi, Yuxuan Liu, Jinpei Han, Marek Rei, A. Aldo Faisal

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 研究针对电子健康记录自回归基础模型预训练方法存在的问题，提出患者采样方法，通过控制训练信号分布来构建序列，实验表明该方法在真实EHR数据上提升了性能，凸显训练和验证序列构建对相关模型的重要性。

Comments Accepted at the Workshop on Structured Data for Health at the 43rd International Conference on Machine Learning (ICML 2026). 7 pages, 4 figures

Journal ref ICML 2026 Workshop on Structured Data for Health (SD4H)

UNIT: Unleash Large Language Models Potential for Graph Continual Learning

UNIT：释放大语言模型在图连续学习中的潜力

Tairan Huang, Yili Wang, Beibei Hu, Yiting Shi, Qiutong Li, Changlong He, Jianliang Gao

机构 * Central South University（中南大学） ； Hongkong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Hunan Institute of Engineering（湖南工程学院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 针对图连续学习面临的语义-结构分离和知识转移不平衡问题，提出UNIT框架，通过微调大语言模型、引入不确定感知锚点生成机制和结构融合建模，提升模型适应性与跨任务知识保留能力，在图连续学习任务中达最优性能。

Comments Accepted by ACM MM 2026

Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models

大规模隐藏解码：大语言模型的潜在计算扩展

Aiwei Liu, Cheng Shi, Chuhan Wu, Ci Lei, Di Lu, Donald He, Fan Zhang, Fanhao Kong, Feifei Zhang, Guan Wang, Haicheng Wang, Haoyu Liu, Houjin Yu, Jiachen Ding, Jiayi Feng, Jie Zhou, Jijun Chi, Jindi Shi, Jing Lei, Junjie Zhang, Laiyi Li, Le Tian, Linhao Zhang, Miao Fan, Sijun Zhang, Wei Jia, Weiwei Shi, Wenhan Li, Wentao Zhao, Wenteng Liang, Xiao Zhou, Xiaojin Zhou, Xihuai Wang, Xinyu Gao, Xuanliang Wang, Xuyang Ao, Yang Yu, Yangxiu You, Yinuo Zhao, Yufei Kuang, Yufei Wang, Yuan Liu, Yuan Liu, Yuwen Chen, Zhencong Tian, Zhongyin Zhao, Zilin Yu, Zitao Wang

机构 * WeChat AI Team（微信人工智能团队） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL

AI总结 研究在Transformer主干固定时，通过为token分配更多计算改进大语言模型，提出隐藏解码方法，将token扩展为n个流并结合流分解注意力，实验验证该方法在前沿规模的有效性及跨扩展因子时收益随n增加。

Comments 30 pages, 9 figures

Can Scale Save Us From Plasticity Loss in Large Language Models?

规模能拯救大型语言模型的可塑性丧失吗？

J. Fernando Hernandez-Garcia, Tomás Figliolia, Beren Millidge

机构 * Zyphra 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(title)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 研究GPT风格Transformer模型在持续学习中的可塑性丧失问题，发现可塑性丧失随模型规模呈亚线性增长，表明增大模型只能延缓而非阻止该现象。

Output Vector Editing for Memorization Mitigation in Large Language Models

输出向量编辑：缓解大型语言模型中的记忆化问题

Ahmad Dawar Hakimi, Kaiwei Lei, Isabelle Augenstein, Hinrich Schütze

机构 * Center for Information and Language Processing, LMU Munich（慕尼黑大学语言与信息处理中心） ； Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； Pioneer Centre for AI（人工智能先锋中心） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL

AI总结 提出输出向量编辑方法，通过约束优化修改MLP神经元输出向量引入干扰项，在不改变激活值的情况下抑制记忆化序列，在OLMo-7B上实现87.9%抑制率，并揭示MLP编辑的机制边界。

SGHA: Evidence-Grounded Research Problem Discovery with Local Language Models

SGHA：基于证据的研究问题发现，使用本地语言模型

Sarvesh Gharat, Junpei Komiyama

机构 * C-MInDS, IIT Bombay（印度理工学院孟买分校C-MInDS） ； Machine Learning Department, MBZUAI（穆罕默德·本·扎耶德人工智能大学机器学习系） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出SGHA，一种基于本地9B开源LLM的研究问题发现系统，通过构建文献证据图检测研究差距，经对比实验证明其可实现可核查的研究问题构建，无需依赖专有前沿模型。

Comments Link to Code and artifacts: https://github.com/SarveshVGharat/structural-gap-hypothesis-agent

Demonstrating GenDB: Instance-Optimized and Customized Query Processing Code Generation via LLM Agents

展示GenDB：通过大语言模型代理实现实例优化和定制化查询处理代码生成

Jiale Lao, Immanuel Trummer

机构 * Cornell University（康奈尔大学） 纠错

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对传统查询处理引擎扩展难题，提出GenDB生成式查询引擎，借助大语言模型代理生成代码。核心方法是通过LLM agents为特定场景生成优化代码，主要贡献是展示其工作流程、性能优势并提供用户探索平台。

Comments Accepted by VLDB 2026 (Demo)

SEFORA: Student Essays with Feedback Corpus and LLM Feedback Evaluation Framework

SEFORA：学生论文反馈语料库及LLM反馈评估框架

Shayan Peyghambari Oskoui, Norah Almousa, Zhaoyi Joey Hou, Carolina Gustafson, Gayle Rogers, Raquel Coelho, Diane Litman, Xiang Lorraine Li

机构 * University of Pittsburgh（匹兹堡大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 为解决大规模写作反馈中缺乏真实课堂反馈语料和评估方法的问题，构建了SEFORA语料库和UniMatch评估框架，实验表明LLM生成的反馈与教师反馈一致性低（F1≤0.4）。

Comments Under review for EMNLP 2026

Where Does the Signal Live? A Web Data Recipe for Medical Encoder Pretraining

信号在哪里？医学编码器预训练的网页数据配方

Bofeng Huang, Jacques Sun, Diane Bouchacourt, Nicolas Barascud, Fajwel Fogel

机构 * Doctolib 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对医学领域编码器预训练数据稀缺问题，提出医学术语密度过滤和信号放大改写两种互补方法，在法语医学NLP上构建FineMed语料库和DoctoBERT编码器，性能优于现有方法。

Comments Code, models, and data: https://github.com/doctolib-lab/doctobert

Aligned but Not Partner-Specific: Distinguishing How Multimodal LLM Agents Succeed in Reference Games Without Human-Like Conventions

对齐但非伙伴特定：区分多模态LLM智能体在参考游戏中如何成功而无需类人惯例

Po-Ya Angela Wang, Chinmaya Mishra, Aslı Özyürek, Paula Rubio-Fernández, Esam Ghaleb

机构 * National Taiwan University（国立台湾大学） ； Max Planck Institute for Psycholinguistics（马克斯·普朗克心理语言学研究所） ； Radboud University（拉德堡德大学） ； Institut Jean Nicod（让·尼科研究所） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 通过约束伪对基线方法，区分多模态LLM智能体在参考游戏中的标签对齐是源于伙伴特定交互还是共享任务词汇，发现智能体通过冗长描述而非压缩表达实现协调。

Mix, Don't Pick: Why Synthetic Corpus Composition Matters for Time Series Foundation Model Pretraining

混合而非挑选：为什么合成语料组合对时间序列基础模型预训练至关重要

Aaryan Nagpal, Debdeep Sanyal, Murari Mandal, Dhruv Kumar, Saurabh Deshpande

机构 * Birla AI Labs（巴尔拉人工智能实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对时间序列基础模型预训练中合成数据生成器选择困难的问题，提出简单等权混合所有生成器的方法，匹配或超越最优单个生成器，并与真实数据结合获得最强预训练语料。

Comments Accepted at the ICML 2026 Workshop on Foundation Models for Structured Data (FMSD), Seoul, South Korea

6G Native AI and Channel Foundation Models

6G原生AI与信道基础模型

Shugong Xu, Jun Jiang, Yuan Gao

专题命中 预训练与数据 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文从系统设计视角界定6G原生AI的内涵，提出信道基础模型（CFMs）作为6G原生AI的技术范式，阐明其类型与优势，验证其在标注有限时可提升定位与波束预测性能。

Comments Awesome GitHub: https://github.com/GREAT-ISAC/Awesome-Channel-Foundation-Models

The More Popular, The Harder to Forget: Adaptive Popularity for LLM Unlearning

越受欢迎，越难遗忘：用于大语言模型遗忘的自适应受欢迎度

Anna Borisiuk, Andrey Savchenko, Alexander Panchenko, Elena Tutubalina

机构 * AIRI ； Sber AI Lab（Sber AI实验室） ； Skoltech（斯科尔科沃科学技术研究院） ； ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院信息学研究所可信人工智能研究中心） 纠错

专题命中 预训练与数据 ：LLM(title,summary_cn)；pretraining(abstract)；分类 cs.CL

AI总结 针对现有LLM遗忘方法未区分训练数据频率的问题，提出AdaPop方法，经实验其在转述查询和对抗性重构下均能显著减少遗忘内容泄露。

Can Released LLM Vocabularies Support Token-Level Estimation of Hidden Corpora?

已发布的大语言模型词汇表能否支持隐藏语料库的词元级估计？

Qingjie Zhang, Xingzhang Ren, Zixuan Chen, Jinfeng Li, YueFeng Chen, Yitong Yang, Hui Xue, Dayiheng Liu, Han Qiu

机构 * Tsinghua University（清华大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 预训练与数据 ：LLM(title,summary_cn)；pretraining(abstract)；分类 cs.CL

AI总结 该研究针对隐藏语料库的词元级估计问题，提出分位数引导密度估计（QGDE）方法，利用已发布的LLM分词器词汇表实现了低误差的细粒度语料估计，为相关任务提供了新的有效信号来源。

EXPLORE: Exploration with Guided Search for Analog Topology Generation using Language Models

EXPLORE：使用语言模型进行引导搜索以生成模拟拓扑结构

Guanglei Zhou, Chen-Chia Chang, Yikang Shen, Jonathan Ku, Isaac Jacobson, Jingyu Pan, Yiran Chen, Xin Zhang

机构 * Duke University（杜克大学） ； MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室） ； IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文针对自动化模拟电路拓扑设计难题，提出EXPLORE框架，集成模拟器引导蒙特卡罗树搜索与基于变压器的解码，利用语言模型先验优化搜索，在6组件基准测试中显著提升成功率、降低均方误差，推动LLM驱动设计自动化。

Comments MLCAD 26' accepted

Rethinking Speech-LLM Integration for ASR: Effective Joint Speech-Text Training by Interleaving

重新思考语音-LLM集成用于ASR：通过交错实现有效的联合语音-文本训练

Ruchao Fan, Yiming Wang, Rui Zhao, Liliang Ren, Keqi Deng, Xiaoyang Chen, Ali Zare, Bo Ren, Yuxuan Hu, Junkun Chen, Yan Huang, Yelong Shen, Jinyu Li

机构 * Microsoft（微软） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(abstract)；分类 cs.CL

AI总结 提出JSTIP，一种面向ASR的预训练策略，通过构建词级和段级交错语音-文本序列，在38k小时数据上相比基线提升了实体识别准确率，并缩小了模态差距。

Visored: A Controlled-Natural-Language Prover for LLM-Generated Mathematics

Visored: 一种面向LLM生成数学的受控自然语言证明器

Xiyu Zhai, Xinyi Chen, Yiping Wang, Runlong Zhou, Liao Zhang, Simon S. Du

机构 * University of Washington（华盛顿大学） ； University of Innsbruck（因斯布鲁克大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一种基于依赖类型的证明器，其表面模仿数学自然语言，并通过规则驱动的自动化层填补常规步骤，使LLM无需专用训练数据即可在miniF2F基准上有效使用，并输出可检查的Lean文件。

Do Large Language Models Hallucinate Electric Fata Morganas?

大语言模型会产生“电气海市蜃楼”式的幻觉吗？

Kristina Šekrst

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨大语言模型幻觉的哲学意义，通过两项实证研究分析其成因，结合相关理论指出模型的情感自我陈述属于幻觉范畴，未来机器意识或因与高级幻觉无法区分而无法被认知。

Journal ref Journal of Consciousness Studies 32 (11): 96-120. 2025

MINT: A Universal Zero-Shot Predictor for Transaction Data

MINT：一种用于交易数据的通用零样本预测器

Parameswaran Kamalaruban, Viktor Drobnyi, Maeve Madigan, Julia Rozanova, David Sutton, Stuart Burrell

机构 * Visa Inc.（维萨公司） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；foundation model(abstract,abstract_cn)；instruction tuning(abstract)；分类 cs.CL、cs.LG

AI总结 该研究提出通用零样本预测框架MINT，通过轻量级嵌入注入等技术连接交易序列编码器与LLM，在交易预测问答任务中性能领先且资源消耗更低，证实紧凑交易嵌入更具优势。

LLM Scheming Inversely Scales with Pretraining Language Coverage

大语言模型的策略规划与预训练语言覆盖范围成反比

Nathan Truong, Aryan Panda, Rayming Ye, Zoe Sun, Maheep Chaudhary

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(title)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究前沿模型中策略规划与预训练语言覆盖范围的关系，应用Petri框架评估Qwen3-30B-A3B，发现策略规划得分与预训练语言覆盖范围成反比，低资源语言得分更高，且该影响在不同策略行为中不均一。

Phylogenetic signal in marine mammal and bird vocalizations captured by audio foundation models: the limited benefit of domain-specific pretraining

音频基础模型捕捉到的海洋哺乳动物和鸟类发声中的系统发育信号：特定领域预训练的有限益处

Víctor Rincón Yepes

机构 * Earth Species Project（地球物种计划） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究利用四个预训练音频模型从物种发声恢复系统发育距离，在海洋哺乳动物和鸟类中，通用基础模型能恢复信号，特定领域预训练的BirdNET等未超越，表明预训练音频嵌入可携带进化信息，特定领域预训练非必需。

Comments 17 pages, 5 figures, 2 supplementary tables. Code, embeddings and derived matrices: https://github.com/rinvictor/bioacoustic-phylogeny-embeddings