语言大模型 / LLM

Data Mixing as Mixture Experiment: Response Surface Methodology and Optimal Design for Large Language Model Pretraining

数据混合作为混合实验：大语言模型预训练的响应面方法与最优设计

Yicheng Mao, Hongru Du

机构 * University of Calgary（卡尔加里大学） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)

AI总结 本研究将LLM预训练的数据混合视为混合实验，采用Scheffé响应面模型构建模型鲁棒的$\boldsymbol{\textit{I}}$-最优设计，可解释混合响应并提升代理实验效率，验证了其统计优势。

EstLLM: Enhancing Estonian Capabilities in Multilingual LLMs via Continued Pretraining and Post-Training

EstLLM：通过持续预训练和后训练增强多语言大语言模型中的爱沙尼亚能力

Aleksei Dorkin, Taido Purason, Emil Kalbaliyev, Hele-Andra Kuulmets, Marii Ojastu, Mark Fišel, Tanel Alumäe, Eleri Aedmaa, Krister Kruusmaa, Kairit Sirts

机构 * Institute of Computer Science, University of Tartu（塔尔图大学计算机科学研究院） ； Department of Software Science, Tallinn University of Technology（塔林技术大学软件科学系） ； Institute of the Estonian Language, Tallinn, Estonia（爱沙尼亚语言研究院） ； School of Humanities, Tallinn University（塔林大学人文学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；post-training(title,abstract)；LLM(abstract_cn)；large language model(abstract)

AI总结 EstLLM通过持续预训练和后训练提升多语言大语言模型中爱沙尼亚的能力，增强语言和推理表现。

Joint Optimization of Tool Creation and Use for Large Language Model Agents

大型语言模型智能体的工具创建与使用联合优化

Zhi Rui Tam, Chieh-Yen Lin, Yun-Nung Chen, Shao-Hua Sun, Hung-yi Lee

机构 * Appier AI Research（沛星人工智能研究院） ； National Taiwan University（台湾大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(title)；LLM(abstract,abstract_cn)；prompting(abstract)

AI总结 提出SMITH框架联合训练工具创建与使用，4B Qwen3经训练在多任务上取得最优表现，其编写的工具还提升了其他模型的推理性能

Auditing the Synthetic Memoir: Measuring Scene-Level Confabulation in LLM-Generated Autobiography Against the Documented Record of the Life It Describes

审计合成回忆录：对照人生的文献记录，测量大语言模型生成自传中的场景层面虚构

Heather Renze

机构 * Serenze Global（塞伦兹全球） 纠错

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文对照人生真实语料库审计LLM生成的自传，发现96.7%的场景验证失败，提出了可重复使用的审计工具及基于真实信息的补救方法。

Comments 20 pages, 4 figures, 6 tables. Code and derived data available at this https URL (https://github.com/heathriel/synthetic-memoir-audit)

When Less Is More: An Empirical Study of Minimal Responses in Counseling Dialogues and the Behavior of LLMs

少即是多：心理咨询对话中极简回应与大语言模型（LLM）行为的实证研究

Zhiyang Qi

机构 * The University of Tokyo（东京大学） 纠错

专题命中 预训练与数据 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过实证研究发现，心理咨询对话中常见的极简回应在LLM生成内容中占比极低，商业LLM可按指令生成此类回应但难判断适用时机，专用模型表现差且基于LLM的评估易低估其价值。

Comments Camera-ready version. Accepted to EMNLP 2026 Main Conference

Advantageous Parameter Expansion Training Makes Better Large Language Models

优势参数扩展训练可打造更优的大语言模型

Naibin Gu, Yilong Chen, Zhenyu Zhang, Peng Fu, Zheng Lin, Shuohuan Wang, Yu Sun, Hua Wu, Weiping Wang, Haifeng Wang

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Baidu Inc.（百度公司） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(abstract)；分类 cs.CL

AI总结 该研究提出APEX方法，通过在总参数不变时扩展优势参数占比，在指令调优和持续预训练的五款基础模型实验中，仅用部分参数或数据就实现了更优性能。

Comments EMNLP 2026 Main

MARS: Multi-Specialist LLM Relay System for Competitive Programming

MARS：用于竞赛编程的多专家大语言模型中继系统

Andrei Mikhailov, Mikhail Burtsev, Alsu Sagirova

机构 * MIRAI ； London Institute for Mathematical Sciences（伦敦数学科学研究院） ； AXXX 纠错

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 MARS是用于竞赛编程的多专家LLM中继框架，通过检索选择算法领域专家组成流水线，在CodeContests测试集上以更低成本和方差达到0.624±0.006的通过率，缩小了与CodeSIM的差距。

Comments 13 pages, 8 figures, EMNLP 2026

Effective Learning Rate Governs Loss Dynamics in Language Model Pretraining

有效学习率支配语言模型预训练中的损失动态

Zihan Liu, Ruiheng Zheng, Shaobo Zhang, Changxin Tian, Kunlong Chen, Zhiqiang Zhang, Lei Wu

机构 * Peking University（北京大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.LG

AI总结 该研究发现语言模型预训练中存在ELR崩溃现象，确定ELR是连接LR调度、范数控制与损失动态的共同坐标，提出的基于ELR的FSL可实现跨范数控制方法的迁移并解释延迟加速效应。

EduDial: Constructing a Large-scale Multi-turn Teacher-Student Dialogue Corpus

EduDial：构建大规模多轮师生对话语料库

Shouang Wei, Min Zhang, Xin Lin, Bo Jiang, Zhongxiang Dai, Kun Kuang

机构 * East China Normal University（华东师范大学） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究构建了大规模师生对话语料库EduDial，开发了EduDial-LLM 32B及11维教学能力评估框架，实验显示该模型在主流LLMs中表现最优。

Comments Accepted to Findings of EMNLP 2026

Anytime Pretraining: Horizon-Free Learning-Rate Schedules with Weight Averaging

任意时间预训练：无时间范围的学习率调度与权重平均

Alexandru Meterez, Pranav Ajit Nair, Depen Morwani, Cengiz Pehlevan, Sham Kakade

机构 * Harvard University（哈佛大学） ； Kempner Institute at Harvard University（哈佛大学凯默纳研究所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出了一种无需时间范围的学习率调度方法，通过权重平均实现与余弦调度相当的预训练效果。

CytoNet: A Foundation Model for the Human Cerebral Cortex at Cellular Resolution

CytoNet：人类大脑皮层细胞分辨率的基础模型

Christian Schiffer, Zeynep Boztoprak, Jan-Oliver Kropp, Julia Thönnißen, Katia Berr, Hannah Spitzer, Mathis Bode, Thomas Lippert, Katrin Amunts, Timo Dickscheid

机构 * Institute of Neuroscience and Medicine (INM-1), Research Centre Jülich（神经科学与医学研究所（INM-1），贾格尔研究中心） ； Helmholtz AI, Research Centre Jülich（海德堡人工智能，贾格尔研究中心） ； Institute for Brain Research, University Hospital Düsseldorf（脑研究所在杜塞尔多夫大学医院） ； Institute of Computational Biology, Computational Health Center, Helmholtz Munich（计算生物学研究所，计算健康中心，海德堡慕尼黑） ； Institute for Stroke and Dementia Research (ISD), LMU University Hospital, LMU Munich（中风与痴呆研究所以（ISD），慕尼黑大学医院，慕尼黑大学） ； Computer Vision, Institute for Computational Visualistics, University of Koblenz（计算机视觉，计算视觉研究所，科布伦兹大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 CytoNet通过训练100万张显微图像片段，建立了人类大脑皮层细胞分辨率的基础模型，用于分析微架构并链接细胞结构与功能组织。

Comments 59 pages, 15 figures, 10 tables. Revised version

Causal Analysis for Time Series Foundation Models

面向时间序列基础模型的因果分析

Mathis Jander, Wouter van Heeswijk, Martijn Mes

机构 * Faculty of Behavioral, Management and Social Sciences, University of Twente（特温特大学行为、管理与社会科学学院） ； European Central Bank（欧洲中央银行） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本研究提出因果分析框架，应用于Chronos-2和TimesFM-2.5，识别时间序列基础模型部署前的偏差与故障模式，为模型开发和应用选择提供建议。

Superintelligent Retrieval Agent: The Next Frontier of Agentic Retrieval

超级智能检索代理：代理检索的下一个前沿

Zeyu Yang, Xu Han, Qi Ma, Jason Chen, Anshumali Shrivastava

机构 * Meta Superintelligence Labs（Meta超级智能实验室） ； Rice University（里士满大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 提出SIRA，通过单次语料判别性检索压缩多轮探索，利用LLM丰富文档词汇、预测查询缺失词汇并基于语料统计过滤，在BEIR基准上取得最强平均检索性能，并在下游QA任务中超越RL训练的代理系统。

Round-trip Reinforcement Learning: Self-Consistent Training for Better Chemical LLMs

往返强化学习：用于改进化学大语言模型的自洽训练

Lecheng Kong, Xiyuan Wang, Yixin Chen, Muhan Zhang

机构 * Washington University in St. Louis（圣路易斯华盛顿大学） ； Peking University（北京大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 该研究针对化学大语言模型缺乏往返一致性的问题，提出往返强化学习框架，利用往返变换成功作为奖励信号训练，显著提升了模型性能与一致性，为构建可靠化学基础模型提供新路径。

Comments 27 pages; Accepted by COLM 2026

When Does Self-Supervised Pretraining Help Tabular Models? A Study of Label Scarcity and Missing Data

自监督预训练何时对表格模型有帮助？标签稀缺与缺失数据的研究

Sahand Mazrouei

机构 * Faculty of Mathematics and Computer Science, Kharazmi University（卡拉兹米大学数学与计算机科学学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 本文研究了标签稀缺与缺失数据场景下表格SSL预训练的效果，发现其在干净数据集上改进可靠，在高缺失数据集上常失效，且掩码并恢复目标与其他表格SSL基线无显著差异。

Comments 18 pages, 4 figures, 4 tables

PonderPounce: A Pretrained MLLM as an Episode Context Engine for Robot Control

PonderPounce：作为机器人控制回合上下文引擎的预训练多模态大语言模型（MLLM）

Suhwan Choi, Jaeyoon Jung, Sungkyung Kim, Yunsung Lee, Youngjae Yu

机构 * Seoul National University（首尔大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 PonderPounce复用预训练MLLM的因果上下文作为机器人记忆，由System2 MLLM（Ponder）和System1 VLA（Pounce）组成，在RoboMME、RoboCasa-DC等数据集上的性能优于现有基线，实现了低延迟的机器人控制。

Comments Project page: this https URL (https://worv-ai.github.io/ponderpounce/)

ADE: Agentic Data Evolution Framework for Human-Centered Objectives

ADE：面向以人为中心目标的智能体数据演化框架

Yang Yu, Yilin Jiang, Zexuan Fei, Yiming Luo, Xingkai Song, Kaiyi Huang, Aimin Zhou, Xin Lin, Fei Tan

机构 * East China Normal University（华东师范大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 针对大语言模型与以人为中心目标对齐的难题，提出以数据为中心的ADE框架，通过OVS流程与稳态准入机制提升数据质量，在多基准及不同场景下均实现性能提升。

Comments accepted by EMNLP 2026

Cross-Domain, Multi-Task Data-to-Text Generation without In-Domain Training Data

无域内训练数据的跨域多任务数据到文本生成

Yifei Song, Kun Efimov-Zhang, Claire Gardent

机构 * CNRS/LORIA（法国国家科学研究中心/洛林计算机科学与应用实验室） ； Université de Lorraine（洛林大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出数据驱动知识蒸馏（DDKD）及保结构增强方法，在无域内训练数据的跨域多任务数据到文本生成任务中，17亿参数的DDKD性能优于零样本推理与微调，且构建了QUINTD-5数据集。

Comments Accepted by EMNLP Findings 2026

Evidence Blindness in Direct Corpus Interaction: Persistent Navigation with AtlasNav

直接语料库交互中的证据失明：基于AtlasNav的持久导航

Hongyu Guo, Zhiyu Zheng, Zhao Cao

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对直接语料库交互中存在的证据失明问题，提出AtlasNav框架，通过一次性构建语料库图谱实现自适应导航，在BrowseComp-Plus等数据集上提升了准确率并降低了推理成本。

Comments 27 pages, 7 figures. Code, data, and trajectories will be released

ROBE: Reversed-Order-Biased-Experts for Extracting Extreme Long-tail Events from Historical Texts

ROBE：用于从历史文本中提取极长尾事件的逆序偏倚专家模型

Stella Verkijk, Piek Vossen

机构 * Vrije Universiteit Amsterdam（阿姆斯特丹自由大学） ； Huygens Instituut（惠更斯研究所） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对未被大模型预训练覆盖的19世纪前荷兰历史语料库，提出ROBE逆序偏倚专家模型，结合领域合成数据提升，使长尾事件提取的召回、精确率及F1值均优于简单微调编码器模型。

Comments 15 pages, 3 figures

How Do Professional Editors Evaluate the Editing Quality of AI-Generated Cinematic Video Ads?

专业编辑如何评估AI生成的影视视频广告的剪辑质量？

Po-Ming Law, Weizhi Li, Arpit Narechania

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)

AI总结 该研究针对AI生成影视广告缺乏细粒度评估框架的问题，构建两阶段生成流程，通过专业编辑评价得出六个剪辑质量维度，为相关评估与生成提供指导。

Anatomy of a Scam Call: What 10,000 real scam and spam calls reveal about how phone scammers operate

诈骗电话剖析：10000个真实诈骗与垃圾电话揭示电话诈骗者的运作方式

Ethan Traister, Ankit Raj, Jiaqi Gan, Xingyu Shen, Tyler Wu, Yuchen Zhou, Tommy Duong, Kidus Zewde, Siying Chen, Simiao Ren

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 该研究通过分析10211个真实电话数据，揭示诈骗电话遵循办公时间规律，会针对目标年龄调整施压程度但固定索要内容，且仅从开场话术即可早期检测，词袋分类器表现与微调模型相当。

Comments 19 pages, 7 figures

Weakly Supervised Seafloor Segmentation for Seagrass Habitat Mapping in Side-Scan Sonar Imagery

用于侧扫声呐图像中海草生境制图的弱监督海底分割

Hayat Rajani, Nuno Gracias, Rafael Garcia

机构 * Computer Vision and Robotics Research Institute (ViCOROB)（计算机视觉与机器人研究学院（ViCOROB）） ； University of Girona（赫罗纳大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出基于弱监督语义分割框架的侧扫声呐底栖生境制图方法，仅用图像级标签实现像素级分割，结合ViT、条件随机场与自训练，在海草生境制图中取得高mIoU，验证了其可行性。

Real-World Knowledge-Guided Change Data Synthesis for Remote Sensing

面向遥感的真实世界知识引导变化数据合成

Yaoyi Qi, Xingxing Weng, Chao Pang, Yongkang Cui, Xiangyu Hao, Xiaokang Zhang, Guibo Zhu, Gui-Song Xia

机构 * School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） ； Wuhan AI Research（武汉人工智能研究院） ； Institute of Automation, University of Chinese Academy of Sciences（中国科学院大学自动化研究所） ； Institute for Math & AI, Wuhan（武汉数学与人工智能研究院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 本研究提出KnowChange框架，利用预训练视觉-语言模型实现知识引导的变化数据合成，其生成的紧凑规模数据在合成到真实迁移及增强任务中性能优于现有合成数据集，可提升合成数据下游效用。

Comments 29 pages, 16 figures

Joint-Embedding Prediction of Masked Point Tubes for Self-Supervised Learning on 4D Point Cloud Videos

面向四维点云视频的掩码点管联合嵌入预测自监督学习

Jheng-Ling Lee, Shang-Tse Chen

机构 * National Taiwan University（台湾大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 该研究针对四维点云视频自监督学习的挑战，提出JEPA风格框架结合Sketched Isotropic Gaussian Regularization，通过掩码时空区域的潜在点管预测学习表示，在动作和手势识别任务中取得良好效果。

Comments 13 pages, 4 figures; supplementary material included

Focal Calibration Loss: Controlling Posterior Distortion in Deep Neural Classifiers

焦点校准损失：控制深度神经网络分类器中的后验失真

Wenhao Liang, Liangwei Zheng, Wei Zhang, Weitong Chen

机构 * The University of Adelaide, Australia（阿德莱德大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出焦点校准损失（FCL），其可控制深度分类器的后验失真，经多类图像、文本等任务验证，FCL在部分场景校准与预测指标更优，但在Transformer上无校准优势，相关结果取决于场景与指标。

Comments V3

Deep Feature Pyramid Convolutional Networks with In-Place Activated Batch Normalization for Automated Skin Lesion Boundary Segmentation

结合原位激活批归一化的深度特征金字塔卷积网络用于皮肤病变边界自动分割

Glib Kechyn

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本研究针对皮肤病变边界分割任务，采用结合InPlace-ABN的深度特征金字塔卷积网络，实现内存高效训练，在ISIC 2018挑战赛中取得阈值Jaccard分数0.752，为资源受限场景下训练高容量分割模型提供了可行方案。

Comments Extended version with 2026 single-model baseline comparison

B-MIM: Biased Masked Image Modeling for Generalizable Segmentation of Fine-Grained Anatomical Structures

B-MIM：用于细粒度解剖结构通用分割的偏置掩码图像建模

Sebastián González, Karen Sanchez, José M. Saavedra, Marcelo Pizarro, Bernard Ghanem

机构 * Universidad de Chile（智利大学） ； King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） ； Universidad de los Andes（安第斯大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出B-MIM方法改进iBOT目标，通过降低全局语义压力增强编码器对细粒度解剖结构的特征捕获，在跨数据集肝血管、肿瘤分割任务中仅更新部分参数就实现了更优性能，提升了模型泛化能力。

Comments Published at MedAGI in MICCAI 2026

Free-Energy-Gated Plasticity for Real-Time Online Motor Learning in Physical Human-Robot Interaction

用于物理人机交互中实时在线运动学习的自由能门控可塑性

Hiroki Sawada, Jun Tani

机构 * Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 该研究针对物理人机交互的实时在线运动学习问题，扩展PV-RNN并提出FEGP方法，实验证实其能提升运动模式覆盖与保留能力，关键在于可塑性的时间分配而非平均幅度。

Discrete Flow-Based Generative Models for Measurement Optimization in Quantum Computing

基于离散流的量子计算测量优化生成模型

Isaac L. Huidobro-Meezs, Jun Dai, Rodrigo A. Vargas-Hernández

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 针对量子模拟中的测量瓶颈，提出基于生成流网络（GFlowNets）的哈密顿量图着色算法，生成非重叠分组以优化测量成本，在基准分子上相比排序插入法降低测量成本19%，并减少双量子比特门数。

Comments 26 pages, 9 figures and 4 tables. Contact authors for SM