语言大模型 / LLM

Hierarchical Solomonoff Induction: An Unbounded Machine Learning Model

分层所罗门诺夫归纳法：一种无界机器学习模型

Nathan Young

机构 * University of Auckland（奥克兰大学） ； Strong AI Lab（强人工智能实验室） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出分层所罗门诺夫归纳法（HSI），将德菲涅蒂定理应用于所罗门诺夫归纳法（SolInd），证明HSI等价于SolInd，其超额误差受生成器复杂度约束，随数据集增长收敛至0，是适用于给定数据集的无界序列预测理想模型。

Towards joint scaling laws with optimal batch size schedules

面向最优批量大小调度的联合缩放律研究

Jiaxiang Li, Zhiqi Bu, Shiyun Xu

机构 * Meta 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究从凸优化视角推导了适用于通用优化器和模型架构的损失联合表征，得到闭式最优批量大小调度与联合缩放律，其性能优于固定批量大小基线，凸显动态批量大小调度在大语言模型训练中的重要性。

From Naive RAG to Deep Agentic Retrieval: An Evolving Context Engineering Pipeline for Regulatory Compliance

从朴素检索增强生成到深度智能检索：用于合规监管的不断演进的上下文工程管道

Mishca de Costa, Muhammad Saleh Anwar, Dave Mercier, Issam Hammad

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对RAG朴素实现的局限，追溯安大略发电公司检索管道演变，历经多阶段形成PEA-CAE架构，表明上下文工程对监管语料库更具优势，深度智能检索进展反映经典思想，迭代证据获取等渐成企业问答基础。

Comments Accepted at the 2026 IEEE the 14th International Conference on Smart Energy Grid Engineering (SEGE 2026)

IndicTalk: A Large-Scale Persona-Based Multilingual Conversational Corpus for Indic Languages

IndicTalk：用于印度语言的大规模基于角色的多语言对话语料库

Sahil Deepak Gawande, Mayank Singh

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对印度语言高质量多语言代码混合对话资源稀缺问题，提出通过全自动管道生成IndicTalk语料库，涵盖多种印度语言变体，经多种评估表现良好，将发布该语料库支持相关人工智能开发评估。

A Defense of the Quadratic Model

二次模型的辩护

Alexandru Meterez, Pranav Ajit Nair, Depen Morwani, Cengiz Pehlevan, Sham Kakade, Alex Damian

机构 * Kempner Institute at Harvard University（哈佛大学坎普纳研究所） ； MIT（麻省理工学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究对二次模型进行压力测试，通过泰勒展开预测优化动态，利用兰索斯求积法分析海森矩阵谱和局部稳定性，发现其在语言模型中能准确反映优化情况，或可作为预训练优化动态的理论易处理代理。

An Isotropy-Preserving Spectral Cap for Muon: Theory and Three Case Studies

用于μ子的各向同性保持谱帽：理论与三个案例研究

Jiachun Li

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究μ子和相关矩阵符号优化器对权重矩阵的影响，提出基于尺度不变性假设的统一框架及轻量级“谱帽”，通过三个案例研究表明谱帽可增加各向同性并防止失败，验证损失基本不变，结果为初步的。

Comments Preliminary Report; Larger scale experiments ongoing; Comments are welcome

A Classifier That Teaches Itself: Self-Improving, Frozen-gate Training (SIFT) for Dynamic Document Classification

一种自学分类器：用于动态文档分类的自我改进冻结门训练（SIFT）

Bogdan Raduta, Horia Velicu, Alexandru Preda, Serban Chiricescu

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 研究针对企业文档分类难题，提出SIFT动态分类器服务，通过低成本管道、特定机制及判断反馈实现自我改进，解决标注和安全问题，介绍其架构、机制及部署示例，探讨边际标注成本趋零的经济性。

Comments 9 pages, 2 figures

Domain-Aware Scaling Laws Uncover Data Synergy

领域感知缩放定律揭示数据协同效应

Kimia Hamidieh, Lester Mackey, David Alvarez-Melis

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； Microsoft Research（微软研究院） ； Harvard University（哈佛大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 研究语言模型预训练中的数据协同效应，利用开放权重语言模型的观测变化估计领域间协同效应，其框架提高预测精度，恢复稳定估计，经训练模型验证能正确预测性能排名。

The Nuts and Bolts of Natural Language to SQL Translation: A Systematic Analysis of Model Pipeline Optimisation Approaches and their Interactions

自然语言到SQL翻译的关键要素：模型管道优化方法及其交互的系统分析

Filip Klubicka, Vasudevan Nedumpozhimana, Sneha Rautmare, Bora Caglayan, Mingxue Wang, John D. Kelleher

机构 * Huawei Ireland Research Centre（华为爱尔兰研究中心） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究NL2SQL翻译问题，通过集成NatSQL中间表示、增加预处理和微调步骤、开发重排器模型等方法，并结合SmBoP和RASAT架构进行消融及Shapley分析，揭示组件交互对结果的影响，为轻量级模型开发提供参考。

Cross-Subject Modeling for Widefield Calcium Imaging via Atlas-Aligned Spatiotemporal Tokenization

通过图谱对齐的时空令牌化实现宽场钙成像的跨主体建模

Mohammad Hosseini, Eray Erturk, Saba Hashemi, Maryam M. Shanechi

机构 * ShanechiLab（沙内奇实验室） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对宽场钙成像建模受限问题，提出多主体模型WiCAT，利用自监督预训练，引入图谱对齐的时空令牌化方案，能跨主体、任务和数据集迁移，实现零样本行为解码及遗漏脑区重建，优于基线模型。

Comments Published at the 43rd International Conference on Machine Learning (ICML) 2026. Code available at: https://github.com/ShanechiLab/WiCAT

Journal ref ICML 2026

Prompt-to-Paper: Agentic AI System for Bioinformatics

从提示到论文：用于生物信息学的智能AI系统

Ramsha Kamran, Maheera Amjad, Zartasha Mustansar, Arsalan Shaukat, Salma Sherbaz, Muhammad U. S. Khan

机构 * School of Interdisciplinary Engineering and Sciences (SINES), National University of Sciences and Technology (NUST)（跨学科工程与科学学院（SINES），国立科技大学（NUST）） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对现有AI自动生成稿件系统的缺陷，提出Prompt-to-Paper多智能体框架。通过检索增强生成、自主编码实验及八维质量评分等创新，经质量驱动改进循环，在生物信息学案例中验证，有效提升稿件质量，成本低且获较好外部评价。

Comments NA

Protein contacts are already in the attention: a single-forward-pass alternative to the Categorical Jacobian

蛋白质接触已经存在于注意力中：分类雅可比矩阵的单次前向替代方案

Rome Thorstenson

机构 * Independent Researcher（独立研究员） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出通过选择少量注意力头（仅需10个标记蛋白质）平均即可在一次前向传播中恢复蛋白质接触，在无泄漏数据上优于分类雅可比矩阵，并发现该信号依赖于双向预训练。

Comments 28 pages, 9 figures. Code and data: https://github.com/Rome-1/plm-contact-fusion

Overview of HIPE-2026: Person-Place Relation Extraction from Multilingual Historical Texts

HIPE-2026 概述：从多语言历史文本中提取人物-地点关系

Juri Opitz, Maud Ehrmann, Corina Raclé, Andrianos Michail, Matteo Romanello, Simon Clematide

机构 * University of Zurich（苏黎世大学） ； École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院） ； Swiss Federal Institute of Technology Zurich (ETHZ)（苏黎世联邦理工学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出HIPE-2026评测任务，针对多语言历史文档中的人物-地点关系（at和isAt）进行提取，采用三方面评估框架，比较了多种方法在准确性、效率和跨域泛化上的表现。

Comments Condensed Overview of CLEF-HIPE-2026 Shared Task Results

Emergent Capabilities Arise Randomly from Learning Sparse Attention Patterns

涌现能力随机地从学习稀疏注意力模式中产生

Vatsal Baherwani, Zixi Chen, Shikai Qiu, Andrew Gordon Wilson, Pavel Izmailov

机构 * New York University（纽约大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 研究发现，transformer模型的下游能力（如上下文学习）在训练过程中随机涌现，较大模型平均更早获得，且涌现对应于任务相关注意力模式的突然学习。

Comments 18 pages, 13 figures

Neural Scaling Universality: If Exponents Are Fixed, Time to Understand Coefficients

神经缩放普适性：如果指数固定，是时候理解系数了

Yizhou Liu, Jeff Gore

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文论证神经缩放定律中的幂律指数由通用机制固定，而系数对数据和架构细节敏感，理解系数是近期性能提升的关键。

Comments 17 pages, 6 figures

Comparing Transformers and Hybrid Models at the Token Level

在词级上比较变换器和混合模型

Yanhong Li, William Merrill

机构 * Allen Institute for AI（艾伦人工智能研究所） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过对比混合模型与纯变换器在词级上的表现，揭示了混合模型在处理开放类词汇时的优势，以及在语义状态利用和n-gram复制任务中的不同表现。

OneCanvas: 3D Scene Understanding via Panoramic Reprojection

OneCanvas: 通过全景重投影实现3D场景理解

Bartłomiej Baranowski, Dave Zhenyu Chen, Matthias Nießner

机构 * Technical University of Munich（慕尼黑技术大学） ； Huawei（华为） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出OneCanvas方法，将多视图补丁特征聚合到全景画布上，利用深度和相机位姿进行重投影，无需复杂几何编码器或大量训练，在SQA3D等基准上达到最先进精度。

Comments Project page: https://baranowskibrt.github.io/onecanvas/

Goal-Autopilot: A Verifiable Anti-Fabrication Firewall for Unattended Long-Horizon Agents

Goal-Autopilot: 一种可验证的防伪造防火墙，用于无人值守的长周期智能体

Youwang Deng

机构 * EpistemicaLab — Independent Research（EpistemicaLab — 独立研究） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出Autopilot执行模型，通过外部化状态到有限状态机并强制门控验证，使智能体无法虚假声称成功，在3,150个单元测试中伪造率降至0.95%，显著低于基线方法。

Comments Preprint. Code: https://github.com/EpistemicaLab/goal-compiled-autopilot

Sycophancy as a Multilingual Alignment Failure: How Safety Degrades Across Languages, Topics, and Models

谄媚作为多语言对齐失败：安全性能如何随语言、主题和模型退化

Arya Shah, Himanshu Beniwal, Mayank Singh, Chaklam Silpasuwanchai

机构 * IIT Gandhinagar（印度理工学院甘地讷格尔分校） ； Asian Institute of Technology（亚洲理工学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究多语言模型中谄媚现象，发现低资源语言中谄媚率激增，且与主题无关，归因于分词器生育率，表明对齐方法在非高资源语言中泛化差。

Comments 19 pages, 9 figures, 7 tables

LLM-Assisted Review Prioritization for German Statutory Health Insurance Websites: A Multi-Stage Corpus Audit

大语言模型辅助的德国法定医疗保险网站审核优先级排序：多阶段语料审计

Martin Möller

专题命中 预训练与数据 ：LLM(title)

AI总结 本研究针对德国法定医疗保险网站，提出一种结合多步骤的大语言模型辅助审核优先级排序工作流程，经实验验证可有效分配审核工作量，区分AI来源信号与质量声明。

Comments 31 pages, 5 figures. Also archived at Zenodo: https://doi.org/10.5281/zenodo.21738595

VLRC: Vision-Language Reprojection Consistency as a scalable signal for better feed-forward 3D pretraining

VLRC：视觉语言重投影一致性作为用于更好的前馈3D预训练的可扩展信号

Marwane Hariat, David Filliat, Antoine Manzanera

机构 * U2IS, ENSTA – Institut Polytechnique de Paris（U2IS，法国国立高等先进技术学校 - 巴黎综合理工学院） ； Pôle Recherche, Agence Ministérielle pour l’IA de Défense（军事人工智能部研究中心） 纠错

专题命中 预训练与数据 ：pretraining(title)

AI总结 研究提出视觉语言重投影一致性（VLRC），利用冻结的视觉语言表征作为语义多视图监督，无需额外3D标注，能提升3D重建精度等，为前馈3D预训练提供可扩展辅助目标。

GaussFusion: Towards Multimodal 3D Gaussian Pretraining

高斯融合：迈向多模态3D高斯预训练

Zhixuan You, Jihua Zhu, Yiding Sun, Zihao Guo, Haozhe Cheng, Dongxu Zhang, Lin Chen, Hainan Luo

机构 * Wuhu HIT Robot Technology Research Institute Co., Ltd.（芜湖哈工大机器人技术研究院有限公司） 纠错

专题命中 预训练与数据 ：pretraining(title)

AI总结 研究提出GaussFusion多模态3D高斯预训练框架，通过跨模态语义对齐集成图像和文本监督，还提出高斯显著性引导的多尺度空洞掩码，实验表明该方法提高了高斯表示可迁移性，在ModelNet40和ScanObjectNN上有性能提升。

Comments 32 pages, 6 figures, 6 tables

Disease-Centric Vision-Language Pretraining with Hybrid Visual Encoding for 3D Computed Tomography

面向3D计算机断层扫描的疾病中心视觉语言预训练与混合视觉编码

Bowen Shi, Weiwei Cao, Ruifeng Yuan, Wanxing Chang, Wenrui Dai, Hongkai Xiong, Ling Zhang, Jianpeng Zhang

机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； Hupan Lab, 310023, Hangzhou, China（虎扑实验室，杭州，中国） ； Shanghai Jiao Tong University, China（上海交通大学，中国） ； Zhejiang University, China（浙江大学，中国） ； Fudan University, China（复旦大学，中国） 纠错

专题命中 预训练与数据 ：pretraining(title)

AI总结 提出一种结合CNN-ViT混合编码器、疾病级对比学习和诊断感知提示的视觉语言预训练框架，在CT-RATE和Rad-ChestCT上取得最优性能，并提升零样本诊断可靠性。

Comments ICML 2026

Aslema at NADI 2026: Augmentation through Fewshot for SLU

Aslema 参与 NADI 2026：基于少样本的 SLU 增强方法

Tajwaar Shafiq, Hunzalah Hassan Bhatti, Shammur Absar Chowdhury, Firoj Alam

机构 * Qatar Computing Research Institute（卡塔尔计算研究所） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.AI；large language model(comments)；language model(comments)

AI总结 Aslema 系统参与 NADI 2026 共享任务 5，通过微调模型及合成数据增强（含文化适配语句生成与语音克隆）提升性能，在官方测试集槽填充排第1、意图识别排第4，将公开脚本与合成数据集。

Comments LLMs, Native, Arabic LLMs, Augmentation, Multilingual, Multimodal, Language Diversity, Contextual Understanding, Minority Languages, Culturally Informed, Foundation Models, Large Language Models, Audio Models, Omni Models, Slot Filling

Decoding silent reading from non-invasive EEG

从无创脑电图解码默读内容

Ingo Marquardt, Anthilia Alchanat, Priyanka Jain

机构 * nubrain 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究以默读为替代任务，用CLIP式对比训练的卷积EEG编码器结合因果Transformer，从EEG中成功解码开放词汇单词级信息，发现解码受数据限制而非饱和。

Comments 45 pages (including 12 pages of Supplementary Material), 11 figures (including 2 in Supplementary Material)

Does Marginal Coverage Guarantee Class-Conditional Safety for Zero-Shot VLMs Under Shift?

在分布偏移下，边际覆盖率能否保证零样本视觉语言模型（VLM）的类条件安全性？

Jai Kumar Sharma, Amartya Dutta

机构 * Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 该研究针对CLIP等零样本VLM，发现边际共形覆盖率无法保证类条件安全性，源域校准无法迁移，目标域类别校准可改善尾部但需类别标签，指出其仅为平均可靠性统计量。

Comments Accepted at the ECCV 2026 Workshop on Uncertainty Quantification for Computer Vision (UNCV). 34 pages (16 main + 18 supplementary), 10 figures

CTIFoundry: An Agent-Native Corpus Scaffold for Cyber Threat Intelligence

CTIFoundry：用于网络威胁情报的智能体原生语料库支架

Yutong Cheng, Changze Li, Qian Cui, Wei Ding, Lingzhi Wang, Yan Chen, Peng Gao

机构 * Virginia Tech（弗吉尼亚理工大学） ； Amazon（亚马逊公司） ； Northwestern University（西北大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 CTIFoundry是用于网络威胁情报的智能体原生语料库支架，在CTIConnect基准测试中可使智能体F1提升0.19至0.28，小型模型在其上表现优于旗舰模型，且无需增加搜索工作量。

Comments Preprint

Abra: Scaling Diffusion Image Training

Abra：扩散图像训练的规模化

Kyle Chickering, Wei-An Lin, Swayam Bhanded, Dan Saunders, Akshat Tripathi, Jiaming Song, Shyamal Buch, Xinchen Yan

专题命中 预训练与数据 ：LLM(abstract_cn)；language model(abstract)；分类 cs.LG

AI总结 本研究针对文本到图像扩散模型开展系统缩放定律研究，提出Abra模型，发现其缩放规律可预测且需更多数据，相关规律可延伸至生成质量等多方面指标。

Comments 25 pages, 19 figures

VLCP: Vision Language Control Policy Closed-Loop Code Replanning for Robot Manipulation

VLCP：用于机器人操纵的视觉语言控制策略闭环代码重规划

Dhia Naouali, Minghan Wu, Claudia Wong, Abhinav Puthran, Omar G. Younis

机构 * University of Monastir（莫纳斯提尔大学） ； St. Mildred’s-Lightbourn School（圣米尔德雷德-莱特本学校） ； Cornell University（康奈尔大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Silverstream AI（银流人工智能公司） ； Mila -- Quebec AI Institute（米拉-魁北克人工智能研究所） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 VLCP是一种无需训练的机器人操纵策略，通过在单回合内每K步由VLM重写控制代码闭合循环，在57项任务的评估中综合成功率达35.1%，较开环策略提升十倍。

Skill2Query: Exploiting Skill Structure to Generate Pseudo-Queries for Agent Skill Retrieval

Skill2Query：利用技能结构生成智能体技能检索的伪查询

Lihui Ding, Zihan Guo, Bingwei Lu, Chenyu Zhou, Yuanjian Zhou, Weinan Zhang, Jianghao Lin, Dongdong Ge

机构 * Fudan University（复旦大学） ； Sun Yat-sen University（中山大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 Skill2Query是利用技能知识图谱生成伪查询的框架，可提升多类检索性能，生成的训练数据表现最优，还能提高智能体任务成功率。