语言大模型 / LLM

Tumor-anchored deep feature random forests for out-of-distribution detection in lung cancer segmentation

基于肿瘤锚定的深度特征随机森林用于肺癌分割中的分布外检测

Aneesh Rangnekar, Harini Veeraraghavan

机构 * Memorial Sloan Kettering Cancer Center（纪念斯隆凯特林癌症中心） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出RF-Deep框架，利用深度特征提升CT扫描的分布外检测性能，通过少量标注数据改进分割管道的安全性。

Comments Accepted for publication in Transactions on Machine Learning Research (TMLR), 2026. Code available at: https://github.com/aneesh3108/RF-Deep

Time-Aware Prior Fitted Networks for Zero-Shot Forecasting with Exogenous Variables

考虑时间因素的先验拟合网络用于外生变量的零样本预测

Andres Potapczynski, Ravi Kiran Selvam, Tatiana Konstantinova, Malcolm Wolff, Kin G. Olivares, Ruijun Ma, Michael W. Mahoney, Andrew Gordon Wilson, Boris N. Oreshkin, Dmitry Efimov

机构 * Amazon（亚马逊） ； New York University（纽约大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.LG

AI总结 本文提出ApolloPFN，一种时间感知的先验拟合网络，能够原生整合外生变量，通过合成数据生成和时间感知架构改进，实现更准确的预测。

Comments Accepted and published in Transactions on Machine Learning Research (TMLR), 2026

Journal ref Transactions on Machine Learning Research (TMLR), 2026

TerraTransfer: Learning End-to-End Driving Policies Without Expert Demonstrations

TerraTransfer: 无需专家示范的端到端驾驶策略学习

Zikang Xiong, Weixin Li, Zhouchonghao Wu, Akshay Rangesh, Saarth Bonde, Grantland Hall, Chen Tang, Yihan Hu, Wei Zhan

机构 * Applied Intuition ； UCLA（加州大学洛杉矶分校） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 提出一种无需专家示范的端到端驾驶方法，通过向量化模拟器中的自博弈预训练策略，再与预训练视觉骨干对齐，降低了数据成本并达到或超越现有方法。

M+Adam: Low-Precision Training via Additive-Multiplicative Optimization

M+Adam：通过加法-乘法优化进行低精度训练

Xiaoyuan Liang, Sebastian Loeschcke, Mads Toftrup, Anima Anandkumar

机构 * California Institute of Technology（加利福尼亚理工学院） ； University of Copenhagen（哥本哈根大学） ； Aarhus University（阿鲁斯大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 研究低精度训练中标准优化器的问题，提出结合加法和乘法更新的M+Adam方法，经证明在标准假设下单调下降，在多种模型预训练中持续改善低精度训练。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026). 45 pages

Geometric Causal Models

几何因果模型

Eli N. Weinstein, David M. Blei

机构 * Department of Chemistry, Technical University of Denmark（丹麦技术大学化学系） ； Departments of Statistics and Computer Science, Columbia University（哥伦比亚大学统计学与计算机科学系） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 针对非独立同分布结构化数据的因果推断难题，提出利用数据生成过程内在对称性的几何因果模型框架，结合群论、遍历理论与几何深度学习实现因果识别与估计。

Improving TabPFN's Synthetic Data Generation by Integrating Causal Structure

通过整合因果结构改进TabPFN的合成数据生成

Davide Tugnoli, Andrea De Lorenzo, Marco Virgolin, Giovanni Cinà

机构 * Department of Mathematics, Informatics and Geosciences（数学、信息学与地质科学系） ； University of Trieste（特里este大学） ； Department of Engineering and Architecture（工程与建筑系） ； InSilicoTrials Technologies BV（InSilicoTrials技术公司） ； Amsterdam UMC Institute for Logic, Language and Computation（阿姆斯特丹大学医学中心逻辑、语言与计算研究所） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.LG

AI总结 通过整合因果结构改进TabPFN的合成数据生成，提升合成数据的质量和稳定性

Comments Camera-ready version, accepted at UAI 2026. 9 pages main text, 44 pages total (including supplementary material), 35 figures. Code: https://github.com/DavideTugnoli/tabpfn-causal-synthetic

Concept-as-Tree: A Controllable Synthetic Data Framework Makes Stronger Personalized VLMs

概念树：一个可控的合成数据框架助力更强的个性化视觉语言模型

Ruichuan An, Kai Zeng, Ming Lu, Sihan Yang, Renrui Zhang, Huitong Ji, Hao Liang, Wentao Zhang

机构 * Peking University（北京大学） ； CUHK MMLab（香港中文大学MMLab） ； Zhongguancun Academy（中关村学院） ； Beijing Key Laboratory of Data Intelligence and Security（北京数据智能与安全重点实验室） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 研究提升VLM个性化能力问题，提出概念树（CaT）框架，以树结构表示概念生成多样正负样本，经数据过滤策略确保质量，实验证明该框架显著增强VLM在个性化基准测试中的能力，是首个可控合成数据管道。

Comments ECCV26 Camera Ready

ScheMatiQ: From Research Question to Structured Data through Interactive Schema Discovery

ScheMatiQ: 从研究问题到结构化数据——通过交互式模式发现

Shahar Levy, Eliya Habba, Reshef Mintz, Barak Raveh, Renana Keydar, Gabriel Stanovsky

机构 * School of Computer Science and Engineering, The Hebrew University of Jerusalem（希伯来大学耶路撒冷分校计算机科学与工程学院） ； Faculty of Law, The Hebrew University of Jerusalem（希伯来大学耶路撒冷分校法学院） ； Allen Institute for AI（人工智能艾伦研究所） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL

AI总结 提出ScheMatiQ系统，利用大语言模型从研究问题和语料库自动生成标注模式与结构化数据库，支持用户交互修正，在法律和计算生物学领域验证了有效性。

Gradual Capacity Growth for Sparse Network Discovery

稀疏网络发现的渐进容量增长

Qihang Yao, Constantine Dovrolis

机构 * Georgia Institute of Technology（佐治亚理工学院） ； The Cyprus Institute（塞浦路斯研究所） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 提出渐进容量增长（GCG）框架，通过路径增长规则在训练中逐步分配网络容量，无需预训练或预设稀疏度，以较低成本发现接近稠密性能的稀疏网络。

Comments Accepted at ICANN 2026

Zero-Shot Cross-City Generalization in End-to-End Autonomous Driving: Self-Supervised versus Supervised Representations

端到端自动驾驶中的零样本跨城市泛化：自监督与监督表示

Fatemeh Naeinian, Ali Hamza, Haoran Zhu, Anna Choromanska

机构 * Department of Electrical and Computer Engineering, NYU Tandon School of Engineering（电气工程系，纽约大学Tandon工程学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 研究端到端自动驾驶模型在跨城市零样本迁移中的泛化能力，发现自监督预训练（如I-JEPA、DINOv2、MAE）相比监督预训练能显著减少位移和碰撞退化，提升闭环评估中的分布外PDMS。

Towards Understanding What State Space Models Learn About Code

理解状态空间模型在代码中学到了什么

Jiali Wu, Abhinav Anand, Shweta Verma, Mira Mezini

机构 * TU Darmstadt（图宾根大学） ； Hessian Center for Artificial Intelligence（黑森人工智能中心） ； National Research Center for Applied Cybersecurity ATHENE（应用网络安全国家研究中心ATHENE） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 本文首次系统分析状态空间模型（SSM）在代码理解中的学习机制，发现SSM在预训练时比Transformer更有效捕获语法和语义结构，但微调时会遗忘某些关系，并提出SSM-Interpret框架和架构改进，将NLCodeSearch的MRR提升高达6。

Discriminative Span as a Predictor of Synthetic Data Utility via Classifier Reconstruction

判别跨度作为通过分类器重构预测合成数据效用的指标

Radhika Amar Desai, Modigari Narendra

机构 * School Of Computer Science（计算机科学学院） ； Vellore Institute of Technology（维杰雷理工学院） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.LG

AI总结 本文提出一种几何驱动的指标，通过预训练模型的嵌入空间评估合成数据效用，无需模型训练，通过测量线性分类器权重向量在变化子空间中的投影误差，判断合成数据对下游分类性能的影响。

Comments 15 pages, 17 tables

MolSight: Molecular Property Prediction with Images

MolSight: 基于图像的分子属性预测

Aaditya Baranwal, Akshaj Gupta, Yogesh S Rawat, Shruti Vyas

机构 * University of Central Florida（中央佛罗里达大学） ； Birla Institute of Technology and Science（比拉理工学院和科学学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 MolSight首次系统研究基于视觉的分子属性预测，通过10种视觉架构和7种预训练策略，在10个下游任务中展示性能，提出化学引导课程提升效果，以更低的FLOPs实现优异结果。

GEAR-VLA: Learning Geometry-Aware Action Representations for Generalizable Robotic Manipulation

GEAR-VLA：学习几何感知的动作表示以实现可泛化的机器人操作

Yuan Zhang, Shiqi Zhang, Yedong Shen, Shuai Dong, Jiajun Deng, Xin Zhang, Yuxuan Gao, Jiajia Wu, Xin Nie, Zhiyuan Cheng, Jianmin Ji, Yanyong Zhang, Xingyi Zhang, Jia Pan

机构 * Anhui University（安徽大学） ； University of Science and Technology of China（中国科学技术大学） ； iFLYTEK（科大讯飞） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

AI总结 提出GEAR-VLA框架，通过粗到细的动作学习、语义对齐的3D集成和具身规范化，学习统一的几何感知动作表示，实现跨物体、背景和机器人的泛化操作。

Scaling Laws of Global Weather Models

全球天气模型的缩放定律

Yuejiang Yu, Langwen Huang, Alexandru Calotoiu, Torsten Hoefler

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 本文分析数据驱动天气模型中模型大小、数据集大小和计算预算与验证损失之间的缩放定律，发现Aurora数据缩放最强，GraphCast参数效率高但硬件利用率低，计算最优分析表明增加训练数据比增大模型更有效，且模型形状上宽度优于深度。

Comments Accepted at ICML 2026. 21 pages, 7 figures

$S^3$-R1: Learning to Retrieve and Answer Step-by-Step with Synthetic Data

$S^3$-R1: 通过合成数据学习逐步检索与回答

Harsh Goel, Akhil Udathu, Susmija Jabbireddy, Pradnesh Kalkar, Atharva Parulekar

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 预训练与数据 ：post-training(abstract)；分类 cs.LG

AI总结 提出S^3-R1框架，通过合成数据生成和密集奖励信号，解决强化学习后训练中稀疏奖励和缺乏多跳问题数据的问题，提升模型搜索与问答能力。

Comments Under Review

Your Autoregressive Model Already Reveals the Causal Graph

你的自回归模型已经揭示了因果图

Hugo Math, Rainer Lienhart

机构 * Department of Machine Learning \& Computer Vision, University of Augsburg, Augsburg, Germany 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出TRACE框架，利用预训练自回归模型作为密度估计器进行条件独立性测试，从单序列离散事件中恢复时间因果图，并在大规模非线性SCM和真实车辆诊断日志上取得显著性能提升。

Comments 8 pages

Journal ref Structured Probabilistic Inference & Generative Modeling workshop ICML 2026

Influence Dynamics and Stagewise Data Attribution

影响动力学与分阶段数据归因

Jin Hwa Lee, Matthew Smith, Maxwell Adam, Jesse Hoogland

机构 * University College London（伦敦大学学院） ； Independent（独立） ； University of Melbourne（墨尔本大学） ； Timaeus 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 针对神经网络训练中样本影响动态变化的问题，基于奇异学习理论提出分阶段数据归因框架，预测影响非单调变化（符号翻转、尖峰），并在玩具模型和语言模型中验证与模型学习阶段的对应。

Comments 28 pages, 15 figures

Causal Longitudinal Prior-Fitted Networks for Counterfactual Outcome Prediction

因果纵向先验拟合网络用于反事实结果预测

Amirhossein Zare, Amirhessam Zare, Herlock Rahimi, Reza Salarikia, Mohammad Kashkooli

机构 * Yale University（耶鲁大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 提出CausalLongPFN，一种基于先验拟合的上下文预测器，通过合成因果模型预训练实现无需梯度更新的纵向反事实结果预测，在多个基准上达到与领域训练模型竞争的性能。

Comments 31 pages, 10 tables

Label-Conditioned Cross-Modal Fusion for Adult-to-Pediatric ECG Transfer via Curriculum-Gated Contrastive Alignment

基于标签的跨模态融合用于成人到儿童ECG转移 via 课程门控对比对齐

Xinran Liu, Yuwen Li, Hongxiang Gao, Heyang Xu, Jianqing Li, Zongmin Wang, Chengyu Liu

机构 * School of Instrument Science and Engineering, Southeast University（东南大学仪器科学与工程学院） ； Nanjing Medical University（南京医科大学） ； Zhengzhou University（郑州大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出PEACE框架，通过预训练和适应性融合提升儿童ECG诊断，采用对比学习和课程适应策略，在有限标注下实现高准确率。

ReTabSyn: Realistic Tabular Data Synthesis via Reinforcement Learning

ReTabSyn：通过强化学习实现真实表格数据合成

Xiaofeng Lin, Seungbae Kim, Zhuoya Li, Zachary DeSoto, Charles Fleming, Guang Cheng

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 ReTabSyn通过强化学习优先学习条件分布，提升小数据下表格数据合成效率，优于现有基线方法。

Scaling Laws for Masked-Reconstruction Transformers on Single-Cell Transcriptomics

单细胞转录组学中掩码重建Transformer的缩放定律

Ihor Kendiukhov

机构 * Department of Computer Science, University of Tübingen（图宾根大学计算机科学系） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.LG

AI总结 本研究首次系统探索单细胞RNA测序数据上掩码重建Transformer的缩放行为，发现数据充足时存在幂律缩放定律，数据稀缺时缩放可忽略，并指出数据-参数比是关键决定因素。

Massively Multilingual Joint Segmentation and Glossing

大规模多语言联合分割与标注

Michael Ginn, Lindia Tjuatja, Enora Rice, Ali Marashian, Maria Valentini, Jasmine Xu, Graham Neubig, Alexis Palmer

机构 * University of Colorado Boulder（科罗拉多大学博尔德分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；分类 cs.CL

AI总结 针对现有神经标注模型缺乏形态边界预测导致可解释性差的问题，提出PolyGloss模型，通过联合分割与标注提升准确性和对齐度，并支持低秩适应快速迁移。

Comments 15 pages, 9 figures, accepted to ACL 2026 Long Papers

Self-Supervised Dynamical System Representations for Physiological Time-Series

生理时间序列的自监督动力系统表示

Yenho Chen, Maxwell A. Xu, James M. Rehg, Christopher J. Rozell

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 提出PULSE框架，利用动力系统生成模型的信息结构，通过跨重建预训练目标提取共享系统参数信息，丢弃样本特异性噪声，提升生理时间序列的表示学习效果。

Comments Accepted to ICML 2026

Adaptive Pluralistic Alignment: A pipeline for dynamic artificial democracy

自适应多元对齐：动态人工民主的流水线

Rachel Freedman

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 提出自适应多元对齐（APA）流水线，通过低秩奖励基分解和陪审团投票机制，动态追踪社会价值观演变，避免价值锁定，无需重复预训练或大规模数据收集。

Learning Versatile Humanoid Manipulation with Touch Dreaming

通过触觉梦想学习多功能人形操作

Yaru Niu, Zhenlong Fang, Binghong Chen, Shuai Zhou, Revanth Krishna Senthilkumaran, Hao Zhang, Bingqing Chen, Chen Qiu, H. Eric Tseng, Jonathan Francis, Ding Zhao

机构 * Carnegie Mellon University（卡内基梅隆大学） ； UT Arlington（UT阿灵顿） ； Bosch Center for AI（博世人工智能中心） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出HTD模型，结合触觉、视觉和本体感觉，通过触觉梦想增强学习实现高灵活性的人形操作，实验证明在五个真实任务中成功率提升显著。

Observe Less, Understand More: Cost-aware Cross-scale Observation for Remote Sensing Understanding

观察更少，理解更多：面向遥感理解的低成本跨尺度观测

Zhenghao Xie, Jing Xiao, Zhenqi Wang, Kexin Ma, Liang Liao, Gui-song Xia, Mi Wang

机构 * Wuhan University（武汉大学） ； Xi'an University of Electronic Science and Technology（西安电子科技大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出一种低成本跨尺度观测方法，通过结合细粒度高分辨率采样与跨图块表示预测，提升遥感任务性能。同时引入GL-10M大规模基准，系统评估预算约束下的跨尺度推理效果。

Comments 14 pages, 7 figures, and 5 tables. Accepted to ACM MM 2026. Updated to the camera-ready version and added supplementary material. Code: https://github.com/xzhacc/CrossSO

Grounding Robot Generalization in Training Data via Retrieval-Augmented VLMs

通过检索增强的视觉语言模型实现机器人在训练数据中的泛化

Jensen Gao, Dorsa Sadigh, Sandy Huang, Dhruv Shah

机构 * Stanford University（斯坦福大学） ； Google DeepMind（谷歌DeepMind） ； Princeton University（普林斯顿大学） 纠错

专题命中 预训练与数据 ：language model(abstract)

AI总结 本文提出RADAR框架，通过检索和视觉语言模型分析，评估机器人策略在不同场景下的泛化能力，验证了其在大规模数据集中的有效性。

Comments IEEE Robotics and Automation Letters (RA-L)

Multivariate time series transformer embeddings for light curves of periodic variable stars

用于周期性变星光变曲线的多变量时间序列Transformer嵌入

Gabriel Chiong, Ignacio Becker, Pavlos Protopapas

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 该研究扩展了Astromer框架，提出多波段Transformer架构，在周期性变星分类任务中，其F1分数较单波段模型提升10至23个百分点，展现了多波段模型的应用潜力。

Journal ref Astronomy & Astrophysics, 712, A168 (2026)

SraVaani 1.0: Scaling Inclusive Speech Recognition for Indic Languages

SraVaani 1.0：面向印度语言的包容性自动语音识别规模化模型

Sujith Pulikodan, Agneedh Basu, Pavan Kumar J, Pranav D Bhat, Suryansh Shukla, Nihar Desai, Prasanta Kumar Ghosh

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出SraVaani 1.0，一款基于FastConformer架构的多语言ASR模型，覆盖65种印度语言，经三阶段训练后在8个基准上表现优异，是唯一支持多种低资源及部落印度语言转录的开源模型。