语言大模型 / LLM

stable-pretraining-v1: Foundation Model Research Made Simple

stable-pretraining-v1: 使基础模型研究变得简单

Randall Balestriero, Hugues Van Assel, Sami BuGhanem, Lucas Maes

机构 * Brown University（布朗大学） ； Genentech（基因泰克） ； Mila & Université de Montréal（Mila与蒙特利尔大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.LG

AI总结 stable-pretraining是一个模块化、可扩展且性能优化的库，旨在通过简化基础模型研究流程，提高灵活性和迭代速度，促进发现和扩展研究可能性。

Position: Beyond Euclidean -- Foundation Models Should Embrace Non-Euclidean Geometries

位置：超越欧几里得——基础模型应拥抱非欧几里得几何

Neil He, Jiahong Liu, Buze Zhang, Ngoc Bui, Ali Maatouk, Menglin Yang, Irwin King, Melanie Weber, Rex Ying

机构 * Yale University（耶鲁大学） ； Chinese University of Hong Kong（香港中文大学） ； Xi’an Jiaotong University（西安交通大学） ； Hong Kong University of Science and Technology（香港科学大学） ； Harvard University（哈佛大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文主张基础模型应超越欧几里得几何，以更高效地利用非欧几里得结构，提升模型性能与适应性。

Comments 27 pages, 6 figures, LoG Conference 2025

Robot-Powered Data Flywheels: Deploying Robots in the Wild for Continual Data Collection and Foundation Model Adaptation

机器人驱动的数据飞轮：在真实世界中部署机器人以实现持续的数据收集和基础模型适应

Jennifer Grannen, Michelle Pan, Kenneth Llontop, Cherie Ho, Mark Zolotas, Jeannette Bohg, Dorsa Sadigh

机构 * Stanford University（斯坦福大学） ； Toyota Research Institute（丰田研究机构） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 机器人驱动的数据飞轮通过部署机器人收集真实世界数据，提升基础模型在复杂环境中的适应能力，减少人工干预并提高多语言OCR性能。

Discover, Learn, and Reinforce: Scaling Vision-Language-Action Pretraining with Diverse RL-Generated Trajectories

发现、学习与强化：通过多样化强化学习生成轨迹扩展视觉-语言-动作预训练

Rushuai Yang, Zhiyuan Feng, Tianxiang Zhang, Kaixin Wang, Chuheng Zhang, Li Zhao, Xiu Su, Yi Chen, Jiang Bian

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； Tsinghua University（清华大学） ； Wuhan University（武汉大学） ； Central South University（中南大学） ； Microsoft Research（微软研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 本文提出DLR框架，通过多样化强化学习生成轨迹，提升VLA预训练的多样性和扩展性，实现更广泛的状态-动作空间覆盖。

Scaling up self-supervised learning for improved surgical foundation models

提升自监督学习以改进手术基础模型

Tim J. M. Jaspers, Ronald L. P. D. de Jong, Yiping Li, Carolus H. J. Kusters, Franciscus H. A. Bakker, Romy C. van Jaarsveld, Gino M. Kuiper, Richard van Hillegersberg, Jelle P. Ruurda, Willem M. Brinkman, Josien P. W. Pluim, Peter H. N. de With, Marcel Breeuwer, Yasmina Al Khalil, Fons van der Sommen

机构 * Department of Electrical Engineering, Video Coding \& Architectures, Eindhoven University of Technology, Eindhoven, The Netherlands ； Department of Biomedical Engineering, Medical Image Analysis, Eindhoven University of Technology, Eindhoven, The Netherlands ； Department of Surgery, University Medical Center Utrecht, Utrecht, The Netherlands ； Department of Oncological Urology, University Medical Center Utrecht, Utrecht, The Netherlands ； Department of Urology, Catharina Hospital, Eindhoven, The Netherlands 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 本研究提出SurgeNetXL，通过大规模预训练提升手术计算机视觉性能，实现多个任务上的显著改进。

Journal ref Medical Image Analysis, 2025

Concept-Aware Batch Sampling Improves Language-Image Pretraining

概念感知的批量采样提升语言-图像预训练

Adhiraj Ghosh, Vishaal Udandarao, Thao Nguyen, Matteo Farina, Mehdi Cherti, Jenia Jitsev, Sewoong Oh, Elisa Ricci, Ludwig Schmidt, Matthias Bethge

机构 * Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学） ； University of Cambridge（剑桥大学） ； University of Washington（华盛顿大学） ； University of Trento（特伦托大学） ； LAION ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(title)；language model(abstract)；分类 cs.LG

AI总结 本研究提出CABS方法，通过概念感知的批量采样提升语言-图像预训练效果，提供灵活的任务适应性数据整理方案。

Comments Tech Report

Fluid Intelligence: A Forward Look on AI Foundation Models in Computational Fluid Dynamics

流体智力：计算流体动力学中人工智能基础模型的前瞻展望

Neil Ashton, Johannes Brandstetter, Siddhartha Mishra

专题命中 预训练与数据 ：foundation model(title,abstract)

AI总结 本文提出首个结合CFD输入的缩放定律，用于数据生成和模型训练，以解决复杂流体动力学问题中的独特挑战，并提供了构建基础模型的计算成本和时间估计。

Multi-modal Generative AI: Multi-modal LLMs, Diffusions, and the Unification

多模态生成式AI：多模态大语言模型、扩散模型与统一

Xin Wang, Yuwei Zhou, Bin Huang, Hong Chen, Wenwu Zhu

机构 * Department of Computer Science, Beijing Information Science and Technology National Research Center, Tsinghua University（计算机系，北京信息科学与技术国家研究中心，清华大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本文综述了多模态生成式AI，涵盖多模态LLMs、扩散模型及统一模型的设计与应用，探讨了统一理解和生成的方法及未来研究方向。

Comments 21 pages, 10 figures, 3 tables

Journal ref IEEE Transactions on Circuits and Systems for Video Technology 2025

InstaDA: Augmenting Instance Segmentation Data with Dual-Agent System

InstaDA: 通过双代理系统增强实例分割数据

Xianbao Hou, Yonghao He, Zeyd Boukhers, John See, Hu Su, Wei Sui, Cong Yang

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 InstaDA通过双代理系统提升实例分割数据质量，实现AP提升和效率优化

SafeFix: Targeted Model Repair via Controlled Image Generation

SafeFix: 通过受控图像生成实现目标模型修复

Ouyang Xu, Baoming Zhang, Ruiyu Mao, Yunhui Guo

机构 * The University of Texas at Dallas（德克萨斯大学达拉斯分校） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 SafeFix通过生成语义忠实的图像来修复模型，提升模型对罕见案例的鲁棒性，减少系统性错误。

Subtract the Corruption: Training-Data-Free Corrective Machine Unlearning using Task Arithmetic

去除污点：基于任务算术的无需训练数据的纠正性机器反遗忘学习

Mostafa Mozafari, Farooq Ahmad Wani, Maria Sofia Bucarelli, Fabrizio Silvestri

机构 * Sapienza University of Rome（罗马萨皮恩扎大学） 纠错

专题命中 预训练与数据 ：post-training(abstract)；分类 cs.LG

AI总结 提出CUTS方法，通过任务算术原理在无源设定下纠正受污染模型，有效消除污染影响。

Learning Procedural-aware Video Representations through State-Grounded Hierarchy Unfolding

通过基于状态的层次解折叠学习过程感知的视频表示

Jinghan Zhao, Yifei Huang, Feng Lu

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出TSS框架，通过基于状态的层次解折叠学习过程感知的视频表示，提升任务识别和步骤预测性能。

Comments Accepted by AAAI 2026. 15 pages, 12 figures