语言大模型 / LLM

Multilingual Large Language Models do not comprehend all natural languages to equal degrees

多语言大语言模型并非对所有自然语言有同等的理解能力

Natalia Moskvina, Raquel Montero, Masaya Yoshida, Ferdy Hubers, Paolo Morosi, Walid Irhaymi, Jin Yan, Tamara Serrano, Elena Pagliarini, Fritz Günther, Evelina Leivada

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究发现多语言大模型在不同语言上的理解能力存在差异，英语并非表现最佳，部分罗曼语系语言表现更优。

Comments 36 pages, 3 figures, 2 tables, 4 supplementary tables

Entropy in Large Language Models

大语言模型中的熵

Marco Scharringhausen

机构 * Carl von Ossietzky Universität Oldenburg（奥尔登堡卡尔·冯·奥西特齐克大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本研究比较了大语言模型与自然语言的词熵，发现LLM的词熵低于自然口语，旨在评估LLM训练数据对信息和不确定性的影响。

Comments 7 pages, 2 figures, 3 tables

Beyond a Single Extractor: Re-thinking HTML-to-Text Extraction for LLM Pretraining

超越单一提取器：重新思考用于LLM预训练的HTML到文本提取

Jeffrey Li, Josh Gardner, Doug Kang, Fangping Shi, Karanjeet Singh, Chun-Liang Li, Herumb Shandilya, David Hall, Oncel Tuzel, Percy Liang, Ludwig Schmidt, Hadi Pour Ansari, Fartash Faghri

机构 * Apple（苹果公司） ； Stanford（斯坦福大学） ； University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出通过结合多种提取器提升HTML到文本提取的效率与效果，显著提高LLM预训练数据的token产出并改善下游任务性能。

Transport and Merge: Cross-Architecture Merging for Large Language Models

传输与合并：面向大语言模型的跨架构合并

Chenhang Cui, Binyun Yang, Fei Shen, Yuxin Chen, Jingnan Zheng, Xiang Wang, An Zhang, Tat-Seng Chua

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于最优传输的跨架构合并框架，实现从高资源模型到低资源模型的有效知识转移。

Scaling Laws Revisited: Modeling the Role of Data Quality in Language Model Pretraining

再论缩放定律：建模数据质量在语言模型预训练中的作用

Anirudh Subramanyam, Yuxin Chen, Robert L. Grossman

机构 * Center for Translational Data Science（转化数据科学中心） ； Department of Computer Science（计算机科学系） ； Department of Medicine（医学系） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.LG

AI总结 本文提出了一种考虑数据质量的缩放定律，通过实验展示了高质量数据可减少模型规模和计算需求。

Comments 21 pages, 5 figures

Journal ref International Conference on Learning Representations (ICLR) 2026

The Algorithmic Unconscious: Structural Mechanisms and Implicit Biases in Large Language Models

算法无意识：大型语言模型中的结构机制与隐性偏见

Philippe Boisnard

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文探讨了大型语言模型中结构性机制与隐性偏见，揭示了分词、注意力等机制对偏见的影响，并提出技术诊所框架以促进AI基础设施的批判性利用。

Comments 18 pages, 5 figures, Extended version of a paper presented at the international conference 'Artificial Intelligence and Transformations of Information' (LOGOS/FLSH, Hassan II University of Casablanca, Morocco, December 2025), accepted for publication in LOGOS after double-blind peer review

Learning to Detect Language Model Training Data via Active Reconstruction

通过主动重建学习检测语言模型训练数据

Junjie Oscar Yin, John X. Morris, Vitaly Shmatikov, Sewon Min, Hannaneh Hajishirzi

机构 * University of Washington（华盛顿大学） ； Cornell University（康奈尔大学） ； Allen Institute for Artificial Intelligence（人工智能研究院） 纠错

专题命中 预训练与数据 ：language model(title)；LLM(abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出主动数据重建攻击方法，通过强化学习主动诱导模型重建文本以检测语言模型训练数据，实验表明其在检测预训练、后训练和蒸馏数据方面表现优于现有方法。

Fast Catch-Up, Late Switching: Optimal Batch Size Scheduling via Functional Scaling Laws

快速追上，后期切换：通过函数缩放定律进行最优批量大小调度

Jinbo Wang, Binghui Li, Zhanpeng Zhou, Mingze Wang, Yuxuan Sun, Jiaqi Zhang, Xunliang Cai, Lei Wu

机构 * School of Mathematical Sciences, Peking University（北京大学数学科学学院） ； Center for Machine Learning Research, Peking University（北京大学机器学习研究中心） ； School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（中国科学技术大学认知智能国家重点实验室） ； Meituan, Beijing（美团（北京）） ； AI for Science Institute, Beijing（北京人工智能科学研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文通过函数缩放定律揭示了大规模深度学习中最优批量大小调度的理论机制，表明在困难任务中后期切换大批次可提升效率并减少数据消耗。

Comments 34 pages, accepted by ICLR 2026 as a conference paper

Improving Reliability of Machine Learned Interatomic Potentials With Physics-Informed Pretraining

通过物理指导预训练提升机器学习互原子势的可靠性

Qianyu Zheng, Victor Fung

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 通过物理指导预训练提升机器学习互原子势的可靠性，提高预测准确性和MD稳定性。

Measuring Validity in LLM-based Resume Screening

基于LLM的简历筛选有效性测量

Jane Castleman, Zeyu Shen, Blossom Metevier, Max Springer, Aleksandra Korolova

专题命中 预训练与数据 ：LLM(title,abstract)

AI总结 本文提出了一种系统方法，用于测量LLM在简历筛选中的有效性，揭示了多种模型在选择合格候选人时的不一致性及潜在偏见问题。

LAPIS: Lightweight API Specification for Intelligent Systems

LAPIS：轻量级智能系统API规范

Daniel Garcia

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 LAPIS是一种为LLM优化的轻量级API规范格式，通过减少token使用并保留语义信息，提升智能系统对API的处理效率。

DeepInnovator: Triggering the Innovative Capabilities of LLMs

DeepInnovator: 激发大语言模型的创新能力

Tianyu Fan, Fengji Zhang, Yuxiang Zheng, Bei Chen, Xinyao Niu, Chengen Huang, Junyang Lin, Chao Huang

机构 * The University of Hong Kong（香港大学） ； City University of Hong Kong（城市大学） ； Shanghai Jiao Tong University（上海交通大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 DeepInnovator通过自动化数据提取和猜想与反驳训练范式，提升大语言模型的创新能力，实现显著优于基线的创新想法生成性能。

Satellite-Based Detection of Looted Archaeological Sites Using Machine Learning

基于卫星的考古遗址盗掘检测使用机器学习

Girmaw Abebe Tadesse, Titien Bartette, Andrew Hassanali, Allen Kim, Jonathan Chemla, Andrew Zolli, Yves Ubelmann, Caleb Robinson, Inbal Becker-Reshef, Juan Lavista Ferres

机构 * Microsoft AI for Good Research Lab（微软AI for Good研究实验室） ； Iconem ； Planet Labs PBC（Planet Labs公司） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 利用机器学习和卫星图像检测考古遗址盗掘，通过CNN和传统ML方法对比，实现高精度识别

Diffusion Trajectory-guided Policy for Long-horizon Robot Manipulation

用于长时程机器人操作的扩散轨迹引导策略

Shichao Fan, Quantao Yang, Yajie Liu, Kun Wu, Zhengping Che, Qingjie Liu, Min Wan

机构 * School of Mechanical Engineering and Automation, BeiHang University（机械工程与自动化学院，北航） ； School of Computer Science and Engineering, BeiHang University（计算机科学与工程学院，北航） ； Beijing Innovation Center of Humanoid Robotics（人形机器人创新中心） ； Division of Robotics, Perception and Learning (RPL), KTH Royal Institute of Technology（机器人、感知与学习 division，皇家理工学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)

AI总结 本文提出DTP框架，通过生成轨迹减少模仿学习中的误差累积，提升长时程机器人任务的性能。

Comments 8 pages, 5 figures, accepted to IEEE Robotics and Automation Letters (RAL)

Journal ref IEEE Robotics and Automation Letters (Volume: 10, Issue: 12, December 2025)

Celo2: Towards Learned Optimization Free Lunch

Celo2：迈向无学习优化的免费午餐

Abhinav Moudgil, Boris Knyazev, Eugene Belilovsky

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 Celo2通过简单架构和增强元训练，在极小计算量下实现了高效通用学习更新规则，稳定扩展至大规模预训练任务并兼容现代优化工具。

Comments ICLR 2026

Synthesizing Multimodal Geometry Datasets from Scratch and Enabling Visual Alignment via Plotting Code

从零开始合成多模态几何数据集并借助绘图代码实现视觉对齐

Haobo Lin, Tianyi Bai, Chen Chen, Jiajun Zhang, Bohan Zeng, Wentao Zhang, Binhang Yuan

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 本文提出GeoCode数据集，通过代码预测实现视觉对齐，提升多模态几何推理性能。

Comments 58 pages, 10 figures

RoboCurate: Harnessing Diversity with Action-Verified Neural Trajectory for Robot Learning

RoboCurate: 利用动作验证的神经轨迹 harnessing 多样性以促进机器人学习

Seungku Kim, Suhyeok Jang, Byungjun Yoon, Dongyoung Kim, John Won, Jinwoo Shin

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 RoboCurate通过动作验证的神经轨迹和图像编辑技术，提升机器人学习中合成数据的质量和多样性，显著提高任务成功率。

Comments 20 pages; 6 figures; Project page is available at https://seungkukim.github.io/robocurate/

From Weak Labels to Strong Results: Utilizing 5,000 Hours of Noisy Classroom Transcripts with Minimal Accurate Data

从弱标签到强结果：利用5000小时的嘈杂课堂转录文本与少量准确数据

Ahmed Adel Attia, Dorottya Demszky, Jing Liu, Carol Espy-Wilson

机构 * Graduate School of Education（教育研究生院） ； College of Education（教育学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL

AI总结 本文提出弱监督预训练方法，通过利用大量廉价弱转录文本和少量准确数据，提升低资源环境下课堂语音识别的性能。

Zero-shot Multi-Contrast Brain MRI Registration by Intensity Randomizing T1-weighted MRI (LUMIR25)

无监督多对比脑MRI配准：通过强度随机化T1加权MRI（LUMIR25）

Hengjie Liu, Yimeng Dou, Di Xu, Xinyi Fu, Dan Ruan, Ke Sheng

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 本文提出了一种基于强度随机化的多对比度脑MRI配准方法，通过多模态损失、强度随机化和轻量级优化策略，在无需显式图像合成的情况下实现了跨对比度的稳健泛化。

Comments Submitted to and reviewed by Learn2Reg MICCAI 2025

The Intricate Dance of Prompt Complexity, Quality, Diversity, and Consistency in T2I Models

提示复杂性、质量、多样性与一致性在T2I模型中的微妙舞蹈

Zhang Xiaofeng, Aaron Courville, Michal Drozdzal, Adriana Romero-Soriano

机构 * FAIR at Meta - Montréal（Meta - Montréal 的 FAIR） ； Mila - Québec AI Institute（魁北克 AI 院） ； McGill University（麦吉尔大学） ； Canada CIFAR AI Chair（加拿大 CIFAR 人工智能 chair） 纠错

专题命中 预训练与数据 ：language model(abstract)

AI总结 本文研究了提示复杂性对T2I模型生成数据质量、多样性和一致性的影响，提出新的评估框架并发现提示扩展在生成多样性与美观性上优于真实数据。

Comments accepted to ICLR 2026