语言大模型 / LLM

Multilingual Large Language Models do not comprehend all natural languages to equal degrees

多语言大语言模型并非对所有自然语言有同等的理解能力

Natalia Moskvina, Raquel Montero, Masaya Yoshida, Ferdy Hubers, Paolo Morosi, Walid Irhaymi, Jin Yan, Tamara Serrano, Elena Pagliarini, Fritz Günther, Evelina Leivada

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究发现多语言大模型在不同语言上的理解能力存在差异，英语并非表现最佳，部分罗曼语系语言表现更优。

Comments 36 pages, 3 figures, 2 tables, 4 supplementary tables

Entropy in Large Language Models

大语言模型中的熵

Marco Scharringhausen

机构 * Carl von Ossietzky Universität Oldenburg（奥尔登堡卡尔·冯·奥西特齐克大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本研究比较了大语言模型与自然语言的词熵，发现LLM的词熵低于自然口语，旨在评估LLM训练数据对信息和不确定性的影响。

Comments 7 pages, 2 figures, 3 tables

Beyond a Single Extractor: Re-thinking HTML-to-Text Extraction for LLM Pretraining

超越单一提取器：重新思考用于LLM预训练的HTML到文本提取

Jeffrey Li, Josh Gardner, Doug Kang, Fangping Shi, Karanjeet Singh, Chun-Liang Li, Herumb Shandilya, David Hall, Oncel Tuzel, Percy Liang, Ludwig Schmidt, Hadi Pour Ansari, Fartash Faghri

机构 * Apple（苹果公司） ； Stanford（斯坦福大学） ； University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出通过结合多种提取器提升HTML到文本提取的效率与效果，显著提高LLM预训练数据的token产出并改善下游任务性能。

Transport and Merge: Cross-Architecture Merging for Large Language Models

传输与合并：面向大语言模型的跨架构合并

Chenhang Cui, Binyun Yang, Fei Shen, Yuxin Chen, Jingnan Zheng, Xiang Wang, An Zhang, Tat-Seng Chua

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于最优传输的跨架构合并框架，实现从高资源模型到低资源模型的有效知识转移。

Scaling Laws Revisited: Modeling the Role of Data Quality in Language Model Pretraining

再论缩放定律：建模数据质量在语言模型预训练中的作用

Anirudh Subramanyam, Yuxin Chen, Robert L. Grossman

机构 * Center for Translational Data Science（转化数据科学中心） ； Department of Computer Science（计算机科学系） ； Department of Medicine（医学系） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.LG

AI总结 本文提出了一种考虑数据质量的缩放定律，通过实验展示了高质量数据可减少模型规模和计算需求。

Comments 21 pages, 5 figures

Journal ref International Conference on Learning Representations (ICLR) 2026

The Algorithmic Unconscious: Structural Mechanisms and Implicit Biases in Large Language Models

算法无意识：大型语言模型中的结构机制与隐性偏见

Philippe Boisnard

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文探讨了大型语言模型中结构性机制与隐性偏见，揭示了分词、注意力等机制对偏见的影响，并提出技术诊所框架以促进AI基础设施的批判性利用。

Comments 18 pages, 5 figures, Extended version of a paper presented at the international conference 'Artificial Intelligence and Transformations of Information' (LOGOS/FLSH, Hassan II University of Casablanca, Morocco, December 2025), accepted for publication in LOGOS after double-blind peer review

Learning to Detect Language Model Training Data via Active Reconstruction

通过主动重建学习检测语言模型训练数据

Junjie Oscar Yin, John X. Morris, Vitaly Shmatikov, Sewon Min, Hannaneh Hajishirzi

机构 * University of Washington（华盛顿大学） ； Cornell University（康奈尔大学） ； Allen Institute for Artificial Intelligence（人工智能研究院） 纠错

专题命中 预训练与数据 ：language model(title)；LLM(abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出主动数据重建攻击方法，通过强化学习主动诱导模型重建文本以检测语言模型训练数据，实验表明其在检测预训练、后训练和蒸馏数据方面表现优于现有方法。

Fast Catch-Up, Late Switching: Optimal Batch Size Scheduling via Functional Scaling Laws

快速追上，后期切换：通过函数缩放定律进行最优批量大小调度

Jinbo Wang, Binghui Li, Zhanpeng Zhou, Mingze Wang, Yuxuan Sun, Jiaqi Zhang, Xunliang Cai, Lei Wu

机构 * School of Mathematical Sciences, Peking University（北京大学数学科学学院） ； Center for Machine Learning Research, Peking University（北京大学机器学习研究中心） ； School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（中国科学技术大学认知智能国家重点实验室） ； Meituan, Beijing（美团（北京）） ； AI for Science Institute, Beijing（北京人工智能科学研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文通过函数缩放定律揭示了大规模深度学习中最优批量大小调度的理论机制，表明在困难任务中后期切换大批次可提升效率并减少数据消耗。

Comments 34 pages, accepted by ICLR 2026 as a conference paper

Improving Reliability of Machine Learned Interatomic Potentials With Physics-Informed Pretraining

通过物理指导预训练提升机器学习互原子势的可靠性

Qianyu Zheng, Victor Fung

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 通过物理指导预训练提升机器学习互原子势的可靠性，提高预测准确性和MD稳定性。

Measuring Validity in LLM-based Resume Screening

基于LLM的简历筛选有效性测量

Jane Castleman, Zeyu Shen, Blossom Metevier, Max Springer, Aleksandra Korolova

专题命中 预训练与数据 ：LLM(title,abstract)

AI总结 本文提出了一种系统方法，用于测量LLM在简历筛选中的有效性，揭示了多种模型在选择合格候选人时的不一致性及潜在偏见问题。

LAPIS: Lightweight API Specification for Intelligent Systems

LAPIS：轻量级智能系统API规范

Daniel Garcia

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 LAPIS是一种为LLM优化的轻量级API规范格式，通过减少token使用并保留语义信息，提升智能系统对API的处理效率。

DeepInnovator: Triggering the Innovative Capabilities of LLMs

DeepInnovator: 激发大语言模型的创新能力

Tianyu Fan, Fengji Zhang, Yuxiang Zheng, Bei Chen, Xinyao Niu, Chengen Huang, Junyang Lin, Chao Huang

机构 * The University of Hong Kong（香港大学） ； City University of Hong Kong（城市大学） ； Shanghai Jiao Tong University（上海交通大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 DeepInnovator通过自动化数据提取和猜想与反驳训练范式，提升大语言模型的创新能力，实现显著优于基线的创新想法生成性能。

Satellite-Based Detection of Looted Archaeological Sites Using Machine Learning

基于卫星的考古遗址盗掘检测使用机器学习

Girmaw Abebe Tadesse, Titien Bartette, Andrew Hassanali, Allen Kim, Jonathan Chemla, Andrew Zolli, Yves Ubelmann, Caleb Robinson, Inbal Becker-Reshef, Juan Lavista Ferres

机构 * Microsoft AI for Good Research Lab（微软AI for Good研究实验室） ； Iconem ； Planet Labs PBC（Planet Labs公司） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 利用机器学习和卫星图像检测考古遗址盗掘，通过CNN和传统ML方法对比，实现高精度识别

Diffusion Trajectory-guided Policy for Long-horizon Robot Manipulation

用于长时程机器人操作的扩散轨迹引导策略

Shichao Fan, Quantao Yang, Yajie Liu, Kun Wu, Zhengping Che, Qingjie Liu, Min Wan

机构 * School of Mechanical Engineering and Automation, BeiHang University（机械工程与自动化学院，北航） ； School of Computer Science and Engineering, BeiHang University（计算机科学与工程学院，北航） ； Beijing Innovation Center of Humanoid Robotics（人形机器人创新中心） ； Division of Robotics, Perception and Learning (RPL), KTH Royal Institute of Technology（机器人、感知与学习 division，皇家理工学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)

AI总结 本文提出DTP框架，通过生成轨迹减少模仿学习中的误差累积，提升长时程机器人任务的性能。

Comments 8 pages, 5 figures, accepted to IEEE Robotics and Automation Letters (RAL)

Journal ref IEEE Robotics and Automation Letters (Volume: 10, Issue: 12, December 2025)

Celo2: Towards Learned Optimization Free Lunch

Celo2：迈向无学习优化的免费午餐

Abhinav Moudgil, Boris Knyazev, Eugene Belilovsky

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 Celo2通过简单架构和增强元训练，在极小计算量下实现了高效通用学习更新规则，稳定扩展至大规模预训练任务并兼容现代优化工具。

Comments ICLR 2026

Synthesizing Multimodal Geometry Datasets from Scratch and Enabling Visual Alignment via Plotting Code

从零开始合成多模态几何数据集并借助绘图代码实现视觉对齐

Haobo Lin, Tianyi Bai, Chen Chen, Jiajun Zhang, Bohan Zeng, Wentao Zhang, Binhang Yuan

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 本文提出GeoCode数据集，通过代码预测实现视觉对齐，提升多模态几何推理性能。

Comments 58 pages, 10 figures

RoboCurate: Harnessing Diversity with Action-Verified Neural Trajectory for Robot Learning

RoboCurate: 利用动作验证的神经轨迹 harnessing 多样性以促进机器人学习

Seungku Kim, Suhyeok Jang, Byungjun Yoon, Dongyoung Kim, John Won, Jinwoo Shin

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 RoboCurate通过动作验证的神经轨迹和图像编辑技术，提升机器人学习中合成数据的质量和多样性，显著提高任务成功率。

Comments 20 pages; 6 figures; Project page is available at https://seungkukim.github.io/robocurate/

From Weak Labels to Strong Results: Utilizing 5,000 Hours of Noisy Classroom Transcripts with Minimal Accurate Data

从弱标签到强结果：利用5000小时的嘈杂课堂转录文本与少量准确数据

Ahmed Adel Attia, Dorottya Demszky, Jing Liu, Carol Espy-Wilson

机构 * Graduate School of Education（教育研究生院） ； College of Education（教育学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL

AI总结 本文提出弱监督预训练方法，通过利用大量廉价弱转录文本和少量准确数据，提升低资源环境下课堂语音识别的性能。

Zero-shot Multi-Contrast Brain MRI Registration by Intensity Randomizing T1-weighted MRI (LUMIR25)

无监督多对比脑MRI配准：通过强度随机化T1加权MRI（LUMIR25）

Hengjie Liu, Yimeng Dou, Di Xu, Xinyi Fu, Dan Ruan, Ke Sheng

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 本文提出了一种基于强度随机化的多对比度脑MRI配准方法，通过多模态损失、强度随机化和轻量级优化策略，在无需显式图像合成的情况下实现了跨对比度的稳健泛化。

Comments Submitted to and reviewed by Learn2Reg MICCAI 2025

The Intricate Dance of Prompt Complexity, Quality, Diversity, and Consistency in T2I Models

提示复杂性、质量、多样性与一致性在T2I模型中的微妙舞蹈

Zhang Xiaofeng, Aaron Courville, Michal Drozdzal, Adriana Romero-Soriano

机构 * FAIR at Meta - Montréal（Meta - Montréal 的 FAIR） ； Mila - Québec AI Institute（魁北克 AI 院） ； McGill University（麦吉尔大学） ； Canada CIFAR AI Chair（加拿大 CIFAR 人工智能 chair） 纠错

专题命中 预训练与数据 ：language model(abstract)

AI总结 本文研究了提示复杂性对T2I模型生成数据质量、多样性和一致性的影响，提出新的评估框架并发现提示扩展在生成多样性与美观性上优于真实数据。

Comments accepted to ICLR 2026

The Curse of Depth in Large Language Models

深度在大语言模型中的诅咒

Wenfang Sun, Xinyuan Song, Pengxiang Li, Lu Yin, Yefeng Zheng, Shiwei Liu

机构 * Westlake University（西湖大学） ； Emory University（埃默里大学） ； Dalian University of Technology（大连理工大学） ； University of Surrey（萨里大学） ； University of Oxford（牛津大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LayerNorm Scaling方法，通过缩放输出方差缓解深度诅咒，提升大语言模型的预训练和微调性能。

Comments Accepted by NeurIPS 2025

Personalized Prediction of Perceived Message Effectiveness Using Large Language Model Based Digital Twins

基于大型语言模型的数字孪生个性化预测感知信息有效性

Jasmin Han, Janardan Devkota, Joseph Waring, Amanda Luken, Felix Naughton, Roger Vilardaga, Jonathan Bricker, Carl Latkin, Meghan Moran, Yiqun Chen, Johannes Thrul

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本研究利用LLM基于数字孪生方法提升戒烟信息个性化预测效果，实现更精准的mHealth干预内容定制。

Comments 31 pages, 5 figures, submitted to Journal of the American Medical Informatics Association (JAMIA). Drs. Chen and Thrul share last authorship

ReHear: Iterative Pseudo-Label Refinement for Semi-Supervised Speech Recognition via Audio Large Language Models

ReHear：基于音频大语言模型的迭代伪标签细化方法用于半监督语音识别

Zefang Liu, Chenyang Zhu, Sangwoo Cho, Shi-Xiong Zhang

机构 * Capital One, USA（Capital One公司） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 ReHear通过整合音频感知大语言模型实现伪标签迭代细化，有效缓解半监督语音识别中的误差传播问题。

TROLL: Trust Regions improve Reinforcement Learning for Large Language Models

TROLL：通过信任区域改进大型语言模型的强化学习

Philipp Becker, Niklas Freymuth, Serge Thilges, Fabian Otto, Gerhard Neumann

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 TROLL通过引入基于信任区域的离散可微投影，改进了大型语言模型的强化学习训练，提升了训练速度、稳定性和最终成功率。

Comments Published as a conference paper at ICLR 2026

Test-Time Computing for Referring Multimodal Large Language Models

测试时计算用于指代多模态大语言模型

Mingrui Wu, Hao Chen, Jiayi Ji, Xiaoshuai Sun, Zhiyuan Liu, Liujuan Cao, Ming-Ming Cheng, Rongrong Ji

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（多媒体可信感知与高效计算重点实验室，中国教育部，厦门大学） ； VCIP, CS, Nankai University（VCIP，计算机科学，南开大学） ； Tsinghua University（清华大学） ； Zhongguancun Academy, Beijing, China（中关村学院，北京，中国） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)

AI总结 ControlMLLM++通过注入可学习的视觉提示实现多模态大语言模型的测试时适应，提升细粒度视觉推理能力。

Comments arXiv admin note: substantial text overlap with arXiv:2407.21534

Whisper: Courtside Edition Enhancing ASR Performance Through LLM-Driven Context Generation

Whisper：球场版通过LLM驱动的上下文生成提升ASR性能

Yonathan Ron, Shiri Gilboa, Tammuz Dubnov

机构 * Reichman University（里奇曼大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 Whisper：球场版通过LLM驱动的上下文生成提升ASR性能，实现17%的词错误率降低。

Astra: Activation-Space Tail-Eigenvector Low-Rank Adaptation of Large Language Models

Astra: 大语言模型激活空间尾特征值低秩适应

Kainan Liu, Yong Zhang, Ning Cheng, Yun Zhu, Yanmeng Wang, Shaojun Wang, Jing Xiao

机构 * Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL

AI总结 Astra通过利用模型输出激活的尾特征向量构建低秩适配器，实现了更高效的参数高效微调，提升了下游任务性能。

Comments 22 pages, 10 figures

ViLBias: Detecting and Reasoning about Bias in Multimodal Content

ViLBias：检测和推理解多模态内容中的偏见

Shaina Raza, Caesar Saleh, Azib Farooq, Emrul Hasan, Franklin Ogidi, Haad Zahid, Maximus Powers, Marcelo Lotif, Anam Zahid, Karanpal Sekhon, Veronica Chatrath, Roya Javedi, Vahid Reza Khazaie, Zhenyu Yu

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 ViLBias通过多模态基准检测新闻中的偏见，利用LLM和VLMs提升推理准确率和忠实度，参数高效方法能恢复大部分微调性能。

Comments Under review

Shop-R1: Rewarding LLMs to Simulate Human Behavior in Online Shopping via Reinforcement Learning

Shop-R1: 通过强化学习奖励大语言模型模拟在线购物中的人类行为

Yimeng Zhang, Tian Wang, Jiri Gesi, Ziyi Wang, Yuxuan Lu, Jiacheng Lin, Sinong Zhan, Vianne Gao, Ruochen Jiao, Junze Liu, Kun Qian, Yuxin Tang, Ran Xue, Houyu Zhang, Qingjun Cui, Yufan Guo, Dakuo Wang

机构 * Michigan State University（密歇根州立大学） ； Amazon（亚马逊） ； Northeastern University（东北大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Northwestern University（西北大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 Shop-R1通过强化学习框架提升大语言模型在在线购物场景中模拟人类行为的推理能力，实现65%以上的性能提升。

Comments Accepted by ICLR 2026. The project page is available at https://damon-demon.github.io/shop-r1.html

JEF-Hinter: Leveraging Offline Knowledge for Improving Web Agents Adaptation

利用离线知识提升网络代理适应性的JEF-Hinter

Hadi Nekoei, Aman Jaiswal, Patrice Bechard, Oleh Shliazhko, Orlando Marquez Ayala, Mathieu Reymond, Massimo Caccia, Alexandre Drouin, Sarath Chandar, Alexandre Lacoste

机构 * ServiceNow AI Research（ServiceNow AI研究机构） ； Chandar Research Lab（Chandar研究实验室） ； Mila -- Quebec AI Institute（魁北克人工智能研究院） ； Dalhousie University（达尔豪斯大学） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 JEF-Hinter通过提炼离线轨迹生成上下文感知提示，提升网络代理在陌生领域的适应能力，实验显示其优于多种基线方法。