语言大模型 / LLM

Demystifying Group Relative Policy Optimization: Its Policy Gradient is a U-Statistic

解开群体相对策略优化：其策略梯度是U统计量

Hongyi Zhou, Kai Ye, Erhan Xu, Jin Zhu, Ying Yang, Shijin Gong, Chengchun Shi

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文通过经典U统计量框架解析GRPO，证明其策略梯度本质为U统计量，推导其MSE、有限样本误差界及渐近分布，揭示GRPO渐近等价于拥有价值函数的最优策略梯度算法，并建立通用缩放规律指导最优分组大小选择。

Comments 5 pages, 53 figures

MUTANT: A Recipe for Multilingual Tokenizer Design

MUTANT：多语言分词设计的配方

Souvik Rana, Arul Menezes, Ashish Kulkarni, Chandra Khatri, Shubham Agarwal

机构 * Krutrim AI 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出MUTANT多语言分词方法，通过精心设计词汇和训练数据、语言感知预分词和子词多词感知训练，提升多语言LLM的分词效果，MUTANT-Indic在22种印度语言上实现SOTA性能。

Exploring NLP Benchmarks in an Extremely Low-Resource Setting

在极低资源环境下探索NLP基准测试

Ulin Nuha, Adam Jatowt

机构 * National Kaohsiung University of Science and Technology（高雄科技大学） ； University of Innsbruck（因斯布鲁克大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文针对濒危罗曼语Ladin的Val Badia变体，利用少量平行语料生成合成数据集，提升低资源环境下的情感分析和多项选择问答性能，提供首个公开可用的Ladin数据集。

Comments The Association for Computational Linguistics: EACL 2026

Predictive Scaling Laws for Efficient GRPO Training of Large Reasoning Models

为高效训练大推理模型的预测缩放定律

Datta Nimmaturi, Vaishnavi Bhargava, Rajat Ghosh, Johnu George, Debojyoti Dutta

机构 * Nutanix 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出预测框架，通过实验推导出基于模型大小、初始性能和训练进度的经验缩放定律，识别三个训练阶段并建议提前停止以减少计算量。

Continually self-improving AI

持续自我改进的AI

Zitong Yang

机构 * STANFORD UNIVERSITY（斯坦福大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本文提出三种方法，通过合成数据提升知识获取效率，减少对人类数据的依赖，并超越人类设计的训练范式，实现持续自我改进的AI。

Comments PhD thesis

DebugLM: Learning Traceable Training Data Provenance for LLMs

DebugLM: 为大语言模型学习可追溯的训练数据来源

Wenjie Jacky Mo, Qin Liu, Xiaofei Wen, Wenxuan Zhou, Zhe Zhao, Muhao Chen

机构 * University of California, Davis（加州大学戴维斯分校） ； University of Southern California（南加州大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 DebugLM通过内置数据溯源能力，使LLM能追溯行为来源，支持测试时针对性修复，提升调试效率和模型鲁棒性。

Automated stance detection in complex topics and small languages: the challenging case of immigration in polarizing news media

复杂主题和小语言中的自动化立场检测：极化新闻媒体中移民问题的挑战性案例

Mark Mets, Andres Karjus, Indrek Ibrus, Maximilian Schich

机构 * School of Humanities, Tallinn University, Estonia（塔林大学人文学科学院，爱沙尼亚） ； Baltic Film, Media and Arts School, Tallinn University, Estonia（巴尔蒂克电影、媒体与艺术学院，塔林大学，爱沙尼亚） ； ERA Chair for Cultural Data Analytics, Tallinn University, Estonia（塔林大学文化数据分析埃拉教席，爱沙尼亚） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文探讨了在形态复杂、低资源语言和复杂社会文化主题下，使用大语言模型进行自动化立场检测的可行性，通过对比多种语言模型和ChatGPT的表现，展示了其在新闻分析中的应用潜力。

Journal ref Plos one, 19(4), e0302380 (2024)

Time Tracker: Mixture-of-Experts-Enhanced Foundation Time Series Forecasting Model with Decoupled Training Pipelines

时间追踪：混合专家增强的基础时间序列预测模型与解耦训练流水线

Aobo Liang, Yan Sun, Xiaohou Shi, Ke Li

机构 * School of Computer Science (National Pilot Software Engineering School)（计算机学院（国家级试点软件工程学院）） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； China Telecom Research Institute（中国电信研究院） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出Time Tracker模型，通过稀疏混合专家和Any-variate Attention处理多变量时间序列，提升预测精度和泛化能力。

Towards the Vision-Sound-Language-Action Paradigm: The HEAR Framework for Sound-Centric Manipulation

迈向视觉-声音-语言-动作范式：用于以声音为中心的操作的HEAR框架

Chang Nie, Tianchen Deng, Guangming Wang, Zhe Liu, Hesheng Wang

机构 * School of Automation and Intelligent Sensing, Shanghai Jiao Tong University and Shanghai Key Laboratory of Navigation and Location Based Services（自动化与智能感知学院，上海交通大学，导航与基于位置的服务重点实验室） ； Department of Engineering, Cambridge University（工程系，剑桥大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本文提出HEAR框架，通过整合声音、视觉、语言和本体感知，解决实时声音中心操作中的关键声音遗漏问题，强调因果持续性和显式时间学习的重要性。

POLAR:A Per-User Association Test in Embedding Space

POLAR：嵌入空间中的用户级关联测试

Pedro Bento, Arthur Buzelin, Arthur Chagas, Yan Aquino, Victoria Estanislau, Samira Malaquias, Pedro Robles Dutenhefner, Gisele L. Pappa, Virgilio Almeida, Wagner MeiraJr

专题命中 预训练与数据 ：LLM(abstract)；language model(abstract)；分类 cs.CL

AI总结 POLAR在嵌入空间中进行用户级词汇关联测试，通过定制化的词汇轴评估作者差异，区分LLM驱动的机器人与真实账号，并揭示极端论坛中词汇偏移趋势。

Comments Accepted paper at ICWSM 2026

LLMs as Repositories of Factual Knowledge: Limitations and Solutions

大型语言模型作为事实知识库：局限性与解决方案

Seyed Mahed Mousavi, Simone Alghisi, Giuseppe Riccardi

机构 * Signals and Interactive Systems Lab, Department of Information Engineering and Computer Science, University of Trento（信号与交互系统实验室，信息工程与计算机科学系，特伦托大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文研究了LLM作为事实知识库的适用性，评估了24种先进LLM在时间敏感事实问题中的准确性和一致性，并提出ENAF方法以提升响应稳定性。

The Impact of Ideological Discourses in RAG: A Case Study with COVID-19 Treatments

检索增强生成中意识形态话语的影响：以新冠治疗方案为例

Elmira Salari, Maria Claudia Nunes Delfino, Hazem Amamou, José Victor de Souza, Shruti Kshirsagar, Alan Davoust, Anderson Avila

机构 * Wichita State University（威斯康星州立大学） ； Pontifícia Universidade Católica de São Paulo（圣保罗天主教大学） ； Institut national de la recherche scientifique（国家科学研究中心） ； Université du Québec en Outaouais（魁北克大学Outaouais） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文研究检索到的意识形态文本对大语言模型输出的影响，通过新冠治疗方案案例，探讨意识形态在RAG框架中的识别与影响，揭示意识形态偏见与潜在风险。

From Specification to Architecture: A Theory Compiler for Knowledge-Guided Machine Learning

从规范到架构：一种知识引导机器学习的理论编译器

Asela Hevapathige, Yu Xia, Sachith Seneviratne, Saman Halgamuge

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出理论编译器，通过形式化领域理论自动生成架构，确保函数空间与理论一致。解决三大开放问题：通用理论语言设计、编译算法构建、形式验证标准建立。

The Institutional Scaling Law: Non-Monotonic Fitness, Capability-Trust Divergence, and Symbiogenetic Scaling in Generative AI

机构规模定律：非单调适应度、能力-信任分歧与共生式规模在生成AI中的体现

Mark Baciak, Thomas A. Cellucci

专题命中 预训练与数据 ：post-training(abstract)；RLHF(abstract)；分类 cs.AI

AI总结 本文提出机构规模定律，揭示机构适应度非单调随模型规模变化，证明能力与信任在临界规模后正式分歧，并展示领域特定模型的协同系统在特定环境中优于前沿通用模型。

Larger Datasets Can Be Repeated More: A Theoretical Analysis of Multi-Epoch Scaling in Linear Regression

更大的数据集可以重复更多次：线性回归中多轮缩放的理论分析

Tingkai Yan, Haodong Wen, Binghui Li, Kairong Luo, Wenguang Chen, Kaifeng Lyu

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文理论分析了在线性回归中，通过多次训练同一数据集的常见方法如何改变数据缩放规律。研究发现，当训练轮数K较小时，数据有效重复率E(K,N)近似为K，而随着K增加，E(K,N)趋于一个随数据规模N增长的值。

Assessing Cognitive Biases in LLMs for Judicial Decision Support: Virtuous Victim and Halo Effects

评估大语言模型在司法决策支持中的认知偏差：善良的受害者效应和光环效应

Sierra S. Liu

机构 * Sierra S. Liu 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究评估大语言模型在司法决策支持中的认知偏差，发现善良受害者效应和光环效应存在差异，部分偏差在人类和模型间有显著差异。

Comments IEEE ICDM 2025

DEO: Training-Free Direct Embedding Optimization for Negation-Aware Retrieval

DEO：无训练直接嵌入优化用于否定感知检索

Taegyeong Lee, Jiwon Park, Seunghyun Hwang, JooYoung Jang

机构 * Department of Industrial Engineering, Hanyang University（工业工程系，翰阳大学） ； Department of Applied Data Science, Sungkyunkwan University（应用数据科学系，成均馆大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 DEO通过无训练的直接嵌入优化方法，提升了否定和排除感知检索的性能，尤其在多模态检索中表现突出。

VistaWise: Building Cost-Effective Agent with Cross-Modal Knowledge Graph for Minecraft

VistaWise: 构建低成本代理的跨模态知识图谱用于Minecraft

Honghao Fu, Junlong Ren, Qi Chai, Deheng Ye, Yujun Cai, Hao Wang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； University of Queensland（昆士兰大学） ； Tencent（腾讯） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 VistaWise通过整合跨模态知识图谱和专用模型，实现低成本、高效率的Minecraft代理构建。

Comments Accepted by EMNLP 2025 main

Adaptive Collaboration with Humans: Metacognitive Policy Optimization for Multi-Agent LLMs with Continual Learning

适应性协作与人类：多智能体大语言模型的元认知策略优化与持续学习

Wei Yang, Defu Cao, Jiacheng Pang, Muyan Weng, Yan Liu

机构 * University of Southern California（南加州大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 HILA框架通过元认知策略优化与持续学习，实现多智能体与人类的协同协作，提升复杂任务处理能力。

Resource-Adaptive Federated Text Generation with Differential Privacy

具有差分隐私的资源自适应联邦文本生成

Jiayi Wang, John Gounley, Heidi Hanson

机构 * Oak Ridge National Laboratory（奥克伍德国家实验室） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出了一种资源自适应的联邦文本生成框架，通过差分隐私机制和轻量级投票机制，提升在计算异质性和隐私保护下的分布对齐和下游任务鲁棒性。

Comments Accepted by DATA-FM workshop @ ICLR 2026

Vision-Zero: Scalable VLM Self-Improvement via Strategic Gamified Self-Play

Vision-Zero: 通过战略化游戏化自play实现可扩展的VLM自改进

Qinsi Wang, Bo Liu, Tianyi Zhou, Jing Shi, Yueqian Lin, Yiran Chen, Hai Helen Li, Kun Wan, Wentian Zhao

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Vision-Zero通过战略化游戏化自play框架，实现无标注数据下的多模态模型自改进，提升推理与跨领域任务性能。

Comments ICLR 2026

UniG2U-Bench: Do Unified Models Advance Multimodal Understanding?

UniG2U-Bench: 统一模型是否能提升多模态理解？

Zimo Wen, Boxiu Li, Wanbo Zhang, Junxiang Lei, Xiaoyu Chen, Yijia Fan, Qi Zhang, Yujiang Wang, Lili Qiu, Bo Li, Ziwei Liu, Caihua Shan, Yifan Yang, Yifei Shen

机构 * Microsoft Research Asia（微软亚洲研究院） ； Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） ； Fudan University（复旦大学） ； University of Oxford（牛津大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 UniG2U-Bench通过系统评估生成到理解的任务，揭示统一模型在多模态理解中的局限性和改进方向。

Video TokenCom: Textual Intent-Guided Multi-Rate Video Token Communications with UEP-Based Adaptive Source-Channel Coding

视频令牌通信：基于UEP的自适应源信道编码的文本意图引导多速率视频令牌通信

Jingxuan Men, Mahdi Boloursaz Mashhadi, Ning Wang, Yi Ma, Mike Nilsson, Rahim Tafazolli

机构 * GIC & 6GIC, Institute for Communication Systems (ICS), University of Surrey（5GIC与6GIC，通信系统研究所（ICS），塞夫尔大学） ； Smart Internet Lab, University of Bristol（智能互联网实验室，布里斯托尔大学） ； British Telecom Research Lab, BT Group plc（英国电信研究实验室，BT集团） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出基于UEP的自适应源信道编码的视频令牌通信框架，通过文本意图引导的多速率视频通信提升语义保真度和传输效率。

Estimating Dimensionality of Neural Representations from Finite Samples

从有限样本估计神经表示的维度

Chanwoo Chun, Abdulkadir Canatar, SueYeon Chung, Daniel Lee

机构 * Harvard University（哈佛大学） ； New York University（纽约大学） ； Flatiron Institute（Flatiron研究所） ； Cornell Tech（康奈尔科技） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出了一种偏倚校正估计器，用于从有限样本中准确估计神经表示的维度，并展示了其在生物神经记录和语言模型中的应用。

Adversarially Pretrained Transformers May Be Universally Robust In-Context Learners

对抗性预训练的Transformer可能成为普遍稳健的上下文学习者

Soichiro Kumano, Hiroshi Kera, Toshihiko Yamasaki

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本研究提出对抗性预训练的Transformer可作为普遍稳健的基础模型，通过上下文学习实现对多种下游任务的稳健泛化。

Comments ICLR26

Towards Better RL Training Data Utilization via Second-Order Rollout

通过二次回滚实现更好的RL训练数据利用

Zhe Yang, Yudong Wang, Rang Li, Zhifang Sui

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机学院，北京大学） ； ByteDance BandAI（字节跳动BandAI） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出通过二次回滚提升RL训练数据利用效率，联合训练生成与批判能力，实验表明在相同数据下性能更优，并揭示标签平衡与噪声问题的解决方法。

ÜberWeb: Insights from Multilingual Curation for a 20-Trillion-Token Dataset

ÜberWeb: 多语言编纂对20万亿token数据集的洞察

DatologyAI, :, Aldo Gael Carranza, Kaleigh Mentzer, Ricardo Pio Monti, Alex Fang, Alvin Deng, Amro Abbas, Anshuman Suri, Brett Larsen, Cody Blakeney, Darren Teh, David Schwab, Diego Kiner, Fan Pan, Haakon Mongstad, Haoli Yin, Jack Urbanek, Jason Lee, Jason Telanoff, Josh Wills, Luke Merrick, Maximilian Böther, Parth Doshi, Paul Burstein, Pratyush Maini, Rishabh Adiga, Siddharth Joshi, Spandan Das, Tony Jiang, Vineeth Dorna, Zhengping Wang, Bogdan Gaza, Ari Morcos, Matthew Leavitt

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 通过多语言数据编纂优化20万亿token数据集，显著提升多语言模型性能并降低计算需求。

DWA-KD: Dual-Space Weighting and Time-Warped Alignment for Cross-Tokenizer Knowledge Distillation

DWA-KD：双空间加权与时间扭曲对齐用于跨分词器知识蒸馏

Duc Trung Vu, Pham Khanh Chi, Dat Phi Van, Linh Ngo Van, Sang Dinh, Trung Le

机构 * Hanoi University of Science and Technology（河内科学技术大学） ； University of Monash（莫纳什大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 DWA-KD通过双空间加权和时间扭曲对齐提升跨分词器知识蒸馏效果，实现更精确的词级和序列级对齐。

Comments EACL Findings

BabyLM Turns 4 and Goes Multilingual: Call for Papers for the 2026 BabyLM Workshop

BabyLM四周年暨多语言研究：2026年BabyLM研讨会征文通知

Leshem Choshen, Ryan Cotterell, Mustafa Omer Gul, Jaap Jumelet, Tal Linzen, Aaron Mueller, Suchir Salhan, Raj Sanjay Shah, Alex Warstadt, Ethan Gotlieb Wilcox

机构 * IBM Research（IBM研究院） ； MIT（麻省理工学院） ； ETH Zürich（苏黎世联邦理工学院） ； Cornell University（康奈尔大学） ； University of Groningen（格罗宁根大学） ； NYU（纽约大学） ； Boston University（波士顿大学） ； University of Cambridge（剑桥大学） ； Georgia Tech（佐治亚理工学院） ； UC San Diego（南加州大学） ； Georgetown University（乔治城大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 BabyLM研讨会征文通知，聚焦多语言预训练与认知建模，包含训练效率、小规模数据集、模型评估等主题

Comments 8 pages, 1 table. arXiv admin note: substantial text overlap with arXiv:2502.10645

Satellite-Based Detection of Looted Archaeological Sites Using Machine Learning

基于卫星的考古遗址盗掘检测使用机器学习

Girmaw Abebe Tadesse, Titien Bartette, Andrew Hassanali, Allen Kim, Jonathan Chemla, Andrew Zolli, Yves Ubelmann, Caleb Robinson, Inbal Becker-Reshef, Juan Lavista Ferres

机构 * Microsoft AI for Good Research Lab（微软AI for Good研究实验室） ； Iconem ； Planet Labs PBC（Planet Labs公司） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 利用机器学习和卫星图像检测考古遗址盗掘，通过CNN和传统ML方法对比，实现高精度识别