语言大模型 / LLM

Retrieval Augmented Time Series Forecasting

检索增强的时间序列预测

Kutay Tire, Ege Onur Taga, Muhammed Emrullah Ildiz, Samet Oymak

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of Michigan, Ann Arbor（密歇根大学安娜堡分校） 纠错

专题命中 预训练与数据 ：LLM(abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出检索增强预测框架RAF，用于提升时间序列预测的准确性，尤其在大规模模型中效果更显著。

InfoTok: Information-Theoretic Regularization for Capacity-Constrained Shared Visual Tokenization in Unified MLLMs

InfoTok: 基于信息理论的容量受限共享视觉标记化在统一多模态大语言模型中的应用

Lv Tang, Tianyi Zheng, Bo Li, Xingyu Li

机构 * University of Alberta（阿尔伯塔大学） ； vivo Mobile Communication Co., Ltd（维沃移动通信有限公司） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出InfoTok，一种基于信息瓶颈原理的信息正则化标记化机制，通过互信息约束平衡压缩与任务相关性，提升统一多模态大语言模型的图像理解和生成性能。

BidirLM: From Text to Omnimodal Bidirectional Encoders by Adapting and Composing Causal LLMs

BidirLM：通过适应和组合因果语言模型实现从文本到多模态双向编码

Nicolas Boizard, Théo Deschamps-Berger, Hippolyte Gisserot-Boukhlef, Céline Hudelot, Pierre Colombo

机构 * Diabolocom ； Artefact Research Center（Artefact 研究中心） ； MICS, CentraleSupélec, Université Paris-Saclay（MICS，中央理工-高等电力学院，巴黎-萨克雷大学） ； Cohere 纠错

专题命中 预训练与数据 ：LLM(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过系统消融实验发现，通过引入先验掩码阶段和双策略可提升因果语言模型的双向编码性能，最终提出BidirLM家族五种编码器，在文本、视觉和音频表示基准上优于现有方法。

Comments 30 pages, 16 figures, 10 tables

Test-Time Scaling Makes Overtraining Compute-Optimal

测试时扩展使过训练计算最优

Nicholas Roberts, Sungjun Cho, Zhiqi Gao, Tzu-Heng Huang, Albert Wu, Gabriel Orlanski, Avi Trost, Kelly Buchanan, Aws Albarghouthi, Frederic Sala

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出Train-to-Test（T²）扩展定律，通过联合优化模型大小、训练token和推理样本数，在固定端到端预算下提升性能，发现考虑推理成本时最优预训练决策进入过训练区域，验证了其在现代部署中的有效性。

In-context Learning in Presence of Spurious Correlations

在存在虚假相关性时的上下文学习

Hrayr Harutyunyan, Rafayel Darbinyan, Samvel Karapetyan, Hrant Khachatrian

机构 * Google DeepMind（谷歌DeepMind） ； ServiceTitan ； YerevaNN ； Yerevan State University（埃里温国立大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了在存在虚假特征时训练上下文学习器的可行性，提出了一种新方法，该方法在分类任务中表现优异，但泛化能力有限。

A Deep Dive into Scaling RL for Code Generation with Synthetic Data and Curricula

深入探讨通过合成数据和课程学习扩展强化学习用于代码生成

Cansu Sancaktar, David Zhang, Gabriel Synnaeve, Taco Cohen

机构 * University of Tübingen（图宾根大学） ； Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出多轮合成数据生成流程，通过教师模型迭代优化问题难度，提升代码生成性能，并系统研究任务难度、课程调度和环境多样性对强化学习训练的影响。

VTAM: Video-Tactile-Action Models for Complex Physical Interaction Beyond VLAs

VTAM：用于复杂物理交互的视频-触觉-动作模型超越VLAs

Haoran Yuan, Weigang Yi, Zhenyu Zhang, Wendi Chen, Yuchen Mo, Jiashi Yin, Xinzhuo Li, Xiangyu Zeng, Chuan Wen, Cewu Lu, Katherine Driggs-Campbell, Ismini Lourentzou

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Stanford University（斯坦福大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 VTAM通过整合触觉感知提升复杂物理交互的稳定性，其多模态框架在接触密集任务中表现优异，成功率达到90%。

Comments https://plan-lab.github.io/projects/vtam/

LGSE: Lexically Grounded Subword Embedding Initialization for Low-Resource Language Adaptation

LGSE: 词法基础的子词嵌入初始化用于低资源语言适应

Hailay Teklehaymanot, Dren Fazlija, Wolfgang Nejdl

机构 * L3S Research Center Hannover（汉诺威L3S研究中心） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 LGSE通过引入词法信息的子词分割方法，改进低资源语言适应中的词嵌入初始化，通过平均预训练的子词或FastText词法表示，提升表示质量。

Comments 12 pages, 1 figure, 1 Table

Efficient Embedding-based Synthetic Data Generation for Complex Reasoning Tasks

高效嵌入式合成数据生成用于复杂推理任务

Srideepika Jayaraman, Achille Fokoue, Dhaval Patel, Jayant Kalagnanam

机构 * IBM Research（IBM研究院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于嵌入的合成数据生成方法，通过增强数据多样性提升多个基准的性能，分析嵌入空间中数据分布与预测准确性之间的强相关性。

MOSS-TTS Technical Report

MOSS-TTS 技术报告

Yitian Gong, Botian Jiang, Yiwei Zhao, Yucheng Yuan, Kuangwei Chen, Yaozhou Jiang, Cheng Chang, Dong Hong, Mingshu Chen, Ruixiao Li, Yiyang Zhang, Yang Gao, Hanfu Chen, Ke Chen, Songlin Wang, Xiaogui Yang, Yuqian Zhang, Kexin Huang, ZhengYuan Lin, Kang Yu, Ziqi Chen, Jin Wang, Zhaoye Fei, Qinyuan Cheng, Shimin Li, Xipeng Qiu

机构 * SII-OpenMOSS Team（SII-OpenMOSS团队） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 MOSS-TTS 基于可扩展的 recipe 提出语音生成基础模型，支持多语言和开放域场景，具备零样本语音克隆、音素级发音控制等能力。

Comments Project page: https://github.com/OpenMOSS/MOSS-TTS

From Feature-Based Models to Generative AI: Validity Evidence for Constructed Response Scoring

从基于特征的模型到生成式AI：构造响应评分的效度证据

Jodi M. Casabianca, Daniel F. McCaffrey, Matthew S. Johnson, Naim Alper, Vladimir Zubenko

机构 * BroadMetrics ； ETS 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨了生成式AI在构造响应评分中的效度证据收集，对比了传统特征模型与生成式AI的差异，提出最佳实践以支持AI评分系统的使用和解释。

Comments 37 pages, 8 tables, 6 figures

The Moral Foundations Reddit Corpus

道德基础Reddit语料库

Jackson Trager, Alireza S. Ziabari, Elnaz Rahmati, Aida Mostafazadeh Davani, Preni Golazizian, Farzan Karimi-Malekabadi, Ali Omrani, Zhihe Li, Brendan Kennedy, Georgios Chochlakis, Nils Karl Reimer, Melissa Reyes, Kelsey Cheng, Mellow Wei, Christina Merrifield, Arta Khosravi, Evans Alvarez, Morteza Dehghani

机构 * University of Southern California（南加州大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 该研究提出一个包含16123条Reddit评论的语料库，用于标注道德情感，通过评估不同模型表现，强调了人工标注数据在AI对齐评估中的重要性。

PashtoCorp: A 1.25-Billion-Word Corpus, Evaluation Suite, and Reproducible Pipeline for Low-Resource Language Development

PashtoCorp：一个12.5亿词语料库、评估套件和可重复的低资源语言开发流水线

Hanif Rahman

机构 * Independent Researcher（独立研究员） 纠错

专题命中 预训练与数据 ：LLM(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 本文介绍了PashtoCorp，一个包含12.5亿词的Pashto语料库，通过可重复的流水线和多种数据源，显著提升了低资源语言的NLP研究水平。

Task Expansion and Cross Refinement for Open-World Conditional Modeling

任务扩展与跨细化用于开放世界条件建模

Shreyas Bhat Brahmavar, Qiyang Liu, Yang Li, Junier Oliva

机构 * Department of Computer Science University of North Carolina at Chapel Hill（计算机科学系北卡罗来纳大学教堂山分校） ； Independent Researcher（独立研究者） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出TEXR框架，通过结构化合成和细化语义数据上下文，扩展任务覆盖范围，提升开放世界条件建模的零样本、少样本和多样本性能。

Learning from Child-Directed Speech in Two-Language Scenarios: A French-English Case Study

在双语场景中学习儿童引导的口语：一项法语-英语案例研究

Liel Binyamin, Elior Sulem

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了在严格数据匹配条件下，扩展BabyBERTa至英法双语场景的紧凑语言模型，对比儿童口语与多领域语料对语法和语义任务的影响，发现儿童口语在单语任务中表现更优，双语预训练对文本蕴含任务有显著提升。

Comments Accepted to Findings of EACL 2026

Graph Tokenization for Bridging Graphs and Transformers

图标记化：连接图与变换器

Zeyuan Guo, Enmao Diao, Cheng Yang, Chuan Shi

机构 * Beijing University of Posts and Telecom.（北京邮电大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出图标记化框架，结合可逆图序列化与BPE，使变换器模型可直接应用于图结构数据，实现对图基准测试的高性能表现。

Comments Accepted as a poster at ICLR 2026. Code is available at https://github.com/BUPT-GAMMA/Graph-Tokenization-for-Bridging-Graphs-and-Transformers

Scaling Laws in the Tiny Regime: How Small Models Change Their Mistakes

小规模 regime 中的缩放规律：小型模型如何改变其错误

Mohammed Alnemari, Rizwan Qureshi, Nader Begrazadah

机构 * Faculty of Computer Science and Information Technology, University of Tabuk（计算机科学与信息科技学院，塔布克大学） ； AIST Research Center, University of Tabuk（AIST研究中心，塔布克大学） ； Department of Computer Science, Salim Habib University（计算机科学系，Salim Habib大学） ； University of California, Irvine（加州大学尔湾分校） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨了小规模模型在 CIFAR-100 上的误差率缩放规律，发现小型模型在准确率、误差结构和校准方面有独特表现，且幂律关系在不同规模下不一致。

Comments 17 pages, 6 figures, 2 tables. Submitted to MDPI Machine Learning and Knowledge Extraction (MAKE)

Test-Time Meta-Adaptation with Self-Synthesis

测试时元适应与自合成

Zeyneb N. Kaya, Nick Rui

机构 * Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 MASS通过自动生成问题特定的合成训练数据，实现大语言模型在测试时的自我适应与优化，提升下游任务性能。

Comments 5 pages, 2 figures, 1 table. Accepted to AI with Recursive Self-Improvement (RSI) Workshop @ ICLR 2026

Understanding the Role of Training Data in Test-Time Scaling

理解训练数据在测试时扩展中的作用

Adel Javanmard, Baharan Mirzasoleiman, Vahab Mirrokni

机构 * University of Southern California（南加州大学） ； Google Research（谷歌研究） ； University of California Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了训练数据对测试时扩展性能的影响，发现增加计算量可减少上下文长度并提升模型表现，但若训练数据缺乏必要技能则可能损害性能。

Comments 25 pages, 5 figures, accepted in ICLR 2026

ROKA: Robust Knowledge Unlearning against Adversaries

ROKA: 面对对抗者的鲁棒知识反学习

Jinmyeong Shin, Joshua Tapia, Nicholas Ferreira, Gabriel Diaz, Moayed Daneshyari, Hyeran Jeon

机构 * University of California, Merced（加州大学梅尔塞德斯分校） ； California State University, East Bay（加州州立大学东湾分校） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 ROKA通过神经愈合机制实现鲁棒的知识反学习，有效对抗间接反学习攻击，同时保护保留数据的准确性。

ARGUS: Seeing the Influence of Narrative Features on Persuasion in Argumentative Texts

ARGUS：叙事特征对说服力影响的观察

Sara Nabhani, Federico Pianzola, Khalid Al-Khatib, Malvina Nissim

机构 * University of Groningen（格罗宁根大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 ARGUS通过分析叙事特征对说服力的影响，探索在线论证中叙事作用的机制

Comments 22 pages, 8 figures, submitted to ACM Transactions on Intelligent Systems and Technology

Affine-Scaled Attention: Towards Flexible and Stable Transformer Attention

仿射缩放注意力：迈向灵活且稳定的Transformer注意力

Jeongin Bae, Baeseong Park, Gunho Park, Minsub Kim, Joonhyung Lee, Junhee Yoo, Sunghyeon Woo, Jiwon Ryu, Se Jung Kwon, Dongsoo Lee

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 仿射缩放注意力通过引入输入依赖的缩放和偏置项，提升Transformer模型的训练稳定性与注意力行为控制能力。

Comments Preprint. 14 pages, 11 figures

SQaLe: A Large Text-to-SQL Corpus Grounded in Real Schemas

SQaLe：基于真实模式的大型文本到SQL语料库

Cornelius Wolff, Daniel Gomm, Madelon Hulsebos

机构 * Centrum Wiskunde & Informatica（荷兰数学与信息学研究中心） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 SQaLe是一个基于真实数据库模式的大型半合成文本到SQL数据集，通过结合模式采样、问题合成和SQL构建，生成了高质量的（问题，模式，查询）三元组，用于提升文本到SQL模型的泛化能力。

Comments Accepted at the AI for Tabular Data workshop at EurIPS 2025

DeepInnovator: Triggering the Innovative Capabilities of LLMs

DeepInnovator: 激发大语言模型的创新能力

Tianyu Fan, Fengji Zhang, Yuxiang Zheng, Bei Chen, Xinyao Niu, Chengen Huang, Junyang Lin, Chao Huang

机构 * The University of Hong Kong（香港大学） ； City University of Hong Kong（城市大学） ； Shanghai Jiao Tong University（上海交通大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 DeepInnovator通过自动化数据提取和猜想与反驳训练范式，提升大语言模型的创新能力，实现显著优于基线的创新想法生成性能。

Building Autonomous GUI Navigation via Agentic-Q Estimation and Step-Wise Policy Optimization

通过代理-Q估计和分步策略优化构建自主GUI导航

Yibo Wang, Guangda Huzhang, Yuwei Hu, Yu Xia, Shiyin Lu, Qing-Guo Chen, Zhao Xu, Weihua Luo, Kaifu Zhang, Lijun Zhang

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学） ； Ovis Team, Alibaba Group（阿里团队，阿里巴巴集团） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于代理-Q估计和分步策略优化的GUI自主导航框架，通过强化学习提升GUI交互能力，实验证明其在导航和基准测试中表现优异。

SD-MoE: Spectral Decomposition for Effective Expert Specialization

SD-MoE：通过谱分解实现有效的专家专业化

Ruijun Huang, Fang Dong, Xin Zhang, Hengjie Cao, Zhendong Huang, Anrui Chen, Jixian Zhou, Mengyi Chen, Yifeng Yang, Mingzhi Dong, Yujiang Wang, Jinlong Hou, Qin Lv, Robert P. Dick, Yuan Cheng, Fan Yang, Tun Lu, Chun Zhang, Li Shang

机构 * College of Computer Science and Artificial Intelligence, Fudan University, Shanghai, China（复旦大学计算机科学与人工智能学院） ； University of Bath, Bath, United Kingdom（巴斯大学） ； Oxford Suzhou Centre for Advanced Research, Suzhou, China（牛津苏泽研究中心） ； Department of Electrical Engineering and Computer Science, University of Michigan（密歇根大学电气工程与计算机科学系） ； Shanghai Innovation Institute, Shanghai, China（上海创新研究院） ； Department of Computer Science, University of Colorado Boulder, Colorado, USA（科罗拉多大学博尔德分校计算机科学系） ； Research Institute of Tsinghua University in Shenzhen, Shenzhen, China（清华大学深圳研究院） ； Greater Bay Area National Center of Technology Innovation, Research Institute of Tsinghua University in Shenzhen, Shenzhen, China（粤港澳大湾区国家技术创新中心，清华大学深圳研究院） ； School of Microelectronics, Fudan University, Shanghai, China（复旦大学微电子学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 SD-MoE通过谱分解解决MoE中专家专业化不足的问题，提升模型性能并兼容多种现有架构。

EVA: Towards a universal model of the immune system

EVA：朝着免疫系统通用模型迈进

Scienta Team, Ethan Bandasack, Vincent Bouget, Apolline Bruley, Yannis Cattan, Charlotte Claye, Matthew Corney, Julien Duquesne, Karim El Kanbi, Aziz Fouché, Pierre Marschall, Francesco Strozzi

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 EVA是首个跨物种多模态免疫学基础模型，通过整合转录组和组织学数据，提升免疫疾病研究的转化应用能力。

LEMUR: A Corpus for Robust Fine-Tuning of Multilingual Law Embedding Models for Retrieval

LEMUR：一种用于多语言法律嵌入模型检索鲁棒微调的语料库

Narges Baba Ahmadi, Jan Strich, Martin Semmann, Chris Biemann

机构 * Hub of Computing and Data Science (HCDS) University of Hamburg（计算与数据科学中心（HCDS）乌姆斯大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 LEMUR通过构建多语言法律语料库并微调嵌入模型，提升了多语言法律检索的鲁棒性和准确性，尤其在低资源语言中表现显著。

Comments Accepted at EACL SRW 26

Can We Infer Confidential Properties of Training Data from LLMs?

能否从LLMs中推断出训练数据的保密属性？

Pengrun Huang, Chhavi Yadav, Kamalika Chaudhuri, Ruihan Wu

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出PropInfer基准任务，通过两种微调范式评估LLMs属性推断攻击，揭示LLMs在隐私保护方面的潜在漏洞。

DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos

DreamDojo：从大规模人类视频中学习通用机器人世界模型

Shenyuan Gao, William Liang, Kaiyuan Zheng, Ayaan Malik, Seonghyeon Ye, Sihyun Yu, Wei-Cheng Tseng, Yuzhu Dong, Kaichun Mo, Chen-Hsuan Lin, Qianli Ma, Seungjun Nah, Loic Magne, Jiannan Xiang, Yuqi Xie, Ruijie Zheng, Dantong Niu, You Liang Tan, K. R. Zentner, George Kurian, Suneel Indupuru, Pooya Jannaty, Jinwei Gu, Jun Zhang, Jitendra Malik, Pieter Abbeel, Ming-Yu Liu, Yuke Zhu, Joel Jang, Linxi "Jim" Fan

机构 * NVIDIA ； HKUST（香港科技大学） ； UC Berkeley（加州大学伯克利分校） ； Stanford（斯坦福大学） ； KAIST（韩国科学技术院） ； UofT（多伦多大学） ； UCSD（加州大学圣地亚哥分校） ； UT Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 DreamDojo通过大规模人类视频学习通用机器人世界模型，解决动作标签稀缺问题，实现高精度物理理解和实时交互。

Comments Project page: https://dreamdojo-world.github.io/