语言大模型 / LLM

FedMosaic: Federated Retrieval-Augmented Generation via Parametric Adapters

FedMosaic：通过参数适配器进行联邦检索增强生成

Zhilin Liang, Yuxiang Wang, Zimu Zhou, Hainan Zhang, Boyi Liu, Yongxin Tong

机构 * SKLCCSE Lab Beihang University Beijing China（SKLCCSE实验室 北航） ； Department of Data Science City University of Hong Kong Hong Kong China（数据科学系 香港城市大学） ； Beijing Advanced Innovation Center Beihang University Beijing China（北京先进创新中心 北航） ； Beihang University（北航） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究针对隐私敏感领域，解决联邦检索增强生成中高存储通信及适配器聚合问题。核心方法是提出FedMosaic框架，聚类文档成多文档适配器并选择性聚合。主要贡献是准确率提高，存储和通信成本降低，且不共享原始文档。

Comments 11 pages

CRC-Screen: Certified DNA-Synthesis Hazard Screening Under Taxonomic Shift

CRC-Screen：分类偏移下认证的DNA合成危害筛查

Najmul Hasan

机构 * Najmul Hasan（纳杰姆·哈桑） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 针对DNA合成订单中危害序列因分类偏移导致基线筛查100%误报的问题，提出基于k-mer Jaccard相似度、五LLM评委修剪均值和嵌入聚类质心余弦相似度的融合信号，经单调逻辑聚合器和共形风险控制校准，在保证假阴性率受控的同时实现零漏检和低误报。

Comments Accepted at the 6th Muslims in ML (MusIML) Workshop at ICML 2026

RASST: Retrieval-Augmented Simultaneous Speech Translation

RASST：检索增强的同声传译

Jiaxuan Luo, Siqi Ouyang, Jiaxing Xu, Lei Li

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对同声传译中罕见术语翻译不准的问题，提出检索增强方法RASST，通过轻量级语音-文本检索器提供分块术语提示，并合成训练数据教会模型何时应用检索术语，在ACL 60/60和ESO测试集上术语准确率提升近40%，BLEU提升最多3点。

Comments Under Review

A large-scale nanocrystal database with aligned synthesis and properties enabling generative inverse design

大规模纳米晶体数据库：对齐合成与性质实现生成式逆向设计

Kai Gu, Yingping Liang, Senliang Peng, Aotian Guo, Haizheng Zhong, Ying Fu

机构 * MIIT Key Laboratory for Low-Dimensional Quantum Structure and Devices, School of Materials Sciences & Engineering, Beijing Institute of Technology（信息产业部低维量子结构与器件重点实验室，材料科学与工程学院，北京理工大学） ； School of Computer Science and Technology, Beijing Institute of Technology（计算机科学与技术学院，北京理工大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 构建大规模对齐的纳米晶体合成-性质数据库，开发基于大语言模型的NanoExtractor提取文献数据，并利用NanoDesigner实现生成式逆向设计，成功设计PbSe和MgF2纳米晶体的合成路线。

SymbolicLight V1: Spike-Gated Dual-Path Language Modeling at High Activation Sparsity

SymbolicLight V1: 一种具有高激活稀疏性和亚十亿级预训练证据的脉冲门双路径语言建模

Ting Liu

机构 * SymbolicLight Research（SymbolicLight研究院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出SymbolicLight V1，一种结合二进制Leaky Integrate-and-Fire脉冲动力学与连续残差流的脉冲门双路径语言模型，通过长程记忆的指数衰减聚合路径和短程精度的脉冲门局部注意力路径，实现了高激活稀疏性和亚十亿级预训练证据。

Comments 25 pages, 4 figures, 24 tables. Revised preprint: quality-gap framing, token-weighted versus unweighted domain PPL, and tightened architecture claims. Code and checkpoints: AGI/SymbolicLight-V1" target="_blank" rel="noopener">https://github.com/SymbolicLight-AGI/SymbolicLight-V1

jina-vlm: Small Multilingual Vision Language Model

Jina-VLM：小规模多语言视觉语言模型

Andreas Koukounas, Georgios Mastrapas, Florian Hönicke, Sedigheh Eslami, Guillaume Roncari, Han Xiao

机构 * Jina AI 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 Jina-VLM是一款24亿参数的多语言视觉语言模型，通过结合SigLIP2视觉编码器与Qwen3语言主干，实现了高效多语言视觉问答性能。

Comments 23 pages, 1-10 main content, 11-23 references and appendix

DataComp-VLM: Improved Open Datasets for Vision-Language Models

DataComp-VLM：改进的视觉语言模型开放数据集

Matteo Farina, Vishaal Udandarao, Thao Nguyen, Selim Kuzucu, Maximilian Böther, Andreas Hochlehnert, Adhiraj Ghosh, Marianna Nezhurina, Karsten Roth, Joschka Struber, Yuhui Zhang, Sebastian Dziadzio, Elaine Sui, Soumya Jahagirdar, Dhruba Ghosh, Hasan Hammoud, Thomas De Min, Simone Caldarella, Jehanzeb Mirza, Sedrick Keh, Mehdi Cherti, Hilde Kuehne, Bernt Schiele, Serena Yeung-Levy, Muhammad Ferjad Naeem, Federico Tombari, Ana Klimovic, Elisa Ricci, Matthias Bethge, Sewoong Oh, Ameya Prabhu, Alessio Tonioni, Jenia Jitsev, Massimiliano Mancini, Ludwig Schmidt, Nikhil Parthasarathy

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出DataComp-VLM基准，通过数据混合（而非过滤）策略提升视觉语言模型训练效果，在8B模型上达到63.6%准确率，比现有最优数据集提升5.4个百分点。

Comments Preprint

Epistemic diversity across language models mitigates knowledge collapse

语言模型中的知识崩溃与认知多样性

Damian Hodel, Jevin D. West

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究通过增加语言模型多样性缓解知识崩溃，发现单一模型短期表现好但长期崩溃加剧，多样性水平随训练迭代增加而提升，实验显示生态多样性对缓解崩溃至关重要。

Comments 30 pages, 21 figures. v3 changelog: updated introduction. v2 changelog: added experimental variations, updated theory, writing revisions, updated metadata

Can a Language Model Learn Facts Continually in Its Weights?

语言模型能否在其权重中持续学习事实？

Charles O'Neill

机构 * Baseten（巴斯滕） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究语言模型能否在权重中持续学习事实，通过追踪写入Qwen3模型的虚构事实及实验发现，训练数据广度决定知识类型，事实可行为遗忘但不擦除，广泛数据能创建可用知识，可靠通道是上下文而非权重。

Clin-JEPA: A Multi-Phase Co-Training Framework for Joint-Embedding Predictive Pretraining on EHR Patient Trajectories

Clin-JEPA：一种多阶段协同训练框架，用于EHR患者轨迹的联合嵌入预测预训练

Yixuan Yang, Mehak Arora, Ryan Zhang, Baraa Abed, Junseob Kim, Tilendra Choudhary, Md Hassanuzzaman, Kevin Zhu, Ayman Ali, Chengkun Yang, Alasdair Edward Gent, Victor Moas, Rishikesan Kamaleswaran

机构 * Duke University（杜克大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Clin-JEPA框架，通过多阶段预训练稳定协同训练编码器和预测器，解决EHR数据中联合嵌入预测的挑战，实现多任务下游任务的高性能表现。

Comments 18 pages, 4 figures, 8 tables. Code: https://github.com/Kamaleswaran-Lab/Clin-JEPA

TokSuite: Measuring the Impact of Tokenizer Choice on Language Model Behavior

TokSuite：衡量分词器选择对语言模型行为的影响

Gül Sena Altıntaş, Malikeh Ehghaghi, Brian Lester, Fengyuan Liu, Wanru Zhao, Marco Ciccone, Colin Raffel

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； Google DeepMind（谷歌DeepMind） ； McGill University（麦吉尔大学） ； University of Cambridge（剑桥大学） ； Hugging Face 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出TokSuite，含模型集合与基准测试，通过不同分词器的预训练模型及多语言鲁棒性基准测试，解耦分词器影响，阐明多种流行分词器优缺点。

Comments ICML 2026. 46 pages, 13 figures

Mantis: Lightweight Foundation Model for Time Series Classification

Mantis: 用于时间序列分类的轻量级基础模型

Vasilii Feofanov, Songkang Wen, Shifeng Xie, Simon Roschmann, Marius Alonso, Hongbo Guo, Romain Ilbert, Malik Tiomoko, Quentin Bouniot, Zeynep Akata, Lujia Pan, Jianfeng Zhang, Ievgen Redko

机构 * com（42.com） ； Helmholtz Munich（亥姆霍兹慕尼黑中心） ； Technical University of Munich（慕尼黑工业大学） ； Criteo ； Meta ； Telecom Paris（巴黎电信学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出基于Transformer的轻量级基础模型Mantis，通过自监督对比学习在合成数据上预训练，并引入新颖的令牌生成单元和增强测试方法，在多个数据集上超越现有基础模型。

Journal ref Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026

SleepMaMi: A Universal Sleep Foundation Model for Integrating Macro- and Micro-structures

SleepMaMi：一种融合宏观与微观结构的通用睡眠基础模型

Keondo Park, Younghoon Na, Yourim Choi, Hyunwoo Ryu, Hyun-Woo Shin, Hyung-Sin Kim

机构 * Graduate School of Data Science, Seoul National University, Seoul, South Korea（首尔国立大学数据科学研究生院，韩国首尔） ； Department of Biomedical Sciences, Seoul National University College of Medicine, Seoul, Republic of Korea（首尔国立大学医学院生物医学科学系，韩国首尔） ； Obstructive Upper Airway Research (OUaR) Laboratory, Department of Pharmacology, Seoul National University College of Medicine, Seoul, Republic of Korea（首尔国立大学医学院药理学系阻塞性上气道研究（OUaR）实验室，韩国首尔） ； Department of Otorhinolaryngology-Head and Neck Surgery, Seoul National University Hospital, Seoul, Republic of Korea（首尔国立大学医院耳鼻喉头颈外科系，韩国首尔） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出SleepMaMi睡眠基础模型，通过分层双编码器设计（宏观编码器建模整夜时间依赖，微观编码器捕捉生物信号短时特征），结合人口统计引导对比学习和混合掩码自编码器训练，在超过2万条PSG记录上预训练，在下游任务中优于或匹配现有基础模型。

Comments 8 pages, Appendix 9 pages

Entropy, Disagreement, and the Limits of Foundation Models in Genomics

熵、分歧与基因组基础模型的局限性

Maxime Rochkoulets, Lovro Vrček, Mile Šikić

机构 * Genome Institute of Singapore, A*STAR（新加坡基因组研究院，A*STAR） ； KU Leuven（卢森堡大学） ； Faculty of Electrical Engineering and Computing, University of Zagreb（扎格雷布大学电子工程与计算学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文通过分析熵对模型学习的影响，发现基因组序列的高熵导致输出分布接近均匀、模型间分歧大和静态嵌入不稳定，且Fisher信息集中在嵌入层，表明仅靠序列自监督训练可能不适用于基因组数据。

Comments Accepted to LMLR Workshop at ICLR 2026

Improving Topic Modeling by Distilling Soft Labels from Language Models

DSL-Topic：通过从语言模型中蒸馏软标签改进主题建模

Raymond Li, Amirhossein Abaskohi, Chuyuan Li, Gabriel Murray, Giuseppe Carenini

机构 * University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出DSL框架，通过从语言模型蒸馏软标签来增强主题模型训练，利用上下文感知的软标签重构信号，显著提升主题连贯性和分配准确性。

Comments 22 pages, 5 figures. Camera-ready version for ICML 2026

Is Misinformation More Open? A Study of robots.txt Gatekeeping on the Web

虚假信息是否更开放？一项关于robots.txt门禁的网络研究

Nicolas Steinacker-Olsztyn, Devashish Gosain, Ha Dao

专题命中 预训练与数据 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)

AI总结 研究发现可信网站比虚假信息网站更频繁地禁止AI爬虫，且这种差异随时间扩大，可能影响LLM训练数据和网络透明度。

Comments 10 pages, 11 figures

Journal ref In Proceedings of the ACM Web Conference 2026 (WWW 26)

MAPLE: Metadata Augmented Private Language Evolution

MAPLE：元数据增强的隐私语言演化

Eli Chien, Yuzheng Hu, Ryan McKenna, Shanshan Wu, Zheng Xu, Peter Kairouz

机构 * National Taiwan University（国立台湾大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Google Research（谷歌研究） ； Meta 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MAPLE通过差分隐私元数据提取和上下文学习，解决私有演化中初始化瓶颈问题，实现更优的隐私-效用平衡和更低的API成本。

Comments COLM 2026

Omics Data Discovery Agents: Agent-Supported Retrieval, Reanalysis, and Synthesis of Published Omics Data

组学数据发现代理

Alexandre Hutton, Jesse G. Meyer

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出了一种基于代理的框架，通过自动化提取和处理组学数据，实现对生物医学文献的可执行查询和大规模数据重用。

Power-Law Scaling in the Classification Performance of Small-Scale Spiking Neural Networks

小规模脉冲神经网络分类性能的幂律标度

Zhengdi Zhang, Cong Han, Wenjun Xia

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 研究基于LIF神经元模型的小规模脉冲神经网络分类性能，发现准确率主要随类别数呈幂律标度，并使用大语言模型辅助发现函数关系。

Comments We need to improve the academic writing and the model in this paper

FOLD: Fuzzy Online Deduplication for Very Large Evolving Datasets via Approximate Nearest Neighbor Search

FOLD: 面向超大规模演化数据集的模糊在线去重方法（基于近似最近邻搜索）

Nelson Bore, Pritish Mishra, Constantin Adam, Eyal de Lara, Oana Balmau

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出FOLD系统，利用增量更新的HNSW索引和位图表示改进Jaccard相似度计算，实现高召回率和高吞吐量的在线模糊去重。

jXBW: A Compressed Index for Structure-Aware JSONL Retrieval in Structured RAG

jXBW: 面向结构化RAG中结构感知JSONL检索的压缩索引

Yasuo Tabei

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出jXBW压缩索引，通过合并树表示、基于扩展Burrows-Wheeler变换的简洁树索引和三阶段子结构搜索算法，实现查询依赖的复杂度，在百万级JSONL数据集上比最强基线快16倍至2800倍。

GraphPFN: A Prior-Data Fitted Graph Foundation Model

GraphPFN：一种先验数据拟合的图基础模型

Dmitry Eremeev, Oleg Platonov, Gleb Bazhenov, Artem Babenko, Liudmila Prokhorenkova

机构 * HSE University（莫斯科国立高等经济学院） ； Yandex Research（Yandex研究院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 针对图基础模型的可迁移性和数据稀缺问题，提出GraphPFN，基于先验数据拟合网络框架，设计多级随机块模型和优先连接过程生成合成图，结合图感知结构化因果模型生成属性，并扩展LimiX模型以融合图邻域聚合层，在节点级任务上实现上下文学习和微调的最优性能。

OATS: Online Data Augmentation for Time Series Foundation Models

OATS: 用于时间序列基础模型的在线数据增强

Junwei Deng, Chang Xu, Jiaqi W. Ma, Ming Jin, Chenghao Liu, Xu Zhang, Li Zhao, Jiang Bian

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Microsoft Research（微软研究院） ； Griffith University（格里菲斯大学） ； Datadog AI Research（Datadog AI研究院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 OATS通过动态生成合成数据提升时间序列基础模型的性能，采用探索-利用机制和扩散框架，在多个数据集上优于传统方法。

From Alignment to Synthesis Contrastive Volumetric Grounding for Text-to-CT Generation

从对齐到合成：用于文本到CT生成的对比体 grounding

Daniele Molino, Camillo Maria Caruso, Filippo Ruffini, Paolo Soda, Valerio Guarrasi

机构 * Unit of Artificial Intelligence and Computer Systems, Department of Engineering, Università Campus Bio-Medico di Roma（人工智能与计算机系统单位，工程系，罗马生物医学大学） ； Department of Diagnostics and Intervention, Biomedical Engineering and Radiation Physics, Umeå University（诊断与干预部门，生物医学工程与放射物理学，乌梅拉大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 该研究针对文本到CT生成的视觉-语言对齐瓶颈，提出带结构化难负样本的3D-CLIP编码器，结合端到端潜在扩散模型，在CT-RATE数据集上实现了优于现有方法的性能。

Comments Accepted at BMVC 2026

SkillCorpus: Consolidating and Evaluating the Open Skill Ecosystem for Real-World LLM Agents

SkillCorpus：整合与评估面向现实世界大语言模型智能体的开放技能生态系统

Yanze Wang, Pengfei Yao, Tianyi Sun, Chuanrui Hu, Yan Xiao, Xiaotian Luo, Yunyun Han, Yifan Chen, Jun Sun, Yafeng Deng

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.CL

AI总结 研究针对大语言模型智能体技能文件碎片化等问题，提出SkillCorpus框架，通过多阶段管道过滤技能并与检索选择堆栈配对，经多基准端到端评估，整合该框架能带来一致收益，明确了其对实际智能体任务的作用边界。

Towards Cultural Bridge by Bahnaric-Vietnamese Translation Using Transfer Learning of Sequence-To-Sequence Pre-training Language Model

通过基于序列到序列预训练语言模型的迁移学习实现巴拿语-越南语翻译以搭建文化桥梁

Dat Minh Tran Phan, Khang Nhat Hoang Vo, Tho Thanh Quan

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 为解决巴拿语-越南语翻译中资源不足问题，利用基于序列到序列预训练语言模型的迁移学习方法，借助预训练越南语模型，结合有限双语资源继续训练，并通过数据增强等优化，有效实现翻译，促进民族文化交流。

Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling

长度值模型：用于令牌级长度建模的可扩展值预训练

Zhen Zhang, Changyi Yang, Zijie Xia, Zhen Yang, Chengzhi Liu, Zhaotiao Weng, Yepeng Liu, Haobo Chen, Jin Pan, Chenyang Zhao, Yuheng Bu, Alkesh Patel, Zhe Gan, Xin Eric Wang

机构 * University of California, Santa Barbara（加州大学圣巴巴拉分校） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； LMSYS Org（LMSYS组织） ； Apple Inc.（苹果公司） 纠错

专题命中 预训练与数据 ：pretraining(title)；prompting(abstract)；分类 cs.CL

AI总结 本文提出Length Value Model，通过令牌级建模实现高效的长度预测，提升生成长度的准确性和效率，实验显示其在多个任务中优于现有模型。

Why Do Vision Language Models Struggle To Recognize Human Emotions?

为什么视觉语言模型难以识别人类情绪？

Madhav Agarwal, Sotirios A. Tsaftaris, Laura Sevilla-Lara, Steven McDonagh

机构 * The University of Edinburgh, UK（爱丁堡大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

AI总结 本文探讨视觉语言模型在识别人类情绪上的不足，指出面部表情识别任务的连续性和动态性导致模型存在连续性和时间信息处理的漏洞，提出改进采样策略和多阶段上下文增强方法以提升情绪识别能力。

Comments European Conference on Computer Vision (ECCV) 2026

Pretraining in Actor-Critic Reinforcement Learning for Locomotion

在机器人运动强化学习中预训练Actor-Critic算法

Jiale Fan, Andrei Cramariuc, Tifanny Portela, Marco Hutter

机构 * Robotic Systems Lab, ETH Zürich（苏黎世联邦理工学院机器人系统实验室） ； Section of Microengineering, EPFL（日内瓦联邦理工学院微工程系） ； ETH AI Center（苏黎世联邦理工学院人工智能中心） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 本研究提出了一种在机器人运动强化学习中预训练Actor-Critic算法的方法，通过预训练模型提升样本效率和任务性能。

Comments Published in IEEE Robotics and Automation Letters (RA-L)

PoseVLA: Universal Pose Pretraining for Generalizable Vision-Language-Action Policies

面向通用视觉-语言-动作策略的通用姿态预训练

Haitao Lin, Hanyang Yu, Jingshun Huang, He Zhang, Yonggen Ling, Ping Tan, Xiangyang Xue, Yanwei Fu

机构 * Tencent Robotics X（腾讯机器人X） ； Futian Laboratory（福田实验室） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 预训练与数据 ：pretraining(title)；post-training(abstract)；分类 cs.LG

AI总结 本文提出Pose-VLA，通过分离预训练和后训练阶段，解决视觉-语言-动作模型中的特征坍塌和训练效率问题，实现通用3D空间先验提取与机器人特定动作空间的高效对齐。

Comments Accepted to Robotics: Science and Systems (RSS) 2026. Project website: https://hetolin.github.io/PoseVLA

Journal ref Robotics: Science and Systems, 2026