语言大模型 / LLM

Piper: A Programmable Distributed Training System

Piper: 可编程的分布式训练系统

Megan Frisella, Shubham Tiwari, Andy Ruan, Yi Pan, Parker Gustafson, Mat Jacob, Gilbert Bernstein, Stephanie Wang

机构 * University of Washington（华盛顿大学） ； University of Washington and Shanghai Jiao Tong University（华盛顿大学和上海交通大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 提出Piper系统，通过解耦策略与运行时实现，允许用户用少量注解和调度指令声明分布式训练策略，并编译为设备执行计划，支持常见策略并实现组合策略的联合调度优化。

ConRAG: Consensus-Driven Multi-View Retrieval for Multi-Hop Question Answering

ConRAG: 用于多跳问答的共识驱动多视角检索

Yikai Zhu, Kunfeng Chen, Qihuang Zhong, Juhua Liu, Bo Du

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出ConRAG框架，通过共识驱动的多视角检索（关系、实体、文本信号）优化查询和语料库，显著提升多跳问答性能，在MuSiQue上创下新纪录。

In-Context Learning for Latent Space Bayesian Optimization

潜空间贝叶斯优化的上下文学习

Tuan A. Vu, Harri Lähdesmäki, Julien Martinelli

机构 * Aalto University（阿尔托大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 针对潜空间贝叶斯优化中上下文学习模型与优化任务不匹配的问题，提出在分子VAE潜空间上定义合成优化任务进行持续预训练，并引入正则化器保持原始先验，显著提升分子优化性能。

Automated IEP Generation from Traditional Chinese Parent-Teacher Interviews via Corpus-Grounded Feature Diffusion

基于语料库特征扩散的繁体中文家长会自动化个别化教育计划生成

Kuanlin Chen, Cheng-En Ou

机构 * National University of Singapore（新加坡国立大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 针对繁体中文个别化教育计划（IEP）生成中数据稀缺和隐私限制问题，提出基于语料库特征扩散（CGFD）的低资源微调流程，通过种子选择、特征扩散和语法约束解码（GCD）生成高质量样本，并发现GCD在繁体中文下适得其反，无GCD路径在可靠性和速度上更优。

Comments 12 pages, 5 figures

AgentTrust: A Self-Improving Trust Layer for AI-Agent Actions

AgentTrust: AI代理行为的自改进信任层

Chenglin Yang

机构 * Independent Researcher（独立研究员） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出AgentTrust v2，通过威胁类型分类（词汇/语义）和自学习机制，在代理行为中实现自改进信任决策，显著提升语义威胁检测准确率并降低误拦。

Comments 29 pages, 5 figures

Friend or Foe? Language as an ideological switch in open-weight LLMs under Russian disinformation stress

朋友还是敌人？俄罗斯虚假信息压力下开放权重大语言模型中的语言意识形态开关

Anna Małgorzata Kamińska, Tetiana Klynina

机构 * Institute of Culture Studies, University of Silesia in Katowice（文化研究学院，卡托维察大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； National Aviation University（国家航空大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文通过控制实验发现，针对不同语言社区微调的大语言模型在俄罗斯虚假信息压力下，其抵抗能力与预期文化对齐方向相反，揭示了微调悖论。

ReadingMachine: A Computational Methodology for Structured Corpus Reading and Large-Scale Synthesis

ReadingMachine：一种结构化语料库阅读与大规模综合的计算方法

James Morrissey

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出ReadingMachine方法，利用大语言模型对文档集合进行有界阅读，通过洞察提取、语义聚类、主题生成和迭代遗漏检测等可检查阶段，实现大规模语料库的覆盖性、可追溯性和分歧保留。

Comments 32 pages, 1 figure

Kunlun: Establishing Scaling Laws for Massive-Scale Recommendation Systems through Unified Architecture Design

Kunlun: 通过统一架构设计建立大规模推荐系统的缩放定律

Bojian Hou, Xiaolong Liu, Xiaoyi Liu, Jiaqi Xu, Yasmine Badr, Mengyue Hang, Sudhanshu Chanpuriya, Junqing Zhou, Yuhang Yang, Han Xu, Qiuling Suo, Laming Chen, Yuxi Hu, Jiasheng Zhang, Huaqing Xiong, Yuzhen Huang, Chao Chen, Yue Dong, Yi Yang, Shuo Chang, Xiaorui Gan, Wenlin Chen, Santanu Kolay, Darren Liu, Jade Nie, Chunzhi Yang, Ellie Wen, Jiyan Yang, Huayu Li

机构 * Meta Platforms, Inc.（Meta平台公司） ； OpenAI 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对大规模推荐系统缺乏可预测缩放定律的问题，提出Kunlun架构，通过低层优化（GDPA、HSP、滑动窗口注意力）和高层创新（CompSkip、事件级个性化）提升模型效率，MFU从17%提升至37%，缩放效率翻倍，已在Meta广告模型部署。

Comments 10 pages, 4 figures

Socratic-SWE: Self-Evolving Coding Agents via Trace-Derived Agent Skills

Socratic-SWE：通过轨迹衍生智能体技能实现自我进化的编码智能体

Chuan Xiao, Zhengbo Jiao, Shaobo Wang, Wei Wang, Bing Zhao, Hu Wei, Linfeng Zhang, Lin Qu

机构 * AI Data, Alibaba Group（阿里云数据） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出Socratic-SWE闭环自进化框架，通过将智能体历史求解轨迹蒸馏为结构化技能，生成针对性修复任务，实现编码智能体的持续自我改进。

Comments 21 pages, 5 figures. Under review

F3-Tokenizer: Taming Audio Autoencoder Latents for Understanding and Generation

F3-Tokenizer: 驯服音频自编码器潜在变量以支持理解与生成

Dinghao Zhou, Xingchen Song, Di Wu, Pengyu Cheng, Shengfan Shen, Sixiang Lv

机构 * Nanjing University, China（南京大学） ； WeNet Open Source Community（WeNet开源社区） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对连续音频自编码器潜在变量结构弱、自监督编码器不可解码的问题，提出F3-Tokenizer，通过噪声正则化自编码器瓶颈和潜在侧表示编码器，实现统一的理解与生成音频分词器。

Comments Technical report; early work; 9 pages, 2 figures, 5 tables

From Attack Simulation to SIEM Rule: Deterministic Detection-as-Code Synthesis with Probe-Level Traceability

从攻击模拟到SIEM规则：具有探针级可追溯性的确定性检测即代码合成

Alexandre Cristovão Maiorano

机构 * lumytics.com（lumytics公司） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出一种确定性合成方法，通过小型模板库将攻击模拟发现映射为Sigma规则，并保持对原始探针的字节级可追溯性，实现了可验证的检测即代码。

Comments 22 pages, 3 figures, 11 tables

RAG Security and Privacy: Formalizing the Threat Model and Attack Surface

RAG安全与隐私：形式化威胁模型和攻击面

Atousa Arzanipour, Rouzbeh Behnia, Reza Ebrahimi, Kaushik Dutta

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究了RAG系统中的安全与隐私问题，提出首个形式化的威胁模型，定义了攻击向量如文档级成员推断和数据中毒，以提升对RAG系统隐私和安全性的理解。

Comments Published at the 5th ICDM Workshop in November 2025

Journal ref 2025 IEEE International Conference on Data Mining Workshops (ICDMW), pp. 1387-1394, 2025

Coherence Maximization Improves Pluralistic Alignment

一致性最大化改进多元对齐

Taslim Mahbub, Yiding Pei, Shi Feng

机构 * George Washington University（乔治·华盛顿大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 提出内部一致性最大化（ICM）方法，通过最大化标签的互可预测性生成个性化示例，无需人工监督即可将模型与目标群体价值观对齐，并证明示例一致性比单独准确性更重要。

Towards A Generative Protein Evolution Machine with DPLM-Evo

迈向生成式蛋白质进化机器：DPLM-Evo

Xinyou Wang, Liang Hong, Jiasheng Ye, Zaixiang Zheng, Yu Li, Shujian Huang, Quanquan Gu

机构 * Nanjing University（南京大学） ； CUHK（香港大学） ； Fudan University（复旦大学） ； ByteDance（字节跳动） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出DPLM-Evo，一种显式建模替换、插入和删除操作的进化离散扩散框架，在单序列设置下实现蛋白质突变效应预测的最优性能，并支持变长模拟进化与蛋白质编辑优化。

Comments A peer-reviewed version was accepted to ICML 2026

Rethinking the Idiomaticity Decomposability Hypothesis: Evidence from Distributional Learning

重新思考习语可分解性假说：来自分布学习的证据

Maggie Mi, Golzar Atefi, Atsuki Yamaguchi, Felix Gers, Aline Villavicencio, Nafise Sadat Moosavi

机构 * University of Sheffield（谢菲尔德大学） ； Berliner Hochschule für Technik (BHT)（柏林技术大学（BHT）） ； University of Exeter（埃克塞特大学） ； Federal University of Rio Grande do Norte, Brazil（巴西北里奥格兰德联邦大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 本文利用上下文语言模型作为受控分布学习者，研究习语可分解性（构成意义对整体比喻意义的贡献程度）与句法灵活性的关系，发现模型导出的可分解性与人类判断弱相关，与句法灵活性呈微小但一致的负相关，且习语表征的稳定化受惊讶度、可分解性和频率共同影响，其中可分解性具有最强的训练依赖效应。

Comments ACL 2026 Main - long paper (9 pages + Appendices)

EntangleCodec: A Unified Discrete Audio Tokenizer via Semantic-Acoustic Entanglement

EntangleCodec：通过语义-声学纠缠的统一离散音频分词器

Hui Li, Yangfan Gao, Junlin Shang, Changhao Jiang, Tao Gui, Qi Zhang, Xuanjing Huang

机构 * Fudan University（复旦大学） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 提出EntangleCodec，一种通过将音频与丰富标题对齐学习语义-声学联合表示的统一离散音频分词器，在紧凑令牌流中捕获语言内容、说话人身份、情感、韵律和声学场景，并通过流匹配扩散解码器实现高质量重建，在音频理解和生成任务上均取得领先性能。

Comments 17 pages, 10 figures

Tokenizing Loops of Antibodies

抗体环的标记化

Ada Fang, Robert G. Alberstein, Simon Kelow, Frédéric A. Dreyer

机构 * Harvard University（哈佛大学） ； Prescient Design, Genentech（Prescient Design，基因泰克） 纠错

专题命中 预训练与数据 ：language model(abstract)；foundation model(abstract)；分类 cs.LG

AI总结 提出Igloo多模态抗体环标记器，通过对比学习编码主链二面角和序列，高效检索相似环结构，提升H3环识别性能5.9%，并集成到蛋白质语言模型中改善抗体设计。

Comments 21 pages, 7 figures, 10 tables, code available at https://github.com/prescient-design/igloo

Bayesian Spectral Emotion Transition Discovery from Multi-Annotator Disagreement

贝叶斯谱情感转移发现：来自多标注者分歧

Keito Inoshita, Takato Ueno

机构 * Keio University（庆应大学） ； National Institute of Advanced Industrial Science and Technology（国家工业科学与技术研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出贝叶斯谱情感转移发现（BSETD）两阶段框架，从多标注者软标签中挖掘情感转移结构，并通过谱分解分离惯性与传染成分，在EmotionLines数据集上验证了与心理学理论的一致性。

Feature to Dynamics: Feature-space to Autoregression strategy for Zero-shot Time Series Forecasting

从特征到动态：面向零样本时间序列预测的特征空间到自回归策略

Yifan Wu, Junjie Wu, Kai Wu, Xiaoyu Zhang, Jian Lou

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出FSA框架，通过从可解释特征空间到自回归策略空间的映射，在零样本单变量时间序列预测中引入显式归纳偏置，分离全局趋势、周期成分和局部动态，以更少数据假设实现跨域泛化，在受控实验中优于Transformer架构。

CECOR: Correction-oriented synthetic data construction for factual error correction

CECOR：面向事实错误纠正的修正导向合成数据构建

Lei Zhu, Xiaobao Wang, Jianbiao Yang, Chenyang Wang, Dongxiao He, Longbiao Wang, Jianwu Dang

机构 * Tianjin University（天津大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出CECoR框架，通过分解与注入范式合成高质量训练数据，结合两阶段学习策略，有效提升多跳事实错误纠正的准确性和鲁棒性。

HoliTok:A Coutinuous Holistic Tokenization with Robust Dual Capabilities of Speech Generation and Understanding

HoliTok: 一种具有鲁棒的双重语音生成与理解能力的连续整体式分词

Bohan Li, Shi Lian, Hankun Wang, Yiwei Guo, Yu Xi, Zhihan Li, Da Zheng, Colin Zhang, Kai Yu

机构 * X-LANCE Lab, School of Computer Science, Shanghai Jiao Tong University, China（X-LANCE实验室，计算机科学学院，上海交通大学，中国） ； hi lab, Xiaohongshu Inc, China（hi实验室，小红书公司，中国） 纠错

专题命中 预训练与数据 ：language model(abstract)；foundation model(abstract)；分类 cs.AI

AI总结 提出HoliTok连续整体式语音分词模型，通过渐进训练策略联合保持信号保真度、融入语义信息并维持潜在可学习性，基于该分词构建统一AR+DiT模型实现语音合成与识别，实验证明其在统一生成-理解架构中无需额外优化即可鲁棒运行。

Comments 14 pages, 2 figures, 8 tables

VLM4VLA: Revisiting Vision-Language-Models in Vision-Language-Action Models

VLM4VLA：重新审视视觉-语言-动作模型中的视觉-语言模型

Jianke Zhang, Xiaoyu Chen, Qiuyue Wang, Mingsheng Li, Yanjiang Guo, Yucheng Hu, Jiajun Zhang, Shuai Bai, Junyang Lin, Jianyu Chen

机构 * Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院） ； Qwen Team, Alibaba Inc.（阿里巴巴公司Qwen团队） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本文通过VLM4VLA最小适配管道，系统研究视觉-语言模型（VLM）的选择和能力如何影响下游视觉-语言-动作（VLA）策略性能，发现VLM通用能力无法预测下游任务表现，且视觉模块是性能瓶颈。

Softsign: Smooth Sign in Your Optimizer For Better Parameter Heterogeneity Handling

Softsign: 优化器中的平滑符号函数以更好地处理参数异质性

Dmitrii Feoktistov, Timofey Belinsky, Andrey Veprikov, Amir Zainullin, Aleksandr Beznosikov

机构 * HSE University（莫斯科国立高等经济学院） ； Yandex Research（Yandex研究院） ； BRAIn Lab（BRAIn实验室） ； SB AI Lab（SB人工智能实验室） ； Innopolis University（因诺波利斯大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出SoftSignum和SoftMuon优化器，通过温度控制的软符号变换替代硬符号映射，结合自适应分位数温度调度，解决基于符号的优化器在参数异质性和终端收敛上的问题，并在随机非凸设置下证明收敛性，实验表明在多种深度学习任务（包括大语言模型预训练）中优于硬符号优化器和AdamW。

Comments 9 pages, 3 tables, 4 Figures

COMPASS: Cognitive MCTS-Guided Process Alignment for Safe Search Agents

COMPASS: 认知MCTS引导的过程对齐用于安全搜索代理

Wenkai Shen, Pengyang Zhou, Jiahe Xu, Jiaming Qian, Haozhe He, Zhihao Huang, Chaochao Chen, Xiaolin Zheng

机构 * Zhejiang University（浙江大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出COMPASS框架，通过认知树探索和自省步骤对齐，在保持通用效用的同时实现搜索代理工作流中的鲁棒安全对齐。

Retrieval, Reward, and Training Protocols: What Matters in Training Search Agents?

检索、奖励与训练协议：训练搜索代理的关键因素是什么？

Yibo Zhao, Zichen Ding, Jiayi Wu, Zun Wang, Xiang Li

机构 * School of Data Science and Engineering, East China Normal University（东华大学数据科学与工程学院） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文通过控制实验，系统研究了检索语料库、奖励设计和训练协议三个维度对搜索代理训练的影响，发现纠正语料覆盖问题比算法差异更有效，简单的基于结果的奖励方法在多数设置下表现优异，并提出了实用训练指南。

Comments 18pages, 4 figures, and 15 tables

MMTM: Tri-Modal Topic Modeling for Long-Form Video via Similarity-Gated Fusion

MMTM: 基于相似性门控融合的长视频三模态主题建模

Ali Abusaleh, Bhuvanesh Verma, Alexander Mehler

机构 * Text Technology Lab (TTLab), Goethe University Frankfurt（文本技术实验室（TTLab），法兰克福歌德大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出MMTM模块化流水线，通过相似性门控融合集成语音识别、音频和视觉嵌入及BERTopic聚类，在长视频主题发现中显著提升主题质量。

Comments Submitted to EMNLP 2026

TabPFN-3: Technical Report

TabPFN-3: 技术报告

Léo Grinsztajn, Klemens Flöge, Oscar Key, Felix Birkel, Philipp Jund, Brendan Roof, Mihir Manium, Shi Bin Hoo, Magnus Bühler, Anurag Garg, Dominik Safaric, Jake Robertson, Benjamin Jäger, Simone Alessi, Adrian Hayler, Vladyslav Moroshan, Lennart Purucker, Philipp Singer, Alan Arazi, Julien Siems, Jan Hendrik Metzen, Georg Grab, Nick Erickson, Siyuan Guo, Eliott Kalfon, Simon Bing, David Salinas, Clara Cornu, Lilly Charlotte Wehrhahn, Diana Kriuchkova, Kursat Kaya, Lydia Sidhoum, Marie Salmon, Jerry Chen, Madelon Hulsebos, Yann LeCun, Samuel Müller, Bernhard Schölkopf, Sauraj Gambhir, Noah Hollmann, Frank Hutter

机构 * Prior Labs 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；foundation model(abstract)；分类 cs.LG

AI总结 本文提出TabPFN-3，通过扩展训练数据和优化推理，在表格数据上实现最先进性能，并支持时间序列、关系数据和表格文本数据。

Do not be greedy, Think Twice: Sampling and Selection for Document-level Information Extraction

不要贪婪，三思而后行：文档级信息抽取的采样与选择

Mikel Zubillaga, Oscar Sainz, Oier Lopez de Lacalle, Eneko Agirre

机构 * HiTZ Center - Ixa, University of the Basque Country UPV/EHU（希茨中心 - Ixa，巴斯克国家大学UPV/EHU） 纠错

专题命中 预训练与数据 ：LLM(abstract)；prompting(abstract)；分类 cs.CL

AI总结 提出ThinkTwice框架，通过采样生成多个候选模板并选择最优，利用无监督一致性和有监督奖励模型，在文档级信息抽取中超越贪婪解码方法。

Comments Submitted to EMNLP 2026

When Seekers Are Hard to Help: Evaluating Emotional Support Dialogue Systems in Worst-Case Interactions

当求助者难以帮助：评估情感支持对话系统在最坏情况交互中的表现

Jiajie Yang, Yangchun Li, Guanyi Chen, Rui Fan, Xin Bai, Tingting He

机构 * Hubei Provincial Key Laboratory of Artificial Intelligence and Smart Learning（湖北人工智能与智能学习省级重点实验室） ； National Language Resources Monitoring and Research Center for Network Media（网络媒体语言资源监测与研究中心） ； School of Computer Science, Central China Normal University（华中师范大学计算机学院） ； Faculty of Artificial Intelligence in Education, Central China Normal University（华中师范大学教育人工智能学院） ； School of Chinese Language and Literature, Central China Normal University（华中师范大学中文语言文学学院） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本研究通过专家模拟和提出最坏情况评估框架，发现现有情感支持对话系统在面对低参与度、抗拒等困难求助者时性能显著下降，并验证了最坏情况模拟数据可提升模型鲁棒性。

SilentRetrieval: Hijacking Retrieval-Augmented Generation via Semantically-Preserving Adversarial Data Poisoning

SilentRetrieval：通过语义保持的对抗性数据投毒劫持检索增强生成

Jiachen Qian

机构 * City University of Hong Kong（香港城市大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出SilentRetrieval两阶段数据投毒攻击，通过协调束搜索和上下文自适应触发生成，在保持文档流畅性的同时实现高检索命中率和攻击成功率，并评估了防御措施的有效性。

Comments 12 pages, 4 figures, KDD '26 camera-ready version

Journal ref Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining V.2 (KDD '26), August 09--13, 2026, Jeju Island, Republic of Korea