语言大模型 / LLM

Towards Understanding Subliminal Learning: When and How Hidden Biases Transfer

迈向理解潜意识学习：何时以及如何隐藏偏见转移

Simon Schrodi, Elias Kempf, Fazl Barez, Thomas Brox

机构 * University of Freiburg（弗赖堡大学） ； University of Oxford（牛津大学） ； WhiteBox 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究探讨了语言模型在蒸馏过程中潜意识学习的机制，发现早期层的微调足以引发隐藏偏见的转移，并指出该现象对提示改写敏感。

Comments ICLR 2026

Replaying pre-training data improves fine-tuning

重放预训练数据提高微调

Suhas Kotha, Percy Liang

机构 * Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 通过重放预训练数据提升微调效果，提高目标任务性能

Vevo2: A Unified and Controllable Framework for Speech and Singing Voice Generation

Vevo2：一种用于语音和歌唱语音生成的统一且可控的框架

Xueyao Zhang, Junan Zhang, Yuancheng Wang, Chaoren Wang, Yuanzhe Chen, Dongya Jia, Zhuo Chen, Zhizheng Wu

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； ByteDance Seed（字节跳动种子） ； Shenzhen Loop Area Institute（深圳河套学院） ； City University of Macau（澳门城市大学） ； Amphion Technology Co., Ltd.（Amphion科技有限公司） 纠错

专题命中 预训练与数据 ：post-training(abstract)；分类 cs.CL、cs.AI

AI总结 Vevo2通过统一建模和可控框架实现语音与歌唱语音的生成，结合语调学习策略和多目标训练提升可控性和泛化能力。

Comments Accepted by the IEEE Transactions on Audio, Speech and Language Processing (TASLP)

Semantic Containment as a Fundamental Property of Emergent Misalignment

语义包容作为涌现偏差的根本属性

Rohan Saxena

机构 * Department of XXX, University of YYY, Location, Country（YYY大学XXX系） ； School of ZZZ, Institute of WWW, Location, Country（WWW研究所ZZZ学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究发现语义触发器可自发诱导模型限制，无需混合无害和有害训练数据，揭示有害微调的潜在安全风险。

Directional Neural Collapse Explains Few-Shot Transfer in Self-Supervised Learning

方向性神经坍塌解释自监督学习中的少样本迁移

Achleshwar Luthra, Yash Salunkhe, Tomer Galanti

机构 * Department of Computer Science \& Engineering, Texas A\&M University 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 方向性神经坍塌解释自监督学习中少样本迁移的机制，通过分析决策轴方差与多任务几何的关系，揭示了表示学习中的关键特性。

Semantic Similarity is a Spurious Measure of Comic Understanding: Lessons Learned from Hallucinations in a Benchmarking Experiment

语义相似性是漫画理解的虚假度量：来自基准实验中幻觉的教训

Christopher Driggers-Ellis, Nachiketh Tibrewal, Rohit Bogulla, Harsh Khanna, Sangpil Youm, Christan Grant, Bonnie Dorr

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一项初步基准测试，评估生成视觉-语言模型在漫画解释任务中的表现，并分析了幻觉现象，强调未来研究中需加强幻觉缓解和数据整理。

Comments 8 pages, 2 figures, 3 tables. Includes link to code

Provable and Practical In-Context Policy Optimization for Self-Improvement

可证明且实用的上下文内策略优化用于自我改进

Tianrun Yu, Yuxiao Yang, Zhaoyang Wang, Kaixiang Zhao, Porter Jenkins, Xuchao Zhang, Chetan Bansal, Huaxiu Yao, Weitong Zhang

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ICPO方法，通过上下文内自我反思和最小熵优化，在保持低推理成本的同时实现数学推理任务的高性能

Comments 34 pages, 8 tables, 4 figures, Accepted by ICLR 2026

Reference Grounded Skill Discovery

基于参考的技能发现

Seungeun Rho, Aaron Trinh, Danfei Xu, Sehoon Ha

机构 * School of Interactive Computing（交互计算学院） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 RGSD通过语义有意义的潜在空间实现技能发现，有效模仿和发现多样行为，在运动任务中优于模仿学习基线。

Sydney Telling Fables on AI and Humans: A Corpus Tracing Memetic Transfer of Persona between LLMs

悉尼在AI与人类之间讲述寓言：LLM间人设的语料追溯膜传

Jiří Milička, Hana Bednářová

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过分析LLM生成的文本，探讨悉尼人设在AI与人类关系中的传播与影响，并构建了相关语料库。

Enhancing Multilingual Embeddings via Multi-Way Parallel Text Alignment

通过多方向平行文本对齐增强多语言嵌入

Barah Fazili, Koustava Goswami

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 通过多方向平行文本对齐提升多语言嵌入，增强跨语言表示性能。

ConceptRM: The Quest to Mitigate Alert Fatigue through Consensus-Based Purity-Driven Data Cleaning for Reflection Modelling

ConceptRM: 通过基于共识的纯度驱动数据清洗缓解警报疲劳的探索

Yongda Yu, Lei Zhang, Xinxin Guo, Minghui Yu, Zhengqi Zhuang, Guoping Rong, Haifeng Shen, Zhengfeng Li, Boge Wang, Guoan Zhang, Bangyu Xiang, Xiaobin Xu

机构 * Southern Cross University, Gold Coast, Australia（南方十字大学，黄金海岸，澳大利亚） ； TRE, Alibaba Inc., Hangzhou, China（TRE，阿里巴巴公司，杭州，中国） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 ConceptRM通过基于共识的纯度驱动数据清洗方法，有效提高虚假警报拦截能力，减少人工标注成本。

Repurposing Synthetic Data for Fine-grained Search Agent Supervision

将合成数据重新利用于细粒度搜索代理的监督

Yida Zhao, Kuan Li, Xixi Wu, Liwen Zhang, Dingchu Zhang, Baixuan Li, Maojia Song, Zhuo Chen, Chenxi Wang, Xinyu Wang, Kewei Tu, Pengjun Xie, Jingren Zhou, Yong Jiang

机构 * School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院） ； Shanghai Engineering Research Center of Intelligent Vision and Imaging（智能视觉与成像上海工程研究中心） ； Tongyi Lab, Alibaba Group（阿里集团通义实验室） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出E-GRPO框架，通过利用训练中被丢弃的实体信息，提升搜索代理的细粒度学习和推理效率。

Celo2: Towards Learned Optimization Free Lunch

Celo2：迈向无学习优化的免费午餐

Abhinav Moudgil, Boris Knyazev, Eugene Belilovsky

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 Celo2通过简单架构和增强元训练，在极小计算量下实现了高效通用学习更新规则，稳定扩展至大规模预训练任务并兼容现代优化工具。

Comments ICLR 2026

MantisV2: Closing the Zero-Shot Gap in Time Series Classification with Synthetic Data and Test-Time Strategies

MantisV2: 通过合成数据和测试时策略缩小零样本时间序列分类的差距

Vasilii Feofanov, Songkang Wen, Jianfeng Zhang, Lujia Pan, Ievgen Redko

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 MantisV2通过合成数据和测试时策略提升时间序列分类的零样本性能

From Subtle to Significant: Prompt-Driven Self-Improving Optimization in Test-Time Graph OOD Detection

从细微到显著：基于提示的自我改进优化在测试时图OoD检测中

Luzhi Wang, Xuanshuo Fu, He Zhang, Chuang Liu, Xiaobao Wang, Hongbo Liu

专题命中 预训练与数据 ：preference optimization(abstract)；分类 cs.AI、cs.LG

AI总结 提出SIGOOD方法，通过自我改进的提示优化提升测试时图OoD检测的性能。

Comments 9pages, 5 figures

The Chicken and Egg Dilemma: Co-optimizing Data and Model Configurations for LLMs

数据与模型配置的协同优化：大语言模型的鸡与蛋困境

Zhiliang Chen, Alfred Wei Lun Leong, Shao Yong Ong, Apivich Hemachandra, Gregory Kang Ruey Lau, Chuan-Sheng Foo, Zhengyuan Liu, Nancy F. Chen, Bryan Kian Hsiang Low

机构 * National University of Singapore（新加坡国立大学） ； Agency for Science, Technology and Research (A*STAR)（科技研究局） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 JoBS通过联合优化数据和模型配置，利用性能预测器提升大语言模型训练效率，有效降低优化成本。

Cardinality-Preserving Attention Channels for Graph Transformers in Molecular Property Prediction

保持基数的注意力通道用于分子属性预测中的图变换器

Abhijit Gupta

机构 * PhD（博士） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 CardinalGraphFormer通过引入保持基数的注意力通道，提升分子属性预测的性能，结合结构稀疏注意力与自监督预训练，实现对分子属性的更准确预测。

FairTabGen: High-Fidelity and Fair Synthetic Health Data Generation from Limited Samples

FairTabGen: 从有限样本生成高保真且公平的合成健康数据

Nitish Nagesh, Salar Shakibhamedan, Mahdi Bagheri, Ziyu Wang, Nima TaheriNejad, Axel Jantsch, Amir M. Rahmani

机构 * University of California, Irvine（加州大学尔湾分校） ； TU Wien (Vienna University of Technology)（维也纳技术大学） ； Heidelberg University（海德堡大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 FairTabGen通过结合上下文学习、提示整理和结构约束，以更少的数据生成高保真且公平的合成医疗数据，提升公平性的同时保持预测效用。

DS@GT at TREC TOT 2025: Bridging Vague Recollection with Fusion Retrieval and Learned Reranking

DS@GT在TREC TOT 2025中：通过融合检索与学习重排序弥合模糊回忆

Wenxin Zhou, Ritesh Mehta, Anthony Miyaguchi

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.LG

AI总结 DS@GT在TREC TOT 2025中结合混合检索与学习重排序，通过融合检索方法提升模糊回忆任务的检索效果。

Comments Paper submitted to TREC 2025 (34th Text REtrieval Conference)

Soft Contamination Means Benchmarks Test Shallow Generalization

软污染数据的基准测试浅层泛化

Ari Spiesberger, Juan J. Vazquez, Nicky Pochinkov, Tomáš Gavenčiak, Peli Grietzer, Gavin Leech, Nandi Schoots

机构 * Arb Research（Arb研究） ； Charles University, Prague（查尔斯大学） ； University of Oxford（牛津大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 研究发现训练数据中存在语义重复污染，导致基准测试性能提升可能反映真实能力提升和测试数据积累的综合作用。

Explaining and Mitigating the Modality Gap in Contrastive Multimodal Learning

解释并缓解对比多模态学习中的模态差距

Can Yaras, Siyi Chen, Peng Wang, Qing Qu

机构 * Department of Electrical Engineering \& Computer Science, University of Michigan 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过分析对比多模态学习中的模态差距成因，提出通过温度调度和模态交换等策略缓解模态差距，从而提升多模态任务性能。

Comments The first two authors contributed equally to this work

Detecting RLVR Training Data via Structural Convergence of Reasoning

通过推理的结构收敛检测RLVR训练数据

Hongbo Zhang, Yue Yang, Jianhao Yan, Guangsheng Bao, Yue Zhang, Yue Zhang

机构 * Zhejiang University（浙江大学） ； School of Engineering, Westlake University（西湖大学工程学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 通过推理结构收敛检测RLVR训练数据，提出Min-kNN距离方法有效区分训练数据与未见数据。

Comments Preprint

Code2World: A GUI World Model via Renderable Code Generation

Code2World: 通过可渲染代码生成实现一个GUI世界模型

Yuhao Zheng, Li'an Zhong, Yi Wang, Rui Dai, Kaikui Liu, Xiangxiang Chu, Linyuan Lv, Philip Torr, Kevin Qinghong Lin

机构 * University of Science（科学大学） ； AMAP, Alibaba Group（AMAP，阿里巴巴集团） ； University of Oxford（牛津大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 预训练与数据 ：SFT(abstract)；分类 cs.CL、cs.AI

AI总结 Code2World通过可渲染代码生成实现高保真UI预测，提升Android导航性能

Comments github: https://github.com/AMAP-ML/Code2World project page: https://amap-ml.github.io/Code2World/

Automated rock joint trace mapping using a supervised learning model trained on synthetic data generated by parametric modelling

基于参数建模生成合成数据的监督学习模型用于自动岩体节理迹映射

Jessica Ka Yi Chiu, Tom Frode Hansen, Eivind Magnus Paulsen, Ole Jakob Mengshoel

机构 * Norwegian Geotechnical Engineering（挪威地质工程） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种基于参数建模生成合成数据的监督学习方法，用于解决岩体节理迹映射中真实数据不足和类别不平衡的问题，通过混合训练和微调提升模型鲁棒性，实现更准确的地质映射。

Comments 35 pages, 12 figures, 2 appendices

Scaling Speech Tokenizers with Diffusion Autoencoders

通过扩散自编码器扩展语音标记器

Yuancheng Wang, Zhenyu Tang, Yun Wang, Arthur Hinsvark, Yingru Liu, Yinghao Li, Kainan Peng, Junyi Ao, Mingbo Ma, Mike Seltzer, Qing He, Xubo Liu

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SiTok，一种基于扩散自编码器的语音标记器，通过监督学习实现语义丰富的表示，并在低token率和比特率下实现高保真音频重建。

Comments ICLR 2026

Ethology of Latent Spaces

潜在空间的伦理学

Philippe Boisnard

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究通过伦理学视角揭示视觉语言模型潜在空间的非中立性，发现不同模型对政治与文化类别的归因差异显著，提出计算潜在政治化、涌现偏见和三种算法视域制度等核心概念。

Comments 23. pages, 14 figures, presented Hyperheritage International Symposium 9 ( https://paragraphe.univ-paris8.fr/IMG/pdf/programme_colloque_his9_campuscondorcet_v3.pdf ) and accepted for publication in double-blind peer review in French in 2026-2027

Differentiable Inverse Graphics for Zero-shot Scene Reconstruction and Robot Grasping

可微逆图形用于零样本场景重建与机器人抓取

Octavio Arriaga, Proneet Sharma, Jichen Guo, Marc Otto, Siddhant Kadwe, Rebecca Adam

机构 * DFKI GmbH 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种可微神经图形模型，通过结合神经基础模型与基于物理的可微渲染，实现零样本场景重建和机器人抓取，无需额外3D数据或测试样本。

Comments Submitted to IEEE Robotics and Automation Letters (RA-L) for review. This version includes the statement required by IEEE for preprints

RexBERT: Context Specialized Bidirectional Encoders for E-commerce

RexBERT: 电商专用双向编码器

Rahul Bajaj, Anuj Garg

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 RexBERT通过专为电商设计的编码器，在参数更少的情况下超越通用模型，提升电商领域任务表现。

Comments Blog: https://huggingface.co/blog/thebajajra/rexbert-encoders Models: https://huggingface.co/collections/thebajajra/rexbert Ecom-niverse Dataset: https://huggingface.co/datasets/thebajajra/Ecom-niverse

Convergent World Representations and Divergent Tasks

趋同的世界表征与分歧的任务

Core Francisco Park

机构 * Center for Brain Science, Harvard University（哈佛大学脑科学中心） ； CBS-NTT Program in Physics of Intelligence, Harvard University（哈佛大学物理智能项目） ； Prior Computers, Cambridge, MA（剑桥马萨诸塞州Prior公司） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本研究通过多任务训练产生趋同的世界表征，但存在分歧任务会损害新实体的整合与泛化。

FLM-Audio: Natural Monologues Improves Native Full-Duplex Chatbots via Dual Training

FLM-Audio: 自然独白提升原生全双工聊天机器人通过双训练

Yiqun Yao, Xiang Li, Xin Jiang, Xuezhi Fang, Naitong Yu, Wenjia Ma, Aixin Sun, Yequan Wang

机构 * Beijing Academy of Artificial Intelligence, Beijing, China（北京人工智能研究院） ； Nanyang Technological University, Singapore（南洋理工大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 FLM-Audio通过双训练策略和连续独白提升全双工聊天机器人的响应质量和体验。