语言大模型 / LLM

PASER: Post-Training Data Selection for Efficient Pruned Large Language Model Recovery

PASER：基于后训练数据选择的高效剪枝大语言模型恢复

Bowei He, Lihao Yin, Hui-Ling Zhen, Xiaokun Zhang, Mingxuan Yuan, Chen Ma

机构 * City University of Hong Kong（香港城市大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；post-training(title,abstract)；instruction tuning(abstract)

AI总结 PASER通过后训练数据选择方法高效恢复剪枝大语言模型的能力，显著优于传统基线方法。

Comments Accepted by ICLR 2026

The Canary's Echo: Auditing Privacy Risks of LLM-Generated Synthetic Text

知更鸟的回声：审计大语言模型生成合成文本的隐私风险

Matthieu Meeus, Lukas Wutschitz, Santiago Zanella-Béguelin, Shruti Tople, Reza Shokri

机构 * Imperial College London（帝国理工学院伦敦分校） ； Microsoft（微软公司） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出通过设计具有分布内前缀和高困惑度后缀的知更鸟，提高基于数据的MIAs的威力，以更准确评估LLM生成合成数据的隐私风险。

Comments 42nd International Conference on Machine Learning (ICML 2025)

Journal ref Proc. Mach. Learn. Res. 267 (2025) 43557-43580

MOSS-Audio-Tokenizer: Scaling Audio Tokenizers for Future Audio Foundation Models

MOSS-Audio-Tokenizer: 为未来音频基础模型扩展音频分词器

Yitian Gong, Kuangwei Chen, Zhaoye Fei, Xiaogui Yang, Ke Chen, Yang Wang, Kexin Huang, Mingshu Chen, Ruixiao Li, Qingyuan Cheng, Shimin Li, Xipeng Qiu

专题命中 预训练与数据 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 MOSS-Audio-Tokenizer通过同质Transformer架构实现端到端音频分词，支持高保真重建并提升语音合成和语音识别性能。

Comments 27 pages, 8 figures

Automated Optimization Modeling via a Localizable Error-Driven Perspective

通过可定位的误差驱动视角实现自动化优化建模

Weiting Liu, Han Wu, Yufei Kuang, Xiongwei Han, Tao Zhong, Jianfeng Feng, Wenlian Lu

机构 * Fudan University（复旦大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MIND通过可定位的误差驱动视角，改进自动化优化建模方法，提升训练后性能。

Sparse Semantic Dimension as a Generalization Certificate for LLMs

稀疏语义维度作为大语言模型的泛化证书

Dibyanayan Bandyopadhyay, Asif Ekbal

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 通过稀疏语义维度理论，揭示大语言模型泛化能力源于内部表示的稀疏结构而非参数数量。

Comments Work in progress (17 pages)

Fully 3D Unrolled Magnetic Resonance Fingerprinting Reconstruction via Staged Pretraining and Implicit Gridding

基于分阶段预训练和隐式栅格化的全3D磁共振指纹重建

Yonatan Urman, Mark Nishimura, Daniel Abraham, Xiaozhi Cao, Kawin Setsompop

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 SPUR-iG通过分阶段预训练和隐式栅格化实现高效3D磁共振指纹重建，提升精度和速度。

Human Behavior Atlas: Benchmarking Unified Psychological and Social Behavior Understanding

人类行为图谱：统一心理与社会行为理解的基准测试

Keane Ong, Wei Dai, Carol Li, Dewei Feng, Hengzhi Li, Jingyao Wu, Jiaee Cheong, Rui Mao, Gianmarco Mengaldo, Erik Cambria, Paul Pu Liang

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；SFT(abstract)；分类 cs.AI

AI总结 人类行为图谱通过统一基准和三种模型提升心理与社会行为理解的多模态性能

Comments Accepted to ICLR 2026 Main Conference

Adaptive Debiasing Tsallis Entropy for Test-Time Adaptation

自适应去偏Tsallis熵用于测试时适应

Xiangyu Wu, Dongming Jiang, Feng Yu, Yueying Tian, Jiaqi Tang, Qing-Guo Chen, Yang Yang, Jianfeng Lu

机构 * Nanjing University of Science and Technology（南京理工大学） ； Alibaba Cloud（阿里云） ； University of Texas at Dallas（德克萨斯大学达拉斯分校） ； University of Sussex（Sussex 大学） ； Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)

AI总结 本文提出自适应去偏Tsallis熵用于测试时适应，通过引入非广延参数q来缓解预训练数据偏差，提升模型适应性能。

Comments Accepted for publication at ICLR 2026; 24 pages; 5 figures

Detecting RLVR Training Data via Structural Convergence of Reasoning

通过推理的结构收敛检测RLVR训练数据

Hongbo Zhang, Yue Yang, Jianhao Yan, Guangsheng Bao, Yue Zhang, Yue Zhang

机构 * Zhejiang University（浙江大学） ； School of Engineering, Westlake University（西湖大学工程学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 通过推理结构收敛检测RLVR训练数据，提出Min-kNN距离方法有效区分训练数据与未见数据。

Comments Preprint

SkillRater: Untangling Capabilities in Multimodal Data

SkillRater: 解构多模态数据中的能力

Naveen Sahi, Jeremy Dohmann, Armen Aghajanyan, Akshat Shrivastava

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 SkillRater通过分解多模态数据质量为多个独立能力维度，提升模型在视觉理解、OCR和STEM推理上的性能。

Vascular anatomy-aware self-supervised pre-training for X-ray angiogram analysis

基于血管解剖的自监督预训练方法用于X射线造影分析

De-Xing Huang, Chaohui Yu, Xiao-Hu Zhou, Tian-Yu Xiang, Qin-Yi Zhang, Mei-Jiang Gui, Rui-Ze Ma, Chen-Yu Wang, Nu-Fang Xiao, Fan Wang, Zeng-Guang Hou

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学） ； Joint Laboratory of Intelligence Science and Technology, Institute of Systems Engineering, Macau University of Science and Technology（智能科学与技术联合实验室，系统工程研究所，澳门科学大学） ； DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 本文提出VasoMIM框架，结合解剖引导掩码策略和一致性损失，用于X射线造影分析，通过XA-170K数据集实现高效预训练并取得最佳性能。

Comments 10 pages, 10 figures, 10 tables. Journal version of VasoMIM (AAAI 2026)

Weakly Supervised Contrastive Learning for Histopathology Patch Embeddings

弱监督对比学习用于病理切片嵌入

Bodong Zhang, Xiwen Li, Hamid Manoochehri, Xiaoya Tang, Deepika Sirohi, Beatrice S. Knudsen, Tolga Tasdizen

机构 * Department of Electrical and Computer Engineering, University of Utah（电气与计算机工程系，犹他大学） ； Scientific Computing and Imaging Institute, University of Utah（科学计算与成像研究所，犹他大学） ； Department of Pathology, University of Utah（病理学系，犹他大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出弱监督对比学习方法，通过结合袋级标签信息提升病理切片嵌入的下游MIL性能。