语言大模型 / LLM

Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models

Haoyu Tang, Ye Liu, Xi Zhao, Xukai Liu, Yanghai Zhang, Kai Zhang, Xiaofang Zhou, Enhong Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 预训练与数据 ：language model(title)；分类 cs.CL、cs.AI、cs.LG

Agent4FaceForgery: Multi-Agent LLM Framework for Realistic Face Forgery Detection

Yingxin Lai, Zitong Yu, Jun Wang, Linlin Shen, Yong Xu, Xiaochun Cao

专题命中 预训练与数据 ：LLM(title,abstract)

Image Tokenizer Needs Post-Training

Kai Qiu, Xiang Li, Hao Chen, Jason Kuen, Xiaohao Xu, Jiuxiang Gu, Yinyi Luo, Bhiksha Raj, Zhe Lin, Marios Savvides

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Adobe Research（Adobe研究） ； University of Michigan（密歇根大学） 纠错

专题命中 预训练与数据 ：post-training(title,abstract)

Comments 21 pages, 16 figures, 10 tables. arXiv admin note: substantial text overlap with arXiv:2503.08354

Domain-Adaptive Pretraining Improves Primate Behavior Recognition

Felix B. Mueller, Timo Lueddecke, Richard Vogg, Alexander S. Ecker

机构 * Institute of Computer Science and Campus Institute Data Science, University of Göttingen（计算机科学研究所和校园数据科学研究所，哥廷根大学） ； Max Planck Institute for Dynamics and Self-Organization（动态与自组织Max Planck研究所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

Comments Oral at the CVPR 2025 Workshop CV4Animals

Generalized User-Oriented Image Semantic Coding Empowered by Large Vision-Language Model

Sin-Yu Huang, Vincent W. S. Wong

专题命中 预训练与数据 ：language model(title,abstract)

Comments Accepted by IEEE Global Communications Conference (GLOBECOM), Taipei, Taiwan, Dec. 2025

Physical Autoregressive Model for Robotic Manipulation without Action Pretraining

Zijian Song, Sihan Qin, Tianshui Chen, Liang Lin, Guangrun Wang

机构 * Sun Yat-sen University（中山大学） ； Guangdong Key Laboratory of Big Data Analysis and Processing（广东大数据分析与处理重点实验室） ； X-Era AI Lab（X-Era人工智能实验室） ； Guangdong University of Technology（广东工业大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

Comments 16 pages, 6 figures

ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining

Qi Ma, Yue Li, Bin Ren, Nicu Sebe, Ender Konukoglu, Theo Gevers, Luc Van Gool, Danda Pani Paudel

专题命中 预训练与数据 ：pretraining(title,abstract)

Comments Accepted as 3DV'25 Oral, project page: https://unique1i.github.io/ShapeSplat_webpage/

Masked Autoencoder Pretraining and BiXLSTM ResNet Architecture for PET/CT Tumor Segmentation

Moona Mazher, Steven A Niederer, Abdul Qayyum

专题命中 预训练与数据 ：pretraining(title,abstract)

MM-Retinal V2: Transfer an Elite Knowledge Spark into Fundus Vision-Language Pretraining

Ruiqi Wu, Na Su, Chenran Zhang, Tengfei Ma, Tao Zhou, Zhiting Cui, Nianfeng Tang, Tianyu Mao, Yi Zhou, Wen Fan, Tianxing Wu, Shenqi Jing, Huazhu Fu

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Department of Ophthalmology, The First Affiliated Hospital of Nanjing Medical University（南京医科大学第一附属医院眼科部） ； School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院） ； Institute of High-Performance Computing, Agency for Science, Technology and Research（科技研究局高性能计算研究所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

PII-Compass: Guiding LLM training data extraction prompts towards the target PII via grounding

Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, Xue Jiang, Xuebing Zhou

机构 * Huawei Munich Research Center（华为慕尼黑研究中心） 纠错

专题命中 预训练与数据 ：LLM(title)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted at PrivateNLP Workshop at ACL 2024

Dynamic Pattern Alignment Learning for Pretraining Lightweight Human-Centric Vision Models

Xuanhan Wang, Huimin Deng, Ke Liu, Jun Wang, Lianli Gao, Jingkuan Song

机构 * Tongji University（同济大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

Emerging Properties in Unified Multimodal Pretraining

Chaorui Deng, Deyao Zhu, Kunchang Li, Chenhui Gou, Feng Li, Zeyu Wang, Shu Zhong, Weihao Yu, Xiaonan Nie, Ziang Song, Guang Shi, Haoqi Fan

机构 * ByteDance Seed（字节跳动种子） ； Shenzhen Institutes of Advanced Technology（深圳先进技术研究院） ； Monash University（墨尔本大学） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； UC Santa Cruz（加州大学圣克ruz分校） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

Comments 37 pages, 17 figures

USP: Unified Self-Supervised Pretraining for Image Generation and Understanding

Xiangxiang Chu, Renda Li, Yong Wang

机构 * AMAP, Alibaba Group（阿里集团） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

Comments Accepted to ICCV2025

In-context Learning of Vision Language Models for Detection of Physical and Digital Attacks against Face Recognition Systems

Lazaro Janier Gonzalez-Soler, Maciej Salwowski, Christoph Busch

机构 * da/sec - Biometrics and Security Research Group（da/sec生物识别与安全研究组） ； Technical University of Denmark（丹麦技术大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)

Comments Submitted to IEEE-TIFS

EgoM2P: Egocentric Multimodal Multitask Pretraining

Gen Li, Yutong Chen, Yiqian Wu, Kaifeng Zhao, Marc Pollefeys, Siyu Tang

机构 * ETH Zürich（苏黎世联邦理工学院） ； Zhejiang University（浙江大学） ； Microsoft（微软公司） 纠错

专题命中 预训练与数据 ：pretraining(title)；foundation model(abstract)

Comments Accepted by ICCV 2025

Contrastive Pretraining with Dual Visual Encoders for Gloss-Free Sign Language Translation

Ozge Mercanoglu Sincan, Richard Bowden

机构 * CVSSP, University of Surrey（CVSSP，英国萨里大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

Comments Accepted at 9th Workshop on Sign Language Translation and Avatar Technologies (SLTAT), will be held in conjunction with IVA'25

Self-supervised Pretraining for Integrated Prediction and Planning of Automated Vehicles

Yangang Ren, Guojian Zhan, Chen Lv, Jun Li, Fenghua Liang, Keqiang Li

机构 * Changan Automobile（长安汽车） ； Tsinghua University（清华大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

Synergistic Prompting for Robust Visual Recognition with Missing Modalities

Zhihui Zhang, Luanyuan Dai, Qika Lin, Yunfeng Diao, Guangyin Jin, Yufei Guo, Jing Zhang, Xiaoshuai Hao

机构 * Beijing Institute of Technology（北京理工大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Nanjing University of Science and Technology（南京理工大学） ； National University of Singapore（新加坡国立大学） ； Systems Laboratory of Anhui Province, Hefei University of Technology（安徽省系统实验室，合肥工业大学） ； National Innovative Institute of Defense Technology（国家创新防御技术研究院） ； Intelligent Science & Technology Academy of CASIC（中国航天科技集团智能科学与技术学院） ； School of Computer Science, Wuhan University（武汉大学计算机学院） 纠错

专题命中 预训练与数据 ：prompting(title,abstract)

Finetuning Vision-Language Models as OCR Systems for Low-Resource Languages: A Case Study of Manchu

Yan Hon Michael Chung, Donghyeok Choi

机构 * Division of Humanities（人文学院） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； History, Religious and Philosophy Academy（历史、宗教与哲学学院） ； Hong Kong Baptist University（香港 Baptist 大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)

Revisiting Automatic Data Curation for Vision Foundation Models in Digital Pathology

Boqi Chen, Cédric Vincent-Cuaz, Lydia A. Schoenpflug, Manuel Madeira, Lisa Fournier, Vaishnavi Subramanian, Sonali Andani, Samuel Ruiperez-Campillo, Julia E. Vogt, Raphaëlle Luisier, Dorina Thanou, Viktor H. Koelzer, Pascal Frossard, Gabriele Campanella, Gunnar Rätsch

机构 * Dept. of Computer Science, ETH Zurich, Zurich, Switzerland（苏黎世联邦理工学院计算机科学系） ； AI Center, ETH Zurich, Zurich, Switzerland（苏黎世联邦理工学院人工智能中心） ； Signal Processing Laboratory (LTS4), EPFL, Lausanne, Switzerland（日内瓦联邦理工学院信号处理实验室） ； University of Basel, Basel, Switzerland（巴塞尔大学） ； University Hospital of Basel, Basel, Switzerland（巴塞尔大学医院） ； Idiap Research Institute, Martigny, Switzerland（伊迪普研究 institute） ； Icahn School of Medicine at Mount Sinai, New York, United States（辛辛那提医学中心伊坎医学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)

Comments MICCAI 2025

A Unified Transformer-Based Framework with Pretraining For Whole Body Grasping Motion Generation

Edward Effendy, Kuan-Wei Tseng, Rei Kawakami

机构 * Institute of Science Tokyo（东京科学研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

Improving Myocardial Infarction Detection via Synthetic ECG Pretraining

Lachin Naghashyar

机构 * Department of Computer Science, University of Oxford, Oxford, UK（计算机科学系，牛津大学，牛津，英国） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

Learning from Anatomy: Supervised Anatomical Pretraining (SAP) for Improved Metastatic Bone Disease Segmentation in Whole-Body MRI

Joris Wuts, Jakub Ceranka, Nicolas Michoux, Frédéric Lecouvet, Jef Vandemeulebroucke

机构 * Vrije Universiteit Brussel（瓦布伦大学布鲁塞尔分校） ； UCLouvain（列日大学） ； imec ； Cliniques universitaires Saint Luc & Institut de Recherche Expérimentale et Clinique (IREC)（圣卢大学医院及实验与临床研究所） ； Universitair Ziekenhuis Brussel（布鲁塞尔大学医院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

Comments This preprint is currently under review at *Computers in Biology and Medicine* (Elsevier). This version has not been peer-reviewed

Foundation Models for Atomistic Simulation of Chemistry and Materials

Eric C. -Y. Yuan, Yunsheng Liu, Junmin Chen, Peichen Zhong, Sanjeev Raja, Tobias Kreiman, Santiago Vargas, Wenbin Xu, Martin Head-Gordon, Chao Yang, Samuel M. Blau, Bingqing Cheng, Aditi Krishnapriyan, Teresa Head-Gordon

专题命中 预训练与数据 ：foundation model(title,abstract)

SLAP: Siamese Language-Audio Pretraining Without Negative Samples for Music Understanding

Julien Guinot, Alain Riou, Elio Quinton, György Fazekas

专题命中 预训练与数据 ：pretraining(title,abstract)

Comments Accepted to ISMIR 2025

Cosmos-Drive-Dreams: Scalable Synthetic Driving Data Generation with World Foundation Models

Xuanchi Ren, Yifan Lu, Tianshi Cao, Ruiyuan Gao, Shengyu Huang, Amirmojtaba Sabour, Tianchang Shen, Tobias Pfaff, Jay Zhangjie Wu, Runjian Chen, Seung Wook Kim, Jun Gao, Laura Leal-Taixe, Mike Chen, Sanja Fidler, Huan Ling

专题命中 预训练与数据 ：foundation model(title,abstract)

Comments Only the core contributors are listed. The full list of contributors can be found in Appendix A of this paper

LLäMmlein: Transparent, Compact and Competitive German-Only Language Models from Scratch

Jan Pfister, Julia Wunderle, Andreas Hotho

机构 * Data Science Chair Center for Artificial Intelligence and Data Science (CAIDAS)（数据科学主席中心人工智能与数据科学中心（CAIDAS）） ； Julius-Maximilians-Universität Würzburg (JMU)（乌尔姆-马克斯-普朗克大学（JMU）） 纠错

专题命中 预训练与数据 ：language model(title)；分类 cs.CL、cs.AI、cs.LG

Comments camera ready @ACL25; https://www.informatik.uni-wuerzburg.de/datascience/projects/nlp/llammlein/

Learning Invariant Causal Mechanism from Vision-Language Models

Zeen Song, Siyu Zhao, Xingyu Zhang, Jiangmeng Li, Changwen Zheng, Wenwen Qiang

机构 * Institute of Software Chinese Academy of Sciences, Beijing, China（中国科学院软件研究所） ； University of the Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 预训练与数据 ：language model(title)；pretraining(abstract)

Comments Accepted to ICML 2025

BUT System for the MLC-SLM Challenge

Alexander Polok, Jiangyu Han, Dominik Klement, Samuele Cornell, Jan Černocký, Lukáš Burget

专题命中 预训练与数据 ：SLM(title,abstract)

Canonical Representation and Force-Based Pretraining of 3D Tactile for Dexterous Visuo-Tactile Policy Learning

Tianhao Wu, Jinzhou Li, Jiyao Zhang, Mingdong Wu, Hao Dong

机构 * Center on Frontiers of Computing Studies, School of Computer Science, Peking University（前沿计算研究中心，计算机科学学院，北京大学） ； PKU-Agibot Lab, School of Computer Science, Peking University（北京大学计算机科学学院PKU-Agibot实验室） ； National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（国家多媒体信息处理重点实验室，计算机科学学院，北京大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

Comments Accepted to ICRA 2025