语言大模型 / LLM

DermINO: Hybrid Pretraining for a Versatile Dermatology Foundation Model

Jingkai Xu, De Cheng, Xiangqian Zhao, Jungang Yang, Zilong Wang, Xinyang Jiang, Xufang Luo, Lili Chen, Xiaoli Ning, Chengxu Li, Xinzhu Zhou, Xuejiao Song, Ang Li, Qingyue Xia, Zhou Zhuang, Hongfei Ouyang, Ke Xue, Yujun Sheng, Rusong Meng, Feng Xu, Xi Yang, Weimin Ma, Yusheng Lee, Dongsheng Li, Xinbo Gao, Jianming Liang, Lili Qiu, Nannan Wang, Xianbo Zuo, Cui Yong

机构 * Microsoft Research Asia（微软亚洲研究院） ； Peking University China-Japan Friendship School of Clinical Medicine（北京大学中国日友好临床医学学院） ； Scientific-skincare Innovation Alliance (SIA)（科学护肤创新联盟（SIA）） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)

Verification Limits Code LLM Training

Srishti Gureja, Elena Tommasone, Jingyi He, Sara Hooker, Matthias Gallé, Marzieh Fadaee

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

VideoPASTA: 7K Preference Pairs That Matter for Video-LLM Alignment

Yogesh Kulkarni, Pooyan Fazli

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 预训练与数据 ：LLM(title)；language model(abstract)；pretraining(abstract)；preference optimization(abstract)

Comments EMNLP 2025 (Main)

Reinforcement Learning on Pre-Training Data

Siheng Li, Kejiao Li, Zenan Xu, Guanhua Huang, Evander Yang, Kun Li, Haoyuan Wu, Jiajia Wu, Zihao Zheng, Chenchen Zhang, Kun Shi, Kyrierl Deng, Qi Yi, Ruibin Xiong, Tingqiang Xu, Yuhao Jiang, Jianfeng Yan, Yuyuan Zeng, Guanghui Xu, Jinbao Xue, Zhijiang Xu, Zheng Fang, Shuai Li, Qibin Liu, Xiaoxue Li, Zhuoyu Li, Yangyu Tao, Fei Gao, Cheng Jiang, Bo Chao Wang, Kai Liu, Jianchen Zhu, Wai Lam, Wayyt Wang, Bo Zhou, Di Wang

机构 * LLM Department, Tencent（腾讯大模型部门） ； HunYuan Infra Team（文心一言基础设施团队） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Work in progress

Scaling Laws for Online Advertisement Retrieval

Yunli Wang, Zhen Zhang, Zixuan Yang, Tianyu Xu, Zhiqiang Wang, Yu Li, Rufan Zhou, Zhiqiang Liu, Yanjie Zhu, Jian Yang, Shiyang Wen, Peng Jiang

机构 * Kuaishou Technology（快手科技） ； M-A-P 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments v2 add some theoretical analysis and experimental validation; 26 pages, 11 figures

Improved Scaling Laws in Linear Regression via Data Reuse

Licong Lin, Jingfeng Wu, Peter L. Bartlett

机构 * University of California, Berkeley（加州大学伯克利分校） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

An Adaptor for Triggering Semi-Supervised Learning to Out-of-Box Serve Deep Image Clustering

Yue Duan, Lei Qi, Yinghuan Shi, Yang Gao

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学） ； School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

Comments Accepted by IEEE Transactions on Image Processing (TIP)

LIMI: Less is More for Agency

Yang Xiao, Mohan Jiang, Jie Sun, Keyu Li, Jifan Lin, Yumin Zhuang, Ji Zeng, Shijie Xia, Qishuo Hua, Xuefeng Li, Xiaojie Cai, Tongyu Wang, Yue Zhang, Liming Liu, Xia Wu, Jinlong Hou, Yuan Cheng, Wenjie Li, Xiang Wang, Dequan Wang, Pengfei Liu

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

CLIPin: A Non-contrastive Plug-in to CLIP for Multimodal Semantic Alignment

Shengzhu Yang, Jiawei Du, Shuai Lu, Weihang Zhang, Ningli Wang, Huiqi Li

机构 * Beijing Institute of Technology（北京理工大学） ； Beijing Tongren Hospital（北京同仁医院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

Constructions are Revealed in Word Distributions

Joshua Rozner, Leonie Weissweiler, Kyle Mahowald, Cory Shain

机构 * Stanford University（斯坦福大学） ； Uppsala University（乌普萨拉大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

Comments Accepted to EMNLP 2025

AnyPlace: Learning Generalized Object Placement for Robot Manipulation

Yuchi Zhao, Miroslav Bogdanovic, Chengyuan Luo, Steven Tohme, Kourosh Darvish, Alán Aspuru-Guzik, Florian Shkurti, Animesh Garg

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； Shanghai Jiao Tong University（上海交通大学） ； Wilfrid Laurier University（威尔弗里德·劳里埃大学） ； Acceleration Consortium（加速联盟） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

Comments Accepted at CoRL 2025

MolCluster: Integrating Graph Neural Network with Community Detection for Coarse-Grained Mapping

Zhixuan Zhong, Linbo Ma, Jian Jiang

专题命中 预训练与数据 ：pretraining(abstract)

Comments 17 pages; 4 figures; 5 tables