语言大模型 / LLM

EA4LLM: A Gradient-Free Approach to Large Language Model Optimization via Evolutionary Algorithms

WenTao Liu, Siyu Song, Hao Hao, Aimin Zhou

机构 * Shanghai Institute of Artifical Intelligence Education, East China Normal University, Shanghai, China（上海人工智能教育研究院，东华大学，上海，中国） ； School of Computer Science and Technology, East China Normal University, Shanghai, China（计算机科学与技术学院，东华大学，上海，中国） ； Shanghai Innovation Institute, Shanghai, China（上海创新研究院，上海，中国） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.AI

ixi-GEN: Efficient Industrial sLLMs through Domain Adaptive Continual Pretraining

Seonwu Kim, Yohan Na, Kihun Kim, Hanhee Cho, Geun Lim, Mintae Kim, Seongik Park, Ki Hyun Kim, Youngsub Han, Byoung-Ki Jeon

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

Comments Accepted at EMNLP 2025 Industry Track

Mask and You Shall Receive: Optimizing Masked Language Modeling For Pretraining BabyLMs

Lukas Edman, Alexander Fraser

机构 * School of Computation, Information and Technology, TU Munich（计算、信息与技术学院，慕尼黑工业大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； Munich Data Science Institute（慕尼黑数据科学研究所） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title)；分类 cs.CL

Comments Submission to the 2025 BabyLM Challenge

IKnow: Instruction-Knowledge-Aware Continual Pretraining for Effective Domain Adaptation

Tianyi Zhang, Florian Mai, Lucie Flek

机构 * University of Bonn（波恩大学） ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉玛尔机器学习与人工智能研究所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Relative-Based Scaling Law for Neural Language Models

Baoqing Yue, Jinyuan Zhou, Zixi Wei, Jingtao Zhan, Qingyao Ai, Yiqun Liu

机构 * Tsinghua University（清华大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Decoding-Free Sampling Strategies for LLM Marginalization

David Pohl, Marco Cognetta, Junyoung Lee, Naoaki Okazaki

机构 * nlp.c.titech.ac.jp（东京技术大学自然语言处理研究所） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；language model(abstract)；分类 cs.CL

Comments 10 pages, 3 figures

Born a Transformer -- Always a Transformer? On the Effect of Pretraining on Architectural Abilities

Mayank Jobanputra, Yana Veitsman, Yash Sarrof, Aleksandra Bakalova, Vera Demberg, Ellie Pavlick, Michael Hahn

机构 * Saarland University（萨尔兰大学） ； Brown University（布朗大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL、cs.LG

Comments NeurIPS 2025

Pretraining Decision Transformers with Reward Prediction for In-Context Multi-task Structured Bandit Learning

Subhojyoti Mukherjee, Josiah P. Hanna, Qiaomin Xie, Robert Nowak

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

Comments Accepted in Reinforcement Learning Conference 2025

Journal ref Reinforcement Learning Journal,vol. 6, 2025, pp. 1681-1723

Are Stereotypes Leading LLMs' Zero-Shot Stance Detection ?

Anthony Dubreuil, Antoine Gourru, Christine Largeron, Amine Trabelsi

机构 * Laboratoire Hubert Curien, UMR CNRS 5516（Hubert Curien实验室，CNRS UMR 5516） ； Department of Computer Science, Université de Sherbrooke（计算机科学系，Sherbrooke大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

Comments Accepted in EMNLP 2025 (Main)

PhantomLint: Principled Detection of Hidden LLM Prompts in Structured Documents

Toby Murray

专题命中 预训练与数据 ：LLM(title,abstract)

VaultGemma: A Differentially Private Gemma Model

Amer Sinha, Thomas Mesnard, Ryan McKenna, Daogao Liu, Christopher A. Choquette-Choo, Yangsibo Huang, Da Yu, George Kaissis, Zachary Charles, Ruibo Liu, Lynn Chua, Pritish Kamath, Pasin Manurangsi, Steve He, Chiyuan Zhang, Badih Ghazi, Borja De Balle Pigem, Prem Eruvbetine, Tris Warkentin, Armand Joulin, Ravi Kumar

机构 * Google Research（谷歌研究） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Pareto-Optimal Energy Alignment for Designing Nature-Like Antibodies

Yibo Wen, Chenwei Xu, Jerry Yao-Chieh Hu, Kaize Ding, Han Liu

机构 * Northwestern University（西北大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；preference optimization(abstract)；分类 cs.LG

Comments 21 pages

Synthetic social data: trials and tribulations

Guido Ivetta, Laura Moradbakhti, Rafael A. Calvo

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

Comments 10 pages, 3 figures

Calibrating Multimodal Consensus for Emotion Recognition

Guowei Zhong, Junjie Li, Huaiyu Zhu, Ruohong Huan, Yun Pan

机构 * College of Information Science and Electronic Engineering, Zhejiang University（信息科学与电子工程学院，浙江大学） ； College of Computer Science and Technology, Zhejiang University of Technology（计算机科学与技术学院，浙江工业大学） ； Zhejiang University Jinhua Research Institute（浙江大学金华研究院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.LG

Watermarking Autoregressive Image Generation

Nikola Jovanović, Ismail Labiad, Tomáš Souček, Martin Vechev, Pierre Fernandez

机构 * Meta FAIR ； ETH Zurich 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

Comments NeurIPS 2025

BioCLIP 2: Emergent Properties from Scaling Hierarchical Contrastive Learning

Jianyang Gu, Samuel Stevens, Elizabeth G Campolongo, Matthew J Thompson, Net Zhang, Jiaman Wu, Andrei Kopanev, Zheda Mai, Alexander E. White, James Balhoff, Wasila Dahdul, Daniel Rubenstein, Hilmar Lapp, Tanya Berger-Wolf, Wei-Lun Chao, Yu Su

机构 * The Ohio State University（俄亥俄州立大学） ； Smithsonian Institution（史密森学会） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； University of California, Irvine（加州大学伊市分校） ； Princeton University（普林斯顿大学） ； Duke University（杜克大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.CL、cs.LG

Comments NeurIPS 2025 Spotlight; Project page: https://imageomics.github.io/bioclip-2/

MS-BART: Unified Modeling of Mass Spectra and Molecules for Structure Elucidation

Yang Han, Pengyu Wang, Kai Yu, Xin Chen, Lu Chen

机构 * X-LANCE Lab, School of Computer Science MoE Key Lab of Artificial Intelligence, SJTU AI Institute Shanghai Jiao Tong University, Shanghai, China（X-LANCE实验室，计算机科学学院，人工智能教育部重点实验室，上海交通大学人工智能研究院，上海，中国） ； Suzhou Laboratory, Suzhou, China（苏州实验室，苏州，中国） ； Shanghai Innovation Institute, Shanghai, China（上海创新研究院，上海，中国） ； Jiangsu Key Lab of Language Computing, Suzhou, China（江苏省语言计算重点实验室，苏州，中国） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

Comments NeurIPS 2025, We provide the data and code at https://github.com/OpenDFM/MS-BART

LAMA-UT: Language Agnostic Multilingual ASR through Orthography Unification and Language-Specific Transliteration

Sangmin Lee, Woo-Jin Chung, Hong-Goo Kang

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

Comments Accepted to AAAI 2025 (Oral Presentation)

GenLit: Reformulating Single-Image Relighting as Video Generation

Shrisha Bharadwaj, Haiwen Feng, Giorgio Becherini, Victoria Fernandez Abrevaya, Michael J. Black

机构 * Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所） 纠错

专题命中 预训练与数据 ：foundation model(abstract)