语言大模型 / LLM

Predictable Scale: Part I, Step Law -- Optimal Hyperparameter Scaling Law in Large Language Model Pretraining

Houyi Li, Wenzhen Zheng, Qiufeng Wang, Hanshan Zhang, Zili Wang, Shijie Xuyang, Yuantao Fan, Zhenyu Ding, Haoying Wang, Ning Ding, Shuigeng Zhou, Xiangyu Zhang, Daxin Jiang

机构 * Fudan University（复旦大学） ； Xi’an Jiaotong University（西安交通大学） ； Megvii Technology（地平线科技） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title)；LLM(abstract)

Comments 22 pages

Can Large Language Models (LLMs) Describe Pictures Like Children? A Comparative Corpus Study

Hanna Woloszyn, Benjamin Gagl

机构 * Self-Learning Systems Lab, Faculty of Human Sciences, Department of Special Education and Rehabilitation（自主学习系统实验室，人文科学学院，特殊教育与康复系） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

G1: Teaching LLMs to Reason on Graphs with Reinforcement Learning

Xiaojun Guo, Ang Li, Yifei Wang, Stefanie Jegelka, Yisen Wang

机构 * Peking University（北京大学） ； MIT（麻省理工学院） ； TUM（慕尼黑工业大学） ； School of CIT, MCML, MDSIEECS and CSAIL（计算机学院、MCML、MDSIEECS和CSAIL） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

Who Gets the Mic? Investigating Gender Bias in the Speaker Assignment of a Speech-LLM

Dariia Puhach, Amir H. Payberah, Éva Székely

机构 * Department of Linguistics（语言学系） ； Department of Speech, Music, and Hearing（语音、音乐与听觉系） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Journal ref Interspeech 2025 (2025), 2058-2062

InPars+: Supercharging Synthetic Data Generation for Information Retrieval Systems

Matey Krastev, Miklos Hamar, Danilo Toapanta, Jesse Brouwers, Yibin Lei

机构 * University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

POPri: Private Federated Learning using Preference-Optimized Synthetic Data

Charlie Hou, Mei-Yu Wang, Yige Zhu, Daniel Lazar, Giulia Fanti

机构 * Pittsburgh Supercomputing Center, Pittsburgh, USA（匹兹堡超级计算中心） ； Department of ECE, Carnegie Mellon University, Pittsburgh, PA（电子工程系，卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；preference optimization(abstract)；分类 cs.AI、cs.LG

Comments ICML 2025 camera-ready

Development of Pre-Trained Transformer-based Models for the Nepali Language

Prajwal Thapa, Jinu Nyachhyon, Mridul Sharma, Bal Krishna Bal

机构 * Information and Language Processing Research Lab (ILPRL)（信息与语言处理研究实验室） ； Kathmandu University（加德满都大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.LG

Journal ref https://aclanthology.org/2025.chipsal-1.2.pdf

Can Masked Autoencoders Also Listen to Birds?

Lukas Rauch, René Heinrich, Ilyass Moummad, Alexis Joly, Bernhard Sick, Christoph Scholz

机构 * University of Kassel（卡塞尔大学） ； Fraunhofer IEE（弗劳恩霍夫研究所） ； INRIA Montpellier（蒙彼利埃INRIA） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

Comments accepted @TMLR: https://openreview.net/forum?id=GIBWR0Xo2J

Backdooring Self-Supervised Contrastive Learning by Noisy Alignment

Tuo Chen, Jie Gui, Minjing Dong, Ju Jia, Lanting Fang, Jian Liu

机构 * Southeast University（东南大学） ； Purple Mountain Laboratories（紫金山实验室） ； Ant Group（蚂蚁集团） ； City University of Hong Kong（香港城市大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

Comments Accepted by ICCV 2025

DISCO: Language-Guided Manipulation with Diffusion Policies and Constrained Inpainting

Ce Hao, Kelvin Lin, Zhiwei Xue, Siyuan Luo, Harold Soh

机构 * School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； Smart Systems Institute, NUS（NUS智能系统研究所） 纠错

专题命中 预训练与数据 ：language model(abstract)

Journal ref IEEE Robotics and Automation Letters ( Volume: 10, Issue: 10, October 2025)