语言大模型 / LLM

Large language models require a new form of oversight: capability-based monitoring

Katherine C. Kellogg, Bingyang Ye, Yifan Hu, Guergana K. Savova, Byron Wallace, Danielle S. Bitterman

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

Comments Under review

SpatialLM: Training Large Language Models for Structured Indoor Modeling

Yongsen Mao, Junhao Zhong, Chuan Fang, Jia Zheng, Rui Tang, Hao Zhu, Ping Tan, Zihan Zhou

机构 * Manycore Tech Inc.（Manycore科技公司） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

MetaSynth: Meta-Prompting-Driven Agentic Scaffolds for Diverse Synthetic Data Generation

Haris Riaz, Sourav Bhabesh, Vinayak Arannil, Miguel Ballesteros, Graham Horwood

专题命中 预训练与数据 ：prompting(title,abstract)；LLM(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 33 pages, 17 figures. Findings of ACL 2025

Journal ref Findings of the Association for Computational Linguistics: ACL 2025, pp. 18770-18803, Vienna, Austria, 2025. Association for Computational Linguistics

TabGemma: Text-Based Tabular ICL via LLM using Continued Pretraining and Retrieval

Günther Schindler, Maximilian Schambach, Michael Medek, Sam Thelin

机构 * SAP SE（SAP公司） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(title)；分类 cs.LG

GMoPE:A Prompt-Expert Mixture Framework for Graph Foundation Models

Zhibin Wang, Zhixing Zhang, Shuqi Wang, Xuanting Xie, Zhao Kang

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

Training Optimal Large Diffusion Language Models

Jinjie Ni, Qian Liu, Chao Du, Longxu Dou, Hang Yan, Zili Wang, Tianyu Pang, Michael Qizhe Shieh

机构 * National University of Singapore（新加坡国立大学） ； Sea AI Lab（Sea AI 实验室） ； StepFun ； Shanghai Qiji Zhifeng Co Ltd（上海启智丰有限公司） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

ChemFM as a Scaling Law Guided Foundation Model Pre-trained on Informative Chemicals

Feiyang Cai, Katelin Zacour, Tianyu Zhu, Tzuen-Rong Tzeng, Yongping Duan, Ling Liu, Srikanth Pilla, Gang Li, Feng Luo

专题命中 预训练与数据 ：foundation model(title,abstract)；language model(abstract)

This Time is Different: An Observability Perspective on Time Series Foundation Models

Ben Cohen, Emaad Khwaja, Youssef Doubli, Salahidine Lemaachi, Chris Lettieri, Charles Masson, Hugo Miccinilli, Elise Ramé, Qiqi Ren, Afshin Rostamizadeh, Jean Ogier du Terrail, Anna-Monica Toon, Kan Wang, Stephan Xie, Zongzhe Xu, Viktoriya Zhukova, David Asker, Ameet Talwalkar, Othmane Abou-Amal

机构 * Datadog AI Research（Datadog AI研究中心） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

Diffusion Language Models are Super Data Learners

Jinjie Ni, Qian Liu, Longxu Dou, Chao Du, Zili Wang, Hang Yan, Tianyu Pang, Michael Qizhe Shieh

机构 * National University of Singapore（新加坡国立大学） ； Sea AI Lab（Sea AI实验室） ； StepFun ； Shanghai Qiji Zhifeng Co Ltd（上海启峰科技有限公司） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.LG

SLIP: Structural-aware Language-Image Pretraining for Vision-Language Alignment

Wenbo Lu

机构 * Department of Data Science（数据科学系） ； New York University Shanghai（纽约大学上海分校） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

Comments Capstone Paper

Modeling Annotator Disagreement with Demographic-Aware Experts and Synthetic Perspectives

Yinuo Xu, Veronica Derricks, Allison Earl, David Jurgens

机构 * University of Michigan（密歇根大学） ； University of Colorado Boulder（科罗拉多大学波德穆尔分校） 纠错

专题命中 预训练与数据 ：LLM(abstract)；prompting(abstract)；分类 cs.CL

Comments 8 pages, 17 figures

Enhancing composition-based materials property prediction by cross-modal knowledge transfer

Ivan Rubtsov, Ivan Dudakov, Yuri Kuratov, Vadim Korolev

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)

Comments 7 pages, 2 figures, 1 table

ALTo: Adaptive-Length Tokenizer for Autoregressive Mask Generation

Lingfeng Wang, Hualing Lin, Senda Chen, Tao Wang, Changxu Cheng, Yangyang Zhong, Dong Zheng, Wuyue Zhao

机构 * Uni-Ubi ； Zhejiang University（浙江大学） ； Tongji University（同济大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

Why Less is More (Sometimes): A Theory of Data Curation

Elvis Dohmatob, Mohammad Pezeshki, Reyhane Askari-Hemmat

机构 * Concordia University（康科德大学） ； FAIR at Meta（Meta的FAIR） ； Mila--Quebec AI Institute（魁北克AI研究所） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.LG

CLIP Meets Diffusion: A Synergistic Approach to Anomaly Detection

Byeongchan Lee, John Won, Seunghyun Lee, Jinwoo Shin

机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国先进科学技术研究院） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.LG

Comments Accepted at TMLR 2025