语言大模型 / LLM

A Scalable Pipeline for Estimating Verb Frame Frequencies Using Large Language Models

Adam M. Morgan, Adeen Flinker

机构 * NYU Grossman School of Medicine（纽约大学格罗斯曼医学院） ； NYU Tandon School of Engineering（纽约大学坦顿工程学院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

The wall confronting large language models

Peter V. Coveney, Sauro Succi

机构 * Centre for Computational Science, University College London（伦敦大学学院计算科学中心） ； Advanced Research Computing Centre, University College London（伦敦大学学院高级计算中心） ； Institute for Informatics, Faculty of Science, University of Amsterdam（阿姆斯特丹大学科学学院信息学院） ； Italian Institute of Technology（意大利理工学院） ； Physics Department, Harvard University（哈佛大学物理系） ； Mechanical Engineering Department, University College London（伦敦大学学院机械工程系） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

SmilesT5: Domain-specific pretraining for molecular language models

Philip Spence, Brooks Paige, Anne Osbourn

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.LG

ECG-Byte: A Tokenizer for End-to-End Generative Electrocardiogram Language Modeling

William Han, Chaojing Duan, Michael A. Rosenberg, Emerson Liu, Ding Zhao

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Allegheny Health Network（阿勒格尼健康网络） ； University of Colorado（科罗拉多大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；pretraining(abstract)

Comments 38 pages, 9 figures; Accepted to MLHC 2025

Masked Language Models are Good Heterogeneous Graph Generalizers

Jinyu Yang, Cheng Yang, Shanyuan Cui, Zeyuan Guo, Liangwei Yang, Muhan Zhang, Zhiqiang Zhang, Chuan Shi

机构 * School of Computer Science, Beijing University of Posts and Telecommunications（北京邮电大学计算机科学学院） ； Department of Computer Science, University of Illinois Chicago（伊利诺伊大学芝加哥分校计算机科学系） ； Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） ； Ant Group, Beijing, China（蚂蚁集团（北京）） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL

HQ-CLIP: Leveraging Large Vision-Language Models to Create High-Quality Image-Text Datasets and CLIP Models

Zhixiang Wei, Guangting Wang, Xiaoxiao Ma, Ke Mei, Huaian Chen, Yi Jin, Fengyun Rao

机构 * University of Science and Technology of China（中国科学技术大学） ； WeChat Vision, Tencent Inc.（腾讯公司） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)

Scaling and Data Saturation in Protein Language Models

Aviv Spinner, Erika DeBenedictis, Corey M. Hudson

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)

Comments Presented at the GenBio Workshop, ICML 2025

Provable Low-Frequency Bias of In-Context Learning of Representations

Yongyi Yang, Hidenori Tanaka, Wei Hu

机构 * Computer Science and Engineering, University of Michigan（密歇根大学计算机科学与工程系） ； CBS-NTT Physics of Intelligence Program, Harvard University（哈佛大学CBS-NTT智能物理计划） ； Physics of Artificial Intelligence Group, NTT Research, Inc.（NTT研究公司人工智能物理小组） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.LG

Vulnerability Handling of AI-Generated Code -- Existing Solutions and Open Challenges

Sabrina Kaniewski, Dieter Holstein, Fabian Schmidt, Tobias Heer

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)

Comments Accepted for publication @ IEEE AIxSET 2024; 4 pages, 2 Figures

Using Scaling Laws for Data Source Utility Estimation in Domain-Specific Pre-Training

Oleksiy Ostapenko, Charles Guille-Escuret, Luke Kumar, Max Tian, Denis Kocetkov, Gopeshh Subbaraj, Raymond Li, Joel Lamy-Poirier, Sebastien Paquet, Torsten Scholak

机构 * ServiceNow Research（ServiceNow 研究所） ； Mila — Quebec AI Institute（魁北克人工智能研究所） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

MetaAgent: Automatically Constructing Multi-Agent Systems Based on Finite State Machines

Yaolun Zhang, Xiaogeng Liu, Chaowei Xiao

机构 * University of Wisconsin - Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments ICML 2025

MINR: Implicit Neural Representations with Masked Image Modelling

Sua Lee, Joonhun Lee, Myungjoo Kang

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

Comments Accepted to the ICCV 2023 workshop on Out-of-Distribution Generalization in Computer Vision

Whole-brain Transferable Representations from Large-Scale fMRI Data Improve Task-Evoked Brain Activity Decoding

Yueh-Po Peng, Vincent K. M. Cheung, Li Su

机构 * Gamania Digital Entertainment Co., Ltd.（Gamania数字娱乐有限公司） ； Institute of Information Science, Academia Sinica（Academia Sinica信息科学研究所） ； Sony Computer Science Laboratories, Inc.（索尼计算机科学实验室有限公司） 纠错

专题命中 预训练与数据 ：pretraining(abstract)