Analyzing Similarity Metrics for Data Selection for Language Model Pretraining
机构 * Carnegie Mellon University(卡内基梅隆大学) ; Google Research(谷歌研究)
专题命中 预训练与数据 :language model(title,abstract);pretraining(title,abstract);分类 cs.CL、cs.LG
AI 大模型
大语言模型、预训练、指令微调、后训练和语言模型应用。
机构 * Carnegie Mellon University(卡内基梅隆大学) ; Google Research(谷歌研究)
专题命中 预训练与数据 :language model(title,abstract);pretraining(title,abstract);分类 cs.CL、cs.LG
专题命中 预训练与数据 :language model(title,abstract);LLM(abstract);large language model(abstract);分类 cs.CL、cs.AI
专题命中 预训练与数据 :LLM(title,abstract);large language model(abstract);language model(abstract)
机构 * Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系) ; Technical University of Munich(慕尼黑技术大学) ; Munich Center for Machine Learning(慕尼黑机器学习中心) ; Minzu University of China(民族大学) ; Institute for AI, Tsinghua University(清华大学人工智能研究院)
专题命中 预训练与数据 :large language model(abstract);language model(abstract);instruction tuning(abstract);pretraining(abstract)
Comments EMNLP 2025 Main Conference (Oral)
机构 * Indian Institute of Technology New Delhi(印度理工学院新德里)
专题命中 预训练与数据 :LLM(abstract);large language model(abstract);language model(abstract);prompting(abstract)
机构 * KTH Royal Institute of Technology(皇家理工学院) ; Scania CV AB(斯堪尼亚公司)
专题命中 预训练与数据 :pretraining(title,abstract)
Comments Under Review
机构 * ServiceNow
专题命中 预训练与数据 :LLM(abstract);large language model(abstract);language model(abstract);分类 cs.AI
Comments 51 Pages, 38 Listings, 5 Figures
机构 * UC Santa Barbara(加州大学圣芭芭拉分校) ; Meta AI ; New York University(纽约大学) ; sec3 ; Northwestern University(西北大学)
专题命中 预训练与数据 :large language model(abstract);language model(abstract);pretraining(abstract);分类 cs.AI
机构 * Yuan Ze University(元智大学)
专题命中 预训练与数据 :language model(abstract);pretraining(abstract);分类 cs.CL、cs.AI、cs.LG
Comments Accepted by The 38th Conference of Open Innovations Association FRUCT, 2025
机构 * IRLab, Informatics Institute, UvA, Amsterdam, the Netherlands(IR实验室、信息研究所、乌得勒支大学、阿姆斯特丹、荷兰) ; AI Lab, Pegasystems, Amsterdam, the Netherlands(AI实验室、佩加系统的阿姆斯特丹分部) ; LIACS, Leiden University, Leiden, the Netherlands(LIACS、莱顿大学、莱顿、荷兰)
专题命中 预训练与数据 :large language model(abstract);language model(abstract);分类 cs.CL、cs.AI
Comments Accepted for the SynDAiTE workshop at the European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML-PKDD 2025), September 15, 2025 - Porto, Portugal
机构 * Shenzhen University(深圳大学)
专题命中 预训练与数据 :language model(abstract)
Comments This work was initially drafted in November 2022