语言大模型 / LLM

Can a Crow Hatch a Falcon? Lineage Matters in Predicting Large Language Model Performance

Takuya Tamura, Taro Yano, Masafumi Enomoto, Masafumi Oyamada

机构 * NEC Corporation（日本电报电话株式会社） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

Echo Chamber: RL Post-training Amplifies Behaviors Learned in Pretraining

Rosie Zhao, Alexandru Meterez, Sham Kakade, Cengiz Pehlevan, Samy Jelassi, Eran Malach

机构 * Harvard University（哈佛大学） ； Kempner Institute（凯普纳研究所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；post-training(title,abstract)；language model(abstract)；分类 cs.LG

Comments COLM 2025

Topic Over Source: The Key to Effective Data Mixing for Language Models Pre-training

Jiahui Peng, Xinlin Zhuang, Jiantao Qiu, Ren Ma, Jing Yu, He Zhu, Conghui He

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI

LeakAgent: RL-based Red-teaming Agent for LLM Privacy Leakage

Yuzhou Nie, Zhun Wang, Ye Yu, Xian Wu, Xuandong Zhao, Wenbo Guo, Dawn Song

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Accepted by COLM 2025

Comparing Knowledge Injection Methods for LLMs in a Low-Resource Regime

Hugo Abonizio, Thales Almeida, Roberto Lotufo, Rodrigo Nogueira

机构 * Faculdade de Engenharia Elétrica e de Computação (FEEC), University of Campinas (Unicamp)（电子工程与计算学院（FEEC），坎皮纳斯大学） ； Instituto de Computação (IC), University of Campinas (Unicamp)（计算研究所（IC），坎皮纳斯大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

PaPaformer: Language Model from Pre-trained Parallel Paths

Joonas Tapaninaho, Mourad Oussala

机构 * University of Oulu, Faculty of Information Technology and Electrical Engineering, CMVS（奥卢大学，信息科技与电气工程学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.LG

Rethinking the Bias of Foundation Model under Long-tailed Distribution

Jiahao Chen, Bin Qin, Jiangmeng Li, Hao Chen, Bing Su

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学耿丽人工智能学院） ； Beijing Key Laboratory of Big Data Management and Analysis Methods（北京大数据管理与分析方法重点实验室） ； Institute of Software Chinese Academy of Sciences（中国科学院软件研究所） ； Electrical and Computer Engineering, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程学院） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

Comments Published as a conference paper in ICML 2025

Bifrost-1: Bridging Multimodal LLMs and Diffusion Models with Patch-level CLIP Latents

Han Lin, Jaemin Cho, Amir Zadeh, Chuan Li, Mohit Bansal

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； Lambda 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

Comments Project Page: https://bifrost-1.github.io

Automated Visualization Makeovers with LLMs

Siddharth Gangwar, David A. Selby, Sebastian J. Vollmer

机构 * University of Kaiserslautern–Landau (RPTU)（凯撒斯劳滕-兰道大学（RPTU）） ； Department of Data Science and its Applications, German Research Center for Artificial Intelligence (DFKI)（数据科学及其应用系，德国人工智能研究中心（DFKI）） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Towards More Realistic Extraction Attacks: An Adversarial Perspective

Yash More, Prakhar Ganesh, Golnoosh Farnadi

机构 * McGill University（麦吉尔大学） ； Mila（Mila研究所） 纠错

专题命中 预训练与数据 ：language model(abstract)；prompting(abstract)；分类 cs.CL、cs.LG

Comments To appear in TACL

No Query, No Access

Wenqiang Wang, Siyuan Liang, Yangshijie Zhang, Xiaojun Jia, Hao Lin, Xiaochun Cao

机构 * Sun Yat-sen University, Guangzhou, China（中山大学） ； Lanzhou University, Gansu, China（兰州大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Effective Training Data Synthesis for Improving MLLM Chart Understanding

Yuwei Yang, Zeyu Zhang, Yunzhong Hou, Zhuowan Li, Gaowen Liu, Ali Payani, Yuan-Sen Ting, Liang Zheng

机构 * Australian National University（澳大利亚国立大学） ； Ohio State University（俄亥俄州立大学） ； Cisco（思科公司） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Accepted by ICCV 2025 (poster). 26 pages, 17 figures

PEACH: A sentence-aligned Parallel English-Arabic Corpus for Healthcare

Rania Al-Sabbagh

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Journal ref Corpora 2024, 19, 3, 395-410

CAST: Cross Attention based multimodal fusion of Structure and Text for materials property prediction

Jaewan Lee, Changyoung Park, Hongjun Yang, Sungbin Lim, Woohyung Lim, Sehui Han

机构 * LG AI Research（LG人工智能研究） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

Comments 11 pages, 4 figures