语言大模型 / LLM

AQUA: A Large Language Model for Aquaculture & Fisheries

Praneeth Narisetty, Uday Kumar Reddy Kattamanchi, Lohit Akshant Nimma, Sri Ram Kaushik Karnati, Shiva Nagendra Babu Kore, Mounika Golamari, Tejashree Nageshreddy

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

Do Large Language Models Have an English Accent? Evaluating and Improving the Naturalness of Multilingual LLMs

Yanzhu Guo, Simone Conia, Zelin Zhou, Min Li, Saloni Potdar, Henry Xiao

机构 * Apple（苹果公司） ； Inria Paris（巴黎国家信息与自动化研究所） ； École Polytechnique（巴黎高等理工学院） ； Sapienza University of Rome（罗马萨皮恩扎大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Comments ACL 2025

Robust Data Watermarking in Language Models by Injecting Fictitious Knowledge

Xinyue Cui, Johnny Tian-Zheng Wei, Swabha Swayamdipta, Robin Jia

机构 * University of Southern California（南加州大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

Comments Accepted to ACL 2025 Findings

Self-Regularization with Sparse Autoencoders for Controllable LLM-based Classification

Xuansheng Wu, Wenhao Yu, Xiaoming Zhai, Ninghao Liu

机构 * University of Georgia（佐治亚大学） ； Tencent AI Lab（腾讯AI实验室） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Accepted by SIGKDD 2025

Iterative Pretraining Framework for Interatomic Potentials

Taoyong Cui, Zhongyao Wang, Dongzhan Zhou, Yuqiang Li, Lei Bai, Wanli Ouyang, Mao Su, Shufei Zhang

机构 * The Chinese University of Hong Kong（香港中文大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； College of Computer Science and Artificial Intelligence（计算机科学与人工智能学院） ； Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.AI

Scaling Analysis of Interleaved Speech-Text Language Models

Gallil Maimon, Michael Hassid, Amit Roth, Yossi Adi

机构 * Department of Computer Science and Engineering（计算机科学与工程系） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；SLM(abstract)；分类 cs.CL

Comments Accepted at COLM 2025

When Does Metadata Conditioning (NOT) Work for Language Model Pre-Training? A Study with Context-Free Grammars

Rei Higuchi, Ryotaro Kawata, Naoki Nishikawa, Kazusato Oko, Shoichiro Yamaguchi, Sosuke Kobayashi, Seiya Tokui, Kohei Hayashi, Daisuke Okanohara, Taiji Suzuki

机构 * The University of Tokyo（东京大学） ； RIKEN AIP（日本研究机构（Advanced Institute for Proprietary Technology）） ； University of California, Berkeley（加州大学伯克利分校） ； Preferred Networks, Inc.（Preferred Networks公司） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.LG

Zero-Shot Learning with Subsequence Reordering Pretraining for Compound-Protein Interaction

Hongzhi Zhang, Zhonglie Liu, Kun Meng, Jiameng Chen, Jia Wu, Bo Du, Di Lin, Yan Che, Wenbin Hu

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； Engineering Research Center for Big Data Application in Private Health Medicine of Fujian Universities, Putian University（福建省私人健康医学大数据应用工程研究中心，莆田大学） ； Macquarie University（麦考瑞大学） ； Wuhan University Shenzhen Research Institute（武汉大学深圳研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

Data Caricatures: On the Representation of African American Language in Pretraining Corpora

Nicholas Deas, Blake Vente, Amith Ananthram, Jessica A. Grieser, Desmond Patton, Shana Kleiner, James Shepard, Kathleen McKeown

机构 * Columbia University, Department of Computer Science（哥伦比亚大学计算机科学系） ； University of Michigan, Department of Linguistics（密歇根大学语言学系） ； University of Pennsylvania, School of Social Policy and Practice, Annenberg School for Communications（宾夕法尼亚大学社会政策与实践学院、安纳伯格通讯学院） ； University of Tennessee, Knoxville, Department of English（田纳西大学基洛纳分校英语系） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.CL

Comments ACL 2025

Multilingual Self-Taught Faithfulness Evaluators

Carlo Alfano, Aymen Al Marjani, Zeno Jonke, Amin Mantrach, Saab Mansour, Marcello Federico

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Agent WARPP: Workflow Adherence via Runtime Parallel Personalization

Maria Emilia Mazzolenis, Ruirui Zhang

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Comments Accepted at the ICML 2025 Workshop on Multi-Agent Systems in the Era of Foundation Models: Opportunities, Challenges, and Futures. Code repo: https://github.com/emiliamazzo/WARPP/

Emerging Properties in Unified Multimodal Pretraining

Chaorui Deng, Deyao Zhu, Kunchang Li, Chenhui Gou, Feng Li, Zeyu Wang, Shu Zhong, Weihao Yu, Xiaonan Nie, Ziang Song, Guang Shi, Haoqi Fan

机构 * ByteDance Seed（字节跳动种子） ； Shenzhen Institutes of Advanced Technology（深圳先进技术研究院） ； Monash University（墨尔本大学） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； UC Santa Cruz（加州大学圣克ruz分校） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

Comments 37 pages, 17 figures

EventVAD: Training-Free Event-Aware Video Anomaly Detection

Yihua Shao, Haojin He, Sijie Li, Siyu Chen, Xinwei Long, Fanhu Zeng, Yuxuan Fan, Muyang Zhang, Ziyang Yan, Ao Ma, Xiaochen Wang, Hao Tang, Yan Wang, Shuyan Li

机构 * Peking University（北京大学） ； Guangdong University of Technology（广东工业大学） ； The University of Sheffield（谢菲尔德大学） ； University of Science and Technology Beijing（北京科技大学） ； Tsinghua University（清华大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Nanjing University（南京大学） ； University of Trento（特伦特大学） ； Queen's University Belfast（贝尔法斯特女王大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Paper was accepted by ACM MM 2025; Code: https://github.com/YihuaJerry/EventVAD

Trust the Model: Compact VLMs as In-Context Judges for Image-Text Data Quality

Daulet Toibazar, Kesen Wang, Sherif Mohamed, Abdulaziz Al-Badawi, Abdulrahman Alfulayt, Pedro J. Moreno

机构 * Humain Riyadh, KSA（利雅得人类，沙特阿拉伯） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Towards More Robust Retrieval-Augmented Generation: Evaluating RAG Under Adversarial Poisoning Attacks

Jinyan Su, Jin Peng Zhou, Zhengxin Zhang, Preslav Nakov, Claire Cardie

专题命中 预训练与数据 ：LLM(abstract)；prompting(abstract)

MUSE-VL: Modeling Unified VLM through Semantic Discrete Encoding

Rongchang Xie, Chen Du, Ping Song, Chang Liu

专题命中 预训练与数据 ：LLM(abstract)；language model(abstract)

Comments ICCV 2025

CONCAP: Seeing Beyond English with Concepts Retrieval-Augmented Captioning

George Ibrahim, Rita Ramos, Yova Kementchedjhieva

机构 * Department of Natural Language Processing, MBZUAI（自然语言处理部门，MBZUAI） ； INESC-ID, Instituto Superior Técnico, University of Lisbon（INESC-ID，理工学院，里斯本大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

Comments Published as a conference paper at COLM 2025

Seed LiveInterpret 2.0: End-to-end Simultaneous Speech-to-speech Translation with Your Voice

Shanbo Cheng, Yu Bao, Zhichao Huang, Yu Lu, Ningxin Peng, Lu Xu, Runsheng Yu, Rong Cao, Yujiao Du, Ting Han, Yuxiang Hu, Zeyang Li, Sitong Liu, Shengtao Ma, Shiguang Pan, Jiongchen Xiao, Nuo Xu, Meng Yang, Rong Ye, Yiming Yu, Jun Zhang, Ruofei Zhang, Wanyi Zhang, Wenhao Zhu, Liehao Zou, Lu Lu, Yuxuan Wang, Yonghui Wu

机构 * ByteDance（字节跳动） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL

Comments Seed-LiveInterpret 2.0 Technical Report

TrackAny3D: Transferring Pretrained 3D Models for Category-unified 3D Point Cloud Tracking

Mengmeng Wang, Haonan Wang, Yulong Li, Xiangjie Kong, Jiaxin Du, Guojiang Shen, Feng Xia

机构 * Zhejiang University of Technology（浙江工业大学） ； RMIT University（皇家墨尔本理工大学） ； Zhejiang Key Laboratory of Visual Information Intelligent Processing（浙江省视觉信息智能处理重点实验室） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

FreeQ-Graph: Free-form Querying with Semantic Consistent Scene Graph for 3D Scene Understanding

Chenlu Zhan, Yufei Zhang, Gaoang Wang, Hongwei Wang

机构 * College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； College of Biomedical Engineering and Instrument Science, Zhejiang University（浙江大学生物医学工程与仪器科学学院） ； Zhejiang University-University of Illinois Urbana-Champaign Institute, Zhejiang University（浙江大学-伊利诺伊大学厄巴纳-香槟分校联合学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)

Self-Guided Masked Autoencoder

Jeongwoo Shin, Inseo Lee, Junho Lee, Joonseok Lee

机构 * Seoul National University（首尔国立大学） ； Google Research（谷歌研究） 纠错

专题命中 预训练与数据 ：pretraining(abstract)