语言大模型 / LLM

ARMOR: Empowering Multimodal Understanding Model with Interleaved Multimodal Generation Capability

Jianwen Sun, Yukang Feng, Chuanhao Li, Fanrui Zhang, Zizhen Li, Jiaxin Ai, Sizhuo Zhou, Yu Dai, Shenglin Zhang, Kaipeng Zhang

机构 * Nankai University（南开大学） ； Shanghai Innovation Institute（上海创新研究院） ； University of Science and Technology of China（中国科学技术大学） ； Wuhan University（武汉大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Token and Span Classification for Entity Recognition in French Historical Encyclopedias

Ludovic Moncla, Hédi Zeghidi

机构 * INSA Lyon, CNRS, Universite Claude Bernard Lyon 1, LIRIS, UMR5205（里尔斯大学里昂分校、国家科学研究中心、克劳德·伯纳德里昂第一大学、LIRIS、UMR5205） 纠错

专题命中 预训练与数据 ：language model(abstract)；prompting(abstract)；分类 cs.CL

Political Neutrality in AI Is Impossible- But Here Is How to Approximate It

Jillian Fisher, Ruth E. Appel, Chan Young Park, Yujin Potter, Liwei Jiang, Taylor Sorensen, Shangbin Feng, Yulia Tsvetkov, Margaret E. Roberts, Jennifer Pan, Dawn Song, Yejin Choi

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments Code: https://github.com/jfisher52/Approximation_Political_Neutrality

GuideX: Guided Synthetic Data Generation for Zero-Shot Information Extraction

Neil De La Fuente, Oscar Sainz, Iker García-Ferrero, Eneko Agirre

机构 * HiTZ Basque Center for Language Technology - Ixa NLP Group（巴斯克语言技术中心HiTZ - Ixa NLP小组） ； University of the Basque Country (UPV/EHU)（巴斯克国家大学） ； Technical University of Munich (TUM)（慕尼黑技术大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments ACL Findings 2025

Enhancing LLMs via High-Knowledge Data Selection

Feiyu Duan, Xuemiao Zhang, Sirui Wang, Haoran Que, Yuqi Liu, Wenge Rong, Xunliang Cai

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Reflect, Retry, Reward: Self-Improving LLMs via Reinforcement Learning

Shelly Bensal, Umar Jamil, Christopher Bryant, Melisa Russak, Kiran Kamble, Dmytro Mozolevskyi, Muayad Ali, Waseem AlShikh

机构 * Writer, Inc.（Writer公司） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Instruction-Tuning LLMs for Event Extraction with Annotation Guidelines

Saurabh Srivastava, Sweta Pati, Ziyu Yao

机构 * George Mason University（乔治·马歇尔大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Accepted at ACL Findings 2025

mOSCAR: A Large-scale Multilingual and Multimodal Document-level Corpus

Matthieu Futeral, Armel Zebaze, Pedro Ortiz Suarez, Julien Abadji, Rémi Lacroix, Cordelia Schmid, Rachel Bawden, Benoît Sagot

机构 * Inria（法国国家信息与自动化技术研究院） ； Département d’informatique de l’ENS, CNRS, PSL Research University（巴黎高等师范学院计算机科学系、国家科学研究中心、巴黎综合理工研究学院） ； Institut du développement et des ressources en informatique scientifique, CNRS（科学信息发展与资源研究所、国家科学研究中心） ； Sorbonne Université（索邦大学） ； Common Crawl Foundation（Common Crawl基金会） ； Université Paris-Saclay（巴黎萨克雷大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments ACL 2025 (Findings)

QuARI: Query Adaptive Retrieval Improvement

Eric Xing, Abby Stylianou, Robert Pless, Nathan Jacobs

机构 * Washington University in St. Louis（华盛顿大学圣路易斯分校） ； Saint Louis University（圣路易斯大学） ； The George Washington University（乔治华盛顿大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.LG

Comments 13 pages, 4 figures, 4 tables

Positional Fragility in LLMs: How Offset Effects Reshape Our Understanding of Memorization Risks

Yixuan Xu, Antoni-Joan Solergibert i Llaquet, Antoine Bosselut, Imanol Schlag

机构 * ETH AI Center, ETH Zürich, Switzerland（苏黎世联邦理工学院人工智能中心） ； EPFL, Switzerland（瑞士联邦理工学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Understanding Synthetic Context Extension via Retrieval Heads

Xinyu Zhao, Fangcong Yin, Greg Durrett

机构 * Department of Computer Science, The University of Texas at Austin, Texas, USA（计算机科学系，德克萨斯大学奥斯汀分校） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；post-training(abstract)；分类 cs.CL

Comments Published at ICML 2025

Registering Source Tokens to Target Language Spaces in Multilingual Neural Machine Translation

Zhi Qu, Yiran Wang, Jiannan Mao, Chenchen Ding, Hideki Tanaka, Masao Utiyama, Taro Watanabe

机构 * Nara Institute of Science and Technology（奈良科学技术研究所） ； National Institute of Information and Communications Technology（信息与通信技术国家研究所） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Accepted by ACL 2025 (main)

The AI Gap: How Socioeconomic Status Affects Language Technology Interactions

Elisa Bassignana, Amanda Cercas Curry, Dirk Hovy

机构 * IT University of Copenhagen（丹麦技术大学） ； CENTAI Institute（CENTAI研究所） ； Bocconi University（博科尼大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Accepted at ACL Main 2025

TrustRAG: Enhancing Robustness and Trustworthiness in Retrieval-Augmented Generation

Huichi Zhou, Kin-Hei Lee, Zhonghao Zhan, Yue Chen, Zhenhao Li, Zhaoyang Wang, Hamed Haddadi, Emine Yilmaz

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Emotional Supporters often Use Multiple Strategies in a Single Turn

Xin Bai, Guanyi Chen, Tingting He, Chenlian Zhou, Yu Liu

机构 * Faculty of Artificial Intelligence in Education（教育人工智能学院） ； Hubei Provincial Key Laboratory of Artificial Intelligence and Smart Learning（湖北省人工智能与智能学习重点实验室） ； National Language Resources Monitor and Research Center for Network Media（网络媒体语言资源监测与研究中心） ； School of Computer Science, Central China Normal University（中央财经大学计算机学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

ELITE: Embedding-Less retrieval with Iterative Text Exploration

Zhangyu Wang, Siyuan Gao, Rong Zhou, Hao Wang, Li Ning

机构 * University of Southern California（南加州大学） ； Jilin University（吉林大学） ； National Supercomputing Center in Shenzhen（深圳国家超算中心） ； Wuhan University（武汉大学） ； Stellaris AI Limited（Stellaris AI有限公司） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Does Feasibility Matter? Understanding the Impact of Feasibility on Synthetic Training Data

Yiwen Liu, Jessica Bader, Jae Myung Kim

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments CVPRW 2025

MetaUAS: Universal Anomaly Segmentation with One-Prompt Meta-Learning

Bin-Bin Gao

机构 * Tencent YouTu Lab（腾讯优图实验室） 纠错

专题命中 预训练与数据 ：language model(abstract)；foundation model(abstract)；分类 cs.AI

Comments Accepted by NeurIPS 2024

Evaluating the Effectiveness of Black-Box Prompt Optimization as the Scale of LLMs Continues to Grow

Ziyu Zhou, Yihang Wu, Jingyuan Yang, Zhan Xiao, Rongjun Li

机构 * IT Innovation and Research Center, Huawei Technologies（华为技术有限公司信息技术创新与研究中心） ； Zhejiang Lab（浙江实验室） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

MatMMFuse: Multi-Modal Fusion model for Material Property Prediction

Abhiroop Bhattacharya, Sylvain G. Cloutier

机构 * Department of Electrical Engineering, École de technologie supérieure, Montréal, Canada（电气工程系，超技术学院，蒙特利尔，加拿大） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

Comments Presented at AI for Accelerated Materials Design(AI4Mat), ICLR 2025 (https://openreview.net/forum?id=pN4Zg6HBlq#discussion)

BadMoE: Backdooring Mixture-of-Experts LLMs via Optimizing Routing Triggers and Infecting Dormant Experts

Qingyue Wang, Qi Pang, Xixun Lin, Shuai Wang, Daoyuan Wu

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Toward Understanding In-context vs. In-weight Learning

Bryan Chan, Xinyi Chen, András György, Dale Schuurmans

机构 * University of Alberta（阿尔伯塔大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

Comments In The Thirteenth International Conference on Learning Representations (ICLR 2025)

jina-clip-v2: Multilingual Multimodal Embeddings for Text and Images

Andreas Koukounas, Georgios Mastrapas, Sedigheh Eslami, Bo Wang, Mohammad Kalim Akram, Michael Günther, Isabelle Mohr, Saba Sturua, Nan Wang, Han Xiao

机构 * Jina AI GmbH（Jina AI公司） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL

Comments 30 pages, 1-10 main paper, 10-12 refs, 12-30 benchmarks

SCRAG: Social Computing-Based Retrieval Augmented Generation for Community Response Forecasting in Social Media Environments

Dachun Sun, You Lyu, Jinning Li, Yizhuo Chen, Tianshi Wang, Tomoyoshi Kimura, Tarek Abdelzaher

机构 * Department of Computer Science University of Illinois Urbana-Champaign（计算机科学系伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

ToReMi: Topic-Aware Data Reweighting for Dynamic Pre-Training Data Selection

Xiaoxuan Zhu, Zhouhong Gu, Baiqian Wu, Suhang Zheng, Tao Wang, Tianyu Li, Hongwei Feng, Yanghua Xiao

机构 * Shanghai Key Laboratory of Data Science, School of Computer Science, Fudan University（上海数据科学 key 实验室，计算机科学学院，复旦大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Why and How LLMs Hallucinate: Connecting the Dots with Subsequence Associations

Yiyou Sun, Yu Gai, Lijie Chen, Abhilasha Ravichander, Yejin Choi, Dawn Song

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Local Grammar-Based Coding Revisited

Łukasz Dębowski

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments 41 pages, no figures

Who is More Bayesian: Humans or ChatGPT?

Tianshi Mu, Pranjal Rawat, John Rust, Chengjun Zhang, Qixuan Zhong

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments 86 pages, 19 figures

Preference-based Learning with Retrieval Augmented Generation for Conversational Question Answering

Magdalena Kaiser, Gerhard Weikum

专题命中 预训练与数据 ：LLM(abstract)；preference optimization(abstract)；分类 cs.CL

Comments WWW 2025 Short Paper, 5 pages

SUMART: SUMmARizing Translation from Wordy to Concise Expression

Naoto Nishida, Jun Rekimoto

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments 3 pages, 2 figures