语言大模型 / LLM

Llama-GENBA-10B: A Trilingual Large Language Model for German, English and Bavarian

Michael Hoffmann, Jophin John, Stefan Schweter, Gokul Ramakrishnan, Hoi-Fong Mak, Alice Zhang, Dmitry Gaynullin, Nicolay J. Hammer

机构 * Leibniz Supercomputing Centre (LRZ)（莱布尼茨超算中心） ； Cerebras Systems（Cerebras系统） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)；pretraining(abstract)

Comments Michael Hoffmann and Jophin John contributed equally to this work

Soft Token Attacks Cannot Reliably Audit Unlearning in Large Language Models

Haokun Chen, Sebastian Szyller, Weilin Xu, Nageen Himayat

机构 * Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Aalto University（艾尔沃斯大学） ； Intel Labs（英特尔实验室） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Comments EMNLP 2025 Findings

User Privacy and Large Language Models: An Analysis of Frontier Developers' Privacy Policies

Jennifer King, Kevin Klyman, Emily Capstick, Tiffany Saade, Victoria Hsieh

机构 * Frontier Developers（前沿开发者） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

Comments See additional files for appendices

Not All Features Deserve Attention: Graph-Guided Dependency Learning for Tabular Data Generation with Language Models

Zheyu Zhang, Shuo Yang, Bardh Prenkaj, Gjergji Kasneci

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.LG

Comments Accepted to EMNLP 2025 (Findings)

Energy Landscapes Enable Reliable Abstention in Retrieval-Augmented Large Language Models for Healthcare

Ravi Shankar, Sheng Wong, Lin Li, Magdalena Bachmann, Alex Silverthorne, Beth Albert, Gabriel Davis Jones

机构 * Oxford Digital Health Labs（牛津数字健康实验室） ； Nuffield Department of Women’s and Reproductive Health（妇女与生殖健康尼富尔德部门） ； University of Oxford（牛津大学） ； OATML ； Department of Computer Science（计算机科学系） 纠错

专题命中 预训练与数据 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

FoMo4Wheat: Toward reliable crop vision foundation models with globally curated data

Bing Han, Chen Zhu, Dong Han, Rui Yu, Songliang Cao, Jianhui Wu, Scott Chapman, Zijian Wang, Bangyou Zheng, Wei Guo, Marie Weiss, Benoit de Solan, Andreas Hund, Lukas Roth, Kirchgessner Norbert, Andrea Visioni, Yufeng Ge, Wenjuan Li, Alexis Comar, Dong Jiang, Dejun Han, Fred Baret, Yanfeng Ding, Hao Lu, Shouyang Liu

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

Curia: A Multi-Modal Foundation Model for Radiology

Corentin Dancette, Julien Khlaut, Antoine Saporta, Helene Philippe, Elodie Ferreres, Baptiste Callard, Théo Danielou, Léo Alberge, Léo Machado, Daniel Tordjman, Julie Dupuis, Korentin Le Floch, Jean Du Terrail, Mariam Moshiri, Laurent Dercle, Tom Boeken, Jules Gregory, Maxime Ronot, François Legou, Pascal Roux, Marc Sapoval, Pierre Manceron, Paul Hérent

机构 * Raidium ； Hôpital Européen Georges Pompidou, AP-HP（欧洲乔治·蓬皮杜医院, AP-HP） ； Université Paris-Cité（巴黎城市大学） ； INRIA（法国国家信息与自动化技术研究所） ； INSERM（法国国家卫生与医学研究中心） ； Beaujon Hospital（贝琼医院） ； Medical University of South Carolina（南卡罗来纳医科大学） ； Columbia University Irving Medical Center（哥伦比亚大学伊万斯医学中心） ； Centre Cardiologique du Nord（北心脑血管中心） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

WindFM: An Open-Source Foundation Model for Zero-Shot Wind Power Forecasting

Hang Fan, Yu Shi, Zongliang Fu, Shuo Chen, Wei Wei, Wei Xu, Jian Li

机构 * School of Economics and Management, North China Electric Power University（经济管理学院，华北电力大学） ； Tsinghua University（清华大学） ； Institute for Interdisciplinary Information Sciences（交叉信息学院） ； Department of Automation（自动化系） ； Department of Electrical Engineering（电气工程系） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

REVS: Unlearning Sensitive Information in Language Models via Rank Editing in the Vocabulary Space

Tomer Ashuach, Martin Tutek, Yonatan Belinkov

机构 * Technion – Israel Institute of Technology（技术离子–以色列理工学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Comments ACL 2025 Findings, 24 pages, 4 figures

Physical Autoregressive Model for Robotic Manipulation without Action Pretraining

Zijian Song, Sihan Qin, Tianshui Chen, Liang Lin, Guangrun Wang

机构 * Sun Yat-sen University（中山大学） ； Guangdong Key Laboratory of Big Data Analysis and Processing（广东大数据分析与处理重点实验室） ； X-Era AI Lab（X-Era人工智能实验室） ； Guangdong University of Technology（广东工业大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

Comments 16 pages, 6 figures

ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining

Qi Ma, Yue Li, Bin Ren, Nicu Sebe, Ender Konukoglu, Theo Gevers, Luc Van Gool, Danda Pani Paudel

专题命中 预训练与数据 ：pretraining(title,abstract)

Comments Accepted as 3DV'25 Oral, project page: https://unique1i.github.io/ShapeSplat_webpage/

Augmented Fine-Tuned LLMs for Enhanced Recruitment Automation

Mohamed T. Younes, Omar Walid, Khaled Shaban, Ali Hamdi, Mai Hassan

机构 * Dept. of Computer Science, Qatar University, Doha, Qatar（计算机科学系，卡塔尔大学，多哈） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Accepted in AICCSA 2025

SasAgent: Multi-Agent AI System for Small-Angle Scattering Data Analysis

Lijie Ding, Changwoo Do

机构 * Neutron Scattering Division, Oak Ridge National Laboratory, Oak Ridge, TN 37831, USA（橡树岭国家实验室中子散射部） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Comments 8 pages, 7 figures

DispFormer: A Pretrained Transformer Incorporating Physical Constraints for Dispersion Curve Inversion

Feng Liu, Bao Deng, Rui Su, Lei Bai, Wanli Ouyang

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI

Comments 20 pages, 12 figures, related codes and data are available at https://github.com/liufeng2317/DispFormer

Journal ref Journal of Geophysical Research: Machine Learning and Computation, 2, e2025JH000648 (2025)

Conversational Code Generation: a Case Study of Designing a Dialogue System for Generating Driving Scenarios for Testing Autonomous Vehicles

Rimvydas Rubavicius, Antonio Valerio Miceli-Barone, Alex Lascarides, Subramanian Ramamoorthy

机构 * School of Informatics, University of Edinburgh 10 Crichton Street, Edinburgh EH8 9AB（信息学院，爱丁堡大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments In Proceedings of GeCoIn 2025: Generative Code Intelligence Workshop, co-located with ECAI-2025

Few-Shot Query Intent Detection via Relation-Aware Prompt Learning

Liang Zhang, Yuan Li, Shijie Zhang, Zheng Zhang, Xitong Li

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Shenzhen MSU-BIT University（深圳MSU-BIT大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL

KG-CQR: Leveraging Structured Relation Representations in Knowledge Graphs for Contextual Query Retrieval

Chi Minh Bui, Ngoc Mai Thieu, Van Vinh Nguyen, Jason J. Jung, Khac-Hoai Nam Bui

机构 * Viettel AI, Viettel Group（越南 Viettel 集团 AI 部门） ； University of Engineering and Technology, Vietnam National University, Hanoi（越南国家大学河内工程大学） ； Department of Computer Engineering, Chung-Ang University（Chung-Ang 大学计算机工程系） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Accepted at Main EMNLP 2025

mmBERT: A Modern Multilingual Encoder with Annealed Language Learning

Marc Marone, Orion Weller, William Fleshman, Eugene Yang, Dawn Lawrie, Benjamin Van Durme

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

Scaling Laws of Motion Forecasting and Planning -- Technical Report

Mustafa Baniodeh, Kratarth Goel, Scott Ettinger, Carlos Fuertes, Ari Seff, Tim Shen, Cole Gulino, Chenjie Yang, Ghassen Jerfel, Dokook Choe, Rui Wang, Benjamin Charrow, Vinutha Kallem, Sergio Casas, Rami Al-Rfou, Benjamin Sapp, Dragomir Anguelov

机构 * Waymo LLC（Waymo公司） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

Understanding the Influence of Synthetic Data for Text Embedders

Jacob Mitchell Springer, Vaibhav Adlakha, Siva Reddy, Aditi Raghunathan, Marius Mosbach

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Mila – Quebec AI Institute, McGill University（蒙特利尔AI研究院，麦吉尔大学） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL

Comments ACL Findings 2025

Synthetic data enables context-aware bioacoustic sound event detection

Benjamin Hoffman, David Robinson, Marius Miron, Vittorio Baglione, Daniela Canestrari, Damian Elias, Eva Trapote, Felix Effenberger, Maddie Cusimano, Masato Hagiwara, Olivier Pietquin

机构 * 1 Earth Species Project, USA 2 Universidad de Le\'on, Spain 3 University of California, Berkeley, USA 4 Universidad de Valladolid, Spain 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.LG

AttriPrompt: Dynamic Prompt Composition Learning for CLIP

Qiqi Zhan, Shiwei Li, Qingjie Liu, Yunhong Wang

机构 * Beihang University（北京航空航天大学） ； Hangzhou Innovation Institute（杭州创新院） 纠错

专题命中 预训练与数据 ：prompting(abstract)

4D Visual Pre-training for Robot Learning

Chengkai Hou, Yanjie Ze, Yankai Fu, Zeyu Gao, Songbo Hu, Yue Yu, Shanghang Zhang, Huazhe Xu

机构 * Peking University（北京大学） ； Tsinghua University（清华大学） ； Shanghai Qizhi Institute（上海启智研究院） ； CASIA（中国科学院自动化研究所） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

Empirical Study of Code Large Language Models for Binary Security Patch Detection

Qingyuan Li, Binchang Li, Cuiyun Gao, Shuzheng Gao, Zongjie Li

机构 * National Key Laboratory for Novel Software Technology at Nanjing University（南京大学新型软件技术国家重点实验室） ； Harbin Institute of Technology（哈尔滨工业大学） ； Chinese University of Hong Kong（香港中文大学） ； Hong Kong University of Science and Technology（香港科学大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.AI

Revolutionizing Reinforcement Learning Framework for Diffusion Large Language Models

Yinjie Wang, Ling Yang, Bowen Li, Ye Tian, Ke Shen, Mengdi Wang

专题命中 指令微调 ：language model(title,abstract)；large language model(title)；post-training(abstract)；分类 cs.CL

Comments Code and Models: https://github.com/Gen-Verse/dLLM-RL

Osprey: Pixel Understanding with Visual Instruction Tuning

Yuqian Yuan, Wentong Li, Jian Liu, Dongqi Tang, Xinjie Luo, Chi Qin, Lei Zhang, Jianke Zhu

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） ； Microsoft（微软） ； The HongKong Polytechnical University（香港理工大学） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Comments CVPR2024, Code and Demo link:https://github.com/CircleRadon/Osprey

SLiNT: Structure-aware Language Model with Injection and Contrastive Training for Knowledge Graph Completion

Mengxue Yang, Chun Yang, Jiaqi Zhu, Jiafan Li, Jingqi Zhang, Yuyang Li, Ying Li

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； National Astronomical Observatories, Chinese Academy of Sciences（中国科学院国家天文台） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted by EMNLP Findings 2025

MSLEF: Multi-Segment LLM Ensemble Finetuning in Recruitment

Omar Walid, Mohamed T. Younes, Khaled Shaban, Mai Hassan, Ali Hamdi

机构 * Dept. of Computer Science, Qatar University, Doha, Qatar（计算机科学系，卡塔尔大学，多哈） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Accepted in AICCSA 2025

Are Your LLM-based Text-to-SQL Models Secure? Exploring SQL Injection via Backdoor Attacks

Meiyu Lin, Haichuan Zhang, Jiale Lao, Renyuan Li, Yuanchun Zhou, Carl Yang, Yang Cao, Mingjie Tang

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

Comments Accepted to SIGMOD 2026

UNH at CheckThat! 2025: Fine-tuning Vs Prompting in Claim Extraction

Joe Wilder, Nikhil Kadapala, Benji Xu, Mohammed Alsaadi, Aiden Parsons, Mitchell Rogers, Palash Agarwal, Adam Hassick, Laura Dietz

机构 * University of New Hampshire（新罕布什尔大学） 纠错

专题命中 指令微调 ：prompting(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Comments 16 pages,3 tables, CLEF 2025 Working Notes, 9-12 September 2025, Madrid, Spain