语言大模型 / LLM

LAPRAD: LLM-Assisted PRotocol Attack Discovery

R. Can Aygun, Yehuda Afek, Anat Bremler-Barr, Leonard Kleinrock

机构 * UCLA（加州大学洛杉矶分校） ； Tel-Aviv University（特拉维夫大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.AI

Comments IFIP Networking 2025 Proceedings (Accepted on 05.05.2025)

Journal ref Published in IFIP Networking 2025 Proceedings

Foundation Model for Composite Microstructures: Reconstruction, Stiffness, and Nonlinear Behavior Prediction

Ting-Ju Wei, Chuin-Shan Chen

机构 * Department of Civil Engineering（土木工程系） ； National Taiwan University（台湾大学） ； Department of Materials Science and Engineering（材料科学与工程系） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI

Cross-Genre Authorship Attribution via LLM-Based Retrieve-and-Rerank

Shantanu Agarwal, Joel Barry, Steven Fincke, Scott Miller

机构 * Information Sciences Institute（信息科学研究所） ； University of Southern California（南加州大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.CL

Adversarial Defence without Adversarial Defence: Enhancing Language Model Robustness via Instance-level Principal Component Removal

Yang Wang, Chenghao Xiao, Yizhi Li, Stuart E. Middleton, Noura Al Moubayed, Chenghua Lin

机构 * The University of Manchester, UK（曼彻斯特大学） ； Durham University, UK（杜伦大学） ； The University of Southampton, UK（南安普顿大学） ； Automated Analytics, UK（自动化分析） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Comments This paper was accepted with an A-decision to Transactions of the Association for Computational Linguistics. This version is the pre-publication version prior to MIT Press production

Heptapod: Language Modeling on Visual Signals

Yongxin Zhu, Jiawei Chen, Yuanzhe Chen, Zhuo Chen, Dongya Jia, Jian Cong, Xiaobin Zhuang, Yuping Wang, Yuxuan Wang

机构 * ByteDance Seed（字节跳动种子） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

Surgeons Are Indian Males and Speech Therapists Are White Females: Auditing Biases in Vision-Language Models for Healthcare Professionals

Zohaib Hasan Siddiqui, Dayam Nadeem, Mohammad Masudur Rahman, Mohammad Nadeem, Shahab Saquib Sohail, Beenish Moalla Chaudhry

机构 * University of Louisiana at Lafayette（路易斯安那大学拉斐特分校） ； Aligarh Muslim University（阿尔瓦格穆斯林大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

From Cheap Geometry to Expensive Physics: Elevating Neural Operators via Latent Shape Pretraining

Zhizhou Zhang, Youjia Wu, Kaixuan Zhang, Yanjia Wang

机构 * Corporate Research Bosch (China) Investment Co., Ltd.（博世（中国）投资有限公司） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

Understanding and Enhancing Mask-Based Pretraining towards Universal Representations

Mingze Dong, Leda Wang, Yuval Kluger

机构 * Yale University（耶鲁大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

Comments NeurIPS 2025

Informative Text-Image Alignment for Visual Affordance Learning with Foundation Models

Qian Zhang, Lin Zhang, Xing Fang, Mingxin Zhang, Zhiyuan Wei, Ran Song, Wei Zhang

机构 * School of Control Science and Engineering, Shandong University（控制科学与工程学院，山东大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI

Comments Submitted to the IEEE International Conference on Robotics and Automation (ICRA) 2026

Learning from Gene Names, Expression Values and Images: Contrastive Masked Text-Image Pretraining for Spatial Transcriptomics Representation Learning

Jiahe Qian, Yaoyu Fang, Ziqiao Weng, Xinkun Wang, Lee A. Cooper, Bo Zhou

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

Comments 9 pages, 3 figures

AfroXLMR-Social: Adapting Pre-trained Language Models for African Languages Social Media Text

Tadesse Destaw Belay, Israel Abebe Azime, Ibrahim Said Ahmad, David Ifeoluwa Adelani, Idris Abdulmumin, Abinew Ali Ayele, Shamsuddeen Hassan Muhammad, Seid Muhie Yimam

机构 * Instituto Politécnico Nacional（智利国家理工学院） ； Saarland University（萨尔兰大学） ； Northeastern University（东北大学） ； Bayero University Kano（卡诺巴耶罗大学） ； Mila-Quebec AI Institute（魁北克AI研究所） ； McGill University（麦吉尔大学） ； University of Pretoria（比勒陀利亚大学） ； Bahir Dar University（巴赫达尔大学） ； Imperial College London（伦敦帝国理工学院） ； University of Hamburg（汉堡大学） ； Wollo University（沃尔洛大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Comments EMNLP 2025

Scrub It Out! Erasing Sensitive Memorization in Code Language Models via Machine Unlearning

Zhaoyang Chu, Yao Wan, Zhikun Zhang, Di Wang, Zhou Yang, Hongyu Zhang, Pan Zhou, Xuanhua Shi, Hai Jin, David Lo

机构 * Huazhong University of Science and Technology（华中科技大学） ； Zhejiang University（浙江大学） ； King Abdullah University of Science and Technology（国王阿卜杜勒阿齐兹大学） ； University of Alberta（阿尔伯塔大学） ； Chongqing University（重庆大学） ； Singapore Management University（新加坡管理学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

Comments Accepted at the 48th IEEE/ACM International Conference on Software Engineering (ICSE 2026)

Semantic Fusion with Fuzzy-Membership Features for Controllable Language Modelling

Yongchao Huang, Hassan Raza

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

Comments 16 pages

A Structured Review of Underwater Object Detection Challenges and Solutions: From Traditional to Large Vision Language Models

Edwine Nabahirwa, Wei Song, Minghua Zhang, Yi Fang, Zhou Ni

机构 * Shanghai Ocean University（上海海洋大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

Comments 72 Pages, 11 Figures

Multimodal Contrastive Pretraining of CBCT and IOS for Enhanced Tooth Segmentation

Moo Hyun Son, Juyoung Bae, Zelin Qiu, Jiale Peng, Kai Xin Li, Yifan Lin, Hao Chen

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Division of Paediatric Dentistry and Orthodontics, Faculty of Dentistry（牙科学院儿童牙科与正畸科） ； The University of Hong Kong（香港大学） ； Delun Dental Hospital（德尔伦牙科医院） ； Department of Chemical and Biological Engineering（化学与生物工程系） ； Division of Life Science（生命科学系） ； HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深圳-香港协同创新研究院） ； State Key Laboratory of Nervous System Disorders（神经系统紊乱国家重点实验室） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

Curia: A Multi-Modal Foundation Model for Radiology

Corentin Dancette, Julien Khlaut, Antoine Saporta, Helene Philippe, Elodie Ferreres, Baptiste Callard, Théo Danielou, Léo Alberge, Léo Machado, Daniel Tordjman, Julie Dupuis, Korentin Le Floch, Jean Du Terrail, Mariam Moshiri, Laurent Dercle, Tom Boeken, Jules Gregory, Maxime Ronot, François Legou, Pascal Roux, Marc Sapoval, Pierre Manceron, Paul Hérent

机构 * Raidium ； Hôpital Européen Georges Pompidou, AP-HP（欧洲乔治·蓬皮杜医院, AP-HP） ； Université Paris-Cité（巴黎城市大学） ； INRIA（法国国家信息与自动化技术研究所） ； INSERM（法国国家卫生与医学研究中心） ； Beaujon Hospital（贝琼医院） ； Medical University of South Carolina（南卡罗来纳医科大学） ； Columbia University Irving Medical Center（哥伦比亚大学伊万斯医学中心） ； Centre Cardiologique du Nord（北心脑血管中心） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

WindFM: An Open-Source Foundation Model for Zero-Shot Wind Power Forecasting

Hang Fan, Yu Shi, Zongliang Fu, Shuo Chen, Wei Wei, Wei Xu, Jian Li

机构 * School of Economics and Management, North China Electric Power University（经济管理学院，华北电力大学） ； Tsinghua University（清华大学） ； Institute for Interdisciplinary Information Sciences（交叉信息学院） ； Department of Automation（自动化系） ； Department of Electrical Engineering（电气工程系） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

REVS: Unlearning Sensitive Information in Language Models via Rank Editing in the Vocabulary Space

Tomer Ashuach, Martin Tutek, Yonatan Belinkov

机构 * Technion – Israel Institute of Technology（技术离子–以色列理工学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Comments ACL 2025 Findings, 24 pages, 4 figures

Demystifying optimized prompts in language models

Rimon Melamed, Lucas H. McCabe, H. Howie Huang

机构 * The George Washington University（乔治·华盛顿大学） ； LMI Consulting（LMI咨询公司） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Comments EMNLP 2025 Main

LLM-HyPZ: Hardware Vulnerability Discovery using an LLM-Assisted Hybrid Platform for Zero-Shot Knowledge Extraction and Refinement

Yu-Zheng Lin, Sujan Ghimire, Abhiram Nandimandalam, Jonah Michael Camacho, Unnati Tripathi, Rony Macwan, Sicong Shao, Setareh Rafatirad, Rozhin Yasaei, Pratik Satam, Soheil Salehi

机构 * Department of Electrical and Computer Engineering, University of Arizona, Tucson, AZ, USA（电气与计算机工程系，亚利桑那大学） ； Department of Systems and Industrial Engineering, University of Arizona, Tucson, AZ, USA（系统与工业工程系，亚利桑那大学） ； College of Information Science, University of Arizona, Tucson, AZ, USA（信息科学学院，亚利桑那大学） ； School of Electrical Engineering and Computer Science, University of North Dakota, Grand Forks, ND, USA（电气工程与计算机科学学院，北达科他大学） ； Department of Computer Science, University of California Davis, CA, USA（计算机科学系，加州大学戴维斯分校） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.AI

Comments 10 pages, 6 figures

SatDINO: A Deep Dive into Self-Supervised Pretraining for Remote Sensing

Jakub Straka, Ivan Gruber

机构 * University of West Bohemia in Pilsen（西波西米亚大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

BrainGPT: Unleashing the Potential of EEG Generalist Foundation Model by Autoregressive Pre-training

Tongtian Yue, Xuange Gao, Shuning Xue, Yepeng Tang, Longteng Guo, Jie Jiang, Jing Liu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Beijing Jiaotong University（北京交通大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

Comments This work has been submitted to the IEEE for possible publication

TiKMiX: Take Data Influence into Dynamic Mixture for Language Model Pre-training

Yifan Wang, Binbin Liu, Fengze Liu, Yuanfan Guo, Jiyao Deng, Xuecheng Wu, Weidong Zhou, Xiaohuan Zhou, Taifeng Wang

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.LG

Probabilistic Pretraining for Neural Regression

Boris N. Oreshkin, Shiv Tavker, Dmitry Efimov

机构 * Amazon（亚马逊） 纠错

专题命中 预训练与数据 ：pretraining(title)；foundation model(abstract)；分类 cs.LG

Rethinking the Bias of Foundation Model under Long-tailed Distribution

Jiahao Chen, Bin Qin, Jiangmeng Li, Hao Chen, Bing Su

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学耿丽人工智能学院） ； Beijing Key Laboratory of Big Data Management and Analysis Methods（北京大数据管理与分析方法重点实验室） ； Institute of Software Chinese Academy of Sciences（中国科学院软件研究所） ； Electrical and Computer Engineering, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程学院） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

Comments Published as a conference paper in ICML 2025

Privileged Contrastive Pretraining for Multimodal Affect Modelling

Kosmas Pinitas, Konstantinos Makantasis, Georgios N. Yannakakis

机构 * Institute of Digital Games University of Malta（数字游戏研究所马耳他大学） ； Department of Artificial Intelligence University of Malta（人工智能系马耳他大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

No LLM Solved Yu Tsumura's 554th Problem

Simon Frieder, William Hart

机构 * University of Oxford（牛津大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.LG

Comments 67 pages

Urban In-Context Learning: Bridging Pretraining and Inference through Masked Diffusion for Urban Profiling

Ruixing Zhang, Bo Wang, Tongyu Zhu, Leilei Sun, Weifeng Lv

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

LLaVA-Video: Video Instruction Tuning With Synthetic Data

Yuanhan Zhang, Jinming Wu, Wei Li, Bo Li, Zejun Ma, Ziwei Liu, Chunyuan Li

机构 * S-Lab, Nanyang Technological University（南洋理工大学S实验室） ； BUPT（北京邮电大学） ； ByteDance（字节跳动） 纠错

专题命中 预训练与数据 ：instruction tuning(title,abstract)；分类 cs.CL

Comments Project page: https://llava-vl.github.io/blog/2024-09-30-llava-video/; Accepted at TMLR

Zero-Shot Learning with Subsequence Reordering Pretraining for Compound-Protein Interaction

Hongzhi Zhang, Zhonglie Liu, Kun Meng, Jiameng Chen, Jia Wu, Bo Du, Di Lin, Yan Che, Wenbin Hu

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； Engineering Research Center for Big Data Application in Private Health Medicine of Fujian Universities, Putian University（福建省私人健康医学大数据应用工程研究中心，莆田大学） ； Macquarie University（麦考瑞大学） ； Wuhan University Shenzhen Research Institute（武汉大学深圳研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG