语言大模型 / LLM

GUARD: Guided Unlearning and Retention via Data Attribution for Large Language Models

Peizhi Niu, Evelyn Ma, Huiting Zhou, Duo Zhou, Huan Zhang, S. Rasoul Etesami, Olgica Milenkovic

机构 * Department of Electrical & Computer Engineering（电气与计算机工程系） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

KnowMol: Advancing Molecular Large Language Models with Multi-Level Chemical Knowledge

Zaifei Yang, Hong Chang, Ruibing Hou, Shiguang Shan, Xilin Chen

机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, CAS, China（人工智能安全国家重点实验室，计算技术研究所，中国科学院，中国） ； University of Chinese Academy of Sciences (CAS), China（中国科学院大学（中国科学院）） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

Using (Not-so) Large Language Models to Generate Simulation Models in a Formal DSL: A Study on Reaction Networks

Justin N. Kreikemeyer, Miłosz Jankowski, Pia Wilsdorf, Adelinde M. Uhrmacher

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

Comments 27 pages, 5 figures; supplemental material available at https://doi.org/10.1145/3733719

Journal ref ACM Trans. Model. Comput. Simul. 35, 4, Article 31 (October 2025), 27 pages

Hubble: a Model Suite to Advance the Study of LLM Memorization

Johnny Tian-Zheng Wei, Ameya Godbole, Mohammad Aflah Khan, Ryan Wang, Xiaoyuan Zhu, James Flemings, Nitya Kashyap, Krishna P. Gummadi, Willie Neiswanger, Robin Jia

机构 * University of Southern California（南加州大学） ； Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Evaluating LLM Story Generation through Large-scale Network Analysis of Social Structures

Hiroshi Nonaka, K. E. Perry

机构 * Soka University of America（索卡大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments This paper has 14 pages and 8 figures. To be presented at the NeurIPS 2025 Workshop on Evaluating the Evolving LLM Lifecycle: Benchmarks, Emergent Abilities, and Scaling

VideoAgentTrek: Computer Use Pretraining from Unlabeled Videos

Dunjie Lu, Yiheng Xu, Junli Wang, Haoyuan Wu, Xinyuan Wang, Zekun Wang, Junlin Yang, Hongjin Su, Jixuan Chen, Junda Chen, Yuchen Mao, Jingren Zhou, Junyang Lin, Binyuan Hui, Tao Yu

机构 * The University of Hong Kong（香港大学） ； Qwen Team, Alibaba Group（阿里巴巴集团Qwen团队） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；SFT(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 8 pages, 6 figures

Large Connectome Model: An fMRI Foundation Model of Brain Connectomes Empowered by Brain-Environment Interaction in Multitask Learning Landscape

Ziquan Wei, Tingting Dan, Guorong Wu

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

Comments 12 pages 6 figures

SEMPO: Lightweight Foundation Models for Time Series Forecasting

Hui He, Kun Yi, Yuanchi Ma, Qi Zhang, Zhendong Niu, Guansong Pang

机构 * Beijing Institute of Technology（北京理工大学） ； Singapore Management University（新加坡管理大学） ； State Information Center（国家信息中心） ； Tongji University（同济大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

Comments Accepted by NeurIPS 2025

From TOWER to SPIRE: Adding the Speech Modality to a Translation-Specialist LLM

Kshitij Ambilduke, Ben Peters, Sonal Sannigrahi, Anil Keshwani, Tsz Kin Lam, Bruno Martins, André F. T. Martins, Marcely Zanon Boito

机构 * ENS Paris-Saclay（巴黎-萨克雷大学） ； INESC-ID ； Instituto de Telecomunicações（电信研究所） ； Instituto Superior Técnico, Universidade de Lisboa（里斯本大学技术学院） ； Sapienza University of Rome（罗马萨皮恩扎大学） ； University of Edinburgh（爱丁堡大学） ； TransPerfect ； NAVER LABS Europe（NAVER欧洲实验室） 纠错

专题命中 预训练与数据 ：LLM(title)；language model(abstract)；pretraining(abstract)；分类 cs.CL

Comments EMNLP 2025 (Findings) camera ready

Class-Aware Prototype Learning with Negative Contrast for Test-Time Adaptation of Vision-Language Models

Xiaozhen Qiao, Jingkai Zhao, Yuqiu Jiang, Xianda Guo, Zhe Sun, Hongyuan Zhang, Xuelong Li

机构 * School of Information Science and Technology, University of Science and Technology of China（信息科学与技术学院，中国科学技术大学） ； Institute of Artificial Intelligence (TeleAI), China Telecom, P. R. China（人工智能研究所（TeleAI），中国电信，中华人民共和国） ； College of Computer Science, Wuhan University（计算机科学学院，武汉大学） ； School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University（人工智能学院，光学与电子学（iOPEN），西北工业大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)

LAPRAD: LLM-Assisted PRotocol Attack Discovery

R. Can Aygun, Yehuda Afek, Anat Bremler-Barr, Leonard Kleinrock

机构 * UCLA（加州大学洛杉矶分校） ； Tel-Aviv University（特拉维夫大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.AI

Comments IFIP Networking 2025 Proceedings (Accepted on 05.05.2025)

Journal ref Published in IFIP Networking 2025 Proceedings

Foundation Model for Composite Microstructures: Reconstruction, Stiffness, and Nonlinear Behavior Prediction

Ting-Ju Wei, Chuin-Shan Chen

机构 * Department of Civil Engineering（土木工程系） ； National Taiwan University（台湾大学） ； Department of Materials Science and Engineering（材料科学与工程系） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI

Towards Depth Foundation Model: Recent Trends in Vision-Based Depth Estimation

Zhen Xu, Hongyu Zhou, Sida Peng, Haotong Lin, Haoyu Guo, Jiahao Shao, Peishan Yang, Qinglin Yang, Sheng Miao, Xingyi He, Yifan Wang, Yue Wang, Ruizhen Hu, Yiyi Liao, Xiaowei Zhou, Hujun Bao

专题命中 预训练与数据 ：foundation model(title,abstract)

The Art of Asking: Multilingual Prompt Optimization for Synthetic Data

David Mora, Viraat Aryabumi, Wei-Yin Ko, Sara Hooker, Julia Kreutzer, Marzieh Fadaee

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

What is the Best Sequence Length for BABYLM?

Suchir Salhan, Richard Diehl Martinez, Zébulon Goriely, Paula Buttery

机构 * Department of Computer Science & Technology, University of Cambridge, U.K.（计算机科学与技术系，剑桥大学，英国） ； ALTA Institute, University of Cambridge, U.K.（ALTA研究所，剑桥大学，英国） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL

Comments Paper Accepted at the 2025 BabyLM Workshop @ EMNLP (Suzhou, China)

Pay Attention to Small Weights

Chao Zhou, Tom Jacobs, Advait Gadhikar, Rebekka Burkholz

机构 * CISPA Helmholtz Center for Information Security（CISPA 情报安全研究中心） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

Sign Language Translation with Sentence Embedding Supervision

Yasser Hamidullah, Josef van Genabith, Cristina España-Bonet

机构 * German Research Center for Artificial Intelligence (DFKI GmbH)（德国人工智能研究中心（DFKI GmbH）） ； Saarland Informatics Campus（萨尔兰州信息学校园） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL

Journal ref published at ACL2024

Translating Regulatory Clauses into Executable Codes for Building Design Checking via Large Language Model Driven Function Matching and Composing

Zhe Zheng, Jin Han, Ke-Yin Chen, Xin-Yu Cao, Xin-Zheng Lu, Jia-Rui Lin

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Journal ref Engineering Applications of Artificial Intelligence, 2026

From Memorization to Generalization: Fine-Tuning Large Language Models for Biomedical Term-to-Identifier Normalization

Suswitha Pericharla, Daniel B. Hier, Tayo Obafemi-Ajayi

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL

Comments Submitted for publication to BMC BioData Mining

Exploiting Primacy Effect To Improve Large Language Models

Bianca Raimondi, Maurizio Gabbrielli

机构 * University of Bologna（博洛尼亚大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Comments Accepted by RANLP 2025

Data Efficient Adaptation in Large Language Models via Continuous Low-Rank Fine-Tuning

Xiao Han, Zimo Zhao, Wanyu Wang, Maolin Wang, Zitao Liu, Yi Chang, Xiangyu Zhao

机构 * Zhejiang University of Technology（浙江工业大学） ； City University of Hong Kong（香港城市大学） ； Jinan University（济南大学） ； Jilin University（吉林大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

Comments Accepted by NeurIPS 2025

Preliminary Use of Vision Language Model Driven Extraction of Mouse Behavior Towards Understanding Fear Expression

Paimon Goulart, Jordan Steinhauser, Kylene Shuler, Edward Korzus, Jia Chen, Evangelos E. Papalexakis

机构 * University of California, Riverside（加州大学河滨分校） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.LG

DaMo: Data Mixing Optimizer in Fine-tuning Multimodal LLMs for Mobile Phone Agents

Kai Shi, Jun Yang, Ni Yang, Binqiang Pan, Qingsong Xie, Chao Zhang, Zhenyu Yang, Tianhuang Su, Haonan Lu

机构 * OPPO AI Center（OPPO人工智能中心） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)

Unraveling Emotions with Pre-Trained Models

Alejandro Pajón-Sanmartín, Francisco De Arriba-Pérez, Silvia García-Méndez, Fátima Leal, Benedita Malheiro, Juan Carlos Burguillo-Rial

机构 * Information Technologies Group, atlanTTic, University of Vigo, Vigo, Spain（信息科技组，atlanTTic，维戈大学） ； Research on Economics, Management and Information Technologies, Universidade Portucalense, Porto, Portugal（经济学、管理与信息科技研究，葡萄牙波尔图大学） ； ISEP, Polytechnic of Porto, Porto, Portugal（ISEP，波尔图理工学院） ； Institute for Systems and Computer Engineering, Technology and Science, Porto, Portugal（系统与计算机工程、技术与科学研究所） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

See, Think, Act: Online Shopper Behavior Simulation with VLM Agents

Yimeng Zhang, Jiri Gesi, Ran Xue, Tian Wang, Ziyi Wang, Yuxuan Lu, Sinong Zhan, Huimin Zeng, Qingjun Cui, Yufan Guo, Jing Huang, Mubarak Shah, Dakuo Wang

机构 * Michigan State University（密歇根州立大学） ； Amazon（亚马逊） ； Northeastern University（东北大学） ； Northwestern University（西北大学） ； University of Central Florida（佛罗里达中央大学） 纠错

专题命中 指令微调 ：LLM(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

LoRA vs Full Fine-tuning: An Illusion of Equivalence

Reece Shuttleworth, Jacob Andreas, Antonio Torralba, Pratyusha Sharma

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Transformer-Based Low-Resource Language Translation: A Study on Standard Bengali to Sylheti

Mangsura Kabir Oni, Tabia Tanzin Prama

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Conditions for Catastrophic Forgetting in Multilingual Translation

Danni Liu, Jan Niehues

机构 * Karlsruhe Institute of Technology, Germany（卡尔斯鲁厄理工大学） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.CL

Comments Multilingual Representation Learning (MRL) Workshop 2025

Customizing Spider Silk: Generative Models with Mechanical Property Conditioning for Protein Engineering

Neeru Dubey, Elin Karlsson, Miguel Angel Redondo, Johan Reimegård, Anna Rising, Hedvig Kjellström

机构 * Division of Robotics, Perception and Learning（机器人、感知与学习 division） ； KTH Royal Institute of Technology（皇家理工学院） ； Department of Animal Biosciences（动物生物学系） ； Swedish University of Agricultural Sciences (SLU)（瑞典农业科学大学） ； Science for Life Laboratory (SciLifeLab)（生命科学实验室） ； Uppsala University（乌普萨拉大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.LG

Comments 23 pages, 11 figures

Journal ref Transactions on Machine Learning Research volume 7 2025

Demystifying Domain-adaptive Post-training for Financial LLMs

Zixuan Ke, Yifei Ming, Xuan-Phi Nguyen, Caiming Xiong, Shafiq Joty

机构 * Salesforce AI Research（Salesforce人工智能研究） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments EMNLP 2025 (Oral, ARR best paper nomination)