语言大模型 / LLM

LLM-JEPA: Large Language Models Meet Joint Embedding Predictive Architectures

Hai Huang, Yann LeCun, Randall Balestriero

机构 * Atlassian（Atlassian公司） ； NYU（纽约大学） ； Brown University（布朗大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)

On Relation-Specific Neurons in Large Language Models

Yihong Liu, Runsheng Chen, Lea Hirlimann, Ahmad Dawar Hakimi, Mingyang Wang, Amir Hossein Kargaran, Sascha Rothe, François Yvon, Hinrich Schütze

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；pretraining(abstract)

Comments EMNLP 2025

Tracing Multilingual Factual Knowledge Acquisition in Pretraining

Yihong Liu, Mingyang Wang, Amir Hossein Kargaran, Felicia Körner, Ercong Nie, Barbara Plank, François Yvon, Hinrich Schütze

机构 * Center for Information and Language Processing, LMU Munich（信息与语言处理中心，慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML）） ； Bosch Center for Artificial Intelligence（博世人工智能中心） ； Sorbonne Université, CNRS, ISIR, France（索邦大学，法国国家科学研究中心，ISIR） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments EMNLP Findings 2025

Gamma Mixture Modeling for Cosine Similarity in Small Language Models

Kevin Player

专题命中 预训练与数据 ：language model(title)；small language model(title)；分类 cs.LG

Comments 16 pages, 8 figures

LLMs as Policy-Agnostic Teammates: A Case Study in Human Proxy Design for Heterogeneous Agent Teams

Aju Ani Justus, Chris Baber

机构 * School of Computer Science, University of Birmingham（伯明翰大学计算机科学学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments This is a preprint of a paper presented at the \textit{European Conference on Artificial Intelligence (ECAI 2025)}. It is made publicly available for the benefit of the research community and should be regarded as a preprint rather than a formally reviewed publication

Characterizing Model Behavior Under Synthetic Data Training: An Empirical Study Across Scales and Mixing Ratios

Y. Du, G. Wu, G. Tang, W. Wang, Q. Fan

机构 * Independent Research Collaboration（独立研究者） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments 17 pages. Technical report

Persona Features Control Emergent Misalignment

Miles Wang, Tom Dupré la Tour, Olivia Watkins, Alex Makelov, Ryan A. Chi, Samuel Miserendino, Jeffrey Wang, Achyuta Rajaram, Johannes Heidecke, Tejal Patwardhan, Dan Mossing

机构 * OpenAI 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

Illusion or Algorithm? Investigating Memorization, Emergence, and Symbolic Processing in In-Context Learning

Jingcheng Niu, Subhabrata Dutta, Ahmed Elshabrawy, Harish Tayyar Madabushi, Iryna Gurevych

机构 * Technical University of Darmstadt（德累斯顿技术大学） ； UKP Lab（UKP实验室） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； The University of Bath（巴斯大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

Comments TMLR

Midway Network: Learning Representations for Recognition and Motion from Latent Dynamics

Christopher Hoang, Mengye Ren

机构 * New York University（纽约大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

Comments Project page: https://agenticlearning.ai/midway-network/

Adapting HFMCA to Graph Data: Self-Supervised Learning for Generalizable fMRI Representations

Jakub Frac, Alexander Schmatz, Qiang Li, Guido Van Wingen, Shujian Yu

机构 * VU Amsterdam（阿姆斯特丹自由大学） ； TReNDS Center（TReNDS中心） ； Amsterdam UMC（阿姆斯特丹医学中心） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

Scattering Transformer: A Training-Free Transformer Architecture for Heart Murmur Detection

Rami Zewail

机构 * Computer Science & Engineering Department（计算机科学与工程系） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI

Comments This paper has been accepted for presentation at the 14th International Conference on Model and Data Engineering (MEDI 2025). The final authenticated Version of Record will be published by Springer in the Lecture Notes in Computer Science (LNCS) series

Learning to vary: Teaching LMs to reproduce human linguistic variability in next-word prediction

Tobias Groot, Salo Lacunes, Evgenia Ilia

机构 * University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

Comments EMNLP UncertaiNLP Workshop 2025

Adversarial Reinforcement Learning for Large Language Model Agent Safety

Zizhao Wang, Dingcheng Li, Vaishakh Keshava, Phillip Wallis, Ananth Balashankar, Peter Stone, Lukas Rutishauser

机构 * Google（谷歌） ； Google Deepmind（谷歌DeepMind） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Sony AI（索尼人工智能） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

A Lightweight Large Language Model-Based Multi-Agent System for 2D Frame Structural Analysis

Ziheng Geng, Jiachen Liu, Ran Cao, Lu Cheng, Haifeng Wang, Minghui Cheng

机构 * Department of Civil and Architectural Engineering, University of Miami（迈阿密大学土木与建筑工程系） ； Department of Electrical and Computer Engineering, University of Miami（迈阿密大学电气与计算机工程系） ； College of Civil Engineering, Hunan University（湖南大学土木学院） ； Department of Computer Science, University of Illinois Chicago（伊利诺伊大学芝加哥分校计算机科学系） ； Department of Civil and Environmental Engineering, Washington State University（华盛顿州立大学土木与环境工程系） ； School of Architecture, University of Miami（迈阿密大学建筑学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

MatLLMSearch: Crystal Structure Discovery with Evolution-Guided Large Language Models

Jingru Gan, Peichen Zhong, Yuanqi Du, Yanqiao Zhu, Chenru Duan, Haorui Wang, Daniel Schwalbe-Koda, Carla P. Gomes, Kristin A. Persson, Wei Wang

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

Comments Preprint, 25 pages

DP-Adam-AC: Privacy-preserving Fine-Tuning of Localizable Language Models Using Adam Optimization with Adaptive Clipping

Ruoxing Yang

机构 * Georgetown University（乔治城大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；small language model(abstract)

An Embarrassingly Simple Defense Against LLM Abliteration Attacks

Harethah Abu Shairah, Hasan Abed Al Kader Hammoud, Bernard Ghanem, George Turkiyyah

机构 * King Abdullah University of Science and Technology（卡布斯大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments preprint - under review

FLEx: Personalized Federated Learning for Mixture-of-Experts LLMs via Expert Grafting

Fan Liu, Bikang Pan, Zhongyi Wang, Xi Yao, Xiaoying Tang, Jingya Wang, Ye Shi

机构 * ShanghaiTech University（上海科技大学） ； China Mobile Communications Company Limited Research Institute（中国移动通信公司有限研究所） ； Shanghai University（上海大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；分类 cs.AI

LaB-RAG: Label Boosted Retrieval Augmented Generation for Radiology Report Generation

Steven Song, Anirudh Subramanyam, Irene Madejski, Robert L. Grossman

机构 * Department of Computer Science（计算机科学系） ； Center for Translational Data Science（转化数据科学中心） ； Medical Scientist Training Program（医学科学家培训计划） ； Section of Biomedical Data Science, Department of Medicine（医学部生物医学数据科学部门） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Text Clustering as Classification with LLMs

Chen Huang, Guoxiu He

机构 * Singapore University of Technology and Design（新加坡科技设计大学） ； East China Normal University（华东师范大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments 11 pages, 3 figures

Think Before You Diffuse: Infusing Physical Rules into Video Diffusion

Ke Zhang, Cihan Xiao, Jiacong Xu, Yiqun Mei, Vishal M. Patel

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)

Comments 19 pages, 8 figures

ChartCards: A Chart-Metadata Generation Framework for Multi-Task Chart Understanding

Yifan Wu, Lutao Yan, Leixian Shen, Yinan Mei, Jiannan Wang, Yuyu Luo

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Need to be revised

Improving Retrieval-Augmented Generation through Multi-Agent Reinforcement Learning

Yiqun Chen, Lingyong Yan, Weiwei Sun, Xinyu Ma, Yi Zhang, Shuaiqiang Wang, Dawei Yin, Yiming Yang, Jiaxin Mao

机构 * Renmin University of China（中国人民大学） ； Baidu Inc.（百度公司） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments NeurIPS 2025

BanglaLlama: LLaMA for Bangla Language

Abdullah Khan Zehady, Shubhashis Roy Dipta, Naymul Islam, Safi Al Mamun, Santu Karmaker

专题命中 指令微调 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Mellum: Production-Grade in-IDE Contextual Code Completion with Multi-File Project Understanding

Nikita Pavlichenko, Iurii Nazarov, Ivan Dolgov, Ekaterina Garanina, Dmitry Ustalov, Ivan Bondyrev, Kseniia Lysaniuk, Evgeniia Vu, Kirill Chekmenev, Joseph Shtok, Yaroslav Golubev, Anton Semenkin, Uladzislau Sazanovich

机构 * JetBrains ； JetBrains Research 纠错

专题命中 指令微调 ：preference optimization(abstract)；分类 cs.AI、cs.LG

Comments 11 pages, 4 figures, 3 tables

Measuring LLM Novelty As The Frontier Of Original And High-Quality Output

Vishakh Padmakumar, Chen Yueh-Han, Jane Pan, Valerie Chen, He He

机构 * New York University（纽约大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

Comments Updated results with higher coverage of open-data models and better quality judgments

Risk Profiling and Modulation for LLMs

Yikai Wang, Xiaocheng Li, Guanting Chen

机构 * Department of Statistics and Operations Research, UNC-Chapel Hill（统计与运筹学系，北卡罗来纳大学 Chapel Hill 分校） ； Imperial College Business School, Imperial College London（帝国理工学院伦敦校区商学院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

Stratified GRPO: Handling Structural Heterogeneity in Reinforcement Learning of LLM Search Agents

Mingkang Zhu, Xi Chen, Bei Yu, Hengshuang Zhao, Jiaya Jia

机构 * The Chinese University of Hong Kong（香港中文大学） ； The University of Hong Kong（香港大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

A Generative Approach to LLM Harmfulness Mitigation with Red Flag Tokens

David Dobre, Mehrnaz Mofakhami, Sophie Xhonneux, Leo Schwinn, Gauthier Gidel

机构 * Université de Montréal（蒙特利尔大学） ； Mila（Mila研究所） ； Technical University of Munich（慕尼黑技术大学） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

Comments 15 pages, 6 figures

Aligning Language Models with Clinical Expertise: DPO for Heart Failure Nursing Documentation in Critical Care

Junyi Fan, Li Sun, Negin Ashrafi, Kamiar Alaei, Maryam Pishgar

机构 * University of Southern California（南加州大学） ； California State University（加州州立大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；preference optimization(abstract)；分类 cs.CL、cs.LG