语言大模型 / LLM

Scaling Performance of Large Language Model Pretraining

Alexander Interrante-Grant, Carla Varela-Rosa, Suhaas Narayan, Chris Connelly, Albert Reuther

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；分类 cs.AI

Journal ref Proc. IEEE High Performance Extreme Computing Conference (HPEC), 2025

How human is the machine? Evidence from 66,000 Conversations with Large Language Models

Antonios Stamatogiannakis, Arsham Ghodsinia, Sepehr Etminanrad, Dilney Gonçalves, David Santos

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

Contrastive Decoding for Synthetic Data Generation in Low-Resource Language Modeling

Jannek Ulm, Kevin Du, Vésteinn Snæbjarnarson

机构 * ETH Zürich（苏黎世联邦理工学院） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 13 pages, 3 figures

Self-Improving LLM Agents at Test-Time

Emre Can Acikgoz, Cheng Qian, Heng Ji, Dilek Hakkani-Tür, Gokhan Tur

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 预训练与数据 ：LLM(title)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

BLAZER: Bootstrapping LLM-based Manipulation Agents with Zero-Shot Data Generation

Rocktim Jyoti Das, Harsh Singh, Diana Turmakhan, Muhammad Abdullah Sohail, Mingfei Han, Preslav Nakov, Fabio Pizzati, Ivan Laptev

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.AI、cs.LG

Comments 11 pages, 8 figures

Chain-of-Trigger: An Agentic Backdoor that Paradoxically Enhances Agentic Robustness

Jiyang Qiu, Xinbei Ma, Yunqing Xu, Zhuosheng Zhang, Hai Zhao

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Lemma Dilemma: On Lemma Generation Without Domain- or Language-Specific Training Data

Olia Toporkov, Alan Akbik, Rodrigo Agerri

机构 * HiTZ Center - Ixa, University of the Basque Country UPV/EHU（巴斯克大学希茨中心 - Ixa，巴斯克国家大学UPV/EHU） ； Humboldt-Universität zu Berlin（柏林洪堡大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments 14 pages, 2 figures, 5 tables. Accepted to EMNLP Findings 2025

InstructX: Towards Unified Visual Editing with MLLM Guidance

Chong Mou, Qichao Sun, Yanze Wu, Pengze Zhang, Xinghui Li, Fulong Ye, Songtao Zhao, Qian He

机构 * Intelligent Creation Team, ByteDance（字节跳动智能创作团队） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

Single layer tiny Co$^4$ outpaces GPT-2 and GPT-BERT

Noor Ul Zain, Mohsin Raza, Ahsan Adeel

机构 * CMI-Lab University of Stirling（CMI实验室斯特林大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

Scaling Laws Are Unreliable for Downstream Tasks: A Reality Check

Nicholas Lourie, Michael Y. Hu, Kyunghyun Cho

机构 * New York University（纽约大学） ； Prescient Design ； CIFAR LMB 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.LG

Comments EMNLP Findings 2025 Camera Ready

Bayesian Decision Making around Experts

Daniel Jarne Ornia, Joel Dyer, Nicholas Bishop, Anisoara Calinescu, Michael Wooldridge

机构 * University of Oxford（牛津大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

ZeroCard: Cardinality Estimation with Zero Dependence on Target Databases -- No Data, No Query, No Retraining

Xianghong Xu, Rong Kang, Xiao He, Lei Zhang, Jianjun Chen, Tieying Zhang

机构 * ByteDance Beijing China（字节跳动北京） ； ByteDance Hangzhou China（字节跳动杭州） ； ByteDance San Jose USA（字节跳动圣何塞） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

GL-PGENet: A Parameterized Generation Framework for Robust Document Image Enhancement

Zhihong Tang

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

Comments 12 pages, 7 figures

UniMMVSR: A Unified Multi-Modal Framework for Cascaded Video Super-Resolution

Shian Du, Menghan Xia, Chang Liu, Quande Liu, Xintao Wang, Pengfei Wan, Xiangyang Ji

机构 * Tsinghua University（清华大学） ； Huazhong University of Science and Technology（华中科技大学） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

In-Context Clustering with Large Language Models

Ying Wang, Mengye Ren, Andrew Gordon Wilson

机构 * New York University（纽约大学） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract)；prompting(abstract)

Training-Free Group Relative Policy Optimization

Yuzheng Cai, Siqi Cai, Yuchen Shi, Zihan Xu, Lichao Chen, Yulei Qin, Xiaoyu Tan, Gang Li, Zongyi Li, Haojia Lin, Yong Mao, Ke Li, Xing Sun

机构 * Tencent（腾讯） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

OASIS: Online Sample Selection for Continual Visual Instruction Tuning

Minjae Lee, Minhyuk Seo, Tingyu Qu, Tinne Tuytelaars, Jonghyun Choi

机构 * Seoul National University（首尔国立大学） ； KU Leuven（库尔勒文大学） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；foundation model(abstract)

Flora: Effortless Context Construction to Arbitrary Length and Scale

Tianxiang Chen, Zhentao Tan, Xiaofan Bo, Yue Wu, Tao Gong, Qi Chu, Jieping Ye, Nenghai Yu

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI Knowledge Assist: An Automated Approach for the Creation of Knowledge Bases for Conversational AI Agents

Md Tahmid Rahman Laskar, Julien Bouvier Tremblay, Xue-Yong Fu, Cheng Chen, Shashi Bhushan TN

机构 * Dialpad Inc.（Dialpad公司） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to the EMNLP 2025 Industry Track

MetaDefense: Defending Finetuning-based Jailbreak Attack Before and During Generation

Weisen Jiang, Sinno Jialin Pan

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted By NeurIPS 2025

MotionSight: Boosting Fine-Grained Motion Understanding in Multimodal LLMs

Yipeng Du, Tiehan Fan, Kepan Nan, Rui Xie, Penghao Zhou, Xiang Li, Jian Yang, Zhenheng Yang, Ying Tai

机构 * Nanjing University（南京大学） ； ByteDance（字节跳动） ； Nankai University（南开大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；prompting(abstract)

Defending MoE LLMs against Harmful Fine-Tuning via Safety Routing Alignment

Jaehan Kim, Minkyoo Song, Seungwon Shin, Sooel Son

机构 * KAIST（韩国科学技术院） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Comments Under review

Personalized Federated Fine-Tuning for LLMs via Data-Driven Heterogeneous Model Architectures

Yicheng Zhang, Zhen Qin, Zhaomin Wu, Jian Hou, Shuiguang Deng

机构 * Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学） ； Zhejiang Sci-Tech University（浙江科技学院） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Comments On going work. Codes are released at https://github.com/zyc140345/FedAMoLE

Fine-Tuning Jailbreaks under Highly Constrained Black-Box Settings: A Three-Pronged Approach

Xiangfang Li, Yu Wang, Bo Li

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；post-training(abstract)

Thousands of AI Authors on the Future of AI

Katja Grace, Harlan Stewart, Julia Fabienne Sandkühler, Stephen Thomas, Ben Weinstein-Raun, Jan Brauner, Richard C. Korzekwa

机构 * AI Impacts ； Berkeley, California United States（伯克利加州大学） ； Department of Psychology University of Bonn（波恩大学心理学系） ； University of Bonn（波恩大学） ； Department of Computer Science University of Oxford（牛津大学计算机科学系） ； University of Oxford（牛津大学） ； Independent（独立研究者） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments The asterisk indicates the corresponding author. The dagger indicates equal contribution

Journal ref Journal of Artificial Intelligence Research 84:9 (2025)

Adaptive Tool Generation with Models as Tools and Reinforcement Learning

Chenpeng Wang, Xiaojie Cheng, Chunye Wang, Linfeng Yang, Lei Zhang

机构 * Chenpeng Wang（王晨鹏） ； Xiaojie Cheng（程晓杰） ； Chunye Wang（王春业） ； Linfeng Yang（杨林峰） ； Lei Zhang（张磊） 纠错

专题命中 指令微调 ：language model(abstract)；SFT(abstract)；分类 cs.CL

Understanding In-context Learning of Addition via Activation Subspaces

Xinyan Hu, Kayo Yin, Michael I. Jordan, Jacob Steinhardt, Lijie Chen

机构 * UC Berkeley（伯克利大学） ； INRIA（法国国家信息与自动化研究所） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Banking Done Right: Redefining Retail Banking with Language-Centric AI

Xin Jie Chua, Jeraelyn Ming Li Tan, Jia Xuan Tan, Soon Chang Poh, Yi Xian Goh, Debbie Hui Tian Choong, Chee Mun Foong, Sze Jue Yang, Chee Seng Chan

机构 * Universiti Malaya（马来大学） ； YTL AI Labs（YTL人工智能实验室） ； Ryt Bank（Ryt银行） 纠错

专题命中 指令微调 ：LLM(abstract)；分类 cs.CL、cs.AI

Comments Accepted at EMNLP2025 Industry Track

EFSA: Episodic Few-Shot Adaptation for Text-to-Image Retrieval

Muhammad Huzaifa, Yova Kementchedjhieva

机构 * MBZUAI（马尔堡人工智能研究所） 纠错

专题命中 指令微调 ：language model(abstract)

Mix- and MoE-DPO: A Variational Inference Approach to Direct Preference Optimization

Jason Bohne, Pawel Polak, David Rosenberg, Brian Bloniarz, Gary Kazantsev

机构 * Department of Applied Mathematics and Statistics（应用数学与统计学系） ； Stony Brook University（石溪大学） ； Institute for Advanced Computational Science（先进计算科学研究所） ； Center of Excellence in Wireless and Information Technology (CEWIT)（无线与信息技术卓越中心） ； AI Innovation Institute（人工智能创新研究院） ； Bloomberg（彭博） ； Toronto, ON M5J 2S1（多伦多，ON M5J 2S1） ； San Francisco, CA 94105（旧金山，CA 94105） ； Bloomberg New York, NY 10022（纽约，NY 10022） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)