语言大模型 / LLM

LLMs are All You Need? Improving Fuzz Testing for MOJO with Large Language Models

Linghan Huang, Peizhou Zhao, Huaming Chen

机构 * School of Electrical and Computer Engineering, University of Sydney（悉尼大学电气与计算机工程学院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

Exploring Large Language Models (LLMs) through interactive Python activities

Eugenio Tufino

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

Comments 13 pages, 6 figures

Journal ref Phys. Educ. 60 (2025) 055003

Pharmacist: Safety Alignment Data Curation for Large Language Models against Harmful Fine-tuning

Guozhi Liu, Qi Mu, Tiansheng Huang, Xinhua Wang, Li Shen, Weiwei Lin, Zhang Li

机构 * School of Computer Science and Engineering, South China University of Technology（华南理工大学计算机科学与工程学院） ； School of Computer Science at Georgia Institute of Technology（佐治亚理工学院计算机科学系） ； School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区网络科学与技术学院） ； Second Affiliated Hospital of Guangzhou University of Chinese Medicine（广州中医药大学第二附属医院） ； China and Pengcheng Laboratory（中 Pengcheng 实验室） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

ADEPT: Continual Pretraining via Adaptive Expansion and Dynamic Decoupled Tuning

Jinyang Zhang, Yue Fang, Hongxin Ding, Weibin Liao, Muyang Ye, Xu Chu, Junfeng Zhao, Yasha Wang

机构 * Key Laboratory of High Confidence Software Technologies, Ministry of Education（高可信软件技术重点实验室，教育部） ； School of Computer Science, Peking University（北京大学计算机学院） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Towards Self-Refinement of Vision-Language Models with Triangular Consistency

Yunlong Deng, Guangyi Chen, Tianpei Gu, Lingjing Kong, Yan Li, Zeyu Tang, Kun Zhang

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； ByteDance US（字节跳动美国公司） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；instruction tuning(abstract)；分类 cs.AI

BabyVLM: Data-Efficient Pretraining of VLMs Inspired by Infant Learning

Shengao Wang, Arjun Chandra, Aoming Liu, Venkatesh Saligrama, Boqing Gong

机构 * Boston University（波士顿大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted to ICCV 2025

Beyond the limitation of a single query: Train your LLM for query expansion with Reinforcement Learning

Shu Zhao, Tan Yu, Anbang Xu

机构 * NVIDIA（英伟达） ； Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI

CALM: A Causal Analysis Language Model for Tabular Data in Complex Systems with Local Scores, Conditional Independence Tests, and Relation Attributes

Zhenjiang Fan, Zengyi Qin, Yuanning Zheng, Bo Xiong, Summer Han

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

Diffusion-Link: Diffusion Probabilistic Model for Bridging the Audio-Text Modality Gap

KiHyun Nam, Jongmin Choi, Hyeongkeun Lee, Jungwoo Heo, Joon Son Chung

机构 * Korea Advanced Institute of Science and Technology, South Korea（韩国科学技术院） ； University of Seoul, South Korea（首尔大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Comments 5 pages. Submitted to IEEE ICASSP 2026

Isolated Channel Vision Transformers: From Single-Channel Pretraining to Multi-Channel Finetuning

Wenyi Lian, Patrick Micke, Joakim Lindblad, Nataša Sladoje

机构 * Department of Information Technology Uppsala University（信息科技系乌普萨拉大学） ； Department of Immunology, Genetics and Pathology Uppsala University（免疫学、遗传学和病理学系乌普萨拉大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)

Comments Paper has been accepted by BMVC as an Oral presentation

Discursive Circuits: How Do Language Models Understand Discourse Relations?

Yisong Miao, Min-Yen Kan

机构 * Web IR / NLP Group (WING)（网络信息检索与自然语言处理组） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.LG

Comments Accepted to EMNLP 2025 (Main Conference); 9 pages, 8 figures, 5 tables (20 pages, 12 figures, 14 tables including references and appendices)

VNJPTranslate: A comprehensive pipeline for Vietnamese-Japanese translation

Hoang Hai Phan, Nguyen Duc Minh Vu, Nam Dang Phuong

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

Comments The paper contains a critical error in Section 3.1, leading to invalid results in Section 3.3. This undermines the main conclusion of the paper. The authors are working on a corrected version, but in the meantime, there is not a quick fix/replacement/update available

Decoding Emotion in the Deep: A Systematic Study of How LLMs Represent, Retain, and Express Emotion

Jingxiang Zhang, Lujia Zhong

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.AI

Comments 10 pages, 7 figures, 4 tables. Under review

Post-Incorporating Code Structural Knowledge into Pretrained Models via ICL for Code Translation

Yali Du, Hui Sun, Ming Li

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家实验室，南京大学） ； School of Artificial Intelligence, Nanjing University（人工智能学院，南京大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Comments IEEE Transactions on Software Engineering

Automatic Synthesis of High-Quality Triplet Data for Composed Image Retrieval

Haiwen Li, Delong Liu, Zhaohui Hou, Zhicheng Zhao, Fei Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)

Comments This paper was originally submitted to ACM MM 2025 on April 12, 2025

Secret-Protected Evolution for Differentially Private Synthetic Text Generation

Tianze Wang, Zhaoyu Chen, Jian Du, Yingtai Xiao, Linjun Zhang, Qiang Yan

机构 * TikTok ； Department of Statistics, Rutgers University（统计学系，罗格斯大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Beyond Parameters: Exploring Virtual Logic Depth for Scaling Laws

Ruike Zhu, Hanwen Zhang, Kevin Li, Tianyu Shi, Yiqun Duan, Chi Wang, Tianyi Zhou, Arindam Banerjee, Zengyi Qin

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Toronto（多伦多大学） ； University of Technology Sydney（悉尼技术大学） ； Google DeepMind（谷歌DeepMind） ； University of Maryland, College Park（马里兰大学学院市分校） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

LADM: Long-context Training Data Selection with Attention-based Dependency Measurement for LLMs

Jianghao Chen, Junhong Wu, Yangyifan Xu, Jiajun Zhang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Zhongguancun Academy, Beijing, China（中关村学院，北京，中国） ； Wuhan AI Research（武汉人工智能研究所） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments ACL 2025, our code is available at https://github.com/ZNLP/LADM

Bridging Developer Instructions and Code Completion Through Instruction-Aware Fill-in-the-Middle Paradigm

Zhensu Sun, Chengran Yang, Chao Peng, Pengfei Gao, Xiaoning Du, Li Li, David Lo

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

Building a Foundational Guardrail for General Agentic Systems via Synthetic Data

Yue Huang, Hang Hua, Yujun Zhou, Pengcheng Jing, Manish Nagireddy, Inkit Padhi, Greta Dolcetti, Zhangchen Xu, Subhajit Chaudhury, Ambrish Rawat, Liubov Nedoshivina, Pin-Yu Chen, Prasanna Sattigeri, Xiangliang Zhang

机构 * University of Notre Dame（诺特大学） ； MIT-IBM Watson AI Lab（MIT-IBM Watson AI实验室） ； University of Washington（华盛顿大学） ； Ca’ Foscari University of Venice（威尼斯卡福尔学院） ； IBM Research（IBM研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

Are Transformers Able to Reason by Connecting Separated Knowledge in Training Data?

Yutong Yin, Zhaoran Wang

专题命中 预训练与数据 ：prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted by ICLR 2025

On the Occurence of Critical Learning Periods in Neural Networks

Stanisław Pawlak

机构 * Stanisław Pawlak（斯坦尼斯劳·帕瓦克） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

Comments 8 pages, 8 figures

Unify Variables in Neural Scaling Laws for General Audio Representations via Embedding Effective Rank

Xuyao Deng, Yanjie Sun, Yong Dou, Kele Xu

机构 * College of Computer Science and Technology, National University of Defense Technology（计算机科学与技术学院，国防科技大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI

BabyBabelLM: A Multilingual Benchmark of Developmentally Plausible Training Data

Jaap Jumelet, Abdellah Fourtassi, Akari Haga, Bastian Bunzeck, Bhargav Shandilya, Diana Galvan-Sosa, Faiz Ghifari Haznitrama, Francesca Padovani, Francois Meyer, Hai Hu, Julen Etxaniz, Laurent Prévot, Linyang He, María Grandury, Mila Marcheva, Negar Foroutan, Nikitas Theodoropoulos, Pouya Sadeghi, Siyuan Song, Suchir Salhan, Susana Zhou, Yurii Paniv, Ziyin Zhang, Arianna Bisazza, Alex Warstadt, Leshem Choshen

机构 * University of Groningen（Groningen 大学） ； Aix Marseille University（阿尔勒-马赛大学） ； Nara Institute of Science and Technology（神户科学技术大学） ； Bielefeld University（比勒菲尔德大学） ； University of Colorado Boulder（科罗拉多大学波德分校） ； University of Cambridge（剑桥大学） ； KAIST（韩国科学技术院） ； University of Cape Town（开普敦大学） ； City University of Hong Kong（香港城市大学） ； HiTZ, University of the Basque Country（基督教大学） ； Columbia University（大都会大学） ； SomosNLP ； EPFL（瑞士联邦理工学院） ； University of Tehran（德黑兰大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Ukrainian Catholic University（乌克兰天主教大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of California San Diego（加州大学圣地亚哥分校） ； MIT（麻省理工学院） ； MIT-IBM Watson AI Lab（麻省理工-IBM Watson AI 实验室） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL

Beyond 'Templates': Category-Agnostic Object Pose, Size, and Shape Estimation from a Single View

Jinyu Zhang, Haitao Lin, Jiashu Hou, Xiangyang Xue, Yanwei Fu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

What Slows Down FMware Development? An Empirical Study of Developer Challenges and Resolution Times

Zitao Wang, Zhimin Zhao, Michael W. Godfrey

专题命中 预训练与数据 ：foundation model(abstract)

VaseVQA-3D: Benchmarking 3D VLMs on Ancient Greek Pottery

Nonghai Zhang, Zeyu Zhang, Jiazi Wang, Yang Zhao, Hao Tang

机构 * Peking University（北京大学） ； Beijing Jiaotong University（北京交通大学） ； La Trobe University（拉特罗布大学） 纠错

专题命中 预训练与数据 ：language model(abstract)

Enhancing Large Language Model Reasoning via Selective Critical Token Fine-Tuning

Zhiwen Ruan, Yixia Li, He Zhu, Yun Chen, Peng Li, Yang Liu, Guanhua Chen

机构 * Southern University of Science and Technology（南方科技大学） ； Peking University（北京大学） ； Shanghai University of Finance and Economics（上海金融学院） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；SFT(abstract)

SPFT-SQL: Enhancing Large Language Model for Text-to-SQL Parsing by Self-Play Fine-Tuning

Yuhao Zhang, Shaoming Duan, Jinhang Su, Chuanyi Liu, Peiyi Han

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Comments EMNLP 2025 Findings

Analyzing and Internalizing Complex Policy Documents for LLM Agents

Jiateng Liu, Zhenhailong Wang, Xiaojiang Huang, Yingjie Li, Xing Fan, Xiang Li, Chenlei Guo, Ruhi Sarikaya, Heng Ji

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Comments 42 pages