语言大模型 / LLM

From Description to Detection: LLM based Extendable O-RAN Compliant Blind DoS Detection in 5G and Beyond

Thusitha Dayaratne, Ngoc Duy Pham, Viet Vo, Shangqi Lai, Sharif Abuadbba, Hajime Suzuki, Xingliang Yuan, Carsten Rudolph

机构 * Monash University（莫纳什大学） ； Swinburne University of Technology（斯威本科技大学） ； CSIRO’s Data61（澳大利亚联邦科学与工业研究组织（CSIRO）的数据61研究所） ； The University of Melbourne（墨尔本大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Rethinking Multilingual Continual Pretraining: Data Mixing for Adapting LLMs Across Languages and Resources

Zihao Li, Shaoxiong Ji, Hengyu Luo, Jörg Tiedemann

机构 * University of Helsinki（赫尔辛基大学） ； ELLIS Institute Finland（芬兰ELLIS研究所） ； University of Turku（图尔库大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments COLM 2025

Tracing Multilingual Factual Knowledge Acquisition in Pretraining

Yihong Liu, Mingyang Wang, Amir Hossein Kargaran, Felicia Körner, Ercong Nie, Barbara Plank, François Yvon, Hinrich Schütze

机构 * Center for Information and Language Processing, LMU Munich（信息与语言处理中心，慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML）） ； Bosch Center for Artificial Intelligence（博世人工智能中心） ； Sorbonne Université, CNRS, ISIR, France（索邦大学，法国国家科学研究中心，ISIR） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments EMNLP Findings 2025

LLM-Based Multi-Task Bangla Hate Speech Detection: Type, Severity, and Target

Md Arid Hasan, Firoj Alam, Md Fahad Hossain, Usman Naseem, Syed Ishtiaque Ahmed

机构 * University of Toronto（多伦多大学） ； Qatar Computing Research Institute（卡塔尔计算研究院） ； Daffodil International University（达芙妮国际大学） ； Macquarie University（麦考瑞大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；pretraining(abstract)；prompting(abstract)；分类 cs.CL

Spectral Scaling Laws in Language Models: How Effectively Do Feed-Forward Networks Use Their Latent Space?

Nandan Kumar Jha, Brandon Reagen

机构 * New York University（纽约大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.LG

Comments EMNLP 2025 Main Conference (Long paper)

RL-Guided Data Selection for Language Model Finetuning

Animesh Jha, Harshit Gupta, Ananjan Nandi

机构 * Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；pretraining(abstract)；分类 cs.LG

Comments To appear in NeurIPS 2025 Constrained Optimization for ML Workshop

ByteSized32Refactored: Towards an Extensible Interactive Text Games Corpus for LLM World Modeling and Evaluation

Haonan Wang, Junfeng Sun, Xingdi Yuan, Ruoyao Wang, Ziang Xiao

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Liaoning Technical University（辽宁技术大学） ； Microsoft Research Montréal（微软研究院蒙特利尔分校） ； Central University of Finance and Economics（中央财经大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments 14 pages,15 figures, Accepted to the 5th Wordplay: When Language Meets Games Workshop, EMNLP 2025

Can Code Language Models Learn Clarification-Seeking Behaviors?

Jie JW Wu, Manav Chaudhary, Davit Abrahamyan, Arhaan Khaku, Anjiang Wei, Fatemeh H. Fard

机构 * Michigan Technological University（密歇根技术大学） ； Indian Institute of Information Technology (IIIT)（印度信息科技研究所） ； University of California, San Diego (UCSD)（加州大学圣地亚哥分校） ； University of British Columbia（不列颠哥伦比亚大学） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.LG

Explore the Reinforcement Learning for the LLM based ASR and TTS system

Changfeng Gao, Yabin Li, Keyu An, Zhifu Gao, Zhihao Du, Han Zhao, Xiangang Li

机构 * Speech Team, Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Direct Simultaneous Translation Activation for Large Audio-Language Models

Pei Zhang, Yiming Wang, Jialong Tang, Baosong Yang, Rui Wang, Derek F. Wong, Fei Huang

机构 * Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团） ； NLP$^2$CT Lab（NLP²CT实验室） ； University of Macau（澳门大学） ； School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；SFT(abstract)；分类 cs.CL

Measuring Lexical Diversity of Synthetic Data Generated through Fine-Grained Persona Prompting

Gauri Kambhatla, Chantal Shaib, Venkata Govindarajan

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Northeastern University（东北大学） ； Ithaca College（伊萨卡学院） 纠错

专题命中 预训练与数据 ：prompting(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Accepted to EMNLP Findings 2025

Continually Adding New Languages to Multilingual Language Models

Abraham Toluwase Owodunni, Sachin Kumar

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； The Ohio State University（俄亥俄州立大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；instruction tuning(abstract)；pretraining(abstract)；分类 cs.CL

Lusifer: LLM-based User SImulated Feedback Environment for online Recommender systems

Danial Ebrat, Eli Paradalis, Luis Rueda

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Forewarned is Forearmed: Pre-Synthesizing Jailbreak-like Instructions to Enhance LLM Safety Guardrail to Potential Attacks

Sheng Liu, Qiang Sheng, Danding Wang, Yang Li, Guang Yang, Juan Cao

机构 * Sheng Liu Media Synthesis and Forensics Lab, Institute of Computing Technology, Chinese Academy of Sciences University of Chinese Academy of Sciences（媒体合成与取证实验室，计算技术研究所，中国科学院，中国科学院大学） ； Qiang Sheng Media Synthesis and Forensics Lab, Institute of Computing Technology, Chinese Academy of Sciences（媒体合成与取证实验室，计算技术研究所，中国科学院） ； Danding Wang Media Synthesis and Forensics Lab, Institute of Computing Technology, Chinese Academy of Sciences（媒体合成与取证实验室，计算技术研究所，中国科学院） ； Yang Li Media Synthesis and Forensics Lab, Institute of Computing Technology, Chinese Academy of Sciences University of Chinese Academy of Sciences（媒体合成与取证实验室，计算技术研究所，中国科学院，中国科学院大学） ； Guang Yang Zhongguancun Laboratory（中关村实验室） ； Juan Cao Media Synthesis and Forensics Lab, Institute of Computing Technology, Chinese Academy of Sciences（媒体合成与取证实验室，计算技术研究所，中国科学院） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments EMNLP 2025 findings

Enhancing Health Fact-Checking with LLM-Generated Synthetic Data

Jingze Zhang, Jiahe Qian, Yiliang Zhou, Yifan Peng

机构 * Population Health Sciences, Weill Cornell Medicine（人口健康科学系，韦尔·科恩医学中心） ； Donald Bren School of Information and Computer Sciences, University of California, Irvine（唐纳德·布伦信息与计算机科学学院，加州大学伊尔弗分校） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

OmniMRI: A Unified Vision--Language Foundation Model for Generalist MRI Interpretation

Xingxin He, Aurora Rofena, Ruimin Feng, Haozhe Liao, Zhaoye Zhou, Albert Jang, Fang Liu

机构 * Athinoula A. Martinos Center for Biomedical Imaging（阿提诺拉A.马丁诺斯生物医学成像中心） ； Harvard Medical School（哈佛医学院） ； Massachusetts General Hospital（麻省总医院） ； University Campus Bio-Medico of Rome（罗马生物医学大学校园） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；instruction tuning(abstract)；pretraining(abstract)；分类 cs.AI

Noise, Adaptation, and Strategy: Assessing LLM Fidelity in Decision-Making

Yuanjun Feng, Vivek Choudhary, Yash Raj Shrestha

机构 * University of Lausanne（洛桑大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Comments Accepted to EMNLP 2025 (Main Conference)

How Chinese are Chinese Language Models? The Puzzling Lack of Language Policy in China's LLMs

Andrea W Wen-Yi, Unso Eun Seo Jo, Lu Jia Lin, David Mimno

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；pretraining(abstract)；分类 cs.CL

Comments We have reworked the paper substantially. Please refer to the new, updated article: arXiv:2504.00289

Masked Language Models are Good Heterogeneous Graph Generalizers

Jinyu Yang, Cheng Yang, Shanyuan Cui, Zeyuan Guo, Liangwei Yang, Muhan Zhang, Zhiqiang Zhang, Chuan Shi

机构 * School of Computer Science, Beijing University of Posts and Telecommunications（北京邮电大学计算机科学学院） ； Department of Computer Science, University of Illinois Chicago（伊利诺伊大学芝加哥分校计算机科学系） ； Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） ； Ant Group, Beijing, China（蚂蚁集团（北京）） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL

Self-Regularization with Sparse Autoencoders for Controllable LLM-based Classification

Xuansheng Wu, Wenhao Yu, Xiaoming Zhai, Ninghao Liu

机构 * University of Georgia（佐治亚大学） ； Tencent AI Lab（腾讯AI实验室） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Accepted by SIGKDD 2025

Being-H0: Vision-Language-Action Pretraining from Large-Scale Human Videos

Hao Luo, Yicheng Feng, Wanpeng Zhang, Sipeng Zheng, Ye Wang, Haoqi Yuan, Jiazheng Liu, Chaoyi Xu, Qin Jin, Zongqing Lu

机构 * Peking University（北京大学） ； Renmin University of China（中国人民大学） ； BeingBeyond 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；instruction tuning(abstract)；post-training(abstract)；分类 cs.LG

Comments 37 pages

SafeAgent: Safeguarding LLM Agents via an Automated Risk Simulator

Xueyang Zhou, Weidong Wang, Lin Lu, Jiawen Shi, Guiyao Tie, Yongtian Xu, Lixing Chen, Pan Zhou, Neil Zhenqiang Gong, Lichao Sun

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Comments 38 pages;12 figures;12 tables

BMFM-DNA: A SNP-aware DNA foundation model to capture variant effects

Hongyang Li, Sanjoy Dey, Bum Chul Kwon, Michael Danziger, Michal Rosen-Tzvi, Jianying Hu, James Kozloski, Ching-Huei Tsou, Bharath Dandala, Pablo Meyer

机构 * IBM Research（IBM研究院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

An HTR-LLM Workflow for High-Accuracy Transcription and Analysis of Abbreviated Latin Court Hand

Joshua D. Isom

机构 * Lehigh University（莱文大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Reply to "Emergent LLM behaviors are observationally equivalent to data leakage"

Ariel Flint Ashery, Luca Maria Aiello, Andrea Baronchelli

机构 * City St George’s, University of London（伦敦大学圣乔治学院） ； IT University of Copenhagen（哥本哈根IT大学） ； Pioneer Centre for AI（先锋人工智能中心） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Reply to arXiv:2505.23796

Leveraging LLM and Self-Supervised Training Models for Speech Recognition in Chinese Dialects: A Comparative Analysis

Tianyi Xu, Hongjie Chen, Wang Qing, Lv Hang, Jian Kang, Li Jie, Zhennan Lin, Yongxiang Li, Xie Lei

机构 * Institute of Artificial Intelligence (TeleAI)（人工智能研究所（TeleAI）） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Meta-Learning and Synthetic Data for Automated Pretraining and Finetuning

Fabio Ferreira

专题命中 预训练与数据 ：pretraining(title)；large language model(abstract)；language model(abstract)；foundation model(abstract)

Comments PhD thesis

TaxoAdapt: Aligning LLM-Based Multidimensional Taxonomy Construction to Evolving Research Corpora

Priyanka Kargupta, Nan Zhang, Yunyi Zhang, Rui Zhang, Prasenjit Mitra, Jiawei Han

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Accepted to ACL 2025 Main Conference. Code available at: https://github.com/pkargupta/taxoadapt

AC/DC: LLM-based Audio Comprehension via Dialogue Continuation

Yusuke Fujita, Tomoya Mizumoto, Atsushi Kojima, Lianbo Liu, Yui Sudo

机构 * SB IntuitionsJapan（SB Intuitions日本） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

Comments Accepted to Interspeech 2025

R.R.: Unveiling LLM Training Privacy through Recollection and Ranking

Wenlong Meng, Zhenyuan Guo, Lenan Wu, Chen Gong, Wenyan Liu, Weixian Li, Chengkun Wei, Wenzhi Chen

机构 * Zhejiang University（浙江大学） ； University of Virginia（弗吉尼亚大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments 13 pages, 9 figures; typos corrected