语言大模型 / LLM

Tag&Tab: Pretraining Data Detection in Large Language Models Using Keyword-Based Membership Inference Attack

Sagiv Antebi, Edan Habler, Asaf Shabtai, Yuval Elovici

机构 * Department of Software and Information Systems Engineering, Ben-Gurion University of the Negev（软件与信息系统工程系，贝纳-戈里翁大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；LLM(abstract)

Emergent Abilities of Large Language Models under Continued Pretraining for Language Adaptation

Ahmed Elhady, Eneko Agirre, Mikel Artetxe

机构 * HiTZ Center, University of the Basque Country (UPV/EHU)（巴斯克大学希茨中心） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.AI

Comments Published as a Conference Paper at the main track of ACL 2025

Exploring Polyglot Harmony: On Multilingual Data Allocation for Large Language Models Pretraining

Ping Guo, Yubing Ren, Binbin Liu, Fengze Liu, Haobin Lin, Yifan Zhang, Bingni Zhang, Taifeng Wang, Yin Zheng

机构 * ByteDance（字节跳动） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title)；分类 cs.CL、cs.AI

Once Upon a Time: Interactive Learning for Storytelling with Small Language Models

Jonas Mayer Martins, Ali Hamza Bashir, Muhammad Rehan Khalid, Lisa Beinborn

机构 * University of Göttingen, Institute of Computer Science（哥廷根大学计算机科学学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；small language model(title)；large language model(abstract)；pretraining(abstract)

Comments EMNLP 2025, BabyLM Challenge; 16 pages, 6 figures

Natural Fingerprints of Large Language Models

Teppei Suzuki, Ryokan Ri, Sho Takase

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

LED: LLM Enhanced Open-Vocabulary Object Detection without Human Curated Data Generation

Yang Zhou, Shiyu Zhao, Yuxiao Chen, Zhenting Wang, Can Jin, Dimitris N. Metaxas

机构 * Rutgers University（新泽西罗格斯大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

MountainLion: A Multi-Modal LLM-Based Agent System for Interpretable and Adaptive Financial Trading

Siyi Wu, Junqiao Wang, Zhaoyang Guan, Leyi Zhao, Xinyuan Song, Xinyu Ying, Dexu Yu, Jinhao Wang, Hanlin Zhang, Michele Pak, Yangfan He, Yi Xin, Jianhui Wang, Tianyu Shi

机构 * The University of Texas at Arlington（德克萨斯大学阿灵顿分校） ； Sichuan University（四川大学） ； Northwestern University（西北大学） ； Indiana University（印第安纳大学） ； Emory University（埃默里大学） ； Nankai University（南开大学） ； MountainLion Research（MountainLion研究机构） ； Xi’an University of Electronic Science and Technology（西安电子科技大学） ； Kyoto University（京都大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Nanjing university（南京大学） ； Tsinghua University（清华大学） ； University of Toronto（多伦多大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Subjective Behaviors and Preferences in LLM: Language of Browsing

Sai Sundaresan, Harshita Chopra, Atanu R. Sinha, Koustava Goswami, Nagasai Saketh Naidu, Raghav Karan, N Anushka

机构 * Adobe Research（Adobe研究院） ； University of Washington, Seattle（华盛顿大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted at EMNLP 2025

Direct Simultaneous Translation Activation for Large Audio-Language Models

Pei Zhang, Yiming Wang, Jialong Tang, Baosong Yang, Rui Wang, Derek F. Wong, Fei Huang

机构 * Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团） ； NLP$^2$CT Lab（NLP²CT实验室） ； University of Macau（澳门大学） ； School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；SFT(abstract)；分类 cs.CL

Measuring Lexical Diversity of Synthetic Data Generated through Fine-Grained Persona Prompting

Gauri Kambhatla, Chantal Shaib, Venkata Govindarajan

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Northeastern University（东北大学） ； Ithaca College（伊萨卡学院） 纠错

专题命中 预训练与数据 ：prompting(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Accepted to EMNLP Findings 2025

Enhancing LLM Language Adaption through Cross-lingual In-Context Pre-training

Linjuan Wu, Haoran Wei, Huan Lin, Tianhao Li, Baosong Yang, Fei Huang, Weiming Lu

机构 * Zhejiang University（浙江大学） ； Tongyi Lab, Alibaba Group（阿里巴巴集团 Tongyi 实验室） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments 12 pages, 6 figures, EMNLP 2025

MANZANO: A Simple and Scalable Unified Multimodal Model with a Hybrid Vision Tokenizer

Yanghao Li, Rui Qian, Bowen Pan, Haotian Zhang, Haoshuo Huang, Bowen Zhang, Jialing Tong, Haoxuan You, Xianzhi Du, Zhe Gan, Hyunjik Kim, Chao Jia, Zhenbang Wang, Yinfei Yang, Mingfei Gao, Zi-Yi Dou, Wenze Hu, Chang Gao, Dongxu Li, Philipp Dufter, Zirui Wang, Guoli Yin, Zhengdong Zhang, Chen Chen, Yang Zhao, Ruoming Pang, Zhifeng Chen

机构 * Apple（苹果公司） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Randomized Smoothing Meets Vision-Language Models

Emmanouil Seferis, Changshun Wu, Stefanos Kollias, Saddek Bensalem, Chih-Hong Cheng

机构 * National Technical University of Athens（希腊雅典国家技术大学） ； Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学） ； CSX-AI（CSX-AI公司） ； Carl von Ossietzky University of Oldenburg（奥尔登堡卡尔·冯·奥西特齐大学） ； Chalmers University of Technology（查尔姆斯理工大学） 纠错

专题命中 预训练与数据 ：language model(title)；分类 cs.LG

Comments EMNLP'25 full version, including appendix (proofs, additional experiments)

Copycat vs. Original: Multi-modal Pretraining and Variable Importance in Box-office Prediction

Qin Chao, Eunsoo Kim, Boyang Li

机构 * College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院，南洋理工大学，新加坡） ； Business School, University of Seoul, Republic of Korea（商学学院，首尔大学，韩国） ； Alibaba Group and the Alibaba-NTU Joint Research Institute, Singapore（阿里巴巴集团及阿里巴巴-南洋理工大学联合研究机构，新加坡） 纠错

专题命中 预训练与数据 ：pretraining(title)；分类 cs.LG

PILOT: Steering Synthetic Data Generation with Psychological & Linguistic Output Targeting

Caitlin Cisar, Emily Sheffield, Joshua Drake, Alden Harrell, Subramanian Chidambaram, Nikita Nangia, Vinayak Arannil, Alex Williams

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Evaluating the Limitations of Local LLMs in Solving Complex Programming Challenges

Kadin Matotek, Heather Cassel, Md Amiruzzaman, Linh B. Ngo

专题命中 预训练与数据 ：LLM(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Comments: 16 pages, 3 figures, 8 tables, accepted to CCSC Eastern 2025

MolParser: End-to-end Visual Recognition of Molecule Structures in the Wild

Xi Fang, Jiankun Wang, Xiaochen Cai, Shangqian Chen, Shuwen Yang, Haoyi Tao, Nan Wang, Lin Yao, Linfeng Zhang, Guolin Ke

机构 * DP Technology（DP技术） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

Translationese-index: Using Likelihood Ratios for Graded and Generalizable Measurement of Translationese

Yikang Liu, Wanyang Zhang, Yiming Wang, Jialong Tang, Pei Zhang, Baosong Yang, Fei Huang, Rui Wang, Hai Hu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Peking University（北京大学） ； Tongyi Lab（通义实验室） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

Comments EMNLP 2025 camera-ready

Subject Matter Expertise vs Professional Management in Collective Sequential Decision Making

David Shoresh, Yonatan Loewenstein

机构 * The Edmond and Lily Safra Center for Brain Sciences（埃德蒙和莉莉·萨夫拉脑科学中心） ； Hebrew University（希伯来大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

Comments Reinforcement Learning and Decision Making (RLDM) 2025. arXiv admin note: substantial text overlap with arXiv:2412.18593

Sparse Multiview Open-Vocabulary 3D Detection

Olivier Moliner, Viktor Larsson, Kalle Åström

机构 * Centre for Mathematical Sciences, Lund University（数学科学中心，卢德大学） ； Sony Corporation, Lund Laboratory, Sweden（索尼公司，卢德实验室，瑞典） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

Comments ICCV 2025; OpenSUN3D Workshop; Camera ready version

Chain of Strategy Optimization Makes Large Language Models Better Emotional Supporter

Weixiang Zhao, Xingyu Sui, Xinyang Han, Yang Deng, Yulin Hu, Jiahe Guo, Libo Qin, Qianyun Du, Shijin Wang, Yanyan Zhao, Bing Qin, Ting Liu

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Singapore Management University（新加坡管理大学） ； Central South University（中南大学） ； iFLYTEK AI Research (Central China), iFLYTEK Co., Ltd（iFLYTEK中央中国研究院，iFLYTEK公司） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract)；分类 cs.CL

Comments 21 pages, 9 figures, 17 tables

Enhancing Speech Large Language Models with Prompt-Aware Mixture of Audio Encoders

Weiqiao Shan, Yuang Li, Yuhao Zhang, Yingfeng Luo, Chen Xu, Xiaofeng Zhao, Long Meng, Yunfei Lu, Min Zhang, Hao Yang, Tong Xiao, Jingbo Zhu

机构 * School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院） ； Huawei Translation Services Center（华为翻译服务中心） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； College of Computer Science and Technology, Harbin Engineering University（哈尔滨工程大学计算机科学与技术学院） ； NiuTrans Research（NiuTrans研究院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

Comments 16 pages,5 figures, 13 tables, to be published in EMNLP 2025 main conference

Evaluating Multimodal Large Language Models on Spoken Sarcasm Understanding

Zhu Li, Xiyuan Gao, Yuqing Zhang, Shekhar Nayak, Matt Coler

机构 * University of Groningen, The Netherlands（Groningen大学，荷兰） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

Pointing to a Llama and Call it a Camel: On the Sycophancy of Multimodal Large Language Models

Renjie Pi, Kehao Miao, Li Peihang, Runtao Liu, Jiahui Gao, Jipeng Zhang, Xiaofang Zhou

机构 * HKUST（香港科技大学） ； HKU（香港大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)

The Effect of Language Diversity When Fine-Tuning Large Language Models for Translation

David Stap, Christof Monz

机构 * Language Technology Lab University of Amsterdam（语言技术实验室 阿姆斯特丹大学） 纠错

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL

Comments EMNLP 2025 Camera Ready

Exploring the Impact of Personality Traits on LLM Bias and Toxicity

Shuo Wang, Renhao Li, Xi Chen, Yulin Yuan, Derek F. Wong, Min Yang

机构 * University of Macau（澳门大学） ； Shenzhen Key Laboratory for High Performance Data Mining, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳高性能数据挖掘重点实验室，深圳先进技术研究院，中国科学院） ； Nanyang Technological University（南洋理工大学） ； Department of Chinese Language and Literature, University of Macau（中文语言文学系，澳门大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Not All Parameters Are Created Equal: Smart Isolation Boosts Fine-Tuning Performance

Yao Wang, Di Liang, Minlong Peng

机构 * University of New South Wales（新南威尔士大学） ； ByteDance Inc.（字节跳动公司） ； Fudan University（复旦大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

Comments Accepted to EMNLP 2025 Main Conference

Mind the Gap: Data Rewriting for Stable Off-Policy Supervised Fine-Tuning

Shiwan Zhao, Xuyang Zhao, Jiaming Zhou, Aobo Kong, Qicheng Li, Yong Qin

机构 * College of Computer Science, Nankai University（南开大学计算机科学学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.LG

PromptMID: Modal Invariant Descriptors Based on Diffusion and Vision Foundation Models for Optical-SAR Image Matching

Han Nie, Bin Luo, Jun Liu, Zhitao Fu, Huan Zhou, Shuo Zhang, Weixing Liu

机构 * State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University（信息工程测绘与遥感国家重点实验室，武汉大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)

Comments 15 pages, 8 figures

Journal ref ISPRS2025

Empathy-R1: A Chain-of-Empathy and Reinforcement Learning Framework for Long-Form Mental Health Support

Xianrong Yao, Dong She, Chenxu Zhang, Yimeng Zhang, Yueru Sun, Noman Ahmed, Yang Gao, Zhanpeng Jin

机构 * School of Future Technology（未来技术学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI