语言大模型 / LLM

Tag&Tab: Pretraining Data Detection in Large Language Models Using Keyword-Based Membership Inference Attack

Sagiv Antebi, Edan Habler, Asaf Shabtai, Yuval Elovici

机构 * Department of Software and Information Systems Engineering, Ben-Gurion University of the Negev（软件与信息系统工程系，贝纳-戈里翁大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；LLM(abstract)

Emergent Abilities of Large Language Models under Continued Pretraining for Language Adaptation

Ahmed Elhady, Eneko Agirre, Mikel Artetxe

机构 * HiTZ Center, University of the Basque Country (UPV/EHU)（巴斯克大学希茨中心） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL、cs.AI

Comments Published as a Conference Paper at the main track of ACL 2025

Exploring Polyglot Harmony: On Multilingual Data Allocation for Large Language Models Pretraining

Ping Guo, Yubing Ren, Binbin Liu, Fengze Liu, Haobin Lin, Yifan Zhang, Bingni Zhang, Taifeng Wang, Yin Zheng

机构 * ByteDance（字节跳动） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title)；分类 cs.CL、cs.AI

Once Upon a Time: Interactive Learning for Storytelling with Small Language Models

Jonas Mayer Martins, Ali Hamza Bashir, Muhammad Rehan Khalid, Lisa Beinborn

机构 * University of Göttingen, Institute of Computer Science（哥廷根大学计算机科学学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；small language model(title)；large language model(abstract)；pretraining(abstract)

Comments EMNLP 2025, BabyLM Challenge; 16 pages, 6 figures

Natural Fingerprints of Large Language Models

Teppei Suzuki, Ryokan Ri, Sho Takase

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

LED: LLM Enhanced Open-Vocabulary Object Detection without Human Curated Data Generation

Yang Zhou, Shiyu Zhao, Yuxiao Chen, Zhenting Wang, Can Jin, Dimitris N. Metaxas

机构 * Rutgers University（新泽西罗格斯大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

MountainLion: A Multi-Modal LLM-Based Agent System for Interpretable and Adaptive Financial Trading

Siyi Wu, Junqiao Wang, Zhaoyang Guan, Leyi Zhao, Xinyuan Song, Xinyu Ying, Dexu Yu, Jinhao Wang, Hanlin Zhang, Michele Pak, Yangfan He, Yi Xin, Jianhui Wang, Tianyu Shi

机构 * The University of Texas at Arlington（德克萨斯大学阿灵顿分校） ； Sichuan University（四川大学） ； Northwestern University（西北大学） ； Indiana University（印第安纳大学） ； Emory University（埃默里大学） ； Nankai University（南开大学） ； MountainLion Research（MountainLion研究机构） ； Xi’an University of Electronic Science and Technology（西安电子科技大学） ； Kyoto University（京都大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Nanjing university（南京大学） ； Tsinghua University（清华大学） ； University of Toronto（多伦多大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Subjective Behaviors and Preferences in LLM: Language of Browsing

Sai Sundaresan, Harshita Chopra, Atanu R. Sinha, Koustava Goswami, Nagasai Saketh Naidu, Raghav Karan, N Anushka

机构 * Adobe Research（Adobe研究院） ； University of Washington, Seattle（华盛顿大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted at EMNLP 2025

Direct Simultaneous Translation Activation for Large Audio-Language Models

Pei Zhang, Yiming Wang, Jialong Tang, Baosong Yang, Rui Wang, Derek F. Wong, Fei Huang

机构 * Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团） ； NLP$^2$CT Lab（NLP²CT实验室） ； University of Macau（澳门大学） ； School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；SFT(abstract)；分类 cs.CL

Measuring Lexical Diversity of Synthetic Data Generated through Fine-Grained Persona Prompting

Gauri Kambhatla, Chantal Shaib, Venkata Govindarajan

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Northeastern University（东北大学） ； Ithaca College（伊萨卡学院） 纠错

专题命中 预训练与数据 ：prompting(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Accepted to EMNLP Findings 2025

Enhancing LLM Language Adaption through Cross-lingual In-Context Pre-training

Linjuan Wu, Haoran Wei, Huan Lin, Tianhao Li, Baosong Yang, Fei Huang, Weiming Lu

机构 * Zhejiang University（浙江大学） ； Tongyi Lab, Alibaba Group（阿里巴巴集团 Tongyi 实验室） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments 12 pages, 6 figures, EMNLP 2025

MANZANO: A Simple and Scalable Unified Multimodal Model with a Hybrid Vision Tokenizer

Yanghao Li, Rui Qian, Bowen Pan, Haotian Zhang, Haoshuo Huang, Bowen Zhang, Jialing Tong, Haoxuan You, Xianzhi Du, Zhe Gan, Hyunjik Kim, Chao Jia, Zhenbang Wang, Yinfei Yang, Mingfei Gao, Zi-Yi Dou, Wenze Hu, Chang Gao, Dongxu Li, Philipp Dufter, Zirui Wang, Guoli Yin, Zhengdong Zhang, Chen Chen, Yang Zhao, Ruoming Pang, Zhifeng Chen

机构 * Apple（苹果公司） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Randomized Smoothing Meets Vision-Language Models

Emmanouil Seferis, Changshun Wu, Stefanos Kollias, Saddek Bensalem, Chih-Hong Cheng

机构 * National Technical University of Athens（希腊雅典国家技术大学） ； Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学） ； CSX-AI（CSX-AI公司） ； Carl von Ossietzky University of Oldenburg（奥尔登堡卡尔·冯·奥西特齐大学） ； Chalmers University of Technology（查尔姆斯理工大学） 纠错

专题命中 预训练与数据 ：language model(title)；分类 cs.LG

Comments EMNLP'25 full version, including appendix (proofs, additional experiments)

Copycat vs. Original: Multi-modal Pretraining and Variable Importance in Box-office Prediction

Qin Chao, Eunsoo Kim, Boyang Li

机构 * College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院，南洋理工大学，新加坡） ； Business School, University of Seoul, Republic of Korea（商学学院，首尔大学，韩国） ； Alibaba Group and the Alibaba-NTU Joint Research Institute, Singapore（阿里巴巴集团及阿里巴巴-南洋理工大学联合研究机构，新加坡） 纠错

专题命中 预训练与数据 ：pretraining(title)；分类 cs.LG

PILOT: Steering Synthetic Data Generation with Psychological & Linguistic Output Targeting

Caitlin Cisar, Emily Sheffield, Joshua Drake, Alden Harrell, Subramanian Chidambaram, Nikita Nangia, Vinayak Arannil, Alex Williams

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Evaluating the Limitations of Local LLMs in Solving Complex Programming Challenges

Kadin Matotek, Heather Cassel, Md Amiruzzaman, Linh B. Ngo

专题命中 预训练与数据 ：LLM(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Comments: 16 pages, 3 figures, 8 tables, accepted to CCSC Eastern 2025

MolParser: End-to-end Visual Recognition of Molecule Structures in the Wild

Xi Fang, Jiankun Wang, Xiaochen Cai, Shangqian Chen, Shuwen Yang, Haoyi Tao, Nan Wang, Lin Yao, Linfeng Zhang, Guolin Ke

机构 * DP Technology（DP技术） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

Translationese-index: Using Likelihood Ratios for Graded and Generalizable Measurement of Translationese

Yikang Liu, Wanyang Zhang, Yiming Wang, Jialong Tang, Pei Zhang, Baosong Yang, Fei Huang, Rui Wang, Hai Hu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Peking University（北京大学） ； Tongyi Lab（通义实验室） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

Comments EMNLP 2025 camera-ready

Subject Matter Expertise vs Professional Management in Collective Sequential Decision Making

David Shoresh, Yonatan Loewenstein

机构 * The Edmond and Lily Safra Center for Brain Sciences（埃德蒙和莉莉·萨夫拉脑科学中心） ； Hebrew University（希伯来大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

Comments Reinforcement Learning and Decision Making (RLDM) 2025. arXiv admin note: substantial text overlap with arXiv:2412.18593

Sparse Multiview Open-Vocabulary 3D Detection

Olivier Moliner, Viktor Larsson, Kalle Åström

机构 * Centre for Mathematical Sciences, Lund University（数学科学中心，卢德大学） ； Sony Corporation, Lund Laboratory, Sweden（索尼公司，卢德实验室，瑞典） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

Comments ICCV 2025; OpenSUN3D Workshop; Camera ready version