语言大模型 / LLM

PILOT: Steering Synthetic Data Generation with Psychological & Linguistic Output Targeting

Caitlin Cisar, Emily Sheffield, Joshua Drake, Alden Harrell, Subramanian Chidambaram, Nikita Nangia, Vinayak Arannil, Alex Williams

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Evaluating the Limitations of Local LLMs in Solving Complex Programming Challenges

Kadin Matotek, Heather Cassel, Md Amiruzzaman, Linh B. Ngo

专题命中 预训练与数据 ：LLM(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Comments: 16 pages, 3 figures, 8 tables, accepted to CCSC Eastern 2025

Enhancing Generalization in Vision-Language-Action Models by Preserving Pretrained Representations

Shresth Grover, Akshay Gopalkrishnan, Bo Ai, Henrik I. Christensen, Hao Su, Xuanlin Li

机构 * UC San Diego（圣迭戈大学） ； Hillbot 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

Comments Project Page: https://gen-vla.github.io/

WebSailor-V2: Bridging the Chasm to Proprietary Agents via Synthetic Data and Scalable Reinforcement Learning

Kuan Li, Zhongwang Zhang, Huifeng Yin, Rui Ye, Yida Zhao, Liwen Zhang, Litu Ou, Dingchu Zhang, Xixi Wu, Jialong Wu, Xinyu Wang, Zile Qiao, Zhen Zhang, Yong Jiang, Pengjun Xie, Fei Huang, Jingren Zhou

专题命中 预训练与数据 ：LLM(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

Comments https://tongyi-agent.github.io/blog/introducing-tongyi-deep-research/

Differentially-private text generation degrades output language quality

Erion Çano, Ivan Habernal

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 20 pages, 3 figures, 35 tables

ISACL: Internal State Analyzer for Copyrighted Training Data Leakage

Guangwei Zhang, Qisheng Su, Jiateng Liu, Cheng Qian, Yanzhou Pan, Yanjie Fu, Denghui Zhang

机构 * City University of Hong Kong（香港城市大学） ； Microsoft（微软） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Google LLC（谷歌公司） ； Arizona State University（亚利桑那州立大学） ； Stevens Institute of Technology（史蒂文斯理工学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Cloning a Conversational Voice AI Agent from Call\,Recording Datasets for Telesales

Krittanon Kaewtawee, Wachiravit Modecrua, Krittin Pachtrachai, Touchapon Kraisingkorn

机构 * Amity AI Research and Application Center（阿米蒂AI研究与应用中心） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 10 pages, 4 figures

Mitigation of Gender and Ethnicity Bias in AI-Generated Stories through Model Explanations

Martha O. Dimgba, Sharon Oba, Ameeta Agrawal, Philippe J. Giabbanelli

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

ASCENDgpt: A Phenotype-Aware Transformer Model for Cardiovascular Risk Prediction from Electronic Health Records

Chris Sainsbury, Andreas Karwath

机构 * NHS Greater Glasgow and Clyde（英国格拉斯哥和克莱德国家健康服务署） ； University of Birmingham（伯明翰大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

GalaxAlign: Mimicking Citizen Scientists' Multimodal Guidance for Galaxy Morphology Analysis

Ruoqi Wang, Haitao Wang, Qiong Luo

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； School of Computer Science and Engineering, Sun Yat-Sen University（中山大学计算机科学与工程学院） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

Comments ACM MM 2025

Learn and Unlearn: Addressing Misinformation in Multilingual LLMs

Taiming Lu, Philipp Koehn

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments EMNLP 2025 Main Conference

Automated Essay Scoring Incorporating Annotations from Automated Feedback Systems

Christopher Ormerod

机构 * Cambium Assessment Inc.（Cambium评估公司） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 10 pages, AIME-Con Conference Submission

From Intents to Conversations: Generating Intent-Driven Dialogues with Contrastive Learning for Multi-Turn Classification

Junhua Liu, Yong Keat Tan, Bin Fu, Kwan Hui Lim

机构 * Singapore University of Technology and Design（新加坡科技设计大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted to Proceedings of CIKM'25

Open Data Synthesis For Deep Research

Ziyi Xia, Kun Luo, Hongjin Qian, Zheng Liu

机构 * BAAI（北京人工智能研究院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Re-examining learning linear functions in context

Omar Naim, Guilhem Fouilhé, Nicholas Asher

机构 * Institut de Recherche en Informatique de Toulouse, IRIT France（图卢兹信息研究所，IRIT法国） ； Université de Toulouse, France（图卢兹大学，法国） ； CNRS, France（法国国家科学研究中心） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Journal ref KI 2025: Advances in Artificial Intelligence

Generative Models for Synthetic Data: Transforming Data Mining in the GenAI Era

Dawei Li, Yue Huang, Ming Li, Tianyi Zhou, Xiangliang Zhang, Huan Liu

机构 * Arizona State University（亚利桑那州立大学） ； University of Notre Dame（圣母大学） ； University of Maryland（马里兰大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Accepted by CIKM 2025 Tutorial

Provable Generalization in Overparameterized Neural Nets

Aviral Dhingra

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 8 Pages

Test-time Corpus Feedback: From Retrieval to RAG

Mandeep Rathee, V Venktesh, Sean MacAvaney, Avishek Anand

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 18 pages, 1 figure

Source2Synth: Synthetic Data Generation and Curation Grounded in Real Data Sources

Alisia Lupidi, Carlos Gemmell, Nicola Cancedda, Jane Dwivedi-Yu, Jason Weston, Jakob Foerster, Roberta Raileanu, Maria Lomeli

机构 * Meta Superintelligence labs（Meta超智能实验室） ； University of Oxford（牛津大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Social Debiasing for Fair Multi-modal LLMs

Harry Cheng, Yangyang Guo, Qingpei Guo, Ming Yang, Tian Gan, Weili Guan, Liqiang Nie

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Project page: https://github.com/xaCheng1996/Social_Debiasing_For_Fair_MLLMs

POPri: Private Federated Learning using Preference-Optimized Synthetic Data

Charlie Hou, Mei-Yu Wang, Yige Zhu, Daniel Lazar, Giulia Fanti

机构 * Pittsburgh Supercomputing Center, Pittsburgh, USA（匹兹堡超级计算中心） ； Department of ECE, Carnegie Mellon University, Pittsburgh, PA（电子工程系，卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；preference optimization(abstract)；分类 cs.AI、cs.LG

Comments ICML 2025 camera-ready

Development of Pre-Trained Transformer-based Models for the Nepali Language

Prajwal Thapa, Jinu Nyachhyon, Mridul Sharma, Bal Krishna Bal

机构 * Information and Language Processing Research Lab (ILPRL)（信息与语言处理研究实验室） ； Kathmandu University（加德满都大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.LG

Journal ref https://aclanthology.org/2025.chipsal-1.2.pdf

Cognitive Behaviors that Enable Self-Improving Reasoners, or, Four Habits of Highly Effective STaRs

Kanishk Gandhi, Ayush Chakravarthy, Anikait Singh, Nathan Lile, Noah D. Goodman

机构 * Stanford University（斯坦福大学） ； SynthLabs 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

Measuring Diversity in Synthetic Datasets

Yuchang Zhu, Huizhe Zhang, Bingzhe Wu, Jintang Li, Zibin Zheng, Peilin Zhao, Liang Chen, Yatao Bian

机构 * School of Computer Science（计算机科学学院） ； Engineering, Sun Yat-sen University（工程，中山大学） ； School of Software Engineering（软件工程学院） ； Sun Yat-sen University（中山大学） ； Zhuhai Key Laboratory of Trusted Large Language Models（珠海可信大语言模型实验室） ； Tencent AI Lab（腾讯AI实验室） ； National University of Singapore（新加坡国立大学） ； Shenzhen University（深圳大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted by ICML 2025

Towards More Realistic Extraction Attacks: An Adversarial Perspective

Yash More, Prakhar Ganesh, Golnoosh Farnadi

机构 * McGill University（麦吉尔大学） ； Mila（Mila研究所） 纠错

专题命中 预训练与数据 ：language model(abstract)；prompting(abstract)；分类 cs.CL、cs.LG

Comments To appear in TACL

No Query, No Access

Wenqiang Wang, Siyuan Liang, Yangshijie Zhang, Xiaojun Jia, Hao Lin, Xiaochun Cao

机构 * Sun Yat-sen University, Guangzhou, China（中山大学） ； Lanzhou University, Gansu, China（兰州大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

MENDR: Manifold Explainable Neural Data Representations

Matthew Chen, Micky Nnamdi, Justin Shao, Andrew Hornback, Hongyun Huang, Ben Tamo, Yishan Zhong, Benoit Marteau, Wenqi Shi, May Dongmei Wang

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

Extrapolation by Association: Length Generalization Transfer in Transformers

Ziyang Cai, Nayoung Lee, Avi Schwarzschild, Samet Oymak, Dimitris Papailiopoulos

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

Comments 23 pages, 20 figures

Using Scaling Laws for Data Source Utility Estimation in Domain-Specific Pre-Training

Oleksiy Ostapenko, Charles Guille-Escuret, Luke Kumar, Max Tian, Denis Kocetkov, Gopeshh Subbaraj, Raymond Li, Joel Lamy-Poirier, Sebastien Paquet, Torsten Scholak

机构 * ServiceNow Research（ServiceNow 研究所） ； Mila — Quebec AI Institute（魁北克人工智能研究所） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

DR.EHR: Dense Retrieval for Electronic Health Record with Knowledge Injection and Synthetic Data

Zhengyun Zhao, Huaiyuan Ying, Yue Zhong, Sheng Yu

机构 * Tsinghua University（清华大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Model and code released upon acceptance