语言大模型 / LLM

Privacy-Preserving Synthetic Review Generation with Diverse Writing Styles Using LLMs

Tevin Atwal, Chan Nam Tieu, Yefeng Yuan, Zhan Shi, Yuhong Liu, Liang Cheng

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； Santa Clara University（圣克拉拉大学） ； eBay（eBay公司） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Disaster Informatics after the COVID-19 Pandemic: Bibliometric and Topic Analysis based on Large-scale Academic Literature

Ngan Tran, Haihua Chen, Ana Cleveland, Yuhan Zhou

机构 * Department of Information Science, University of North Texas（信息科学系，北卡罗来纳州立大学） ； Department of Data Science, University of North Texas（数据科学系，北卡罗来纳州立大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 36 pages, 14 figures, 5 tables

An Efficient and Precise Training Data Construction Framework for Process-supervised Reward Model in Mathematical Reasoning

Wei Sun, Qianlong Du, Fuwei Cui, Jiajun Zhang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Exploring How Generative MLLMs Perceive More Than CLIP with the Same Vision Encoder

Siting Li, Pang Wei Koh, Simon Shaolei Du

机构 * University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments ACL 2025; 19 pages, 3 figures

RAG-based Architectures for Drug Side Effect Retrieval in LLMs

Shad Nygren, Pinar Avci, Andre Daniels, Reza Rassol, Afshin Beheshti, Diego Galeano

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Sub-Scaling Laws: On the Role of Data Density and Training Strategies in LLMs

Zhengyu Chen, Siqi Wang, Teng Xiao, Yudong Wang, Shiqi Chen, Xunliang Cai, Junxian He, Jingang Wang

机构 * Meituan Inc.（美团公司） ； The University of Hong Kong（香港大学） ； Pennsylvania State University（宾夕法尼亚州立大学） ； Peking University（北京大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Autograding Mathematical Induction Proofs with Natural Language Processing

Chenyan Zhao, Mariana Silva, Seth Poulsen

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

KELPS: A Framework for Verified Multi-Language Autoformalization via Semantic-Syntactic Alignment

Jiyao Zhang, Chengli Zhong, Hui Xu, Qige Li, Yi Zhou

机构 * School of Information Science and Technology, University of Science and Technology of China（信息科学与技术学院，中国科学技术大学） ； USTC Knowledge Computing Lab（中国科学技术大学知识计算实验室） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted by the ICML 2025 AI4MATH Workshop. 22 pages, 16 figures, 2 tables

LVM4CSI: Enabling Direct Application of Pre-Trained Large Vision Models for Wireless Channel Tasks

Jiajia Guo, Peiwen Jiang, Chao-Kai Wen, Shi Jin, Jun Zhang

机构 * nsysu.edu.tw（国立交通大学） ； seu.edu.cn（南京师范大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments This work has been submitted for possible publication

LLMs learn governing principles of dynamical systems, revealing an in-context neural scaling law

Toni J. B. Liu, Nicolas Boullé, Raphaël Sarfati, Christopher J. Earls

机构 * Cornell University, USA（康奈尔大学） ； Imperial College London, UK（伦敦帝国理工学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Journal ref EMNLP 2024

What Makes the Preferred Thinking Direction for LLMs in Multiple-choice Questions?

Yizhe Zhang, Richard Bai, Zijin Gu, Ruixiang Zhang, Jiatao Gu, Emmanuel Abbe, Samy Bengio, Navdeep Jaitly

机构 * Apple（苹果公司） 纠错

专题命中 预训练与数据 ：LLM(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments 10 pages for the main text

A Comparative Study of Open-Source Libraries for Synthetic Tabular Data Generation: SDV vs. SynthCity

Cristian Del Gobbo

机构 * Cristian Del Gobbo（独立研究者） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 23 Pages, 5 figures, and 6 tables

Dual Debiasing for Noisy In-Context Learning for Text Generation

Siqi Liang, Sumyeong Ahn, Paramveer S. Dhillon, Jiayu Zhou

机构 * University of Michigan Ann Arbor（密歇根大学安娜堡分校） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted by 2025 ACL Findings

Tower+: Bridging Generality and Translation Specialization in Multilingual LLMs

Ricardo Rei, Nuno M. Guerreiro, José Pombal, João Alves, Pedro Teixeirinha, Amin Farajian, André F. T. Martins

机构 * Unbabel ； Instituto de Telecomunicações（电信研究所） ； Instituto Superior Técnico & Universidade de Lisboa (Lisbon ELLIS Unit)（里斯本大学技术学院及里斯本大学（里斯本ELLIS单位）） ； MICS, CentraleSupélec, Université Paris-Saclay（MICS，CentraleSupélec，巴黎萨克雷大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI

UniWorld-V1: High-Resolution Semantic Encoders for Unified Visual Understanding and Generation

Bin Lin, Zongjian Li, Xinhua Cheng, Yuwei Niu, Yang Ye, Xianyi He, Shenghai Yuan, Wangbo Yu, Shaodong Wang, Yunyang Ge, Yatian Pang, Li Yuan

机构 * Peking University（北京大学） ； Shenzhen Graduate School（深圳研究生院） ； Peng Cheng Laboratory（鹏城实验室） ； Rabbitpre AI 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Unlocking Post-hoc Dataset Inference with Synthetic Data

Bihe Zhao, Pratyush Maini, Franziska Boenisch, Adam Dziedzic

机构 * cispa（CISPA 河岸信息安全中心） ； cmu（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Accepted at ICML 2025

Navigating the Digital World as Humans Do: Universal Visual Grounding for GUI Agents

Boyu Gou, Ruohan Wang, Boyuan Zheng, Yanan Xie, Cheng Chang, Yiheng Shu, Huan Sun, Yu Su

机构 * The Ohio State University（俄亥俄州立大学） ； Orby AI（Orby人工智能） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted to ICLR 2025 (Oral). Project Homepage: https://osu-nlp-group.github.io/UGround/

Mixture of Weight-shared Heterogeneous Group Attention Experts for Dynamic Token-wise KV Optimization

Guanghui Song, Dongping Liao, Yiren Zhao, Kejiang Ye, Cheng-zhong Xu, Xitong Gao

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） ； University of Macau（澳门大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AskToAct: Enhancing LLMs Tool Use via Self-Correcting Clarification

Xuan Zhang, Yongliang Shen, Zhe Zheng, Linjuan Wu, Wenqi Zhang, Yuchen Yan, Qiuying Peng, Jun Wang, Weiming Lu

机构 * Zhejiang University（浙江大学） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

PHRASED: Phrase Dictionary Biasing for Speech Translation

Peidong Wang, Jian Xue, Rui Zhao, Junkun Chen, Aswin Shanmugam Subramanian, Jinyu Li

机构 * Microsoft USA（微软公司） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Data Shapley in One Training Run

Jiachen T. Wang, Prateek Mittal, Dawn Song, Ruoxi Jia

机构 * Princeton University（普林斯顿大学） ； UC Berkeley（加州大学伯克利分校） ； Virginia Tech（弗吉尼亚理工学院） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

Comments ICLR 2025 Outstanding Paper Runner-Up

Automated Journalistic Questions: A New Method for Extracting 5W1H in French

Maxence Verhaverbeke, Julie A. Gramaccia, Richard Khoury

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments 14 pages, 5 figures, 7 tables

EpiCoDe: Boosting Model Performance Beyond Training with Extrapolation and Contrastive Decoding

Mingxu Tao, Jie Hu, Mingchuan Yang, Yunhuai Liu, Dongyan Zhao, Yansong Feng

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所） ； Research Institute of China Telecom（中国电信研究 institute） ； School of Computer Science, Peking University（北京大学计算机科学学院） ； Beijing Institute of Big Data Research（北京大数据研究院） ； National Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments ACL 2025 Findings

Leveraging Information Retrieval to Enhance Spoken Language Understanding Prompts in Few-Shot Learning

Pierre Lepagnol, Sahar Ghannay, Thomas Gerald, Christophe Servan, Sophie Rosset

机构 * Université Paris-Saclay, CNRS, LISNFrance（巴黎萨克雷大学、国家科学研究中心、LISN法国） ； SCIAMFrance（SCIAM法国） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Conference paper accepted to INTERSPEECH 2025

Journal ref INTERSPEECH 2025

Data-Constrained Synthesis of Training Data for De-Identification

Thomas Vakili, Aron Henriksson, Hercules Dalianis

机构 * Department of Computer and Systems Sciences（计算机与系统科学系） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments ACL 2025 Main: Long paper

Leveraging Variation Theory in Counterfactual Data Augmentation for Optimized Active Learning

Simret Araya Gebreegziabher, Kuangshi Ai, Zheng Zhang, Elena L. Glassman, Toby Jia-Jun Li

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments Accepted to ACL 2025 Findings

Masked Autoencoders for Microscopy are Scalable Learners of Cellular Biology

Oren Kraus, Kian Kenyon-Dean, Saber Saberian, Maryam Fallah, Peter McLean, Jess Leung, Vasudev Sharma, Ayla Khan, Jia Balakrishnan, Safiye Celik, Dominique Beaini, Maciej Sypetkowski, Chi Vicky Cheng, Kristen Morse, Maureen Makes, Ben Mabey, Berton Earnshaw

机构 * Recursion ； Valence Labs 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

Comments CVPR 2024 Highlight. arXiv admin note: text overlap with arXiv:2309.16064

Journal ref 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)

LEMMA: Learning from Errors for MatheMatical Advancement in LLMs

Zhuoshi Pan, Yu Li, Honglin Lin, Qizhi Pei, Zinan Tang, Wei Wu, Chenlin Ming, H. Vicky Zhao, Conghui He, Lijun Wu

机构 * Tsinghua University（清华大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Renmin University of China（中国人民大学） ； University of Science and Technology of China（中国科学技术大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments ACL'25 Findings, Code is available at https://github.com/pzs19/LEMMA

RICO: Improving Accuracy and Completeness in Image Recaptioning via Visual Reconstruction

Yuchi Wang, Yishuo Cai, Shuhuai Ren, Sihan Yang, Linli Yao, Yuanxin Liu, Yuanxing Zhang, Pengfei Wan, Xu Sun

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments code: https://github.com/wangyuchi369/RICO

Does Graph Prompt Work? A Data Operation Perspective with Theoretical Analysis

Qunzhong Wang, Xiangguo Sun, Hong Cheng

专题命中 预训练与数据 ：pretraining(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

Comments accepted by ICML 2025