语言大模型 / LLM

Temporal Scaling Law for Large Language Models

Yizhe Xiong, Xiansheng Chen, Xin Ye, Hui Chen, Zijia Lin, Haoran Lian, Zhenpeng Su, Wei Huang, Jianwei Niu, Jungong Han, Guiguang Ding

机构 * School of Software, Tsinghua University（清华大学软件学院） ； BNRist, Tsinghua University（清华大学BNRist） ； Kuaishou Technology（快手科技） ； Beihang University（北航） ； University of Chinese Academy of Sciences（中国科学院大学） ； School of Computer Science, BUPT（北京邮电大学计算机科学学院） ； Department of Automation, Tsinghua University（清华大学自动化系） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

Comments Accepted by EMNLP'25 Main Conference (Oral presentation), Camera-ready version

Exploring Large Language Models to generate Easy to Read content

Paloma Martínez, Lourdes Moreno, Alberto Ramos

机构 * Computer Science and Engineering Department Universidad Carlos III de Madrid（计算机科学与工程系卡洛斯三世大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

Journal ref (2024) Exploring Large Language Models to generate Easy to Read content. Front. Comput. Sci. 6:1394705

'Rich Dad, Poor Lad': How do Large Language Models Contextualize Socioeconomic Factors in College Admission ?

Huy Nghiem, Phuong-Anh Nguyen-Le, John Prindle, Rachel Rudinger, Hal Daumé

机构 * University of Maryland（马里兰大学） ； University of Southern California（南加州大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

Comments EMNLP 2025, ver 1, 35 pages

Machine-generated text detection prevents language model collapse

George Drayson, Emine Yilmaz, Vasileios Lampos

机构 * Centre for Artificial Intelligence（人工智能中心） ； Department of Computer Science（计算机科学系） ； University College London（伦敦大学学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.LG

Scaling, Simplification, and Adaptation: Lessons from Pretraining on Machine-Translated Text

Dan John Velasco, Matthew Theodore Roque

机构 * Samsung R&D Institute Philippines（三星菲律宾研发院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Comments Under review

Bayesian scaling laws for in-context learning

Aryaman Arora, Dan Jurafsky, Christopher Potts, Noah D. Goodman

机构 * Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；language model(abstract)；post-training(abstract)；SFT(abstract)

Comments COLM 2025 camera-ready version; 9 pages main text, 39 pages total

A Unified AI Approach for Continuous Monitoring of Human Health and Diseases from Intensive Care Unit to Home with Physiological Foundation Models (UNIPHY+)

Minxiao Wang, Saurabh Kataria, Juntong Ni, Timothy G. Buchman, Jocelyn Grunwell, Mark Mai, Wei Jin, Matthew Clark, Stephanie Brown, Michael Fundora, Puneet Sharma, Tony Pan, Sam Khan, Timothy Ruchti, Naveen Muthu, Kevin Maher, Sivasubramanium V Bhavani, Xiao Hu

机构 * Emory University（埃默里大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

Point-RTD: Replaced Token Denoising for Pretraining Transformer Models on Point Clouds

Gunner Stone, Youngsook Choi, Alireza Tavakkoli, Ankita Shukla

机构 * Department of Computer Science ； Engineering, University of Nevada, Reno, USA 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI、cs.LG

A Simple Review of EEG Foundation Models: Datasets, Advancements and Future Perspectives

Junhong Lai, Jiyu Wei, Lin Yao, Yueming Wang

机构 * The College of Computer Science, Zhejiang University, Hangzhou, China.（浙江大学计算机科学学院） ； The MOE Frontiers Science Center for Brain and Brain-Machine Integration, Zhejiang University, Hangzhou, China.（脑科学与脑机接口前沿科学中心） ； The Nanhu Brain-Computer Interface Institute, Hangzhou, China.（南湖脑机接口研究院） ； The Qiushi Academy for Advanced Studies, Hangzhou, China.（启石先进研究院） 纠错

专题命中 预训练与数据 ：foundation model(title)；pretraining(abstract)；分类 cs.AI、cs.LG

Informative Text-Image Alignment for Visual Affordance Learning with Foundation Models

Qian Zhang, Lin Zhang, Xing Fang, Mingxin Zhang, Zhiyuan Wei, Ran Song, Wei Zhang

机构 * School of Control Science and Engineering, Shandong University（控制科学与工程学院，山东大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI

Comments Submitted to the IEEE International Conference on Robotics and Automation (ICRA) 2026

Learning from Gene Names, Expression Values and Images: Contrastive Masked Text-Image Pretraining for Spatial Transcriptomics Representation Learning

Jiahe Qian, Yaoyu Fang, Ziqiao Weng, Xinkun Wang, Lee A. Cooper, Bo Zhou

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

Comments 9 pages, 3 figures

AfroXLMR-Social: Adapting Pre-trained Language Models for African Languages Social Media Text

Tadesse Destaw Belay, Israel Abebe Azime, Ibrahim Said Ahmad, David Ifeoluwa Adelani, Idris Abdulmumin, Abinew Ali Ayele, Shamsuddeen Hassan Muhammad, Seid Muhie Yimam

机构 * Instituto Politécnico Nacional（智利国家理工学院） ； Saarland University（萨尔兰大学） ； Northeastern University（东北大学） ； Bayero University Kano（卡诺巴耶罗大学） ； Mila-Quebec AI Institute（魁北克AI研究所） ； McGill University（麦吉尔大学） ； University of Pretoria（比勒陀利亚大学） ； Bahir Dar University（巴赫达尔大学） ； Imperial College London（伦敦帝国理工学院） ； University of Hamburg（汉堡大学） ； Wollo University（沃尔洛大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

Comments EMNLP 2025

FOCUS: Unified Vision-Language Modeling for Interactive Editing Driven by Referential Segmentation

Fan Yang, Yousong Zhu, Xin Li, Yufei Zhan, Hongyin Zhao, Shurong Zheng, Yaowei Wang, Ming Tang, Jinqiao Wang

机构 * Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所基础模型研究中心） ； School of Artificial Intelligence, University of Chinese Academy of Science（中国科学院大学人工智能学院） ； Peng Cheng Laboratory, Shenzhen, China（鹏城实验室） ； Wuhan AI Research, Wuhan, China（武汉人工智能研究所） 纠错

专题命中 预训练与数据 ：language model(title,abstract)

ChemOrch: Empowering LLMs with Chemical Intelligence via Synthetic Instructions

Yue Huang, Zhengzhe Jiang, Xiaonan Luo, Kehan Guo, Haomin Zhuang, Yujun Zhou, Zhengqing Yuan, Xiaoqi Sun, Jules Schleinitz, Yanbo Wang, Shuhao Zhang, Mihir Surve, Nitesh V Chawla, Olaf Wiest, Xiangliang Zhang

机构 * Department of Computer Science and Engineering, University of Notre Dame（诺丁汉大学计算机科学与工程系） ； MIT（麻省理工学院） ； CalTech（加州理工学院） ； MBZUAI（穆斯林人工智能研究所） ； CMU（卡内基梅隆大学） ； Department of Chemistry & Biochemistry, University of Notre Dame（诺丁汉大学化学与生物化学系） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Time to Revist Exact Match

Auss Abbood, Zaiqiao Meng, Nigel Collier

机构 * Language Technology Lab University of Cambridge（语言技术实验室剑桥大学） ； School of Computing Science University of Glasgow（计算科学学院格拉斯哥大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Accepted for Findings of EMNLP 2025

AdvSumm: Adversarial Training for Bias Mitigation in Text Summarization

Mukur Gupta, Nikhil Reddy Varimalla, Nicholas Deas, Melanie Subbiah, Kathleen McKeown

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Neither Stochastic Parroting nor AGI: LLMs Solve Tasks through Context-Directed Extrapolation from Training Data Priors

Harish Tayyar Madabushi, Melissa Torgbi, Claire Bonial

机构 * University of Bath（巴斯大学） ； DEVCOM Army Research Laboratory（陆军研究实验室） 纠错

专题命中 预训练与数据 ：LLM(abstract)；instruction tuning(abstract)；分类 cs.CL

Scaling Low-Resource MT via Synthetic Data Generation with LLMs

Ona de Gibert, Joseph Attieh, Teemu Vahtola, Mikko Aulamo, Zihao Li, Raúl Vázquez, Tiancheng Hu, Jörg Tiedemann

机构 * University of Helsinki（赫尔辛基大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL

Comments Accepted at EMNLP 2025 Main Conference

Improving the quality of Web-mined Parallel Corpora of Low-Resource Languages using Debiasing Heuristics

Aloka Fernando, Nisansa de Silva, Menan Velyuthan, Charitha Rathnayake, Surangika Ranathunga

机构 * Dept. of Computer Science and Engineering, University of Moratuwa（moratuwa大学计算机科学与工程系） ； School of Mathematical and Computational Sciences, Massey University（massey大学数学与计算科学学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

Comments EMNLP 2025 Camera-ready version

MotionTrans: Human VR Data Enable Motion-Level Learning for Robotic Manipulation Policies

Chengbo Yuan, Rui Zhou, Mengzhen Liu, Yingdong Hu, Shengjie Wang, Li Yi, Chuan Wen, Shanghang Zhang, Yang Gao

机构 * Institute for Interdisciplinary Information Sciences（交叉信息学院） ； Shanghai Qi Zhi Institute（上海启智研究所） ； State Key Laboratory of Multimedia Information Processing School of Computer Science（多媒体信息处理国家重点实验室计算机科学学院） ； Shanghai Jiao Tong University（上海交通大学） ； Wuhan University（武汉大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

DINOv3-Diffusion Policy: Self-Supervised Large Visual Model for Visuomotor Diffusion Policy Learning

ThankGod Egbe, Peng Wang, Zhihao Guo, Zidong Chen

机构 * Department of Computing and Mathematics, Manchester Metropolitan University（计算与数学系，曼彻斯特 Metropolitan 大学） ； Department of Computing, Imperial College London（计算系，帝国理工学院伦敦分校） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

UIPro: Unleashing Superior Interaction Capability For GUI Agents

Hongxin Li, Jingran Su, Jingfan Chen, Zheng Ju, Yuntao Chen, Qing Li, Zhaoxiang Zhang

机构 * University of Chinese Academy of Sciences (UCAS)（中国科学院大学） ； New Laboratory of Pattern Recognition (NLPR), CASIA（中国科学院自动化所模式识别新实验室） ； State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), CASIA（中国科学院多模态人工智能系统国家重点实验室） ； Hong Kong Institute of Science & Innovation, CASIA（中国科学院香港创新科学研究院） ； PolyU ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 预训练与数据 ：language model(abstract)

Comments Accepted to ICCV 2025

Unlocking Hidden Potential in Point Cloud Networks with Attention-Guided Grouping-Feature Coordination

Shangzhuo Xie, Qianqian Yang

机构 * College of Information Science and Electronic Engineering（信息科学与电子工程学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

Comments This work has been submitted to the IEEE for possible publication

Dexterous Grasping with Real-World Robotic Reinforcement Learning

Dongchi Huang, Tianle Zhang, Yihang Li, Ling Zhao, Jiayi Li, Zhirui Fang, Chunhe Xia, Xiaodong He

机构 * Beihang University（北京航空航天大学） ； JD Explore Academy（京东探索研究院） ； Beijing Jiaotong University（北京交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

The Thinking Therapist: Training Large Language Models to Deliver Acceptance and Commitment Therapy using Supervised Fine-Tuning and Odds Ratio Policy Optimization

Talha Tahir

机构 * Department of Psychiatry University of Toronto（精神病学系多伦多大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；post-training(abstract)

QA-prompting: Improving Summarization with Large Language Models using Question-Answering

Neelabh Sinha

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；prompting(title,abstract)；large language model(title)；分类 cs.CL

Comments Accepted at The Fifth Workshop on New Frontiers in Summarization (NewSumm) in The 2025 Conference on Empirical Methods in Natural Language Processing (EMNLP 2025)

Large Language Models as Realistic Microservice Trace Generators

Donghyun Kim, Sriram Ravula, Taemin Ha, Alexandros G. Dimakis, Daehyeok Kim, Aditya Akella

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；instruction tuning(abstract)

How Can Quantum Deep Learning Improve Large Language Models?

Emily Jimin Roh, Hyojun Ahn, Samuel Yen-Chi Chen, Soohyun Park, Joongheon Kim

机构 * Korea University（韩国大学） ； Wells Fargo（摩根大通） ； Sookmyung Women's University（-sookmyung女子大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

The Pursuit of Empathy: Evaluating Small Language Models for PTSD Dialogue Support

Suhas BN, Yash Mahajan, Dominik Mattioli, Andrew M. Sherrill, Rosa I. Arriaga, Chris W. Wiese, Saeed Abdullah

专题命中 指令微调 ：language model(title,abstract)；small language model(title,abstract)；分类 cs.CL、cs.AI

Comments 23 pages, 3 figures. Accepted for Oral presentation at EMNLP 2025

Seeing is Believing? Mitigating OCR Hallucinations in Multimodal Large Language Models

Zhentao He, Can Zhang, Ziheng Wu, Zhenghao Chen, Yufei Zhan, Yifan Li, Zhao Zhang, Xian Wang, Minghui Qiu

机构 * ByteDance（字节跳动） ； CASIA（中国科学院自动化研究所） ； RUC（中国人民大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)

Comments Accepted by NeurIPS 2025