语言大模型 / LLM

Predictable Scale: Part I, Step Law -- Optimal Hyperparameter Scaling Law in Large Language Model Pretraining

Houyi Li, Wenzhen Zheng, Qiufeng Wang, Hanshan Zhang, Zili Wang, Shijie Xuyang, Yuantao Fan, Zhenyu Ding, Haoying Wang, Ning Ding, Shuigeng Zhou, Xiangyu Zhang, Daxin Jiang

机构 * Fudan University（复旦大学） ； Xi’an Jiaotong University（西安交通大学） ； Megvii Technology（地平线科技） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title)；LLM(abstract)

Comments 22 pages

Can Large Language Models (LLMs) Describe Pictures Like Children? A Comparative Corpus Study

Hanna Woloszyn, Benjamin Gagl

机构 * Self-Learning Systems Lab, Faculty of Human Sciences, Department of Special Education and Rehabilitation（自主学习系统实验室，人文科学学院，特殊教育与康复系） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

G1: Teaching LLMs to Reason on Graphs with Reinforcement Learning

Xiaojun Guo, Ang Li, Yifei Wang, Stefanie Jegelka, Yisen Wang

机构 * Peking University（北京大学） ； MIT（麻省理工学院） ； TUM（慕尼黑工业大学） ； School of CIT, MCML, MDSIEECS and CSAIL（计算机学院、MCML、MDSIEECS和CSAIL） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

Who Gets the Mic? Investigating Gender Bias in the Speaker Assignment of a Speech-LLM

Dariia Puhach, Amir H. Payberah, Éva Székely

机构 * Department of Linguistics（语言学系） ； Department of Speech, Music, and Hearing（语音、音乐与听觉系） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Journal ref Interspeech 2025 (2025), 2058-2062

InPars+: Supercharging Synthetic Data Generation for Information Retrieval Systems

Matey Krastev, Miklos Hamar, Danilo Toapanta, Jesse Brouwers, Yibin Lei

机构 * University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

POPri: Private Federated Learning using Preference-Optimized Synthetic Data

Charlie Hou, Mei-Yu Wang, Yige Zhu, Daniel Lazar, Giulia Fanti

机构 * Pittsburgh Supercomputing Center, Pittsburgh, USA（匹兹堡超级计算中心） ； Department of ECE, Carnegie Mellon University, Pittsburgh, PA（电子工程系，卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；preference optimization(abstract)；分类 cs.AI、cs.LG

Comments ICML 2025 camera-ready

Development of Pre-Trained Transformer-based Models for the Nepali Language

Prajwal Thapa, Jinu Nyachhyon, Mridul Sharma, Bal Krishna Bal

机构 * Information and Language Processing Research Lab (ILPRL)（信息与语言处理研究实验室） ； Kathmandu University（加德满都大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.LG

Journal ref https://aclanthology.org/2025.chipsal-1.2.pdf

Can Masked Autoencoders Also Listen to Birds?

Lukas Rauch, René Heinrich, Ilyass Moummad, Alexis Joly, Bernhard Sick, Christoph Scholz

机构 * University of Kassel（卡塞尔大学） ； Fraunhofer IEE（弗劳恩霍夫研究所） ； INRIA Montpellier（蒙彼利埃INRIA） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

Comments accepted @TMLR: https://openreview.net/forum?id=GIBWR0Xo2J

Backdooring Self-Supervised Contrastive Learning by Noisy Alignment

Tuo Chen, Jie Gui, Minjing Dong, Ju Jia, Lanting Fang, Jian Liu

机构 * Southeast University（东南大学） ； Purple Mountain Laboratories（紫金山实验室） ； Ant Group（蚂蚁集团） ； City University of Hong Kong（香港城市大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

Comments Accepted by ICCV 2025

DISCO: Language-Guided Manipulation with Diffusion Policies and Constrained Inpainting

Ce Hao, Kelvin Lin, Zhiwei Xue, Siyuan Luo, Harold Soh

机构 * School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； Smart Systems Institute, NUS（NUS智能系统研究所） 纠错

专题命中 预训练与数据 ：language model(abstract)

Journal ref IEEE Robotics and Automation Letters ( Volume: 10, Issue: 10, October 2025)

Basic Category Usage in Vision Language Models

Hunter Sawyer, Jesse Roberts, Kyle Moore

机构 * Computer Science, Tennessee Tech University（田纳西科技大学计算机科学系） ； Computer Science, Vanderbilt University（范德比大学计算机科学系） 纠错

专题命中 指令微调 ：language model(title,abstract)；prompting(abstract)；分类 cs.CL

Script-Strategy Aligned Generation: Aligning LLMs with Expert-Crafted Dialogue Scripts and Therapeutic Strategies for Psychotherapy

Xin Sun, Jan de Wit, Zhuying Li, Jiahuan Pei, Abdallah El Ali, Jos A. Bosch

机构 * University of Amsterdam（阿姆斯特丹大学） ； National Institute of Informatics (NII)（日本信息处理研究所） ； Tilburg University（蒂尔堡大学） ； Southeast University（东南大学） ； Vrije Universiteit Amsterdam（阿姆斯特丹自由大学） ； Utrecht University（乌得勒支大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comparative Analysis of Time Series Foundation Models for Demographic Forecasting: Enhancing Predictive Accuracy in US Population Dynamics

Aditya Akella, Jonathan Farah

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

Comments 6 pages, 4 figures, 3 tables

CrafterDojo: A Suite of Foundation Models for Building Open-Ended Embodied Agents in Crafter

Junyeong Park, Hyeonseo Cho, Sungjin Ahn

机构 * CrafterDojo: A Suite of Foundation Models for Building Open-Ended Embodied Agents in Crafter（CrafterDojo：构建开放性具身智能体的基础模型集合） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

Prompt-Based One-Shot Exact Length-Controlled Generation with LLMs

Juncheng Xie, Hung-yi Lee

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 18 pages

Saudi-Dialect-ALLaM: LoRA Fine-Tuning for Dialectal Arabic Generation

Hassan Barmandah

机构 * Department of Software Engineering Umm Al-Qura University, Makkah, Saudi Arabia（软件工程系乌姆·阿尔·库拉大学，麦加，沙特阿拉伯） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.CL、cs.LG

Comments 7 pages, 6 figures, 2 tables. Code: https://github.com/HasanBGIt/Saudi-Dialect-ALLaM . Dataset and trained weights/adapters are not released. Primary category: cs.CL

EvoVerilog: Large Langugage Model Assisted Evolution of Verilog Code

Ping Guo, Yiting Wang, Wanghao Ye, Yexiao He, Ziyao Wang, Xiaopeng Dai, Ang Li, Qingfu Zhang

机构 * Department of Computer Science, City University of Hong Kong, Hong Kong（香港城市大学计算机科学系） ； Department of Electrical Engineering, University of Maryland, Maryland, United States（马里兰大学电气工程系） ； Amazon, Seattle, United States（亚马逊公司） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.AI

EmoSEM: Segment and Explain Emotion Stimuli in Visual Art

Jing Zhang, Dan Guo, Zhangbin Li, Meng Wang

机构 * Hefei University of Technology（合肥工业大学） 纠错

专题命中 指令微调 ：language model(abstract)

ASAP: Unsupervised Post-training with Label Distribution Shift Adaptive Learning Rate

Heewon Park, Mugon Joe, Miru Kim, Minhae Kwon

机构 * Soongsil University（顺斯大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.LG

Comments 5 pages, 3 figures, accepted for ACM CIKM 2025

Discrete Optimization of Min-Max Violation and its Applications Across Computational Sciences

Cheikh Ahmed, Mahdi Mostajabdaveh, Samin Aref, Zirui Zhou

专题命中 后训练与偏好优化 ：language model(abstract)；post-training(abstract)；分类 cs.AI

Preference Models assume Proportional Hazards of Utilities

Chirag Nagpal

机构 * Meta Superintelligence Labs (MSL)（Meta超智能实验室） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.AI、cs.LG

Large Language Models as Visualization Agents for Immersive Binary Reverse Engineering

Dennis Brown, Samuel Mulder

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

Comments Accepted to IEEE VISSOFT 2025

Cognitive Workspace: Active Memory Management for LLMs -- An Empirical Study of Functional Infinite Context

Tao An

机构 * Hawaii Pacific University（夏威夷太平洋大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 13 pages, 1 figure, code available at https://github.com/tao-hpu/cognitive-workspace

Towards Reliable Multi-Agent Systems for Marketing Applications via Reflection, Memory, and Planning

Lorenzo Jaime Yu Flores, Junyi Shen, Goodman Gu

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Explicit v.s. Implicit Memory: Exploring Multi-hop Complex Reasoning Over Personalized Information

Zeyu Zhang, Yang Zhang, Haoran Tan, Rui Li, Xu Chen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 15 pages, 13 figures, 3 tables

Integrating emotional intelligence, memory architecture, and gestures to achieve empathetic humanoid robot interaction in an educational setting

Fuze Sun, Lingyu Li, Shixiangyue Meng, Xiaoming Teng, Terry R. Payne, Paul Craig

机构 * University of Liverpool（利物浦大学） ； Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

Modeling Human Sentence Processing with Left-Corner Recurrent Neural Network Grammars

Ryo Yoshida, Hiroshi Noji, Yohei Oseki

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL

Comments Accepted by EMNLP 2021

Generics and Default Reasoning in Large Language Models

James Ravi Kirkpatrick, Rachel Katharine Sterken

机构 * University of Oxford（牛津大学） ； Magdalen College（玛格丽特学院） ； University of Hong Kong（香港大学） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

Comments 33 pages, 26 figures

Neuro-Symbolic Artificial Intelligence: Towards Improving the Reasoning Abilities of Large Language Models

Xiao-Wen Yang, Jie-Jing Shao, Lan-Zhe Guo, Bo-Wen Zhang, Zhi Zhou, Lin-Han Jia, Wang-Zhou Dai, Yu-Feng Li

机构 * National Key Laboratory for Novel Software Technology, Nanjing University, China（国家新型软件技术重点实验室，南京大学，中国） ； School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国） ； School of Intelligence Science and Technology, Nanjing University, China（智能科学与技术学院，南京大学，中国） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

Comments 9 pages, 3 figures, IJCAI 2025 Survey Track

A Versatile Pathology Co-pilot via Reasoning Enhanced Multimodal Large Language Model

Zhe Xu, Ziyi Liu, Junlin Hou, Jiabo Ma, Cheng Jin, Yihui Wang, Zhixuan Chen, Zhengyu Zhang, Fuxiang Huang, Zhengrui Guo, Fengtao Zhou, Yingxue Xu, Xi Wang, Ronald Cheong Kin Chan, Li Liang, Hao Chen

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Southern Medical University（南方医科大学） ； Nanfang Hospital and School of Basic Medical Sciences（南方医院和基础医学科学学院） ； Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI