语言大模型 / LLM

General Intelligence Requires Reward-based Pretraining

Seungwook Han, Jyothish Pari, Samuel J. Gershman, Pulkit Agrawal

机构 * Improbable AI Lab, MIT（Improbable AI Lab，麻省理工学院） ； Department of Psychology（心理学系） ； Center for Brain Science, Harvard University（哈佛大学脑科学中心） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Comments https://improbableai.notion.site/General-Intelligence-Requires-Reward-Based-Pretraining-2023b66e4cf580d3ab44c7860b75d25f?pvs=73

What do language models model? Transformers, automata, and the format of thought

Colin Klein

机构 * School of Philosophy（哲学学院） ； The Australian National University（澳大利亚国立大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

Prompting with Sign Parameters for Low-resource Sign Language Instruction Generation

Md Tariquzzaman, Md Farhan Ishmam, Saiyma Sittul Muna, Md Kamrul Hasan, Hasan Mahmud

机构 * Department of Computer Science and Engineering（计算机科学与工程系） 纠错

专题命中 预训练与数据 ：prompting(title,abstract)；language model(abstract)

Comments CV4A11y@ICCV 2025

MM-Retinal: Knowledge-Enhanced Foundational Pretraining with Fundus Image-Text Expertise

Ruiqi Wu, Chenran Zhang, Jianle Zhang, Yi Zhou, Tao Zhou, Huazhu Fu

机构 * School of Computer Science and Engineering, Southeast University, China（东南大学计算机科学与工程学院） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications, Ministry of Education, China（教育部新一代人工智能技术及其交叉应用重点实验室） ； Nanjing University of Science and Technology, Nanjing, China（南京理工大学） ； Agency for Science, Technology and Research (A*STAR), Singapore（新加坡科技研究局） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)

Comments Early Accepted by The International Conference on Medical Image Computing and Computer Assisted Intervention(MICCAI)2024

Can Structured Templates Facilitate LLMs in Tackling Harder Tasks? : An Exploration of Scaling Laws by Difficulty

Zhichao Yang, Zhaoxin Fan, Gen Li, Yuanze Hu, Xinyu Wang, Ye Qiu, Xin Wang, Yifan Sun, Wenjun Wu

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

Comments 9 pages

Backprompting: Leveraging Synthetic Production Data for Health Advice Guardrails

Kellen Tan Cheng, Anna Lisa Gentile, Chad DeLuca, Guang-Jie Ren

机构 * IBM Research - Almaden（IBM研究院-阿玛登分部） ； Princeton University（普林斯顿大学） ； Adobe Research（Adobe研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Instruction-Based Molecular Graph Generation with Unified Text-Graph Diffusion Model

Yuran Xiang, Haiteng Zhao, Chang Ma, Zhi-Hong Deng

机构 * State Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（通用人工智能国家重点实验室，智能科学与技术学院，北京大学） ； State Key Laboratory of General Artificial Intelligence, School of Intelligence Science（通用人工智能国家重点实验室，智能科学学院） ； The University of Hong Kong（香港大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.LG

Comments ECAI 2025

Structured Agentic Workflows for Financial Time-Series Modeling with LLMs and Reflective Feedback

Yihao Ang, Yifan Bao, Lei Jiang, Jiajie Tao, Anthony K. H. Tung, Lukasz Szpruch, Hao Ni

机构 * National University of Singapore（新加坡国立大学） ； University College London（伦敦大学学院） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

mRAG: Elucidating the Design Space of Multi-modal Retrieval-Augmented Generation

Chan-Wei Hu, Yueqi Wang, Shuo Xing, Chia-Ju Chen, Suofei Feng, Ryan Rossi, Zhengzhong Tu

机构 * Texas A&M University（德克萨斯农工大学） ； University of California, Berkeley（加州大学伯克利分校） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Stanford University（斯坦福大学） ； Adobe Research（Adobe研究院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

Comments 16 pages

Towards Optimal Convolutional Transfer Learning Architectures for Breast Lesion Classification and ACL Tear Detection

Daniel Frees, Moritz Bolling, Aditri Bhagirath

机构 * Stanford University Department of Statistics（斯坦福大学统计学系） ； Stanford University Department of Computer Science（斯坦福大学计算机科学系） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

MDD: a Mask Diffusion Detector to Protect Speaker Verification Systems from Adversarial Perturbations

Yibo Bai, Sizhou Chen, Michele Panariello, Xiao-Lei Zhang, Massimiliano Todisco, Nicholas Evans

机构 * EURECOM ； The University of Sydney（悉尼大学） ； Northwestern Polytechnical University（西北工业大学） ； Institute of Artificial Intelligence (TeleAI)（人工智能研究所） ； China Telecom Corp Ltd（中国电信有限公司） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

Comments Accepted by APSIPA ASC 2025

Waver: Wave Your Way to Lifelike Video Generation

Yifu Zhang, Hao Yang, Yuqi Zhang, Yifei Hu, Fengda Zhu, Chuang Lin, Xiaofeng Mei, Yi Jiang, Bingyue Peng, Zehuan Yuan

机构 * Bytedance Waver Team（字节跳动Waver团队） 纠错

专题命中 预训练与数据 ：foundation model(abstract)