语言大模型 / LLM

Retrieval Capabilities of Large Language Models Scale with Pretraining FLOPs

Jacob Portes, Connor Jennings, Erica Ji Yuen, Sasha Doubov, Michael Carbin

机构 * Databricks Mosaic Research（Databricks Mosaic研究） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(title)；language model(title)；LLM(abstract)

Comments 15 pages, 4 figures

OmniMRI: A Unified Vision--Language Foundation Model for Generalist MRI Interpretation

Xingxin He, Aurora Rofena, Ruimin Feng, Haozhe Liao, Zhaoye Zhou, Albert Jang, Fang Liu

机构 * Athinoula A. Martinos Center for Biomedical Imaging（阿提诺拉A.马丁诺斯生物医学成像中心） ； Harvard Medical School（哈佛医学院） ； Massachusetts General Hospital（麻省总医院） ； University Campus Bio-Medico of Rome（罗马生物医学大学校园） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；instruction tuning(abstract)；pretraining(abstract)；分类 cs.AI

A Retail-Corpus for Aspect-Based Sentiment Analysis with Large Language Models

Oleg Silcenco, Marcos R. Machad, Wallace C. Ugulino, Daniel Braun

机构 * University of Twente（特文特大学） ； Marburg University（马尔堡大学） 纠错

专题命中 预训练与数据 ：large language model(title)；language model(title)；分类 cs.CL

Comments Accepted at ICNLSP 2025

Evaluating $n$-Gram Novelty of Language Models Using Rusty-DAWG

William Merrill, Noah A. Smith, Yanai Elazar

机构 * New York University（纽约大学） ； Allen Institute for AI（人工智能研究院） ； University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

Comments To appear at EMNLP 2024

Large-scale Multi-sequence Pretraining for Generalizable MRI Analysis in Versatile Clinical Applications

Zelin Qiu, Xi Wang, Zhuoyao Xie, Juan Zhou, Yu Wang, Lingjie Yang, Xinrui Jiang, Juyoung Bae, Moo Hyun Son, Qiang Ye, Dexuan Chen, Rui Zhang, Tao Li, Neeraj Ramesh Mahboobani, Varut Vardhanabhuti, Xiaohui Duan, Yinghua Zhao, Hao Chen

机构 * th Medical Center of Chinese PLA General Hospital（中国人民解放军第五医疗中心） ； HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深圳-香港协同创新研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.AI

Layerwise Importance Analysis of Feed-Forward Networks in Transformer-based Language Models

Wataru Ikeda, Kazuki Yano, Ryosuke Takahashi, Jaesung Lee, Keigo Shibata, Jun Suzuki

机构 * Tohoku University（东邦大学） ； RIKEN（理化学研究所） ； NII LLMC（日本学术振兴会语言模型中心） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL

Comments Accepted to COLM 2025

TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation

Yinda Chen, Haoyuan Shi, Xiaoyu Liu, Te Shi, Ruobing Zhang, Dong Liu, Zhiwei Xiong, Feng Wu

机构 * MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China（脑启发智能感知与认知大学科学与技术大学实验室） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（人工智能研究所） ； Institute for Brain and Intelligence, Fudan University（脑与智能研究所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.AI

Comments Accepted by ICCV 2025

SupraTok: Cross-Boundary Tokenization for Enhanced Language Model Performance

Andrei-Valentin Tănase, Elena Pelican

机构 * Faculty of Mathematics and Computer Science, "Ovidius" University of Constanta（数学与计算机科学学院，"奥维迪乌"康斯坦察大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

FlexOlmo: Open Language Models for Flexible Data Use

Weijia Shi, Akshita Bhagia, Kevin Farhat, Niklas Muennighoff, Pete Walsh, Jacob Morrison, Dustin Schwenk, Shayne Longpre, Jake Poznanski, Allyson Ettinger, Daogao Liu, Margaret Li, Dirk Groeneveld, Mike Lewis, Wen-tau Yih, Luca Soldaini, Kyle Lo, Noah A. Smith, Luke Zettlemoyer, Pang Wei Koh, Hannaneh Hajishirzi, Ali Farhadi, Sewon Min

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI

TiKMiX: Take Data Influence into Dynamic Mixture for Language Model Pre-training

Yifan Wang, Binbin Liu, Fengze Liu, Yuanfan Guo, Jiyao Deng, Xuecheng Wu, Weidong Zhou, Xiaohuan Zhou, Taifeng Wang

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.LG

Test-Time Scaling Strategies for Generative Retrieval in Multimodal Conversational Recommendations

Hung-Chun Hsu, Yuan-Ching Kuo, Chao-Han Huck Yang, Szu-Wei Fu, Hanrong Ye, Hongxu Yin, Yu-Chiang Frank Wang, Ming-Feng Tsai, Chuan-Ju Wang

机构 * Research Center for Information Technology Innovation, Academia Sinica（资讯科技创新研究所以） ； NVIDIA（NVIDIA公司） ； Department of Computer Science, National Chengchi University（国立政治大学计算机科学系） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

GRAID: Synthetic Data Generation with Geometric Constraints and Multi-Agentic Reflection for Harmful Content Detection

Melissa Kazemi Rad, Alberto Purpura, Himanshu Kumar, Emily Chen, Mohammad Shahed Sorower

机构 * Capital One, AI Foundations（Capital One人工智能基础） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments 19 pages, 12 figures

MM-Retinal V2: Transfer an Elite Knowledge Spark into Fundus Vision-Language Pretraining

Ruiqi Wu, Na Su, Chenran Zhang, Tengfei Ma, Tao Zhou, Zhiting Cui, Nianfeng Tang, Tianyu Mao, Yi Zhou, Wen Fan, Tianxing Wu, Shenqi Jing, Huazhu Fu

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Department of Ophthalmology, The First Affiliated Hospital of Nanjing Medical University（南京医科大学第一附属医院眼科部） ； School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院） ； Institute of High-Performance Computing, Agency for Science, Technology and Research（科技研究局高性能计算研究所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

PII-Compass: Guiding LLM training data extraction prompts towards the target PII via grounding

Krishna Kanth Nakka, Ahmed Frikha, Ricardo Mendes, Xue Jiang, Xuebing Zhou

机构 * Huawei Munich Research Center（华为慕尼黑研究中心） 纠错

专题命中 预训练与数据 ：LLM(title)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted at PrivateNLP Workshop at ACL 2024

Improving French Synthetic Speech Quality via SSML Prosody Control

Nassima Ould Ouali, Awais Hussain Sani, Ruben Bueno, Jonah Dauvet, Tim Luka Horstmann, Eric Moulines

机构 * École Polytechnique（巴黎高等理工学院） ； Hi! PARIS Research Center（Hi!巴黎研究中心） ； McGill University（麦吉尔大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL

Comments 13 pages, 9 figures, 6 tables. Accepted for presentation at ICNLSP 2025 (Odense, Denmark). Code and demo: https://github.com/hi-paris/Prosody-Control-French-TTS. ACM Class: I.2.7; H.5.5

Beyond Semantic Similarity: Reducing Unnecessary API Calls via Behavior-Aligned Retriever

Yixin Chen, Ying Xiong, Shangyu Wu, Yufei Cui, Xue Liu, Nan Guan, Chun Jason Xue

机构 * City University of Hong Kong（香港城市大学） ； Mohamed Bin Zayed University of Artificial Intelligence（马尔代夫穆罕默德·本·扎耶德人工智能大学） ； McGill University（麦吉尔大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL

Beyond Label Semantics: Language-Guided Action Anatomy for Few-shot Action Recognition

Zefeng Qian, Xincheng Yao, Yifei Huang, Chongyang Zhang, Jiangyong Ying, Hong Sun

机构 * School of Information Science and Electronic Engineering, Shanghai Jiao Tong University（上海交通大学信息科学与电子工程学院） ； MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能教育部重点实验室） ； The University of Tokyo（东京大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； E-surfing Vision Technology Co., Ltd（亿欧视觉科技有限公司） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)

Comments Accepted by ICCV2025

Provable Generalization in Overparameterized Neural Nets

Aviral Dhingra

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 8 Pages

Test-time Corpus Feedback: From Retrieval to RAG

Mandeep Rathee, V Venktesh, Sean MacAvaney, Avishek Anand

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 18 pages, 1 figure

QFrCoLA: a Quebec-French Corpus of Linguistic Acceptability Judgments

David Beauchemin, Richard Khoury

机构 * Group for Research in Artificial Intelligence of Laval University (GRAIL)（拉瓦尔大学人工智能研究组） ； Université Laval（拉瓦尔大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Accepted to EMNLP 2025

X-Teaming: Multi-Turn Jailbreaks and Defenses with Adaptive Multi-Agents

Salman Rahman, Liwei Jiang, James Shiffer, Genglin Liu, Sheriff Issaka, Md Rizwan Parvez, Hamid Palangi, Kai-Wei Chang, Yejin Choi, Saadia Gabriel

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

LodeStar: Long-horizon Dexterity via Synthetic Data Augmentation from Human Demonstrations

Weikang Wan, Jiawei Fu, Xiaodi Yuan, Yifeng Zhu, Hao Su

机构 * University of California San Diego（加州大学圣地亚哥分校） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

Comments CoRL 2025

A Taxonomy of Transcendence

Natalie Abreu, Edwin Zhang, Eran Malach, Naomi Saphra

机构 * Kempner Institute for the Study of Natural and Artificial Intelligence（自然与人工智能研究学院） ； Harvard University（哈佛大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

Automatic Speech Recognition of African American English: Lexical and Contextual Effects

Hamid Mojarad, Kevin Tang

机构 * Department of English Language and Linguistics（英语语言与语言学系） ； Department of Linguistics（语言学系） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

Comments submitted to Interspeech 2025

Journal ref Proc. Interspeech 2025 (2025) 3883-3887

Improving Performance, Robustness, and Fairness of Radiographic AI Models with Finely-Controllable Synthetic Data

Stefania L. Moroianu, Christian Bluethgen, Pierre Chambon, Mehdi Cherti, Jean-Benoit Delbrouck, Magdalini Paschali, Brandon Price, Judy Gichoya, Jenia Jitsev, Curtis P. Langlotz, Akshay S. Chaudhari

机构 * Center for Artificial Intelligence in Medicine and Imaging, Stanford University（斯坦福大学人工智能医学与成像中心） ； Department of Radiology, Stanford University（斯坦福大学放射科） ； Department of Applied Physics, Stanford University（斯坦福大学应用物理系） ； Department of Biomedical Data Science, Stanford University（斯坦福大学生物医学数据科学系） ； Institute for Diagnostic and Interventional Radiology, University Hospital Zurich, University of Zurich（苏黎世大学医院诊断与介入放射学研究所） ； LAION ； Juelich Supercomputing Center (JSC), Research Center Juelich (FZJ)（耶鲁超级计算中心（JSC）、耶鲁研究中心（FZJ）） ； Department of Radiology & Imaging Sciences, Emory University（埃默里大学放射科与成像科学系） ； Department of Radiology, University of Florida College of Medicine（佛罗里达大学医学院放射科） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI

FetchBot: Learning Generalizable Object Fetching in Cluttered Scenes via Zero-Shot Sim2Real

Weiheng Liu, Yuxuan Wan, Jilong Wang, Yuxuan Kuang, Wenbo Cui, Xuesong Shi, Haoran Li, Dongbin Zhao, Zhizheng Zhang, He Wang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； CFCS, School of Computer Science, Peking University（计算机科学系，北京大学） ； Galbot ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

Comments 9th Annual Conference on Robot Learning (CoRL 2025, Oral)

Recall-Extend Dynamics: Enhancing Small Language Models through Controlled Exploration and Refined Offline Integration

Zhong Guan, Likang Wu, Hongke Zhao, Jiahui Wang, Le Wu

专题命中 指令微调 ：language model(title,abstract)；small language model(title,abstract)；large language model(abstract)；SFT(abstract)

Large Language Models as Universal Predictors? An Empirical Study on Small Tabular Datasets

Nikolaos Pavlidis, Vasilis Perifanis, Symeon Symeonidis, Pavlos S. Efraimidis

机构 * Institute for Language and Speech Processing, Athena Research Center（语言与语音处理研究所，阿提卡研究中心） ； Department of Electrical and Computer Engineering, Democritus University of Thrace（电气与计算机工程系，德摩克利特大学） ； Department of Production and Management Engineering, Democritus University of Thrace（生产与管理工程系，德摩克利特大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)；prompting(abstract)

Source Code Summarization in the Era of Large Language Models

Weisong Sun, Yun Miao, Yuekang Li, Hongyu Zhang, Chunrong Fang, Yi Liu, Gelei Deng, Yang Liu, Zhenyu Chen

机构 * College of Computing and Data Science, Nanyang Technological University Singapore（计算与数据科学学院，新加坡南洋理工大学） ； State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学） ； School of Computer Science and Engineering, University of New South Wales（计算机科学与工程学院，新南威尔士大学） ； School of Big Data and Software Engineering, Chongqing University（大数据与软件工程学院，重庆大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

Comments Accepted to the 47th International Conference on Software Engineering (ICSE 2025)

Head-Specific Intervention Can Induce Misaligned AI Coordination in Large Language Models

Paul Darm, Annalisa Riccardi

机构 * University of Strathclyde（斯特拉思克莱德大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Comments Published at Transaction of Machine Learning Research 08/2025, Large Language Models (LLMs), Interference-time activation shifting, Steerability, Explainability, AI alignment, Interpretability