语言大模型 / LLM

Large Language Models and Forensic Linguistics: Navigating Opportunities and Threats in the Age of Generative AI

大语言模型与语言学鉴定：在生成式AI时代的机会与威胁

George Mikros

机构 * College of Humanities and Social Sciences（人文与社会科学学院） ； Hamad Bin Khalifa University（哈马德·本·卡西姆大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文探讨了大语言模型对语言学鉴定的双重影响，指出其在分析工具与身份混淆方面的矛盾，并提出混合工作流程和可解释检测方法以提升科学可信度和法律可采性。

EMMA-500: Enhancing Massively Multilingual Adaptation of Large Language Models

EMMA-500: 提升大规模多语言适应性的大语言模型

Shaoxiong Ji, Zihao Li, Jaakko Paavola, Peiqin Lin, Pinzhen Chen, Dayyán O'Brien, Hengyu Luo, Hinrich Schütze, Jörg Tiedemann, Barry Haddow

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 EMMA-500通过持续预训练提升多语言性能，尤其改善低资源语言的覆盖与跨语言迁移能力。

TAP-CT: 3D Task-Agnostic Pretraining of Computed Tomography Foundation Models

TAP-CT: 3D 任务无关的计算机断层扫描基础模型预训练

Tim Veenboer, George Yiasemis, Eric Marcus, Vivien Van Veldhuizen, Cees G. M. Snoek, Jonas Teuwen, Kevin B. W. Groot Lipman

机构 * Netherlands Cancer Institute（荷兰癌症研究所） ； University of Amsterdam（阿姆斯特丹大学） ； Kaiko 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.AI

AI总结 TAP-CT提出了一种基于ViT和DINOv2的3D CT基础模型预训练方法，通过任务无关的自监督学习实现高效的医学影像处理。

Comments 22 pages, 4 figures, 8 tables

AgentODRL: A Large Language Model-based Multi-agent System for ODRL Generation

AgentODRL: 基于大语言模型的多智能体系统用于ODRL生成

Wanle Zhong, Keman Huang, Xiaoyong Du

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 AgentODRL通过多智能体系统和大语言模型技术，提升ODRL生成的准确性和效率。

Comments Accepted by AAAI 2026. 9 pages, 1 figure

stable-pretraining-v1: Foundation Model Research Made Simple

stable-pretraining-v1: 使基础模型研究变得简单

Randall Balestriero, Hugues Van Assel, Sami BuGhanem, Lucas Maes

机构 * Brown University（布朗大学） ； Genentech（基因泰克） ； Mila & Université de Montréal（Mila与蒙特利尔大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.LG

AI总结 stable-pretraining是一个模块化、可扩展且性能优化的库，旨在通过简化基础模型研究流程，提高灵活性和迭代速度，促进发现和扩展研究可能性。

LAUD: Integrating Large Language Models with Active Learning for Unlabeled Data

Tzu-Hsuan Chou, Chun-Nan Chou

机构 * CMoney Technology Corporation（CMoney技术公司） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

Comments 7 pages and one figure

RadarLLM: Empowering Large Language Models to Understand Human Motion from Millimeter-Wave Point Cloud Sequence

Zengyuan Lai, Jiarui Yang, Songpengcheng Xia, Lizhou Lin, Lan Sun, Renwen Wang, Jianran Liu, Qi Wu, Ling Pei

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

Comments Accepted by AAAI 2026 (extended version with supplementary materials)

SynLlama: Generating Synthesizable Molecules and Their Analogs with Large Language Models

Kunyang Sun, Dorian Bagni, Joseph M. Cavanagh, Yingze Wang, Jacob M. Sawyer, Bo Zhou, Andrew Gritsevskiy, Oufan Zhang, Teresa Head-Gordon

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

Beyond Length: Quantifying Long-Range Information for Long-Context LLM Pretraining Data

Haoran Deng, Yingyu Lin, Zhenghao Lin, Xiao Liu, Yizhou Sun, Yi-An Ma, Yeyun Gong

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(title)；language model(abstract)；分类 cs.CL

REVE: A Foundation Model for EEG -- Adapting to Any Setup with Large-Scale Pretraining on 25,000 Subjects

Yassine El Ouahidi, Jonathan Lys, Philipp Thölke, Nicolas Farrugia, Bastien Pasdeloup, Vincent Gripon, Karim Jerbi, Giulia Lioi

机构 * IMT Atlantique Lab-STICC UMR CNRS 6285（IMT Atlantique 实验室） ； Psychology Department Université de Montréal（蒙特利尔大学心理学系） ； Mila (Quebec AI research institute)（魁北克人工智能研究院） ； UNIQUE (Quebec Neuro-AI research center)（魁北克神经人工智能研究中心） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.LG

Comments Code available at: https://brain-bzh.github.io/reve/

On the Reliability of Large Language Models for Causal Discovery

Tao Feng, Lizhen Qu, Niket Tandon, Zhuang Li, Xiaoxi Kang, Gholamreza Haffari

机构 * Monash University（莫纳什大学） ； Microsoft Research, India（微软研究院，印度） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

Comments ACL 2025

NeuroTTT: Bridging Pretraining-Downstream Task Misalignment in EEG Foundation Models via Test-Time Training

Suli Wang, Yangshen Deng, Zhenghua Bao, Xinyu Zhan, Yiqun Duan

机构 * Technical University of Darmstadt（达姆斯塔特技术大学） ； University of Edinburgh（爱丁堡大学） ； University of Technology Sydney（悉尼技术大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)；分类 cs.LG

Large Language Models and Futures Price Factors in China

Yuhan Cheng, Heyang Zhou, Yanchu Liu

机构 * School of Management, Shandong University（山东大学管理学院） ； Lingnan College, Sun Yat-sen University（中山大学岭南学院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

Comments 46 pages;1 figure

'Rich Dad, Poor Lad': How do Large Language Models Contextualize Socioeconomic Factors in College Admission ?

Huy Nghiem, Phuong-Anh Nguyen-Le, John Prindle, Rachel Rudinger, Hal Daumé

机构 * University of Maryland（马里兰大学） ； University of Southern California（南加州大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

Comments EMNLP 2025, ver 1, 35 pages

Natural Fingerprints of Large Language Models

Teppei Suzuki, Ryokan Ri, Sho Takase

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

Annotating Training Data for Conditional Semantic Textual Similarity Measurement using Large Language Models

Gaifan Zhang, Yi Zhou, Danushka Bollegala

机构 * University of Liverpool（利弗池大学） ； Cardiff University（卡迪夫大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

Comments Accepted to EMNLP 2025

Large Language Models Discriminate Against Speakers of German Dialects

Minh Duc Bui, Carolin Holtermann, Valentin Hofmann, Anne Lauscher, Katharina von der Wense

机构 * Johannes Gutenberg University Mainz（明斯特-贾格施泰因大学） ； Data Science Group, University of Hamburg（汉堡大学数据科学组） ； Allen Institute for AI（人工智能研究所） ； University of Washington（华盛顿大学） ； University of Colorado Boulder（科罗拉多大学博尔德分校） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

Comments Accepted to EMNLP 2025 Main

M-BRe: Discovering Training Samples for Relation Extraction from Unlabeled Texts with Large Language Models

Zexuan Li, Hongliang Dai, Piji Li

机构 * College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics（人工智能学院，南京航空航天大学） ； MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（信息产业部模式分析与机器智能重点实验室） ； The Key Laboratory of Brain-Machine Intelligence Technology, Ministry of Education（脑机智能技术重点实验室，教育部） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

Comments Accepted by EMNLP2025 Main Conference

LMEnt: A Suite for Analyzing Knowledge in Language Models from Pretraining Data to Representations

Daniela Gottesman, Alon Gilae-Dotan, Ido Cohen, Yoav Gur-Arieh, Marius Mosbach, Ori Yoran, Mor Geva

机构 * Tel Aviv University（特拉维夫大学） ； Mila – Quebec AI Institute & McGill University（蒙特利尔AI研究所 & 蒙特利尔大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL

Comments Submitted to TACL, August 2025

RecBase: Generative Foundation Model Pretraining for Zero-Shot Recommendation

Sashuai Zhou, Weinan Gan, Qijiong Liu, Ke Lei, Jieming Zhu, Hai Huang, Yan Xia, Ruiming Tang, Zhenhua Dong, Zhou Zhao

机构 * Zhejiang University（浙江大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Shanghai AI Lab（上海人工智能实验室） ； The HK PolyU（香港理工大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(title)；LLM(abstract)；分类 cs.LG

Journal ref EMNLP 2025

Think in Games: Learning to Reason in Games via Reinforcement Learning with Large Language Models

Yi Liao, Yu Gu, Yuan Sui, Zining Zhu, Yifan Lu, Guohua Tang, Zhongqian Sun, Wei Yang

机构 * Tencent（腾讯） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

Heterogeneous LLM Methods for Ontology Learning (Few-Shot Prompting, Ensemble Typing, and Attention-Based Taxonomies)

Aleksandra Beliaeva, Temurbek Rahmatullaev

机构 * Skolkovo Institute of Science and Technology（斯克尔科沃科学与技术研究院） ； BIMAI-Lab, Biomedically Informed Artificial Intelligence Laboratory, University of Sharjah（沙迦大学生物医学引导人工智能实验室） ； Ivannikov Institute for System Programming of the Russian Academy of Sciences（俄罗斯科学院伊万诺夫系统编程研究所） ； Lomonosov Moscow State University（莫斯科罗蒙诺索夫莫斯科大学） ； AIRI Institute（AIRI研究所） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；prompting(title,abstract)；分类 cs.CL

Exploring the Potential of Large Language Models in Fine-Grained Review Comment Classification

Linh Nguyen, Chunhua Liu, Hong Yi Lin, Patanamon Thongtanunam

机构 * The University of Melbourne（墨尔本大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

Comments Accepted at 2025 IEEE International Conference on Source Code Analysis & Manipulation (SCAM)

DP-GPT4MTS: Dual-Prompt Large Language Model for Textual-Numerical Time Series Forecasting

Chanjuan Liu, Shengzhi Wang, Enqiang Zhu

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

WarriorMath: Enhancing the Mathematical Ability of Large Language Models with a Defect-aware Framework

Yue Chen, Minghua He, Fangkai Yang, Pu Zhao, Lu Wang, Yu Kang, Yifei Dong, Yuefeng Zhan, Hao Sun, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

机构 * Peking University（北京大学） ； Microsoft（微软） ； KTH Royal Institute of Technology（皇家理工学院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

SmilesT5: Domain-specific pretraining for molecular language models

Philip Spence, Brooks Paige, Anne Osbourn

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.LG

Distilled Large Language Model in Confidential Computing Environment for System-on-Chip Design

Dong Ben, Hui Feng, Qian Wang

机构 * University of California, Merced（加州大学梅尔德分校） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

Comments 7 pages, 4 figures;

Mangosteen: An Open Thai Corpus for Language Model Pretraining

Wannaphong Phatthiyaphaibun, Can Udomcharoenchaikit, Pakpoom Singkorapoom, Kunat Pipatanakul, Ekapol Chuangsuwanich, Peerat Limkonchotiwat, Sarana Nutanong

机构 * Vidyasirimedhi Institute of Science and Technology（维多亚西里米迪科学技术研究所） ； Chulalongkorn University（朱拉隆功大学） ； AI Singapore（AI新加坡） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title)；LLM(abstract)；分类 cs.CL

Comments Work in Progress. All artifacts in this papers: https://huggingface.co/collections/aisingapore/wangchanlion-v3-687a362d8f0ea2fe4077c6b3

PRISM: Reducing Spurious Implicit Biases in Vision-Language Models with LLM-Guided Embedding Projection

Mahdiyar Molahasani, Azadeh Motamedi, Michael Greenspan, Il-Min Kim, Ali Etemad

机构 * Queen’s University（皇后大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；language model(title,abstract)；分类 cs.LG

Comments Accepted to ICCV 2025

A Framework for Synthetic Audio Conversations Generation using Large Language Models

Kaung Myat Kyaw, Jonathan Hoyin Chan

机构 * Innovative Cognitive Computing (IC2) Research Center（创新认知计算（IC2）研究中心） ； School of Information Technology（信息科技学院） ； King Mongkut's University of Technology Thonburi（泰国科技理工大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

Comments This work has been accepted at the WI-IAT'24. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media

Journal ref IEEE/WIC International Conference on Web Intelligence and Intelligent Agent Technology (WI-IAT), 2024, pp. 355--359