语言大模型 / LLM

Paramanu: Compact and Competitive Monolingual Language Models for Low-Resource Morphologically Rich Indian Languages

Paramanu：紧凑且具有竞争力的单语语言模型，用于低资源的形态丰富的印度语言

Mitodru Niyogi, Eric Gaussier, Arnab Bhattacharya

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 Paramanu通过低成本训练方法，在五种印度语言上实现了高性能，优于多数多语言模型。

Berezinskii--Kosterlitz--Thouless transition in a context-sensitive random language model

伯尔津斯基-科斯特利茨-托夫勒相变在一种上下文敏感的随机语言模型中

Yuma Toji, Jun Takahashi, Vwani Roychowdhury, Hideyuki Miyahara

机构 * Graduate School of Information Science and Technology（信息科学与技术研究生学校） ； Hokkaido University（北海道大学） ； Institute for Solid State Physics（固态物理研究所） ； The University of Tokyo（东京大学） ； Henry Samueli School of Engineering and Applied Science（亨利·萨默塞特·艾利斯工程与应用科学学院） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出一种上下文敏感的随机语言模型，通过数值实验展示了自然语言中存在BKT相变，揭示了语言结构与BKT相之间的关联。

Comments accepted for publication in PRE

Journal ref Phys. Rev. E 113, 015305 (Published 21 January, 2026)

Wavelet-Driven Masked Multiscale Reconstruction for PPG Foundation Models

小波驱动的掩码多尺度重建用于PPG基础模型

Megha Thukral, Cyrus Tanade, Simon A. Lee, Juhyeon Lee, Hao Zhou, Keum San Chun, Migyeong Gwak, Viswam Nathan, Md Mahbubur Rahman, Li Zhu, Mehrab Bin Morshed, Subramaniam Venkatraman, Sharanya Arcot Desai

机构 * Digital Health Team, Samsung Research America（三星美国数字健康团队） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于小波的掩码多尺度重建方法，通过自监督预训练提升PPG信号的多尺度特征学习能力，从而在多种健康相关任务中取得优于现有模型的性能。

AviationLMM: A Large Multimodal Foundation Model for Civil Aviation

AviationLMM：民用航空的大规模多模态基础模型

Wenbin Li, Jingling Wu, Xiaoyong Lin. Jing Chen, Cong Chen

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 AviationLMM旨在通过统一民用航空的异构数据流，提升航空安全与效率，推动可信且隐私保护的航空人工智能生态系统发展。

Comments Accepted by 2025 7th International Conference on Interdisciplinary Computer Science and Engineering (ICICSE 2025), Chongqing, China; 9 pages,1 figure,5 tables

Consistency-Aware Editing for Entity-level Unlearning in Language Models

面向实体级去学习的一致性感知编辑

Xiaoqi Han, Víctor Gutiérrez-Basulto, Ru Li, Xiaoli Li, Jiye Liang, Jeff Z. Pan

机构 * Shanxi University, China（山西大学） ； Cardiff University, UK（卡地夫大学） ； Singapore University of Technology and Design, Singapore（新加坡科技设计大学） ； ILCC, School of Informatics, University of Edinburgh, Edinburgh, UK（爱丁堡大学信息学院ILCC） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一致性感知编辑框架，用于高效实体级去学习，通过聚合多样化提示并学习低秩更新，提升遗忘准确性和鲁棒性。

Pelican Soup Framework: A Theoretical Framework for Language Model Capabilities

Pelican Soup框架：语言模型能力的一种理论框架

Ting-Rui Chiang, Dani Yogatama

机构 * University of Southern California（南加州大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 Pelican Soup框架通过引入知识库和参考意义关联，探讨语言模型在预训练和上下文学习中的能力，并推导出相关理论界。

ALERT: Zero-shot LLM Jailbreak Detection via Internal Discrepancy Amplification

ALERT: 通过内部不一致放大实现零样本LLM jailbreak检测

Xiao Lin, Philip Li, Zhichen Zeng, Tingwei Li, Tianxin Wei, Xuying Ning, Gaotang Li, Yuzhong Chen, Hanghang Tong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Visa 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 ALERT通过内部不一致放大技术实现零样本LLM jailbreak检测，有效提升安全检测性能。

Factorized Learning for Temporally Grounded Video-Language Models

分解学习用于时间感知的视频-语言模型

Wenzheng Zeng, Difei Gao, Mike Zheng Shou, Hwee Tou Ng

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出D$^2$VLM框架，通过分解学习方法提升视频-语言模型在时间定位和文本响应任务中的性能，引入证据标记和FPO算法以优化学习过程。

Comments ICCV 2025 paper. This arXiv version updates Figure 1 to include the concurrent work Qwen2.5-VL to ensure consistency with Table 1

Scaling Capability in Token Space: An Analysis of Large Vision Language Model

令牌空间中的扩展能力：对大视觉语言模型的分析

Tenghui Li, Guoxu Zhou, Xuyang Zhao, Qibin Zhao

机构 * School of Automation, Guangdong University of Technology（广东工业大学自动化学院） ； Key Laboratory of Intelligent Detection and the Internet of Things in Manufacturing, Ministry of Education（教育部智能制造智能检测与物联网重点实验室） ； Guangdong Provincial Key Laboratory of Intelligent Systems and Optimization Integration（广东省智能系统与优化集成重点实验室） ； Medical Science Data-driven Mathematics Team, RIKEN Center for Interdisciplinary Theoretical and Mathematical Sciences（RIKEN跨学科理论与数学科学中心医学科学数据驱动数学团队） ； Medical Data Mathematical Reasoning Special Team, RIKEN Center for Integrative Medical Sciences（RIKEN整合医学科学中心医学数据数学推理特别团队） ； Department of Artificial Intelligence Medicine, Chiba University（千叶大学人工智能医学系） ； Tensor Learning Team, RIKEN Center for Advanced Intelligence Project（RIKEN高级人工智能项目中心张量学习团队） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究通过理论分析和实证验证，揭示了视觉语言模型在视觉令牌数量上的扩展规律，发现不同数量的视觉令牌对应不同的扩展模式，并提出了扩展指数与视觉令牌表示相关结构的关系。

Journal ref Journal of Machine Learning Research, volume 26, number 253, page 1--61, 2025

Don't Pay Attention, PLANT It: Pretraining Attention via Learning-to-Rank

不要关注，PLANT它：通过学习排序进行预训练注意力

Debjyoti Saha Roy, Byron C. Wallace, Javed A. Aslam

机构 * Khoury College of Computer Sciences, Northeastern University（东北大学克劳利计算机科学学院） 纠错

专题命中 预训练与数据 ：pretraining(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 PLANT通过学习排序模型预训练注意力，提升多标签文本分类性能，尤其在少样本和稀有标签任务中表现突出。

LLM Agents Implement an NLG System from Scratch: Building Interpretable Rule-Based RDF-to-Text Generators

LLM Agents 实现从零构建 NLG 系统：构建可解释的基于规则的 RDF-to-Text 生成器

Mateusz Lango, Ondřej Dušek

机构 * Charles University, Faculty of Mathematics and Physics（查理大学数学与物理系） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种基于 LLM agent 的神经符号框架，通过协作交互生成可解释的 RDF-to-Text 生成器，减少幻觉并提升生成效率。

Comments EMNLP 2025

Synthetic bootstrapped pretraining

合成增强预训练

Zitong Yang, Aonan Zhang, Hong Liu, Tatsunori Hashimoto, Emmanuel Candès, Chong Wang, Ruoming Pang

机构 * Apple（苹果公司） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 SBP通过合成大量新语料库提升语言模型性能，实现60%的性能提升。

The LLM Wears Prada: Analysing Gender Bias and Stereotypes through Online Shopping Data

大语言模型穿Prada：通过在线购物数据分析性别偏见和刻板印象

Massimiliano Luca, Ciro Beneduce, Bruno Lepri, Jacopo Staiano

机构 * University of Trento（特伦托大学） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过在线购物数据分析大语言模型中的性别偏见，发现模型在性别预测中受刻板印象影响，且减少偏见指令只能降低预测确定性，无法消除刻板印象模式。

CT-GLIP: 3D Grounded Language-Image Pretraining with CT Scans and Radiology Reports for Full-Body Scenarios

CT-GLIP：基于CT扫描和放射报告的3D grounded语言-图像预训练，用于全身场景

Jingyang Lin, Yingda Xia, Jianpeng Zhang, Ke Yan, Kai Cao, Le Lu, Jiebo Luo, Ling Zhang

机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； University of Rochester（罗切斯特大学） ； Hupan Lab, \postcode 10587, \state Hangzhou, \country China（华普实验室，浙江省杭州市，中国） ； Department of Radiology, Shanghai Institution of Pancreatic Disease, \state Shanghai, \country China（胰腺疾病研究所放射科，上海市，中国） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.CL、cs.AI

AI总结 CT-GLIP通过构建细粒度CT报告对，提升3D grounded语言-图像预训练，实现更精确的跨模态对齐，从而在零样本任务中提升器官识别和肿瘤检测性能。

Exploiting Vocabulary Frequency Imbalance in Language Model Pre-training

利用词汇频率不平衡性在语言模型预训练中

Woojin Chung, Jeonghoon Kim

机构 * KAIST（韩国科学技术院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究通过扩大词汇表降低分词文本复杂性，揭示了语言模型预训练中词汇规模与性能的关系。

Comments NeurIPS 2025

Towards a Foundation Model for Partial Differential Equations Across Physics Domains

面向跨物理领域的偏微分方程基础模型

Eduardo Soares, Emilio Vital Brazil, Victor Shirasuna, Breno W. S. R. de Carvalho, Cristiano Malossi

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 PDE-FM是一种跨物理领域预训练的基础模型，通过统一空间、谱和时间推理，实现复杂物理动态的高效建模与跨领域泛化。

Comments Accepted to the AAAI 2026 AI2ASE Workshop

SmolKalam: Ensemble Quality-Filtered Translation at Scale for High Quality Arabic Post-Training Data

SmolKalam：大规模质量过滤翻译用于高质量阿拉伯语后训练数据

Sultan Alrashed, Chadi Helwe, Francesco Orabona

机构 * King Abdullah University of Science and Technology (KAUST)（卡斯特大学） 纠错

专题命中 预训练与数据 ：post-training(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 SmolKalam通过多模型集成和质量过滤技术，提升大规模阿拉伯语后训练数据的翻译质量。

Comments Work in progress

Integrating Symbolic Natural Language Understanding and Language Models for Word Sense Disambiguation

整合符号自然语言理解与语言模型用于词义消歧

Kexin Zhao, Ken Forbus

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出利用统计语言模型和符号NLU系统整合的方法，实现无需人工标注数据的词义消歧。

Comments 16 pages

Journal ref Proceedings of the Twelfth Annual Conference on Advances in Cognitive Systems ACS-2025 (333-348)

Evidence of Phase Transitions in Small Transformer-Based Language Models

Noah Hong, Tao Hong

机构 * Lynbrook High School（林brook高中） ； Keysight Technologies（Keysight技术公司） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

LLM Architecture, Scaling Laws, and Economics: A Quick Summary

William H. Press

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments 9 pages, 3 figures

GMoPE:A Prompt-Expert Mixture Framework for Graph Foundation Models

Zhibin Wang, Zhixing Zhang, Shuqi Wang, Xuanting Xie, Zhao Kang

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

Unseen from Seen: Rewriting Observation-Instruction Using Foundation Models for Augmenting Vision-Language Navigation

Ziming Wei, Bingqian Lin, Yunshuang Nie, Jiaqi Chen, Shikui Ma, Hang Xu, Xiaodan Liang

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Shanghai Jiao Tong University（上海交通大学） ； The University of Hong Kong（香港大学） ； Hunan Artificial Intelligence and Robotics Institute Company Ltd.（湖南人工智能与机器人研究院有限公司） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 预训练与数据 ：foundation model(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted by IEEE Transactions on Neural Networks and Learning Systems

Inoculation Prompting: Eliciting traits from LLMs during training can suppress them at test-time

Daniel Tan, Anders Woodruff, Niels Warncke, Arun Jose, Maxime Riché, David Demitri Africa, Mia Taylor

机构 * University College London（伦敦大学学院） ； Center on Long-Term Risk（长期风险中心） ； McGill University（麦吉尔大学） ； UK AI Security Institute（英国人工智能安全研究所） 纠错

专题命中 预训练与数据 ：prompting(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 40 pages, 22 figures. Under review at ICLR 2026

Exploiting Latent Space Discontinuities for Building Universal LLM Jailbreaks and Data Extraction Attacks

Kayua Oleques Paim, Rodrigo Brandao Mansilha, Diego Kreutz, Muriel Figueredo Franco, Weverton Cordeiro

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 10 pages, 5 figures, 4 tables, Published at the Brazilian Symposium on Cybersecurity (SBSeg 2025)

Through the River: Understanding the Benefit of Schedule-Free Methods for Language Model Training

Minhak Song, Beomhan Baek, Kwangjun Ahn, Chulhee Yun

机构 * KAIST（韩国科学技术院） ； SNU & KAIST InnoCORE LLM（首尔国立大学及韩国科学技术院InnoCORE LLM） ； Microsoft Research（微软研究院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

Comments Published at NeurIPS 2025

Gaperon: A Peppered English-French Generative Language Model Suite

Nathan Godey, Wissam Antoun, Rian Touchent, Rachel Bawden, Éric de la Clergerie, Benoît Sagot, Djamé Seddah

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

Beyond Line-Level Filtering for the Pretraining Corpora of LLMs

Chanwoo Park, Suyoung Park, Yelim Ahn, Jongmin Kim, Jongyeon Park, Jaejin Lee

专题命中 预训练与数据 ：pretraining(title)；language model(abstract)；small language model(abstract)；分类 cs.CL、cs.AI

Comments submitted to ACL ARR Rolling Review

Data-Centric Lessons To Improve Speech-Language Pretraining

Vishaal Udandarao, Zhiyun Lu, Xuankai Chang, Yongqiang Wang, Violet Z. Yao, Albin Madapally Jose, Fartash Faghri, Josh Gardner, Chung-Cheng Chiu

机构 * Apple（苹果公司） ； University of Cambridge（剑桥大学） ； University of Tübingen（图宾根大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments Tech Report

Large Connectome Model: An fMRI Foundation Model of Brain Connectomes Empowered by Brain-Environment Interaction in Multitask Learning Landscape

Ziquan Wei, Tingting Dan, Guorong Wu

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

Comments 12 pages 6 figures

Synthetic Series-Symbol Data Generation for Time Series Foundation Models

Wenxuan Wang, Kai Wu, Yujian Betterest Li, Dan Wang, Xiaoyu Zhang

机构 * School of Telecommunications Engineering Xidian University（电子科技大学电信工程学院） ； School of Artificial Intelligence Xidian University（电子科技大学人工智能学院） ； School of Cyber Engineering Xidian University（电子科技大学网络安全工程学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

Comments 64 pages, 25 figures, 35 tables, NeurIPS 2025 accepted