语言大模型 / LLM

Deep Ignorance: Filtering Pretraining Data Builds Tamper-Resistant Safeguards into Open-Weight LLMs

深度无知：过滤预训练数据在开放权重大语言模型中构建抗篡改的安全保障

Kyle O'Brien, Stephen Casper, Quentin Anthony, Tomek Korbak, Robert Kirk, Xander Davies, Ishan Mishra, Geoffrey Irving, Yarin Gal, Stella Biderman

机构 * EleutherAI ； UK AI Security Institute（英国人工智能安全研究所） ； University of Oxford（牛津大学） ； OATML, University of Oxford（OATML，牛津大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过过滤预训练数据中的双用途内容，增强开放权重大语言模型的抗篡改能力，实验显示其在对抗微调攻击上表现优异，且未影响其他能力。

Comments https://deepignorance.ai/

Emergently Misaligned Language Models Show Behavioral Self-Awareness That Shifts With Subsequent Realignment

涌现性错位语言模型表现出会随后续重新对齐而变化的行为自我意识

Laurène Vaugrante, Anietta Weckauff, Thilo Hagendorff

机构 * Interchange Forum for Reflecting on Intelligent Systems, University of Stuttgart, Stuttgart, Germany（智能系统反思交流论坛，斯图加特大学，斯图加特，德国） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究发现，经过特定微调的LLMs能自我评估其行为错位程度，表明模型具备行为自我意识并能反映其实际对齐状态。

Context-level Language Modeling by Learning Predictive Context Embeddings

通过学习预测上下文嵌入进行上下文级语言建模

Beiya Dai, Yuliang Liu, Daozheng Xue, Yunchong Song, Qipeng Guo, Kai Chen, Xinbing Wang, Bowen Zhou, Zhouhan Lin

机构 * LUMIA Lab（LUMIA实验室） ； School of Artificial Intelligence（人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Tsinghua University（清华大学） ； Nanjing University（南京大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 ContextLM通过学习预测上下文嵌入，提升多令牌预测能力，实现更高效的参数和训练效率，同时在下游任务中表现更优。

Comments 19pages,6 figures, 13 Tables

Context-Aware Counterfactual Data Augmentation for Gender Bias Mitigation in Language Models

面向上下文的反事实数据增强用于语言模型中的性别偏见缓解

Shweta Parihar, Liu Guangliang, Natalie Parde, Lu Cheng

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Context-CDA方法，通过增强上下文和过滤低质量反事实，有效缓解语言模型中的性别偏见，同时保持语言建模能力。

Team, Then Trim: An Assembly-Line LLM Framework for High-Quality Tabular Data Generation

团队后再修剪：一种用于高质量表格数据生成的流水线LLM框架

Congjing Zhang, Ryan Feng Lin, Ruoxuan Bao, Shuai Huang

机构 * Department of Industrial & Systems Engineering, University of Washington（华盛顿大学工业与系统工程系） ； Department of Management, Shanghai University（上海大学管理学院） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Team-then-Trim框架通过协作LLMs生成高质量表格数据，并结合三阶段质量控制流程，有效解决表格数据稀缺和质量低的问题。

Reusing Overtrained Language Models Saturates Scaling

重用过训练的语言模型饱和了扩展

Seng Pei Liew, Takuya Kato

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 研究发现重用过训练的语言模型在扩展时效率下降，揭示了多阶段预训练中的权衡关系。

Foundation CAN LM: A Pretrained Language Model For Automotive CAN Data

基础CAN语言模型：一种用于汽车CAN数据的预训练语言模型

Akiharu Esashi, Pawissanutt Lertpongrujikorn, Justin Makino, Yuibi Fujimoto, Mohsen Amini Salehi

专题命中 预训练与数据 ：language model(title)；foundation model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基础CAN语言模型，通过预训练实现对汽车CAN数据的多目标下游泛化，推动汽车AI中的可泛化表征学习。

ChaosNexus: A Foundation Model for ODE-based Chaotic System Forecasting with Hierarchical Multi-scale Awareness

ChaosNexus: 一种基于微分方程的混沌系统预测的基础模型，具有分层多尺度意识

Chang Liu, Bohao Zhao, Jingtao Ding, Yong Li

机构 * Department of Electronic Engineering, BNRist, Tsinghua University, Beijing, China（电子工程系，BNRist，清华大学，北京，中国） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 ChaosNexus通过ScaleFormer架构和MoE层实现对混沌系统多尺度和频谱特征的捕捉，提升长期预测精度和实际应用效果。

Mixtera: A Data Plane for Foundation Model Training

Mixtera: 一个用于基础模型训练的数据平面

Maximilian Böther, Xiaozhe Yao, Tolga Kerimoglu, Dan Graur, Viktor Gsteiger, Ana Klimovic

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Mixtera是一种用于基础模型训练的数据平面，允许用户声明性地控制数据样本的比例和顺序，以提升模型训练效果。

Comments accepted at SIGMOD'26; two column layout version

Culturally-Grounded Governance for Multilingual Language Models: Rights, Data Boundaries, and Accountable AI Design

基于文化背景的治理框架用于多语言语言模型：权利、数据边界与可问责的AI设计

Hanjing Shi, Dominic DiFranzo

机构 * Lehigh University（莱维大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于文化背景的多语言模型治理框架，强调权利、数据边界和可问责AI设计，以应对文化边缘社区的系统性风险。

Bridging Synthetic and Real Routing Problems via LLM-Guided Instance Generation and Progressive Adaptation

通过LLM引导的实例生成和渐进适应弥合合成与现实路由问题

Jianghan Zhu, Yaoxin Wu, Zhuoyi Lin, Zhengyuan Zhang, Haiyan Yin, Zhiguang Cao, Senthilnath Jayavelu, Xiaoli Li

机构 * A*STAR（新加坡科技研究局） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 通过LLM引导的实例生成和渐进适应方法，提升神经求解器在现实路由问题中的泛化能力。

Comments 21 pages; Published in AAAI 2026, Main Technical Track

Paramanu: Compact and Competitive Monolingual Language Models for Low-Resource Morphologically Rich Indian Languages

Paramanu：紧凑且具有竞争力的单语语言模型，用于低资源的形态丰富的印度语言

Mitodru Niyogi, Eric Gaussier, Arnab Bhattacharya

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 Paramanu通过低成本训练方法，在五种印度语言上实现了高性能，优于多数多语言模型。

Berezinskii--Kosterlitz--Thouless transition in a context-sensitive random language model

伯尔津斯基-科斯特利茨-托夫勒相变在一种上下文敏感的随机语言模型中

Yuma Toji, Jun Takahashi, Vwani Roychowdhury, Hideyuki Miyahara

机构 * Graduate School of Information Science and Technology（信息科学与技术研究生学校） ； Hokkaido University（北海道大学） ； Institute for Solid State Physics（固态物理研究所） ； The University of Tokyo（东京大学） ； Henry Samueli School of Engineering and Applied Science（亨利·萨默塞特·艾利斯工程与应用科学学院） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出一种上下文敏感的随机语言模型，通过数值实验展示了自然语言中存在BKT相变，揭示了语言结构与BKT相之间的关联。

Comments accepted for publication in PRE

Journal ref Phys. Rev. E 113, 015305 (Published 21 January, 2026)

Wavelet-Driven Masked Multiscale Reconstruction for PPG Foundation Models

小波驱动的掩码多尺度重建用于PPG基础模型

Megha Thukral, Cyrus Tanade, Simon A. Lee, Juhyeon Lee, Hao Zhou, Keum San Chun, Migyeong Gwak, Viswam Nathan, Md Mahbubur Rahman, Li Zhu, Mehrab Bin Morshed, Subramaniam Venkatraman, Sharanya Arcot Desai

机构 * Digital Health Team, Samsung Research America（三星美国数字健康团队） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于小波的掩码多尺度重建方法，通过自监督预训练提升PPG信号的多尺度特征学习能力，从而在多种健康相关任务中取得优于现有模型的性能。

AviationLMM: A Large Multimodal Foundation Model for Civil Aviation

AviationLMM：民用航空的大规模多模态基础模型

Wenbin Li, Jingling Wu, Xiaoyong Lin. Jing Chen, Cong Chen

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 AviationLMM旨在通过统一民用航空的异构数据流，提升航空安全与效率，推动可信且隐私保护的航空人工智能生态系统发展。

Comments Accepted by 2025 7th International Conference on Interdisciplinary Computer Science and Engineering (ICICSE 2025), Chongqing, China; 9 pages,1 figure,5 tables

Consistency-Aware Editing for Entity-level Unlearning in Language Models

面向实体级去学习的一致性感知编辑

Xiaoqi Han, Víctor Gutiérrez-Basulto, Ru Li, Xiaoli Li, Jiye Liang, Jeff Z. Pan

机构 * Shanxi University, China（山西大学） ； Cardiff University, UK（卡地夫大学） ； Singapore University of Technology and Design, Singapore（新加坡科技设计大学） ； ILCC, School of Informatics, University of Edinburgh, Edinburgh, UK（爱丁堡大学信息学院ILCC） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一致性感知编辑框架，用于高效实体级去学习，通过聚合多样化提示并学习低秩更新，提升遗忘准确性和鲁棒性。

Pelican Soup Framework: A Theoretical Framework for Language Model Capabilities

Pelican Soup框架：语言模型能力的一种理论框架

Ting-Rui Chiang, Dani Yogatama

机构 * University of Southern California（南加州大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 Pelican Soup框架通过引入知识库和参考意义关联，探讨语言模型在预训练和上下文学习中的能力，并推导出相关理论界。

CounterVid: Counterfactual Video Generation for Mitigating Action and Temporal Hallucinations in Video-Language Models

CounterVid: 通过生成反事实视频缓解视频-语言模型中动作和时间幻觉

Tobia Poppi, Burak Uzkent, Amanmeet Garg, Lucas Porto, Garin Kessler, Yezhou Yang, Marcella Cornia, Lorenzo Baraldi, Rita Cucchiara, Florian Schiffers

机构 * University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学） ； University of Pisa（帕尔马大学） ； Amazon Prime Video（亚马逊Prime视频） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI

AI总结 CounterVid通过生成反事实视频缓解视频-语言模型中动作和时间幻觉问题，提出反事实视频生成框架和MixDPO方法，提升时间推理和动作识别性能。

ALERT: Zero-shot LLM Jailbreak Detection via Internal Discrepancy Amplification

ALERT: 通过内部不一致放大实现零样本LLM jailbreak检测

Xiao Lin, Philip Li, Zhichen Zeng, Tingwei Li, Tianxin Wei, Xuying Ning, Gaotang Li, Yuzhong Chen, Hanghang Tong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Visa 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 ALERT通过内部不一致放大技术实现零样本LLM jailbreak检测，有效提升安全检测性能。

Factorized Learning for Temporally Grounded Video-Language Models

分解学习用于时间感知的视频-语言模型

Wenzheng Zeng, Difei Gao, Mike Zheng Shou, Hwee Tou Ng

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出D$^2$VLM框架，通过分解学习方法提升视频-语言模型在时间定位和文本响应任务中的性能，引入证据标记和FPO算法以优化学习过程。

Comments ICCV 2025 paper. This arXiv version updates Figure 1 to include the concurrent work Qwen2.5-VL to ensure consistency with Table 1

Scaling Capability in Token Space: An Analysis of Large Vision Language Model

令牌空间中的扩展能力：对大视觉语言模型的分析

Tenghui Li, Guoxu Zhou, Xuyang Zhao, Qibin Zhao

机构 * School of Automation, Guangdong University of Technology（广东工业大学自动化学院） ； Key Laboratory of Intelligent Detection and the Internet of Things in Manufacturing, Ministry of Education（教育部智能制造智能检测与物联网重点实验室） ； Guangdong Provincial Key Laboratory of Intelligent Systems and Optimization Integration（广东省智能系统与优化集成重点实验室） ； Medical Science Data-driven Mathematics Team, RIKEN Center for Interdisciplinary Theoretical and Mathematical Sciences（RIKEN跨学科理论与数学科学中心医学科学数据驱动数学团队） ； Medical Data Mathematical Reasoning Special Team, RIKEN Center for Integrative Medical Sciences（RIKEN整合医学科学中心医学数据数学推理特别团队） ； Department of Artificial Intelligence Medicine, Chiba University（千叶大学人工智能医学系） ； Tensor Learning Team, RIKEN Center for Advanced Intelligence Project（RIKEN高级人工智能项目中心张量学习团队） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究通过理论分析和实证验证，揭示了视觉语言模型在视觉令牌数量上的扩展规律，发现不同数量的视觉令牌对应不同的扩展模式，并提出了扩展指数与视觉令牌表示相关结构的关系。

Journal ref Journal of Machine Learning Research, volume 26, number 253, page 1--61, 2025

Don't Pay Attention, PLANT It: Pretraining Attention via Learning-to-Rank

不要关注，PLANT它：通过学习排序进行预训练注意力

Debjyoti Saha Roy, Byron C. Wallace, Javed A. Aslam

机构 * Khoury College of Computer Sciences, Northeastern University（东北大学克劳利计算机科学学院） 纠错

专题命中 预训练与数据 ：pretraining(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 PLANT通过学习排序模型预训练注意力，提升多标签文本分类性能，尤其在少样本和稀有标签任务中表现突出。

LLM Agents Implement an NLG System from Scratch: Building Interpretable Rule-Based RDF-to-Text Generators

LLM Agents 实现从零构建 NLG 系统：构建可解释的基于规则的 RDF-to-Text 生成器

Mateusz Lango, Ondřej Dušek

机构 * Charles University, Faculty of Mathematics and Physics（查理大学数学与物理系） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种基于 LLM agent 的神经符号框架，通过协作交互生成可解释的 RDF-to-Text 生成器，减少幻觉并提升生成效率。

Comments EMNLP 2025

Synthetic bootstrapped pretraining

合成增强预训练

Zitong Yang, Aonan Zhang, Hong Liu, Tatsunori Hashimoto, Emmanuel Candès, Chong Wang, Ruoming Pang

机构 * Apple（苹果公司） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 SBP通过合成大量新语料库提升语言模型性能，实现60%的性能提升。

The LLM Wears Prada: Analysing Gender Bias and Stereotypes through Online Shopping Data

大语言模型穿Prada：通过在线购物数据分析性别偏见和刻板印象

Massimiliano Luca, Ciro Beneduce, Bruno Lepri, Jacopo Staiano

机构 * University of Trento（特伦托大学） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过在线购物数据分析大语言模型中的性别偏见，发现模型在性别预测中受刻板印象影响，且减少偏见指令只能降低预测确定性，无法消除刻板印象模式。

CT-GLIP: 3D Grounded Language-Image Pretraining with CT Scans and Radiology Reports for Full-Body Scenarios

CT-GLIP：基于CT扫描和放射报告的3D grounded语言-图像预训练，用于全身场景

Jingyang Lin, Yingda Xia, Jianpeng Zhang, Ke Yan, Kai Cao, Le Lu, Jiebo Luo, Ling Zhang

机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； University of Rochester（罗切斯特大学） ； Hupan Lab, \postcode 10587, \state Hangzhou, \country China（华普实验室，浙江省杭州市，中国） ； Department of Radiology, Shanghai Institution of Pancreatic Disease, \state Shanghai, \country China（胰腺疾病研究所放射科，上海市，中国） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.CL、cs.AI

AI总结 CT-GLIP通过构建细粒度CT报告对，提升3D grounded语言-图像预训练，实现更精确的跨模态对齐，从而在零样本任务中提升器官识别和肿瘤检测性能。

Exploiting Vocabulary Frequency Imbalance in Language Model Pre-training

利用词汇频率不平衡性在语言模型预训练中

Woojin Chung, Jeonghoon Kim

机构 * KAIST（韩国科学技术院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究通过扩大词汇表降低分词文本复杂性，揭示了语言模型预训练中词汇规模与性能的关系。

Comments NeurIPS 2025

Towards a Foundation Model for Partial Differential Equations Across Physics Domains

面向跨物理领域的偏微分方程基础模型

Eduardo Soares, Emilio Vital Brazil, Victor Shirasuna, Breno W. S. R. de Carvalho, Cristiano Malossi

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 PDE-FM是一种跨物理领域预训练的基础模型，通过统一空间、谱和时间推理，实现复杂物理动态的高效建模与跨领域泛化。

Comments Accepted to the AAAI 2026 AI2ASE Workshop

SmolKalam: Ensemble Quality-Filtered Translation at Scale for High Quality Arabic Post-Training Data

SmolKalam：大规模质量过滤翻译用于高质量阿拉伯语后训练数据

Sultan Alrashed, Chadi Helwe, Francesco Orabona

机构 * King Abdullah University of Science and Technology (KAUST)（卡斯特大学） 纠错

专题命中 预训练与数据 ：post-training(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 SmolKalam通过多模型集成和质量过滤技术，提升大规模阿拉伯语后训练数据的翻译质量。

Comments Work in progress

Integrating Symbolic Natural Language Understanding and Language Models for Word Sense Disambiguation

整合符号自然语言理解与语言模型用于词义消歧

Kexin Zhao, Ken Forbus

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出利用统计语言模型和符号NLU系统整合的方法，实现无需人工标注数据的词义消歧。

Comments 16 pages

Journal ref Proceedings of the Twelfth Annual Conference on Advances in Cognitive Systems ACS-2025 (333-348)