语言大模型 / LLM

Scaling Electronic Health Record Foundation Models for Population Health Management

面向人群健康管理的电子健康记录基础模型规模化研究

Liwen Sun, Hao-Ren Yao, Ophir Frieder, Xiang Qian, Chenyan Xiong

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Georgetown University（乔治城大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 该研究提出面向人群健康管理的电子健康记录基础模型，跨500万患者数据预训练，在11项慢性病预测任务及EHRShot基准中表现优于同类模型，将开源代码。

Detecting Functional Memorization in Code Language Models

检测代码语言模型中的功能记忆

Matthieu Meeus, Anil Ramakrishna, Shengyuan Hu, Matthew Grange, Zheng Xu, Luca Melis

机构 * Meta ； Imperial College London（伦敦帝国学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究代码语言模型的功能记忆现象，通过反事实设置对比暴露目标代码的模型与未暴露的参考模型，使用文本和功能相似性度量，发现功能记忆超出文本重叠的检测范围。

Would this change your answer? Evaluating Explanations of LLM Behavior In The Wild with Counterfactual Experiments

这会改变你的答案吗？通过反事实实验评估现实场景中大语言模型（LLM）行为的解释

Adam Karvonen, Euan Ong, Subhash Kantamneni, Samuel Marks

机构 * Anthropic 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出CHIVE流程，通过反事实实验评估大语言模型行为的解释，发现常见可解释性技术无预测提升，且CHIVE生成的训练数据可实现分布外泛化。

Backtrader-Bench: Benchmarking LLM Agents on Algorithmic Trading with Self-Generated MCQs

Backtrader-Bench：基于自生成多项选择题的算法交易大语言模型智能体基准测试

Ruoxi Zhao, Maziar Raissi

机构 * University of California, Riverside（加利福尼亚大学河滨分校） 纠错

专题命中 预训练与数据 ：LLM(title,summary_cn)；分类 cs.CL、cs.AI

AI总结 Backtrader-Bench是用于算法交易LLM智能体的基准框架，通过自生成MCQ解决评估难题，实验显示带工具智能体准确率显著高于无工具模型，还可生成强化学习训练语料以构建专用量化交易智能体。

Comments Accepted to the FinLLM Workshop at IJCAI 2026. Code and data: https://github.com/rzhao999/Backtrader-Bench

DataOrchestra: Learning to Orchestrate Per-Example Curation of Pretraining Data

数据编排器：学习编排预训练数据的示例级整理

Zhen Huang, Yikun Wang, Shijie Xia, Pengfei Liu

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究针对预训练数据处理未适应各示例需求的问题，提出DataOrchestra框架，统一处理操作并为每个示例编排特定管道，经实验验证该框架在多基准测试中表现良好，在数学持续预训练中有效且能减少计算。

Comments 36 pages

DomainPilot: Domain-Level Loss-Guided Two-Stage Data Mixture Optimization for Efficient Language Model Fine-Tuning

DomainPilot：用于高效语言模型微调的域级损失引导两阶段数据混合优化

He Zhang

机构 * Tsinghua University（清华大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；pretraining(abstract)；SFT(abstract)

AI总结 研究针对大语言模型训练数据问题，提出DomainPilot框架，通过域级损失引导两阶段数据混合优化，经令牌级监测、缩放与混合定律引导优化，在Qwen3-1.7B模型微调中验证，有效提升指标且不增成本。

SeaAlert: Robust Severity Classification and LLM-Based Information Extraction for Noisy Maritime Distress Communications

SeaAlert：基于大型语言模型的海上 distress 通讯关键信息提取

Tomer Atia, Yehudit Aperstein, Alexander Apartsin

机构 * HIT-Holon Institute of Technology（希伯来理工学院） ； Afeka Academic College of Engineering（阿菲卡工程学院） 纠错

专题命中 预训练与数据 ：LLM(title,summary_cn)；分类 cs.CL、cs.AI

AI总结 本文提出SeaAlert框架，通过生成合成数据解决海上 distress 通讯标注数据不足问题，利用LLM生成多样化消息并模拟噪声环境，提升自动分析鲁棒性。

Comments 21 pages

Beyond Safe Data: Pretraining-Stage Alignment with Regular Safety Reflection

超越安全数据：具有正则安全反射的预训练阶段对齐

Jinhan Li, Kexian Tang, Yihan Xu, Zhuorui Ye, Kaifeng Lyu

机构 * Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出安全反射预训练方法，在预训练语料中插入安全反思，使模型具备自我监控能力，实验表明该方法能有效降低推理和微调攻击成功率。

CHILLGuard: Towards Fine-Grained Chinese LLM Safety Guardrail with Scalable Data Construction and Model-aware Preference Alignment

CHILLGuard：面向细粒度中文大语言模型安全护栏的可扩展数据构建与模型感知偏好对齐

Wenbo Yu, Bohua Wang, Hao Fang, Kuofeng Gao, Jingru Zeng, Xiaochen Yang, Tianyi Zhang, Xiaoxiao Ma, Jiawei Kong, Hao Wu, Bin Chen, Shu-Tao Xia, Min Zhang

机构 * Tsinghua University（清华大学） ； Beijing Normal University（北京师范大学） ； South China University of Technology（华南理工大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Shenzhen ShenNong Information Technology Co., Ltd.（深圳神农信息技术有限公司） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 针对中文场景，提出细粒度风险分类体系（5大类31小类），通过可扩展数据构建管道生成高质量训练数据，并采用模型感知直接偏好优化训练CHILLGuard，在基准上F1分数提升15.92%。

Time Series as Language: A Universal Tokenizer for General-Purpose Time Series Foundation Models

时间序列作为语言：通用时间序列基础模型的通用分词器

Yunhao Zhang, Ruiying Qi, Jiale Zheng, Jianfeng Zhang, Lujia Pan, Junchi Yan

机构 * Shanghai Jiao Tong University（上海交通大学） ； Huawei Noah’s Ark Lab（华为诺亚方舟实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出UniTok通用分词器将时间序列转化为离散令牌，并基于NTP预训练UniTok-FM基础模型，支持零样本预测、提示增强预测以及少样本生成和分类，无需任务特定修改。

Community-Specific Slang and Entity Detection via Semantic Shift in Fine-Tuned Language Models

通过微调语言模型中的语义偏移检测社区特定俚语和实体

Julia Kruk, Sanchita Porwal, Amitrajit Bhattacharjee, Mansi Phute

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出无监督方法，通过测量词在微调前后的语义偏移幅度，从在线社区文本中自动识别俚语、独特实体和民俗用语。

Comments 6 pages, 6 figures, 2 tables

Hearing the Unspoken: Language Model Priors for Acoustic Adversarial Attacks

听弦外之音：面向声学对抗攻击的语言模型先验

Jiani Xie, Andrew C. Cullen, Paul Montague, Benjamin I. P. Rubinstein

机构 * University of Melbourne（墨尔本大学） ； DST Group（DST集团） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出Semantic Gambit攻击，利用大语言模型实时提供预测上下文，突破因果限制，使实时ASR系统词错误率提升至35.6%，较当前最优方法提高三倍。

GEM: Geometric Entropy Mixing for Optimal LLM Data Curation

GEM: 用于最优LLM数据策展的几何熵混合

Yue Min, Ziyun Qiao, Ruining Chen, Yujun Li

机构 * The Hong Kong University of Science and Technology, Hong Kong SAR, China（香港科学与技术大学） ； Peking University, Beijing, China（北京大学） ； University of Science and Technology of China, Hefei, China（中国科学技术大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；分类 cs.AI、cs.LG

AI总结 提出GEM框架，通过将数据策展重构为超球面上的变分问题并采用MM算法优化，解决了分类缺陷和嵌入各向异性问题，在1.1B参数模型上实现下游准确率提升1.2%。

Comments ICML 2026 Poster

TSFMAudit: Data Contamination Auditing in Forecasting Time Series Foundation Models

TSFMAudit: 时间序列基础模型中的数据污染审计

Hongkai Li, Shifeng Xie, Lefei Shen, Zhuo Li, Mouxiang Chen, Xiaobin Zhang, Han Fu, Jianling Sun, Xiaoxue Ren, Chenghao Liu

机构 * Zhejiang University（浙江大学） ； Télécom Paris（巴黎高等电信学院） ； State Street Technology (Zhejiang) Ltd.（State Street Technology（浙江）有限公司） ； Datadog 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 针对时间序列基础模型（TSFMs）预训练数据污染问题，提出基于探针适应动力学的审计方法TSFMAudit，通过检测微调后损失下降更快且骨干网络移动更小的异常现象来识别污染数据集。

Comments 22 pages, 7 figures, 9 tables

SimReg: Achieving Higher Performance in the Pretraining via Embedding Similarity Regularization

SimReg：通过嵌入相似性正则化提升预训练性能

Yan Sun, Guoxia Wang, Jinle Zeng, JiaBin Yang, Shuai Li, Li Shen, Dacheng Tao, DianHai Yu, Haifeng Wang

机构 * Baidu Inc.（百度公司） ； Sun Yat-sen University（中山大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出SimReg，通过增强相同标签嵌入的相似性与不同标签嵌入的对比，提升预训练效率和下游任务表现。

Naamah: A Large Scale Synthetic Sanskrit NER Corpus via DBpedia Seeding and LLM Generation

Naamah：通过DBpedia seeding和LLM生成构建大规模合成梵语命名实体识别语料库

Akhil Rajeev P, Annarao Kulkarni

机构 * Centre for Development of Advanced Computing (C-DAC)（发展高级计算中心） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Naamah，一个包含102942个句子的高质量梵语NER数据集，结合DBpedia实体提取与混合推理模型生成，用于评估XLM RoBERTa和IndicBERTv2模型。

LLM Hypnosis: Exploiting User Feedback for Unauthorized Knowledge Injection to All Users

LLM催眠：利用用户反馈进行未经授权的知识注入以影响所有用户

Almog Hilel, Riddhi Bhagwat, Idan Shenfeld, Jacob Andreas, Leshem Choshen

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； IBM Research（IBM研究院） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 研究揭示语言模型通过用户反馈进行知识注入的漏洞，通过反馈信号可操控模型行为，导致事实错误、代码漏洞和虚假新闻。

How Training Data Shapes the Use of Parametric and In-Context Knowledge in Language Models

训练数据如何塑造语言模型中参数知识和上下文知识的使用

Minsung Kim, Dong-Kyum Kim, Jea Kwon, Nakyeong Yang, Kyomin Jung, Meeyoung Cha

机构 * Seoul National University（首尔国立大学） ； Max Planck Institute for Security and Privacy（安全与隐私研究所） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；pretraining(abstract)；post-training(abstract)

AI总结 研究通过合成语料库实验，发现语言模型在处理参数知识和上下文知识时，需同时存在文档内重复、适度不一致和知识分布偏斜等特性才能实现稳健平衡的使用。

Comments 16 pages

Data Compressibility Quantifies LLM Memorization

数据压缩性量化大语言模型的记忆性

Yizhan Huang, Zhe Yang, Meifang Chen, Huang Nianchen, Jianping Zhang, Michael R. Lyu

机构 * The Chinese University of Hong Kong（香港中文大学） ； Nanyang Technological University（南洋理工大学） ； University of Southern California（南加州大学） ； Meta 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过数据压缩性量化大语言模型的记忆性，发现集级别指标能揭示熵与记忆性之间的线性关系。

Comments accepted by TMLR

Attributing Culture-Conditioned Generations to Pretraining Corpora

将文化条件化生成归因于预训练语料

Huihan Li, Arnav Goel, Keyu He, Xiang Ren

机构 * University of Southern California（南加州大学） ； IIIT Delhi（德里印度理工学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过分析预训练数据模式，探讨预训练如何导致文化条件化生成的偏差，提出MEMOed框架以识别记忆化生成，并发现高频文化生成更多记忆符号，而低频文化则无生成。

Tuning Language Models for Robust Prediction of Diverse User Behaviors

调优语言模型以鲁棒预测多样化用户行为

Fanjin Meng, Jingtao Ding, Jiahui Gong, Chen Yang, Hong Chen, Zuojian Wang, Haisheng Lu, Yong Li

机构 * Department of Electronic Engineering, BNRist, Tsinghua University（清华大学电子工程系，BNRist） ； Honor Device Co., Ltd（荣耀终端有限公司） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；pretraining(abstract)

AI总结 本文提出BehaviorLM，通过分阶段微调提升模型对长尾用户行为的预测能力，实验表明其在两个真实数据集上有效提升了对锚点和长尾行为的预测性能。

MachineLearningLM: Scaling Many-shot In-context Learning via Continued Pretraining

MachineLearningLM: 通过持续预训练扩展多示例上下文学习

Haoyu Dong, Pengkun Zhang, Mingzhe Lu, Yanzhen Shen, Guolin Ke

机构 * UCAS（中国科学院大学） ； Microsoft（微软） ； SCUT（华南理工大学） ； Stanford（斯坦福大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 MachineLearningLM通过持续预训练赋予大语言模型强大的上下文机器学习能力，同时保持其通用知识和推理能力，提升多示例任务表现。

WRAP++: Web discoveRy Amplified Pretraining

WRAP++：增强式网络发现预训练

Jiang Zhou, Yunhao Wang, Xing Wu, Tinghao Yu, Feng Zhang

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 WRAP++通过发现跨文档关系增强事实关联上下文，生成跨文档问答数据，提升模型在SimpleQA上的表现。

Comments Work in progress. Correspondence to ucaswu@tencent.com or wuxing@iie.ac.cn

IsoCompute Playbook: Optimally Scaling Sampling Compute for LLM RL

IsoCompute Playbook: 优化LLM RL中的采样计算规模

Zhoujun Cheng, Yutao Xie, Yuxiao Qu, Amrith Setlur, Shibo Hao, Varad Pimpalkhute, Tongtong Liang, Feng Yao, Zhengzhong Liu, Eric Xing, Virginia Smith, Ruslan Salakhutdinov, Zhiting Hu, Taylor Killian, Aviral Kumar

机构 * UC San Diego（UC圣地亚哥大学） ； MBZUAI-IFM ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文研究了LLM RL中采样计算的最优分配，发现并行回放数随计算预算增加而增加并饱和，不同问题驱动机制不同，且增加并行回放可减少干扰，问题数影响训练稳定性。

Comments 29 pages, 27 figures. Under review

DataChef: Cooking Up Optimal Data Recipes for LLM Adaptation via Reinforcement Learning

DataChef: 通过强化学习为LLM适应生成最优数据配方

Yicheng Chen, Zerun Ma, Xinchen Xie, Yining Li, Kai Chen

机构 * Fudan University（复旦大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 DataChef通过强化学习自动生成最优数据配方，使LLM适应性能达到人类专家水平。

Comments 20 pages, 11 figures

Less Finetuning, Better Retrieval: Rethinking LLM Adaptation for Biomedical Retrievers via Synthetic Data and Model Merging

更少微调，更好检索：通过合成数据和模型合并重新思考LLM适应于生物医学检索器

Sameh Khattab, Jean-Philippe Corbeil, Osman Alperen Koraş, Amin Dada, Julian Friedrich, François Beaulieu, Paul Vozila, Jens Kleesiek

机构 * IKIM, University Hospital Essen（IKIM，埃森大学医院） ； Microsoft Healthcare & Life Sciences（微软医疗与生命科学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出STM框架，通过合成数据和模型合并提升生物医学检索性能，实验显示在任务特定专家上提升23.5%并优于基线模型。

Comments Preprint

OpenSeal: Good, Fast, and Cheap Construction of an Open-Source Southeast Asian LLM via Parallel Data

OpenSeal: 通过并行数据高效构建开源东南亚LLM

Tan Sang Nguyen, Muhammad Reza Qorib, Hwee Tou Ng

机构 * Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 OpenSeal通过并行数据高效构建了首个开源东南亚LLM，实现了与现有模型相当的性能。

Learning Dynamics of Meta-Learning in Small Model Pretraining

David Demitri Africa, Yuval Weiss, Paula Buttery, Richard Diehl Martinez

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；small language model(abstract)

Comments Accepted (oral) to Student Research Workshop at IJCNLP-AACL 2025

Hubble: a Model Suite to Advance the Study of LLM Memorization

Johnny Tian-Zheng Wei, Ameya Godbole, Mohammad Aflah Khan, Ryan Wang, Xiaoyuan Zhu, James Flemings, Nitya Kashyap, Krishna P. Gummadi, Willie Neiswanger, Robin Jia

机构 * University of Southern California（南加州大学） ； Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Innovator: Scientific Continued Pretraining with Fine-grained MoE Upcycling

Ning Liao, Xiaoxing Wang, Zehao Lin, Weiyang Guo, Feng Hong, Shixiang Song, Geng Yu, Zihua Zhao, Sitao Xie, Longxuan Wei, Xiangqi Jin, Xiaohan Qin, Jiale Ma, Kai Chen, Jiangchao Yao, Zhouhan Lin, Junchi Yan, Zhiyu Li, Feiyu Xiong, Yanfeng Wang, Linfeng Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； MemTensor (Shanghai) Technology Co., Ltd.（MemTensor（上海）技术有限公司） ； Institute for Advanced Algorithms Research, Shanghai.（上海先进算法研究所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Comments Technical Report