语言大模型 / LLM

She had Cobalt Blue Eyes: Prompt Testing to Create Aligned and Sustainable Language Models

Veronica Chatrath, Oluwanifemi Bamgbose, Shaina Raza

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；prompting(abstract)

Comments Accepted as Oral at the AAAI 2nd Workshop on Sustainable AI

Proving Test Set Contamination in Black Box Language Models

Yonatan Oren, Nicole Meister, Niladri Chatterji, Faisal Ladhak, Tatsunori B. Hashimoto

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；pretraining(abstract)；prompting(abstract)

Skywork: A More Open Bilingual Foundation Model

Tianwen Wei, Liang Zhao, Lichang Zhang, Bo Zhu, Lijie Wang, Haihua Yang, Biye Li, Cheng Cheng, Weiwei Lü, Rui Hu, Chenxia Li, Liu Yang, Xilin Luo, Xuejie Wu, Lunan Liu, Wenjun Cheng, Peng Cheng, Jianhao Zhang, Xiaoyu Zhang, Lei Lin, Xiaokun Wang, Yutuan Ma, Chuanhai Dong, Yanqi Sun, Yifu Chen, Yongyi Peng, Xiaojuan Liang, Shuicheng Yan, Han Fang, Yahui Zhou

专题命中 预训练与数据 ：foundation model(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

K2: A Foundation Language Model for Geoscience Knowledge Understanding and Utilization

Cheng Deng, Tianhang Zhang, Zhongmou He, Yi Xu, Qiyuan Chen, Yuanyuan Shi, Luoyi Fu, Weinan Zhang, Xinbing Wang, Chenghu Zhou, Zhouhan Lin, Junxian He

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；instruction tuning(abstract)

The Wisdom of Hindsight Makes Language Models Better Instruction Followers

Tianjun Zhang, Fangchen Liu, Justin Wong, Pieter Abbeel, Joseph E. Gonzalez

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；pretraining(abstract)；RLHF(abstract)

General Intelligence Requires Reward-based Pretraining

Seungwook Han, Jyothish Pari, Samuel J. Gershman, Pulkit Agrawal

机构 * Improbable AI Lab, MIT（Improbable AI Lab，麻省理工学院） ； Department of Psychology（心理学系） ； Center for Brain Science, Harvard University（哈佛大学脑科学中心） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Comments https://improbableai.notion.site/General-Intelligence-Requires-Reward-Based-Pretraining-2023b66e4cf580d3ab44c7860b75d25f?pvs=73

SHNU Multilingual Conversational Speech Recognition System for INTERSPEECH 2025 MLC-SLM Challenge

Yuxiang Mei, Yuang Zheng, Dongxing Xu, Yanhua Long

机构 * Shanghai Normal University（上海师范大学） ； Unisound AI Technology Co., Ltd.（Unisound人工智能技术有限公司） 纠错

专题命中 预训练与数据 ：SLM(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Comments Accepted by Interspeech 2025 MLC-SLM workshop

XRFix: Exploring Performance Bug Repair of Extended Reality Applications with Large Language Models

XRFix：利用大语言模型探索扩展现实应用的性能缺陷修复

Jingwen Wu, Hanyang Guo, Hong-Ning Dai, Xiapu Luo

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

AI总结 该研究针对XR应用性能缺陷修复的技术挑战，提出基于大语言模型的XRFix框架，构建缺陷数据集与定制检测工具，经实验验证其修复性能优于SOTA APR方法。

Journal ref Proceedings of the 48th International Conference on Software Engineering (ICSE 2026)

BrainNorm: A Foundation Model that knows Normal via Semantic Atlas Pretraining

BrainNorm：一种通过语义图谱预训练了解正常状态的基础模型

Madhumitha Venkatesh, Shanawaj S Madarkar, Konda Reddy Mopuri

机构 * Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)

AI总结 该研究提出BrainNorm基础模型，经约6.6万例T1w sMRI数据训练，通过语义图谱预训练学习规范表征，在多类下游任务上泛化性能优异，其识别的神经退行性偏差与临床病理吻合。

Know3D: Prompting 3D Generation with Knowledge from Vision-Language Models

Know3D: 通过视觉-语言模型的知识提示3D生成

Wenyue Chen, Wenjue Chen, Peng Li, Qinghe Wang, Xu Jia, Heliang Zheng, Rongfei Jia, Yuan Liu, Ronggang Wang

机构 * Peking University（北京大学） ； Math Magic（数学魔术） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Guangdong Provincial Key Laboratory of Ultra High Definition Immersive Media Technology（广东省超高清沉浸媒体技术重点实验室） ； Dalian University of Technology（大连理工大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；prompting(title)；large language model(abstract)

AI总结 本文提出Know3D框架，利用多模态大语言模型的知识提升3D生成的可控性，通过潜在状态注入实现语言可控的后视图生成，改进3D生成的几何细节与一致性。

Comments ECCV2026 page: https://xishuxishu.github.io/Know3D.github.io/

CoGate: Confidence-Gated Co-Decoding for Secure Code Generation

CoGate：用于安全代码生成的置信门控协同解码

Minghao Hu, Lannan Luo, Allen Roush, Phillip Howard

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 针对现有协同解码未考虑专家模型置信度的问题，提出CoGate方法，在多LLM后端和代码生成基准上优于CoSec+，在CWEval的Func-Sec@10指标最高提升12.6%。

Auditing pretraining contamination in single-cell foundation model benchmarks

单细胞基础模型基准中的预训练污染审计

Sarwan Ali

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)

AI总结 研究单细胞基础模型基准中的预训练污染问题，提出scContam审计框架，结合指纹信号与成员推理攻击。应用于多个基准和模型，发现部分基准有污染，且MIA-scFM的AUROC与模型容量数据比有关，证明预训练审计可行且应伴随基准报告。

The CRAFT principles for the responsible use of large language models in policymaking

政策制定中负责任使用大语言模型的CRAFT原则

Willem Fourie, Gray Manicom, Tanya de Villiers-Botha

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

AI总结 研究政策制定中如何利用大语言模型，提出CRAFT原则，即控制、严谨、问责、公平和透明，以在管理风险的同时充分利用大语言模型改善政策制定过程。

Alternative routes to universal diversity scaling in component systems: from proteomes to large language models

组件系统中通用多样性标度的替代路径：从蛋白质组到大语言模型

Andrea Mazzolini, Leonardo Agasso, Filippo Valle, Michele Caselle, Marco Cosentino Lagomarsino, Matteo Osella

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

AI总结 研究复杂组件系统中多样性标度定律的涌现条件，发现创新驱动增长模型与潜在异质性模型均能产生相同的宏观定律，但无法唯一确定生成机制。

Understanding the (In)Security of Vibe-Coded Applications

理解“氛围编码”应用的安全性（与非安全性）

Junquan Deng, Zhiyu Fan, Ruijie Meng

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文系统研究了通过“氛围编码”范式开发的应用的安全性，发现其存在占位符逻辑、未过滤输入和秘密泄露等重复性漏洞模式，根源在于AI代理的系统性局限，且即使改进LLM能力也无法消除根本风险。

Formal-Method-Guided Vibe Coding: Closing the Verification Loop on AI-Generated Safety-Critical Software Through Model-Driven Engineering

形式化方法引导的Vibe编码：通过模型驱动工程关闭AI生成安全关键软件的验证循环

Ran Wei, Le Zhu, Haochi Wang, Jim Woodcock, Fang Yan, Simon Foster, Xiangyang Ji

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 提出Forge管道，结合Vibe编码与模型驱动工程，通过多种形式化验证（Dafny、CSP、Isabelle）迭代修正LLM生成的Java代码，生成符合安全标准的验证证据。

Brain-DiT: A Universal Multi-state fMRI Foundation Model with Metadata-Conditioned Pretraining

Brain-DiT：一种基于元数据条件预训练的通用多状态fMRI基础模型

Junfeng Xia, Wenhao Ye, Xuanye Pan, Xinke Shen, Mo Wang, Quanying Liu

机构 * Department of Biomedical Engineering, Southern University of Science and Technology, China（南方科技大学生物医学工程系，中国） ； School of Biomedical Engineering, Shenzhen University, China（深圳大学生物医学工程学院，中国） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)

AI总结 提出Brain-DiT，一种基于扩散Transformer和元数据条件预训练的通用多状态fMRI基础模型，在24个数据集上预训练，通过生成式预训练学习多尺度表示，在7个下游任务中优于重建和对齐方法。

Scaling Laws for Moral Machine Judgment in Large Language Models

大语言模型中道德机器判断的扩展规律

Kazuhiro Takemoto

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

AI总结 研究通过评估75种大语言模型配置，发现模型规模与人类偏好距离呈幂律关系，扩展推理模型在较小规模时表现更优，为价值判断的扩展规律研究提供依据。

Comments 12 pages, 4 figures, 3 tables

Journal ref R Soc Open Sci. (2026) 13 (6): 260202

Can Multi-Agent LLMs Identify Their Peers? Stylometric Fingerprinting in Role-Constrained Political Analysis

多智能体大语言模型能否识别其同类？角色约束政治分析中的笔迹风格指纹识别

Juergen Dietrich

机构 * Democracy Intelligence gGmbH 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究多智能体LLM在政治分析中能否通过笔迹风格识别模型家族，提出SD-CV协议，T5模型在五类归属任务中达到F1=0.991，证明提示级匿名化无法消除模型身份信号。

Comments 24 pages, 3 figures

Toward Training Superintelligent Software Agents through Self-Play SWE-RL

通过自我对弈SWE-RL训练超级智能软件代理

Yuxiang Wei, Zhiqing Sun, Emily McMilin, Jonas Gehring, David Zhang, Gabriel Synnaeve, Daniel Fried, Lingming Zhang, Sida Wang

机构 * Meta FAIR ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Meta TBD Lab（Meta TBD 实验室） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出自我对弈SWE-RL（SSR）方法，通过强化学习在自对弈环境中训练单一LLM代理，使其在无需人工标注问题或测试的情况下，在真实代码库中迭代注入和修复软件缺陷，在SWE-bench基准上实现显著自我改进并超越人类数据基线。

Comments Accepted to ICML 2026

Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews

大规模监控AI修改内容：ChatGPT对AI会议同行评审影响的案例研究

Weixin Liang, Zachary Izzo, Yaohui Zhang, Haley Lepp, Hancheng Cao, Xuandong Zhao, Lingjiao Chen, Haotian Ye, Sheng Liu, Zhi Huang, Daniel A. McFarland, James Y. Zou

机构 * Department of Computer Science, Stanford University（斯坦福大学计算机科学系） ； Machine Learning Department, NEC Labs America（NEC美国实验室机器学习部门） ； Department of Biomedical Data Science, Stanford University（斯坦福大学生物医学数据科学系） ； Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系） ； Graduate School of Education, Stanford University（斯坦福大学教育研究生院） ； Department of Sociology, Stanford University（斯坦福大学社会学系） ； Graduate School of Business, Stanford University（斯坦福大学商学院） ； Department of Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程系） ； Department of Computer Science, UC Santa Barbara（加州大学圣芭芭拉分校计算机科学系） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种方法，用于估计大规模语料库中可能被大语言模型（LLM）显著修改或生成的文本比例。通过专家撰写和AI生成的参考文本，该最大似然模型能够高效地在语料库层面考察实际的LLM使用情况。研究以ChatGPT发布后举行的AI会议同行评审（ICLR 2024、NeurIPS 2023、CoRL 2023和EMNLP 2023）为案例，发现6.5%至16.9%的提交文本可能被LLM显著修改。生成文本的情境揭示了用户行为：在信心较低、接近截止日期或回复作者反驳较少的评审中，估计的LLM生成文本比例更高。此外，观察到语料库层面的趋势可能过于微妙，无法在个体层面检测到，并讨论了这些趋势对同行评审的影响。呼吁未来跨学科研究探讨LLM使用如何改变我们的信息和知识实践。

Comments 46 pages, 31 figures, ICML '24

CasualSynth: Generating Structurally Sound Synthetic Data

CasualSynth: 生成结构上合理的合成数据

Zehua Cheng, Wei Dai, Jiahao Sun, Thomas Lukasiewicz

机构 * Department of Computer Science, University of Oxford（牛津大学计算机科学系） ； Institute of Logic and Computation, TU Wien（维也纳技术大学逻辑与计算研究所） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出CasualSynth框架，通过解耦因果结构生成与语义实现，生成既符合因果机制又语义丰富的合成数据，解决了LLM在生成合成数据时无法保证因果正确性的问题。

Comments 15 pages

Reconstructing Sepsis Trajectories from Clinical Case Reports using LLMs: the Textual Time Series Corpus for Sepsis

利用大语言模型从临床病例报告中重建脓毒症轨迹：脓毒症的文本时间序列语料库

Shahriar Noroozizadeh, Jeremy C. Weiss

机构 * Machine Learning Department and Heinz College Carnegie Mellon University（卡内基梅隆大学机器学习系和海恩兹学院） ； National Library of Medicine National Institutes of Health（美国国家医学图书馆） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出利用大语言模型构建脓毒症文本时间序列语料库，通过提取病例报告中的时间局部发现，验证了LLM在时间局部化方面的有效性，并指出多模态整合的改进方向。

Comments Conference on Health, Inference, and Learning (CHIL 2026)

DisastRAG: A Multi-Source Disaster Information Integration and Access System Based on Retrieval-Augmented Large Language Models

DisastRAG：基于检索增强大语言模型的多源灾害信息整合与访问系统

Bo Li, Zhitong Chen, Kai Yin, Junwei Ma, Yiming Xiao, Ali Mostafavi

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文提出DisastRAG系统，整合结构化、非结构化和上下文灾害信息，通过多路径架构支持文档检索、结构化访问和外部网络回退，提升灾害管理信息获取效率。

Revisiting Sentiment Analysis for Software Engineering in the Era of Large Language Models

重新审视大规模语言模型时代软件工程中的情感分析

Ting Zhang, Ivana Clairine Irsan, Ferdian Thung, David Lo

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文研究了大规模语言模型在解决软件工程任务中标注数据不足问题的效果，比较了大模型与微调小模型在零样本和少样本场景下的表现。

Comments Accepted by ACM Transactions on Software Engineering and Methodology

Generative Event Pretraining with Foundation Model Alignment

基于基础模型对齐的生成事件预训练

Jianwen Cao, Jiaxu Xing, Nico Messikommer, Davide Scaramuzza

机构 * Robotics and Perception Group, University of Zurich（苏黎世大学机器人感知组） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)

AI总结 本文提出GEP框架，通过将互联网级图像数据集中的语义知识迁移到事件数据，并学习事件特有的时间动态，提升事件视觉基础模型在跨任务迁移学习中的性能。

Journal ref CVPR 2026 Findings

Learning to See through Illumination Extremes with Event Streaming in Multimodal Large Language Models

通过事件流学习在极端光照下视觉感知

Baoheng Zhang, Jiahui Liu, Gui Zhao, Weizhou Zhang, Yixuan Ma, Jun Jiang, Yingxian Chen, Wilton W. T. Fok, Xiaojuan Qi, Hayden Kwok-Hay So

机构 * The University of Hong Kong（香港大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文提出Event-MLLM，通过动态融合事件流与RGB帧进行全光视觉推理，引入光照指示器和光照校正损失，解决极端光照下多模态大语言模型的感知与推理问题。

Comments IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026

Understanding by Reconstruction: Reversing the Software Development Process for LLM Pretraining

通过重构理解：为LLM预训练反转软件开发过程

Zhiyuan Zeng, Yichi Zhang, Yong Shan, Kai Hua, Siyuan Fang, Zhaiyu Liu, Jiaheng Liu, Haozhe Wang, Yining Zheng, Ming Ding, Ke Shen, Ge Zhang, Wenhao Huang, Xipeng Qiu

专题命中 预训练与数据 ：LLM(title)；pretraining(title)；large language model(abstract)；language model(abstract)

AI总结 本文提出通过重构软件开发过程来提升LLM性能，通过模拟多智能体轨迹生成更丰富的监督信号，实验显示在多个基准测试中效果显著。

Harvest Video Foundation Models via Efficient Post-Pretraining

通过高效后预训练收获视频基础模型

Yizhuo Li, Kunchang Li, Yinan He, Yi Wang, Yali Wang, Limin Wang, Yu Qiao, Ping Luo

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(title,abstract)

AI总结 本文提出一种高效框架，通过随机丢弃视频片段和遮蔽文本来从图像基础模型中获取视频基础模型，提升了训练效率并强化了跨模态融合，实验表明其在多种视频-语言任务中达到SOTA性能。

When Machines Get It Wrong: Large Language Models Perpetuate Autism Myths More Than Humans Do

当机器出错时：大型语言模型传播自闭症谬误的程度超过人类

Eduardo C. Garrido-Merchán, Adriana Constanza Cirera Tirschtigel

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本研究发现大型语言模型在传播自闭症谬误方面比人类更严重，揭示了AI系统在知识表征上的缺陷。