语言大模型 / LLM

ED-DiT: Physics-Guided Diffusion Pretraining for Transferable Molecular Representations from Electron Density

ED-DiT：用于从电子密度学习可迁移分子表示的物理引导扩散预训练

Liang Shuang, Haocheng Wang, Jiayi Song, Shuquan Ye, Ben Fei

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 本研究提出ED-DiT，一种物理引导的扩散Transformer，通过电子密度点云自监督预训练学习可迁移分子表示，在6项EDBench任务及低监督场景下均优于基线，展现出良好效果。

Comments 16 pages, 9 figures, 7 tables, including supplementary material

Rethinking Pretraining for Specialized Design Data: Evidence from the JONES-19 Cultural Design Dataset

重新思考针对专业设计数据的预训练：来自JONES-19文化设计数据集的证据

Alexandros Haridis, Charles Zhou

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 该研究以JONES-19文化设计数据集为对象，对比两种CNN训练策略，发现小型高质量设计数据集结合多裁剪采样，可替代大规模通用预训练，为专业设计领域的ML研究提供新思路。

Comments 2026 Design Computing and Cognition Conference

Logographic Character Visual Pretraining via Semantic-based Contrastive Learning

基于语义对比学习的表意文字视觉预训练

Daqian Shi, Wei Cao, Xiaoyu Zheng, Lida Shi, Xiaolei Diao, Cedric M John

机构 * Queen Mary University of London（伦敦玛丽女王大学） ； Jilin University（吉林大学） ； King’s College London（伦敦国王学院） ； University College London（伦敦大学学院） 纠错

专题命中 预训练与数据 ：pretraining(title)；language model(abstract)；分类 cs.AI

AI总结 针对表意文字数据集不平衡问题，提出结合视觉与上下文语义的多模态学习方法，通过语义对比预训练提升字符识别性能，在多数据集及下游任务上优于现有最优方法。

Comments ACM MM 2026 paper

Curriculum Matters: Data-Efficient Relational PFN Pretraining with Synthetic Data

课程很重要：基于合成数据的数据高效关系型PFN预训练

Mohammad Sadeq Abolhasani, Viswanath Ganapathy

机构 * SAP Labs, LLC.（思爱普实验室有限责任公司） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 该研究针对关系型PFN预训练，发现采用PluRel作为合成数据源，渐进式课程设计可大幅减少所需合成数据量，且其性能接近专用关系型管线，凸显课程设计与合成数据多样性的关键作用。

Comments Accepted to the International Conference on Very Large Databases (VLDB 2026), Tabular Data Analysis (TaDA)

Bayesian Repetition Penalty: A Principled Adjacent-Conditional Framework for Reversing Attention Collapse in Autoregressive Language Models

贝叶斯重复惩罚：一种用于扭转自回归语言模型中注意力崩溃的有原则的相邻条件框架

Wenjie Fan, Bin Ma, Dong Li

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

AI总结 针对自回归语言模型注意力崩溃问题，提出基于相邻条件概率构造的贝叶斯重复惩罚框架，通过自归一化惩罚率校正异常置信度，经指数移动平均累积到输出层偏差，实验表明该机制能拯救崩溃模型并保持生成质量。

OPTScientist: Multi-Agent Discovery of Typed Optimizer Programs for Transformer Pretraining

OPTScientist：用于Transformer预训练的类型化优化器程序的多智能体发现

Zhongzheng Li, Tiancan Feng, Wenhao Li, Qingsong Ran, Shikun Feng, Xiaoyuan Zhang, Yue Wang, Xiaoguang Zhao

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Zhongguancun Academy（中关村科学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 研究针对深度学习优化器设计难题，提出OPTScientist多智能体框架，在类型化DSL中结合进化搜索与第二阶段机制，发现RS-MR优化器改进Transformer预训练，为自动优化器科学提供新路径。

Exposure is Optional: Learning Unlike Coordination in Language Models

曝光非必需：语言模型中学习不同类别的并列结构

Jiamu Luo, Shane Steinert-Threlkeld

机构 * University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 研究语言模型中不同类并列结构习得是否需直接曝光，用过滤语料库训练GPT-2模型，发现无需直接曝光，模型能泛化处理，还揭示了模型处理方式及可从同类并列结构学习，助力理解语言模型结构表示。

Comments 13 pages, 6 tables, 2 figures, to submit to TACL

On the Effectiveness of Pretraining for Graph Combinatorial Optimization

关于图组合优化预训练的有效性

David Aguado, Daniel Fuertes, Carlos R. del-Blanco, Fernando Jaureguizar

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 研究图组合优化的预训练有效性，提出自监督预训练框架，利用图对比学习和几何增强，使模型学习不变表示与距离分布，实验表明该策略优于未预训练模型，混合策略在TSP1000上有显著提升。

Comments This work was accepted to be presented at the Graph Signal Processing Workshop 2026

Learning Spatio-Temporal Foundation Models from Pure Synthetic Data

从纯合成数据中学习时空基础模型

Yutong Feng, Shiyuan Piao, Yutong Xia, Xu Liu, Wenqi Fan, Fugee Tsung, See-Kiong Ng, Yuxuan Liang

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； National University of Singapore（新加坡国立大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 研究旨在学习时空基础模型，提出NeoST，通过在程序生成的合成系统上预训练，引入可扩展语料库、潜在空间推理架构和目标，实验证明其在多样真实世界时空系统中性能优越，有长期稳定性和推理效率。

SynCLIP: Synonym-Coherent Language-Image Pretraining for Robust Open-Vocabulary Dense Perception

SynCLIP：用于鲁棒开放词汇密集感知的同义词一致语言-图像预训练

Mingjie Xie, Guangjun He, Dongli Xu, Youtian Lin, Hongjue Li, Pengming Feng, Jian Guan, Yue Deng

机构 * Beihang University（北京航空航天大学） ； State Key Laboratory of Space Information System and Integrated Application（空间信息系统与集成应用国家重点实验室） ； Nanjing University（南京大学） ； Harbin Engineering University（哈尔滨工程大学） ； Beijing Zhongguancun Academy（北京中关村科学城） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 研究针对开放词汇密集感知中同义词引起的定位不一致问题，提出SynCLIP框架，通过SSA和SAR模块增强注意力一致性与定位精度，构建SEViC支持预训练，实验证明该方法显著提升定位一致性并达领先性能。

Comments Accepted by CVPR 2026

Play2Perfect: What Matters in Dexterous Play Pretraining for Precise Assembly?

Play2Perfect：灵巧操作预训练对精密装配的关键因素

Tyler Ga Wei Lum, Kushal Kedia, C. Karen Liu, Jeannette Bohg

机构 * Stanford University（斯坦福大学） ； Cornell University（康奈尔大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 提出Play2Perfect框架，通过任务无关的玩耍预训练获取可复用的操作先验，再微调用于精密装配，在稀疏奖励和接触密集任务中实现33倍样本效率提升。

Comments 22 pages, 12 figures, 4 tables. Project page: https://play2perfect.github.io

A Multi-Analyst LLM Pipeline for Auditable Rule Discovery Across 68 Public Physiological Corpora

用于跨68个公共生理语料库进行可审计规则发现的多分析师大语言模型管道

Dovy Paukstys

机构 * Komori Care, LLC（科莫里护理公司） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.AI

AI总结 针对开放生理语料库异质性无法确定新监测平台探测器规则的问题，提出多分析师大语言模型工作流程，通过读取语料库文档、去重、审核、整合等操作，产生可审计规则形状库及探测器组件，推动文献规则向硬件验证发展。

Comments 8 pages, 2 figures, 9 tables; submitted to IEEE SPMB 2026

Self-Supervised Pretraining Improves Cross-Site and Cross-Scale Robustness of Point Cloud Leaf-Wood Segmentation

自监督预训练提高点云树叶-木材分割的跨站点和跨尺度鲁棒性

Heeju Mun, Tackang Yang, Yunsoo Nam, Changhyun Choi

机构 * Department of Landscape Architecture and Rural Systems Engineering, Seoul National University, Seoul, South Korea（景观建筑与乡村系统工程系，首尔国立大学，首尔，韩国） ； Interdisciplinary Program in Landscape Architecture, Seoul National University, South Korea（景观建筑跨学科项目，首尔国立大学，韩国） ； Integrated Major in Smart City Global Convergence, Seoul National University, Seoul, Republic of Korea（智能城市全球融合整合专业，首尔国立大学，首尔，韩国） ； Research Institute of Agriculture and Life Sciences, Seoul National University, Seoul, Republic of Korea（农业与生命科学研究院，首尔国立大学，首尔，韩国） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 研究树木点云树叶-木材分割方法跨森林类型和地点准确性差异问题，采用自监督预训练Point-M2AE并结合递归体素细分，提升了分割精度，在跨站点和跨尺度上表现良好，还改善了下游木材体积估计的性能。

Comments 30 pages, 10 figures

RMISC: A Large-scale Real-world Multivariate Corpus for Time Series Foundation Models

RMISC：用于时间序列基础模型的大规模真实世界多元语料库

Qian Sun, Yong-Ming Tian, Jia-Wei Huang, Cheng Feng, Shao-Qun Zhang

机构 * Nanjing University（南京大学） ； Siemens Data and AI Research（西门子数据与人工智能研究院） ； Nanjing University – Siemens Joint Research Center on Industrial AI（南京大学-西门子工业人工智能联合研究中心） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI

AI总结 研究真实世界多元数据对时间序列基础模型泛化性能的影响，通过建立RMISC语料库，预训练四个先进TSFMs并评估，发现纳入真实世界多元数据可提升泛化性能，为理解其对模型发展的作用提供了依据。

BlueMagpie-TTS: A Token-Efficient Tokenizer, Language Model, and TTS for Taiwanese-Accent Code-Switching Speech

蓝鹊语音合成系统：用于台湾口音语码转换语音的高效令牌分词器、语言模型和语音合成系统

Ho Lam Chung, Bo-Xuan Zheng, Cheng-Chieh Huang, Cheng-Han Chang, Jung-Ching Chen, Lok-Lam Ieong, Ting-Lin Hsiao, Yu-Cheng Lee, Yi-Hsin Chung, Yu-Kai Guo, Hung-yi Lee

机构 * National Taiwan University（台湾大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 研究针对现成语音合成系统不适配台湾普通话的问题，提出从底层解决文本问题的方法，包括训练PangolinTokenizer分词器、Barbet语言模型，构建蓝鹊语音合成系统，显著降低了字符错误率和词错误率，获多数盲听投票青睐。

Information Limits and Attractor Dynamics in Economies of Frontier LLM Agents: A Pre-Registered Test

前沿语言模型智能体经济中的信息限制与吸引子动力学：一项预注册测试

Cheng Qian

机构 * Independent Researcher（独立研究者） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.AI

AI总结 该研究对前沿语言模型智能体小型经济体进行预注册实验，测试耦合多智能体系统的两个预测。通过实验验证了比例投注耦合经济体中一些信息论相关定律，同时发现残差缩放测试结果否定了平滑平均场模型假设，还发布了相关代码等资料。

Comments 15 pages. Preprint. Zenodo: https://doi.org/10.5281/zenodo.21185866. Companion synthesis: arXiv:2606.12502

Mitigating Errors in LLM-Generated Web API Invocations via Retrieval-Augmented Generation and Constrained Decoding

通过检索增强生成和约束解码减轻大语言模型生成的Web API调用中的错误

Daniel Maninger, Leon Chemnitz, Jannis Brugger, Tushar Lamba, Amir Molzam Sharifloo, Mira Mezini

机构 * Technische Universität Darmstadt（德累斯顿技术大学） ； Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心） ； Pariton AI ； National Research Center for Applied Cybersecurity ATHENE（应用网络安全国家研究中心ATHENE） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.LG

AI总结 研究如何减轻大语言模型生成的Web API调用错误，提出检索增强生成（RAG）和约束解码（CD）两种互补方法，设计相应技术细节，在合成和真实数据集上评估，结果显示RAG、CD各有优劣，能提升Web API调用代码正确性。

Comments 54 pages, 11 figures; supersedes arXiv:2509.20172v6, which is a discarded journal extension of our work

Identifiability of Relational Queries in Multi-View Pretraining

多视图预训练中关系查询的可识别性

Ratan Bahadur Thapa, Daniel Hernández

机构 * University of Stuttgart, Germany（斯图加特大学，德国） ； Analytic Computing, KI, University of Stuttgart（斯图加特大学分析计算与人工智能研究所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 研究数据集成中查询可识别性问题，通过形式化接口定律下的查询可识别性，证明多项式时间证书CheckCert可判定、不可识别查询有误差下限、最小增强算法Greedy-MinAug可找最小接口集，实验验证了算法效果。

Comments Artifacts to be archived at DaRUS: https://doi.org/10.18419/DARUS-6292

Learning to Move Before Learning to Do: Task-Agnostic pretraining for VLAs

先学移动再学做事：面向VLA的任务无关预训练

Junhao Shi, Siyin Wang, Xiaopeng Yu, Li Ji, Jingjing Gong, Xipeng Qiu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 提出任务无关预训练（TAP）框架，先通过自监督逆动力学从廉价无标签交互数据学习可迁移运动先验，再用少量专家数据将先验与语言对齐，显著降低VLA模型对专家演示的依赖。

Comments Accepted to ICML 2026, 21 pages,6 figures

BamiBERT: A New BERT-based Language Model for Vietnamese

BamiBERT: 一种新的基于BERT的越南语语言模型

Dat Quoc Nguyen, Thinh Pham, Chi Tran, Linh The Nguyen

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 提出BamiBERT，一种从头训练的越南语BERT模型，支持2048 token上下文长度且无需分词，在15项指标中11项最优，刷新越南语编码器性能。

Can Language Models Actually Retrieve In-Context? Drowning in Documents at Million Token Scale

语言模型真的能进行上下文检索吗？在百万Token规模的文档中淹没

Siddharth Gollapudi, Nilesh Gupta, Prasann Singhal, Sewon Min

机构 * UC Berkeley（加州大学伯克利分校） ； UT Austin（得克萨斯大学奥斯汀分校） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 本文首次系统研究百万Token语料库上的上下文检索，提出0.6B参数的BlockSearch模型，通过注意力稀释分析引入长度感知调整，在MS MARCO和NQ上匹配稠密检索，在LIMIT上得分高出3倍。

Steal the Patch Size: Adversarially Manipulate Vision-Language Models

窃取补丁大小：对抗性操纵视觉-语言模型

Kai Hu, Akash Bharadwaj, Weichen Yu, Matt Fredrikson

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.LG

AI总结 提出一种黑盒模型窃取攻击，通过任务级侧信道推断视觉语言模型的补丁大小和预处理流程，并利用泄露信息实现预处理感知的迁移攻击和模型定向对抗操纵。

Journal ref ICML 2026

Beyond Perplexity: UTF-8 Validity in Byte-aware Language Models

超越困惑度：字节感知语言模型中的 UTF-8 有效性

Sangwhan Moon, Daisuke Oba, Youmi Ma, Tatsuya Hiraoka, Naoaki Okazaki

机构 * University of Tokyo（东京大学） ； National Institute of Information and Communications Technology（信息通信技术国家研究所） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 研究字节级分词语言模型生成无效UTF-8序列的问题，通过多语言训练实验发现UTF-8有效性收敛比困惑度慢约一倍，且罕见字符结构有效性更高，表明可靠UTF-8生成是需要单独评估的能力。

Comments ICML 2026

Privacy Vulnerabilities of Attention Layers in Tabular Foundation Models and Protection of High-Risk Queries

表格基础模型中注意力层的隐私漏洞及高风险查询的保护

Tânia Carvalho, Maxime Cordy

机构 * SnT, University of Luxembourg（卢森堡大学SnT研究所） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文发现表格基础模型的注意力机制会泄露成员信息，提出无影子模型的AMIA攻击，并基于k-匿名原理设计推理时防御，降低成员泄露风险。

Comments 18 pages, 12 figures, 4 tables

ROMEVA: Geometry-Preserving Vocabulary Expansion for Roman Urdu Language Models

ROMEVA: 罗马乌尔都语语言模型的几何保持词汇扩展

Mahnoor Khan, Afsheen Asif, Milhan Afzal Khan, Seemab Latif, Mehwish Fatima

机构 * Department of Computer Science, University of Agriculture Faisalabad（费萨拉巴德农业大学计算机科学系） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 针对罗马乌尔都语拼写变异导致的子词碎片化问题，提出ROMEVA方法，结合子词平均初始化和PCA引导的锚点损失来稳定词汇扩展中的嵌入，实验发现下游性能与嵌入稳定性存在脱节。

Provably Efficient Policy-Reward Co-Pretraining for Adversarial Imitation Learning

对抗模仿学习的可证明高效策略-奖励联合预训练

Tian Xu, Zexuan Chen, Zhilong Zhang, Yi-Chen Li, Chenyang Wang, Lei Yuan, Yang Yu

机构 * National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 针对对抗模仿学习（AIL）需大量在线交互的问题，提出基于奖励塑形分析的理论框架，设计策略-奖励联合预训练方法CoPT-AIL，首次从理论上证明预训练能提升AIL的模仿性能。

Comments Paper accepted by ICML 2026

Contextualizing Biological Language Models across Modalities via Logit-Space Contrastive Alignment

跨模态生物学语言模型的逻辑空间对比对齐

Yanjun Shao, Yundi Chen, Yashvi Patel, Aurelien Pelissier, María Rodríguez Martínez

机构 * Biomedical Informatics and Data Science, Yale School of Medicine（耶鲁医学院生物医学信息学与数据科学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.LG

AI总结 提出LOGICA框架，在输出逻辑空间进行对比学习，通过门控跨模态适配器保留预训练似然接口，实现跨不同词汇表模型的上下文条件预测，在蛋白质-配体结合、TCR-肽活性和药物耐药性预测任务上超越现有方法。

Geometry-Consistent Endoscopic Representations for Image-Guided Navigation via Structured Foundation Model Adaptation

几何一致的内窥镜表示用于图像引导导航：基于结构化基础模型适配

Hongchao Shu, Roger D. Soberanis-Mukul, Hao Ding, Morgan Ringel, Mali Shen, Saif Iftekar Sayed, Hedyeh Rafii-Tari, Mathias Unberath

机构 * Department of Computer Science, Johns Hopkins University（约翰霍普金斯大学计算机科学系） ； Semaphor Surgical ； Johnson & Johnson MedTech（强生医疗科技） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出统一框架，结合合成数据管道与层级感知几何语义适配，学习几何一致且领域鲁棒的图像表示，提升单目内窥镜中的位姿估计与深度预测性能。

SMGFM: Spectral Multimodal Graph Pretraining for Multimodal-Attributed Graphs

SMGFM: 面向多模态属性图的谱多模态图预训练

Zhengyu Wu, Xu Wang, Hongchao Qin, Xunkai Li, Guang Zeng, Rong-Hua Li, Guoren Wang

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 提出SMGFM框架，利用图频谱分解区分结构诱导语义与模态特有语义，通过频带路由实现跨模态融合，在图级和模态级任务上取得最优性能。

A Quantitative Experimental Repeated Measures Study of Training Dynamics in a Small Llama Style Language Model Under a Compute-Aware Token Budget

在计算感知令牌预算下小型Llama风格语言模型训练动态的定量实验重复测量研究

Joe Dwyer

机构 * Department of Computer Information Science, ECPI University（ECPI大学计算机信息科学系） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

AI总结 本研究通过重复测量设计，分析在固定计算预算下训练小型Llama模型时，验证损失、困惑度等指标随令牌数变化的动态，发现早期快速改进后出现非单调退化，表明计算感知评估应关注训练轨迹而非终点指标。