语言大模型 / LLM

Logographic Character Visual Pretraining via Semantic-based Contrastive Learning

基于语义对比学习的表意文字视觉预训练

Daqian Shi, Wei Cao, Xiaoyu Zheng, Lida Shi, Xiaolei Diao, Cedric M John

机构 * Queen Mary University of London（伦敦玛丽女王大学） ； Jilin University（吉林大学） ； King’s College London（伦敦国王学院） ； University College London（伦敦大学学院） 纠错

专题命中 预训练与数据 ：pretraining(title)；language model(abstract)；分类 cs.AI

AI总结 针对表意文字数据集不平衡问题，提出结合视觉与上下文语义的多模态学习方法，通过语义对比预训练提升字符识别性能，在多数据集及下游任务上优于现有最优方法。

Comments ACM MM 2026 paper

Curriculum Matters: Data-Efficient Relational PFN Pretraining with Synthetic Data

课程很重要：基于合成数据的数据高效关系型PFN预训练

Mohammad Sadeq Abolhasani, Viswanath Ganapathy

机构 * SAP Labs, LLC.（思爱普实验室有限责任公司） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 该研究针对关系型PFN预训练，发现采用PluRel作为合成数据源，渐进式课程设计可大幅减少所需合成数据量，且其性能接近专用关系型管线，凸显课程设计与合成数据多样性的关键作用。

Comments Accepted to the International Conference on Very Large Databases (VLDB 2026), Tabular Data Analysis (TaDA)

Bayesian Repetition Penalty: A Principled Adjacent-Conditional Framework for Reversing Attention Collapse in Autoregressive Language Models

贝叶斯重复惩罚：一种用于扭转自回归语言模型中注意力崩溃的有原则的相邻条件框架

Wenjie Fan, Bin Ma, Dong Li

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

AI总结 针对自回归语言模型注意力崩溃问题，提出基于相邻条件概率构造的贝叶斯重复惩罚框架，通过自归一化惩罚率校正异常置信度，经指数移动平均累积到输出层偏差，实验表明该机制能拯救崩溃模型并保持生成质量。

Towards Cultural Bridge by Bahnaric-Vietnamese Translation Using Transfer Learning of Sequence-To-Sequence Pre-training Language Model

通过基于序列到序列预训练语言模型的迁移学习实现巴拿语-越南语翻译以搭建文化桥梁

Dat Minh Tran Phan, Khang Nhat Hoang Vo, Tho Thanh Quan

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 为解决巴拿语-越南语翻译中资源不足问题，利用基于序列到序列预训练语言模型的迁移学习方法，借助预训练越南语模型，结合有限双语资源继续训练，并通过数据增强等优化，有效实现翻译，促进民族文化交流。

OPTScientist: Multi-Agent Discovery of Typed Optimizer Programs for Transformer Pretraining

OPTScientist：用于Transformer预训练的类型化优化器程序的多智能体发现

Zhongzheng Li, Tiancan Feng, Wenhao Li, Qingsong Ran, Shikun Feng, Xiaoyuan Zhang, Yue Wang, Xiaoguang Zhao

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Zhongguancun Academy（中关村科学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 研究针对深度学习优化器设计难题，提出OPTScientist多智能体框架，在类型化DSL中结合进化搜索与第二阶段机制，发现RS-MR优化器改进Transformer预训练，为自动优化器科学提供新路径。

Exposure is Optional: Learning Unlike Coordination in Language Models

曝光非必需：语言模型中学习不同类别的并列结构

Jiamu Luo, Shane Steinert-Threlkeld

机构 * University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 研究语言模型中不同类并列结构习得是否需直接曝光，用过滤语料库训练GPT-2模型，发现无需直接曝光，模型能泛化处理，还揭示了模型处理方式及可从同类并列结构学习，助力理解语言模型结构表示。

Comments 13 pages, 6 tables, 2 figures, to submit to TACL

On the Effectiveness of Pretraining for Graph Combinatorial Optimization

关于图组合优化预训练的有效性

David Aguado, Daniel Fuertes, Carlos R. del-Blanco, Fernando Jaureguizar

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 研究图组合优化的预训练有效性，提出自监督预训练框架，利用图对比学习和几何增强，使模型学习不变表示与距离分布，实验表明该策略优于未预训练模型，混合策略在TSP1000上有显著提升。

Comments This work was accepted to be presented at the Graph Signal Processing Workshop 2026

Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling

长度值模型：用于令牌级长度建模的可扩展值预训练

Zhen Zhang, Changyi Yang, Zijie Xia, Zhen Yang, Chengzhi Liu, Zhaotiao Weng, Yepeng Liu, Haobo Chen, Jin Pan, Chenyang Zhao, Yuheng Bu, Alkesh Patel, Zhe Gan, Xin Eric Wang

机构 * University of California, Santa Barbara（加州大学圣巴巴拉分校） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； LMSYS Org（LMSYS组织） ； Apple Inc.（苹果公司） 纠错

专题命中 预训练与数据 ：pretraining(title)；prompting(abstract)；分类 cs.CL

AI总结 本文提出Length Value Model，通过令牌级建模实现高效的长度预测，提升生成长度的准确性和效率，实验显示其在多个任务中优于现有模型。

Why Do Vision Language Models Struggle To Recognize Human Emotions?

为什么视觉语言模型难以识别人类情绪？

Madhav Agarwal, Sotirios A. Tsaftaris, Laura Sevilla-Lara, Steven McDonagh

机构 * The University of Edinburgh, UK（爱丁堡大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

AI总结 本文探讨视觉语言模型在识别人类情绪上的不足，指出面部表情识别任务的连续性和动态性导致模型存在连续性和时间信息处理的漏洞，提出改进采样策略和多阶段上下文增强方法以提升情绪识别能力。

Comments European Conference on Computer Vision (ECCV) 2026

Learning Spatio-Temporal Foundation Models from Pure Synthetic Data

从纯合成数据中学习时空基础模型

Yutong Feng, Shiyuan Piao, Yutong Xia, Xu Liu, Wenqi Fan, Fugee Tsung, See-Kiong Ng, Yuxuan Liang

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； National University of Singapore（新加坡国立大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 研究旨在学习时空基础模型，提出NeoST，通过在程序生成的合成系统上预训练，引入可扩展语料库、潜在空间推理架构和目标，实验证明其在多样真实世界时空系统中性能优越，有长期稳定性和推理效率。

Pretraining in Actor-Critic Reinforcement Learning for Locomotion

在机器人运动强化学习中预训练Actor-Critic算法

Jiale Fan, Andrei Cramariuc, Tifanny Portela, Marco Hutter

机构 * Robotic Systems Lab, ETH Zürich（苏黎世联邦理工学院机器人系统实验室） ； Section of Microengineering, EPFL（日内瓦联邦理工学院微工程系） ； ETH AI Center（苏黎世联邦理工学院人工智能中心） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 本研究提出了一种在机器人运动强化学习中预训练Actor-Critic算法的方法，通过预训练模型提升样本效率和任务性能。

Comments Published in IEEE Robotics and Automation Letters (RA-L)

SynCLIP: Synonym-Coherent Language-Image Pretraining for Robust Open-Vocabulary Dense Perception

SynCLIP：用于鲁棒开放词汇密集感知的同义词一致语言-图像预训练

Mingjie Xie, Guangjun He, Dongli Xu, Youtian Lin, Hongjue Li, Pengming Feng, Jian Guan, Yue Deng

机构 * Beihang University（北京航空航天大学） ； State Key Laboratory of Space Information System and Integrated Application（空间信息系统与集成应用国家重点实验室） ； Nanjing University（南京大学） ； Harbin Engineering University（哈尔滨工程大学） ； Beijing Zhongguancun Academy（北京中关村科学城） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 研究针对开放词汇密集感知中同义词引起的定位不一致问题，提出SynCLIP框架，通过SSA和SAR模块增强注意力一致性与定位精度，构建SEViC支持预训练，实验证明该方法显著提升定位一致性并达领先性能。

Comments Accepted by CVPR 2026

Play2Perfect: What Matters in Dexterous Play Pretraining for Precise Assembly?

Play2Perfect：灵巧操作预训练对精密装配的关键因素

Tyler Ga Wei Lum, Kushal Kedia, C. Karen Liu, Jeannette Bohg

机构 * Stanford University（斯坦福大学） ； Cornell University（康奈尔大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 提出Play2Perfect框架，通过任务无关的玩耍预训练获取可复用的操作先验，再微调用于精密装配，在稀疏奖励和接触密集任务中实现33倍样本效率提升。

Comments 22 pages, 12 figures, 4 tables. Project page: https://play2perfect.github.io

A Multi-Analyst LLM Pipeline for Auditable Rule Discovery Across 68 Public Physiological Corpora

用于跨68个公共生理语料库进行可审计规则发现的多分析师大语言模型管道

Dovy Paukstys

机构 * Komori Care, LLC（科莫里护理公司） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.AI

AI总结 针对开放生理语料库异质性无法确定新监测平台探测器规则的问题，提出多分析师大语言模型工作流程，通过读取语料库文档、去重、审核、整合等操作，产生可审计规则形状库及探测器组件，推动文献规则向硬件验证发展。

Comments 8 pages, 2 figures, 9 tables; submitted to IEEE SPMB 2026

Self-Supervised Pretraining Improves Cross-Site and Cross-Scale Robustness of Point Cloud Leaf-Wood Segmentation

自监督预训练提高点云树叶-木材分割的跨站点和跨尺度鲁棒性

Heeju Mun, Tackang Yang, Yunsoo Nam, Changhyun Choi

机构 * Department of Landscape Architecture and Rural Systems Engineering, Seoul National University, Seoul, South Korea（景观建筑与乡村系统工程系，首尔国立大学，首尔，韩国） ； Interdisciplinary Program in Landscape Architecture, Seoul National University, South Korea（景观建筑跨学科项目，首尔国立大学，韩国） ； Integrated Major in Smart City Global Convergence, Seoul National University, Seoul, Republic of Korea（智能城市全球融合整合专业，首尔国立大学，首尔，韩国） ； Research Institute of Agriculture and Life Sciences, Seoul National University, Seoul, Republic of Korea（农业与生命科学研究院，首尔国立大学，首尔，韩国） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 研究树木点云树叶-木材分割方法跨森林类型和地点准确性差异问题，采用自监督预训练Point-M2AE并结合递归体素细分，提升了分割精度，在跨站点和跨尺度上表现良好，还改善了下游木材体积估计的性能。

Comments 30 pages, 10 figures

RMISC: A Large-scale Real-world Multivariate Corpus for Time Series Foundation Models

RMISC：用于时间序列基础模型的大规模真实世界多元语料库

Qian Sun, Yong-Ming Tian, Jia-Wei Huang, Cheng Feng, Shao-Qun Zhang

机构 * Nanjing University（南京大学） ； Siemens Data and AI Research（西门子数据与人工智能研究院） ； Nanjing University – Siemens Joint Research Center on Industrial AI（南京大学-西门子工业人工智能联合研究中心） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI

AI总结 研究真实世界多元数据对时间序列基础模型泛化性能的影响，通过建立RMISC语料库，预训练四个先进TSFMs并评估，发现纳入真实世界多元数据可提升泛化性能，为理解其对模型发展的作用提供了依据。

BlueMagpie-TTS: A Token-Efficient Tokenizer, Language Model, and TTS for Taiwanese-Accent Code-Switching Speech

蓝鹊语音合成系统：用于台湾口音语码转换语音的高效令牌分词器、语言模型和语音合成系统

Ho Lam Chung, Bo-Xuan Zheng, Cheng-Chieh Huang, Cheng-Han Chang, Jung-Ching Chen, Lok-Lam Ieong, Ting-Lin Hsiao, Yu-Cheng Lee, Yi-Hsin Chung, Yu-Kai Guo, Hung-yi Lee

机构 * National Taiwan University（台湾大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 研究针对现成语音合成系统不适配台湾普通话的问题，提出从底层解决文本问题的方法，包括训练PangolinTokenizer分词器、Barbet语言模型，构建蓝鹊语音合成系统，显著降低了字符错误率和词错误率，获多数盲听投票青睐。

Information Limits and Attractor Dynamics in Economies of Frontier LLM Agents: A Pre-Registered Test

前沿语言模型智能体经济中的信息限制与吸引子动力学：一项预注册测试

Cheng Qian

机构 * Independent Researcher（独立研究者） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.AI

AI总结 该研究对前沿语言模型智能体小型经济体进行预注册实验，测试耦合多智能体系统的两个预测。通过实验验证了比例投注耦合经济体中一些信息论相关定律，同时发现残差缩放测试结果否定了平滑平均场模型假设，还发布了相关代码等资料。

Comments 15 pages. Preprint. Zenodo: https://doi.org/10.5281/zenodo.21185866. Companion synthesis: arXiv:2606.12502

Mitigating Errors in LLM-Generated Web API Invocations via Retrieval-Augmented Generation and Constrained Decoding

通过检索增强生成和约束解码减轻大语言模型生成的Web API调用中的错误

Daniel Maninger, Leon Chemnitz, Jannis Brugger, Tushar Lamba, Amir Molzam Sharifloo, Mira Mezini

机构 * Technische Universität Darmstadt（德累斯顿技术大学） ； Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心） ； Pariton AI ； National Research Center for Applied Cybersecurity ATHENE（应用网络安全国家研究中心ATHENE） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.LG

AI总结 研究如何减轻大语言模型生成的Web API调用错误，提出检索增强生成（RAG）和约束解码（CD）两种互补方法，设计相应技术细节，在合成和真实数据集上评估，结果显示RAG、CD各有优劣，能提升Web API调用代码正确性。

Comments 54 pages, 11 figures; supersedes arXiv:2509.20172v6, which is a discarded journal extension of our work

PoseVLA: Universal Pose Pretraining for Generalizable Vision-Language-Action Policies

面向通用视觉-语言-动作策略的通用姿态预训练

Haitao Lin, Hanyang Yu, Jingshun Huang, He Zhang, Yonggen Ling, Ping Tan, Xiangyang Xue, Yanwei Fu

机构 * Tencent Robotics X（腾讯机器人X） ； Futian Laboratory（福田实验室） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 预训练与数据 ：pretraining(title)；post-training(abstract)；分类 cs.LG

AI总结 本文提出Pose-VLA，通过分离预训练和后训练阶段，解决视觉-语言-动作模型中的特征坍塌和训练效率问题，实现通用3D空间先验提取与机器人特定动作空间的高效对齐。

Comments Accepted to Robotics: Science and Systems (RSS) 2026. Project website: https://hetolin.github.io/PoseVLA

Journal ref Robotics: Science and Systems, 2026

Identifiability of Relational Queries in Multi-View Pretraining

多视图预训练中关系查询的可识别性

Ratan Bahadur Thapa, Daniel Hernández

机构 * University of Stuttgart, Germany（斯图加特大学，德国） ； Analytic Computing, KI, University of Stuttgart（斯图加特大学分析计算与人工智能研究所） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 研究数据集成中查询可识别性问题，通过形式化接口定律下的查询可识别性，证明多项式时间证书CheckCert可判定、不可识别查询有误差下限、最小增强算法Greedy-MinAug可找最小接口集，实验验证了算法效果。

Comments Artifacts to be archived at DaRUS: https://doi.org/10.18419/DARUS-6292

Learning to Move Before Learning to Do: Task-Agnostic pretraining for VLAs

先学移动再学做事：面向VLA的任务无关预训练

Junhao Shi, Siyin Wang, Xiaopeng Yu, Li Ji, Jingjing Gong, Xipeng Qiu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 提出任务无关预训练（TAP）框架，先通过自监督逆动力学从廉价无标签交互数据学习可迁移运动先验，再用少量专家数据将先验与语言对齐，显著降低VLA模型对专家演示的依赖。

Comments Accepted to ICML 2026, 21 pages,6 figures

BamiBERT: A New BERT-based Language Model for Vietnamese

BamiBERT: 一种新的基于BERT的越南语语言模型

Dat Quoc Nguyen, Thinh Pham, Chi Tran, Linh The Nguyen

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 提出BamiBERT，一种从头训练的越南语BERT模型，支持2048 token上下文长度且无需分词，在15项指标中11项最优，刷新越南语编码器性能。

Can Language Models Actually Retrieve In-Context? Drowning in Documents at Million Token Scale

语言模型真的能进行上下文检索吗？在百万Token规模的文档中淹没

Siddharth Gollapudi, Nilesh Gupta, Prasann Singhal, Sewon Min

机构 * UC Berkeley（加州大学伯克利分校） ； UT Austin（得克萨斯大学奥斯汀分校） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 本文首次系统研究百万Token语料库上的上下文检索，提出0.6B参数的BlockSearch模型，通过注意力稀释分析引入长度感知调整，在MS MARCO和NQ上匹配稠密检索，在LIMIT上得分高出3倍。

Steal the Patch Size: Adversarially Manipulate Vision-Language Models

窃取补丁大小：对抗性操纵视觉-语言模型

Kai Hu, Akash Bharadwaj, Weichen Yu, Matt Fredrikson

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.LG

AI总结 提出一种黑盒模型窃取攻击，通过任务级侧信道推断视觉语言模型的补丁大小和预处理流程，并利用泄露信息实现预处理感知的迁移攻击和模型定向对抗操纵。

Journal ref ICML 2026

Arko-T: A Foundation Model for Text-to-Structured 3D Generation

Arko-T: 面向文本到结构化3D生成的基础模型

Liang Wang, Zhaoyang Xi, Zekai Xiang, Heng Meng, Qishan Zhang, Pingyi Zhou, Jin Liu, Litao Chen

机构 * Spatial Design Intelligence Lab, BitInf Ltd.（BitInf有限公司空间设计智能实验室） ； School of Computer Science, Wuhan University（武汉大学计算机学院） ； College of Computer and Information Engineering, Nanjing Tech University（南京工业大学计算机与信息工程学院） 纠错

专题命中 预训练与数据 ：foundation model(title)；LLM(abstract_cn)；分类 cs.LG

AI总结 提出4B参数文本到设计模型Arko-T，通过设计状态对齐实现从自然语言到可编辑参数化CAD程序的生成，在12项指标中8项最优，成本仅为前沿模型的十分之一。

A Controlled Counterexample to Strong Proxy-Based Explanations of OOD Performance: in a Fixed Pretraining-and-Probing Setup

对强代理基于解释的OOD性能的受控反例：在固定预训练和探测设置中

Hongmin Li

机构 * School of Life Science and Technology, Institute of Science Tokyo（生命科学与技术学院，科学东京研究所） ； Department of Computational Biology and Medical Sciences, Graduate School of Frontier Sciences（计算生物学与医学科学系，前沿科学研究生院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 研究探讨了代理是否必须与OOD探测准确性排名一致，发现代理可能无法追踪任务相关结构，揭示了强代理解释的边界。

Comments 19 pages, 3 figures

A Theory of How Pretraining Shapes Inductive Bias in Fine-Tuning

预训练如何塑造微调中的归纳偏置的理论

Nicolas Anguita, Francesco Locatello, Andrew M. Saxe, Marco Mondelli, Flavia Mancini, Samuel Lippl, Clementine Domine

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 通过分析对角线性网络中的预训练-微调流程，发现不同初始化尺度导致四种微调模式，其中较小的早期层初始化有助于特征重用和精炼，提升泛化能力。

Beyond Perplexity: UTF-8 Validity in Byte-aware Language Models

超越困惑度：字节感知语言模型中的 UTF-8 有效性

Sangwhan Moon, Daisuke Oba, Youmi Ma, Tatsuya Hiraoka, Naoaki Okazaki

机构 * University of Tokyo（东京大学） ； National Institute of Information and Communications Technology（信息通信技术国家研究所） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 研究字节级分词语言模型生成无效UTF-8序列的问题，通过多语言训练实验发现UTF-8有效性收敛比困惑度慢约一倍，且罕见字符结构有效性更高，表明可靠UTF-8生成是需要单独评估的能力。

Comments ICML 2026

Privacy Vulnerabilities of Attention Layers in Tabular Foundation Models and Protection of High-Risk Queries

表格基础模型中注意力层的隐私漏洞及高风险查询的保护

Tânia Carvalho, Maxime Cordy

机构 * SnT, University of Luxembourg（卢森堡大学SnT研究所） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文发现表格基础模型的注意力机制会泄露成员信息，提出无影子模型的AMIA攻击，并基于k-匿名原理设计推理时防御，降低成员泄露风险。

Comments 18 pages, 12 figures, 4 tables