语言大模型 / LLM

Arko-T: A Foundation Model for Text-to-Structured 3D Generation

Arko-T: 面向文本到结构化3D生成的基础模型

Liang Wang, Zhaoyang Xi, Zekai Xiang, Heng Meng, Qishan Zhang, Pingyi Zhou, Jin Liu, Litao Chen

机构 * Spatial Design Intelligence Lab, BitInf Ltd.（BitInf有限公司空间设计智能实验室） ； School of Computer Science, Wuhan University（武汉大学计算机学院） ； College of Computer and Information Engineering, Nanjing Tech University（南京工业大学计算机与信息工程学院） 纠错

专题命中 预训练与数据 ：foundation model(title)；LLM(abstract_cn)；分类 cs.LG

AI总结 提出4B参数文本到设计模型Arko-T，通过设计状态对齐实现从自然语言到可编辑参数化CAD程序的生成，在12项指标中8项最优，成本仅为前沿模型的十分之一。

A Controlled Counterexample to Strong Proxy-Based Explanations of OOD Performance: in a Fixed Pretraining-and-Probing Setup

对强代理基于解释的OOD性能的受控反例：在固定预训练和探测设置中

Hongmin Li

机构 * School of Life Science and Technology, Institute of Science Tokyo（生命科学与技术学院，科学东京研究所） ； Department of Computational Biology and Medical Sciences, Graduate School of Frontier Sciences（计算生物学与医学科学系，前沿科学研究生院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 研究探讨了代理是否必须与OOD探测准确性排名一致，发现代理可能无法追踪任务相关结构，揭示了强代理解释的边界。

Comments 19 pages, 3 figures

A Theory of How Pretraining Shapes Inductive Bias in Fine-Tuning

预训练如何塑造微调中的归纳偏置的理论

Nicolas Anguita, Francesco Locatello, Andrew M. Saxe, Marco Mondelli, Flavia Mancini, Samuel Lippl, Clementine Domine

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 通过分析对角线性网络中的预训练-微调流程，发现不同初始化尺度导致四种微调模式，其中较小的早期层初始化有助于特征重用和精炼，提升泛化能力。

Spatial Transcriptomics as Images for Large-Scale Pretraining

空间转录组学作为图像进行大规模预训练

Yishun Zhu, Jiaxin Qi, Jian Wang, Yuhua Zheng, Jianqiang Huang

机构 * Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心） ； Hangzhou Institute for Advanced Study, University of the Chinese Academy of Sciences（中国科学院大学杭州高等研究院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 提出将空间转录组学数据视为可裁剪的多通道图像，通过空间分块和基因子集选择来增加训练样本并保留空间上下文，实现大规模预训练，显著提升下游任务性能。

A Limit Theory of Foundation Models: A Mathematical Approach to Understanding Emergent Intelligence and Scaling Laws

基础模型的极限理论：从极限理论角度理解涌现智能与扩展定律的数学方法

Jun Shu, Junxiong Jia, Deyu Meng, Zongben Xu

机构 * School of Mathematics and Statistics（数学与统计学学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 本文通过极限理论构建数学框架，量化智能行为，揭示涌现智能源于参数极限架构，并推导基础模型的扩展定律。

Comments There exist some typos and inaccurate expression in this version

ECGFlowCMR: Pretraining with ECG-Generated Cine CMR Helps Cardiac Disease Classification and Phenotype Prediction

ECGFlowCMR: 利用心电图生成电影心脏磁共振的预训练助力心脏病分类和表型预测

Xiaocheng Fang, Zhengyao Ding, Guangkun Nie, Jieyi Cai, Yujie Xiao, Bo Liu, Jiarui Jin, Haoyu Wang, Shun Huang, Ting Chen, Hongyan Li, Shenda Hong

机构 * School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院） ； Polytechnic Institute of Zhejiang University, Zhejiang University（浙江大学 polytechnic 院） ； Institute of Computing Technology, University of the Chinese Academy of Sciences（中国科学院计算技术研究所） ； National Institute of Health Data Science, Peking University（北京大学健康数据科学国家研究院） ； Institute of Microelectronics, University of the Chinese Academy of Sciences（中国科学院微电子研究所） ； Department of Cardiology, Zhejiang University（浙江大学心内科部） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 提出ECGFlowCMR框架，通过相位感知掩码自编码器和解剖运动解耦流解决ECG与CMR的跨模态时序错配和解剖可观测性差距，生成逼真电影CMR序列，提升下游心脏病分类和表型预测性能。

Comments Accepted to KDD 2026

Time Series Causal Discovery via Context-Conditioned and Causality-Augmented Pretraining

基于上下文条件与因果增强预训练的时间序列因果发现

Biao Ouyang, Tengxue Zhang, Zhihao Zhuang, Yang Shu, Chenjuan Guo, Bin Yang

机构 * East China Normal University（东华师范大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 提出PTCD框架，通过上下文条件建模和可迁移因果增强的预训练范式，提升跨任务时间序列因果发现的泛化能力，在多个真实OOD数据集上因果发现和根因识别表现优异。

Comments 20 pages

Self-Supervised Multisensory Pretraining for Contact-Rich Robot Reinforcement Learning

面向接触丰富机器人强化学习的自监督多感官预训练

Rickmer Krohn, Vignesh Prasad, Gabriele Tiboni, Georgia Chalvatzaki

机构 * Interactive Robot Perception & Learning (PEARL) Lab, TU Darmstadt, Germany（图腾机器人感知与学习实验室，图腾施塔德大学，德国） ； Hessian.AI（海斯堡人工智能） ； Robotics Institute Germany (RIG)（德国机器人研究所（RIG）） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.LG

AI总结 提出MSDP框架，通过掩码自编码和跨模态预测学习多感官表示，并采用非对称架构（评论家使用交叉注意力提取动态特征，演员使用稳定池化表示）加速策略学习，在模拟和真实机器人任务中展现出鲁棒性和高效性。

Comments 8 pages, 11 figures

Journal ref IEEE Robotics and Automation Letters, 2026, Vol. 11, No. 6, pp. 6799-6806

FineInstructions: Scaling Synthetic Instructions to Pre-Training Scale

精细指令：将合成指令扩展到预训练规模

Ajay Patel, Colin Raffel, Chris Callison-Burch

机构 * University of Pennsylvania（宾夕法尼亚大学） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对大语言模型监督训练数据有限的问题，提出将互联网规模预训练文档知识转化为合成指令和答案训练对的程序，生成FineInstructions数据集，经实验验证该方法在预训练中表现优于其他技术。

"Not in My Backyard": LLMs Uncover Online and Offline Social Biases Against Homelessness

"Not in My Backyard"：LLMs揭示针对无家可归者的在线和线下社会偏见

Jonathan A. Karr, Benjamin F. Herbst, Matthew L. Sisk, Xueyun Li, Ting Hua, Matthew Hauenstein, Georgina Curto, Nitesh V. Chawla

机构 * University of Notre Dame（诺丁汉大学） ； United Nations University Institute in Macau（联合国大学澳门研究所） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文通过大规模数据集和LLM训练揭示了针对无家可归者的在线和线下社会偏见，展示了数据量对模型性能的重要性。

Seesaw: Accelerating Training by Balancing Learning Rate and Batch Size Scheduling

跷跷板：通过平衡学习率和批量调度加速训练

Alexandru Meterez, Depen Morwani, Jingfeng Wu, Costin-Andrei Oncescu, Cengiz Pehlevan, Sham Kakade

机构 * Harvard University（哈佛大学） ； Kempner Institute at Harvard University（哈佛大学 Kempner 机构） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究如何加速大语言模型预训练，提出Seesaw框架，通过平衡学习率和批量调度，在保留损失动态时减少串行步骤。理论上给出相关等效性证明并扩展，实验表明该框架能在相同浮点运算量下减少时钟时间，接近理论极限。

NexForge: Scaling Agent Capabilities through Requirement-Driven Task Synthesis for LLMs

NexForge：通过需求优先合成扩展可执行智能体任务

Jiarong Zhao, Zhikai Lei, Zhiheng Xi, Rui Zheng, Hang Yan, Jie Zhou, Qin Chen, Liang He

专题命中 预训练与数据 ：LLM(abstract)；post-training(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对可执行智能体训练数据扩展瓶颈，提出需求优先框架NexForge，通过需求发现、任务编译等步骤生成训练数据，提升了模型在多个基准测试中的性能，助力Nex-N2模型达到开源先进水平。

Polarity Detection of Sustainable Development Goals in News Text

新闻文本中可持续发展目标的极性检测

Andrea Cadeddu, Alessandro Chessa, Vincenzo De Leo, Gianni Fenu, Francesco Osborne, Diego Reforgiato Recupero, Angelo Salatino, Luca Secchi

机构 * LinkaLab 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 介绍可持续发展目标极性检测新任务，提出SDG - POD数据集，评估六种开源大语言模型在零样本和微调设置下的表现，发现微调模型性能更佳，合成训练数据可提升模型鲁棒性和分类性能。

Comments The paper has been updated thanks to the reviewers comments

Revisiting Text Ranking in Deep Research

重新审视深度研究中的文本排序

Chuan Meng, Litu Ou, Sean MacAvaney, Jeff Dalton

机构 * The University of Edinburgh（爱丁堡大学） ； University of Glasgow（格拉斯哥大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过复现实验，从检索单元、流水线配置和查询特性三个角度评估文本排序方法在深度研究中的有效性，并提出Q2Q方法缓解查询不匹配问题。

Comments Accepted at the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026)

Computational Safety for Generative AI: A Hypothesis Testing Perspective

生成式AI的计算安全性：假设检验视角

Pin-Yu Chen

机构 * IBM Research（IBM研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文从假设检验角度形式化生成式AI的计算安全性，提出基于信号处理的方法检测恶意输入和AI生成内容。

Comments Extended version of the paper presented at the ICML 2026 Workshop on Hypothesis Testing

FlowCLIP: Contrastive Pretraining Using Domain Names for Encrypted Traffic Classification

FlowCLIP: 使用域名的对比预训练进行加密流量分类

Eun Hun Choi

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 提出FlowCLIP框架，利用数据包侧信道特征（间隔、大小、方向）和CLIP对比目标对齐流量与域名表示，在QUIC流量数据集上跨周评估，优于基线方法。

GPA-RAM: Grasp-Pretraining Augmented Robotic Attention Mamba for Spatial Task Learning

GPA-RAM：用于空间任务学习的抓取预训练增强型机器人注意力Mamba

Juyi Sheng, Yangjun Liu, Sheng Xu, Zhixin Yang, Tiantian Xu, Mengyuan Liu

机构 * State Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School（国家一般人工智能重点实验室，北京大学深圳研究生院） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究所，中国科学院） ； State Key Laboratory of Internet of Things for Smart City, University of Macau（智慧城市物联网重点实验室，澳门大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 该研究提出GPA-RAM框架，通过GPA增强模仿策略并开发RAM实现高效计算，在多机器人平台的空间操纵任务中显著提升成功率，兼顾精度与实时性。

Quality Text, Robust Vision: The Role of Language in Enhancing Visual Robustness of Vision-Language Models

高质量文本，稳健视觉：语言在增强视觉语言模型视觉稳健性中的作用

Futa Waseda, Saku Sugawara, Isao Echizen

机构 * The University of Tokyo（东京大学） ； National Institute of Informatics（日本信息处理研究所） ； The University of Tokyo, National Institute of Informatics（东京大学、日本信息处理研究所） 纠错

专题命中 预训练与数据 ：language model(title,abstract)

AI总结 研究针对视觉语言模型对抗攻击问题，提出质量文本引导的对抗微调方法QT-AFT，利用高质量字幕提升视觉编码器对抗鲁棒性，在多个零样本数据集上实现了最先进的零样本对抗鲁棒性和纯净准确率，并揭示了语言增强视觉鲁棒性的关键见解。

Comments ACMMM 2025 Accepted. Codes are available at: https://github.com/futakw/QTAFT

TokenSwap: Backdoor Attack on the Compositional Understanding of Large Vision-Language Models

TokenSwap：对大型视觉语言模型组合理解的后门攻击

Zhifang Zhang, Qiqi Tao, Jiaqi Lv, Na Zhao, Lei Feng, Joey Tianyi Zhou

机构 * School of Computer Science and Engineering, Southeast University, China（东南大学计算机科学与工程学院） ； School of Electrical Engineering and Computer Science, University of Queensland, Australia（昆士兰大学电气工程与计算机科学学院） ； Design Pillar, Singapore University of Technology and Design（新加坡科技设计大学设计学院） ； Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR), Singapore（前沿人工智能研究中心（CFAR）） ； Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR), Singapore（高性能计算研究所（IHPC）） 纠错

专题命中 预训练与数据 ：language model(title,abstract)

AI总结 研究针对大型视觉语言模型的后门攻击，提出TokenSwap方法，通过注入视觉触发器和交换文本答案中关键令牌语法角色，并采用自适应加权损失，在多基准和不同架构上实现高成功率且隐蔽性强的后门攻击。

Enhancing In-context Panoramic Generation via Geometric-aware Pretraining

通过几何感知预训练增强上下文全景生成

Haoran Feng, Ruiyang Zhang, Longyi Zhang, Dizhe Zhang, Lu Qi

机构 * Insta360 Research（影石创新研究院） ； Tsinghua University（清华大学） ； Beihang University（北京航空航天大学） ； Wuhan University（武汉大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 该研究提出两阶段框架Canvas360用于上下文全景生成，结合几何感知预训练与微调。通过构建数据集及特定建模方法，增强文本到全景生成，经实验验证其能提高全景图像保真度，在相关指标上表现优异。

Comments Project page: https://zry000.github.io/Canvas360/ Github: https://github.com/Insta360-Research-Team/Canvas360

Back to Point: Exploring Point-Language Models for Zero-Shot 3D Anomaly Detection

回到点：探索用于零样本3D异常检测的点语言模型

Kaiqiang Li, Gang Li, Mingle Zhou, Min Li, Delong Han, Jin Wan

机构 * Key Laboratory of Computing Power Network and Information Security, Ministry of Education, Shandong Computer Science Center (National Supercomputer Center in Jinan), Qilu University of Technology (Shandong Academy of Sciences), Jinan, China（计算机功率网络与信息安全重点实验室，教育部，山东计算机科学中心（济南国家超级计算机中心），齐鲁大学（山东科学院），济南，中国） ； Shandong Provincial Key Laboratory of Computing Power Internet and Service Computing, Shandong Fundamental Research Center for Computer Science, Jinan, China（山东省计算功率互联网与服务计算重点实验室，山东省计算机科学基础研究中心，济南，中国） 纠错

专题命中 预训练与数据 ：language model(title,abstract)

AI总结 本文提出BTP框架，通过结合3D点云和文本嵌入，提升零样本3D异常检测的性能，实验表明其在Real3D-AD和Anomaly-ShapeNet上表现优异。

Comments CVPR 2026

Fisheye3R: Adapting Unified 3D Feed-Forward Foundation Models to Fisheye Lenses

Fisheye3R：将统一的3D前馈基础模型适应于鱼眼镜头

Ruxiao Duan, Erin Hong, Dongxu Zhao, Eric Turner, Alex Wong, Yunwen Zhou

机构 * Yale University（耶鲁大学） ； Google XR（谷歌XR） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)

AI总结 本文提出Fisheye3R框架，通过灵活学习方案在不退化性能的前提下，使多视角3D重建模型适应高径向畸变的鱼眼图像。

Comments European Conference on Computer Vision 2026

Image-based Geo-localization for Robotics: Are Black-box Vision-Language Models there yet?

基于图像的机器人地理定位：黑盒视觉语言模型是否已经足够？

Sania Waheed, Bruno Ferrarini, Michael Milford, Sarvapali D. Ramchurn, Shoaib Ehsan

机构 * University of Southampton（南安普顿大学） ； MyWay srl ； Queensland University of Technology（昆士兰科技大学） ； University of Essex（埃塞克斯大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)

AI总结 本文首次系统研究黑盒生成式视觉语言模型作为独立零样本地理定位系统的潜力，发现其在粗粒度定位上表现良好，但在细粒度定位上因现实变化而显著退化。

Comments Accepted to the ICRA 2026 Workshop on Multi-Modal Spatial AI for Robust Navigation and Open-World Understanding (MM-SpatialAI)

Cultural Counterfactuals: Evaluating Cultural Biases in Large Vision-Language Models with Counterfactual Examples

文化反事实：用反事实示例评估大型视觉语言模型中的文化偏见

Phillip Howard, Xin Su, Kathleen C. Fraser

机构 * Thoughtworks ； University of Ottawa（Ottawa大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)

AI总结 提出文化反事实数据集（近6万张反事实图像），通过图像编辑模型将不同人口特征的人置于真实文化背景中，量化大型视觉语言模型在宗教、国籍和社会经济地位方面的文化偏见。

Hierarchical Sparse Circuit Extraction from Billion-Parameter Language Models through Scalable Attribution Graph Decomposition

通过可扩展归因图分解从十亿参数语言模型中提取分层稀疏电路

Mohammed Mudassir Uddin, Shahnawaz Alam, Mohammed Kaif Pasha

机构 * Department of CSE, Muffakham Jah College of Engineering and Technology (MJCET)（计算机科学与工程系，穆法卡姆·贾赫工程与技术学院（MJCET）） 纠错

专题命中 预训练与数据 ：language model(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出分层归因图分解（HAGD）方法，通过跨层编码器训练、谱粗化、GNN引导分层遍历和因果干预验证，将电路提取复杂度降至O(n² log n)，在多个大模型上实现高行为保留。

Patronus: Identifying and Mitigating Transferable Backdoors in Pre-trained Language Models

Patronus: 识别和缓解预训练语言模型中的可迁移后门

Tianhang Zhao, Haodong Zhao, Wei Du, Pengzhou Cheng, Junxian Li, Sufeng Duan, Haojin Zhu, Gongshen Liu

专题命中 预训练与数据 ：language model(title,abstract)

AI总结 针对预训练语言模型供应链中可迁移后门的安全威胁，提出Patronus防御框架，通过输入侧不变性检测和双阶段缓解策略，在15个模型和9个任务上实现≥98.3%后门检测召回率。

Comments Work in progress

Latent Action Pretraining Through World Modeling

通过世界建模的潜在动作预训练

Bahey Tharwat, Yara Nasser, Ali Abouzeid, Ian Reid

机构 * Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed人工智能大学） ； Alexandria University（亚历山大大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 提出LAWM框架，通过世界建模从无标签视频中学习潜在动作表征，实现跨任务、环境和本体的迁移学习，在LIBERO基准和真实场景中优于使用真实动作预训练的方法。

MixTeX: Data-Efficient LaTeX OCR via Synthetic Pretraining and Limited Fine-Tuning

MixTeX: 通过合成预训练和有限微调实现数据高效的LaTeX OCR

Yuhan Xu, Yijun Zhao, Renqing Luo, Gary M. Weiss

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 提出MixTeX，通过合成预训练（无需真实LaTeX源）和少量真实样本微调，实现数据高效的LaTeX OCR，在英中印刷和手写基准上优于依赖大数据集的方法。

iARCS: Iterative Agentic RL for Controllable 3D Scene Generation

iARCS：用于可控3D场景生成的迭代智能体强化学习

Saugat Adhikari, Ashok Prasad Neupane, Pramish Paudel, Ajad Chhatkuli, Danda Pani Paudel

机构 * Tribhuvan University（特里布文大学） ； Pulchowk Campus, IOE, Tribhuvan University（特里布文大学工程学院普尔乔克校区） ； NAAMII（尼泊尔先进数学与信息学研究所） ； INSAIT, Sofia University “St. Kliment Ohridski”（索菲亚大学圣克莱门特奥赫里德斯基分校INSAIT） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；pretraining(abstract)；分类 cs.AI

AI总结 研究针对现有3D场景生成器无法满足任务约束的问题，提出iARCS迭代智能体强化学习框架，通过两阶段策略优化约束保真度，生成的数据可改进基础生成器，具实用价值。

Comments 15 pages, 9 figures, 4 tables. Includes appendix

Scaling Self-Play with Self-Guidance

通过自我指导实现自我对弈的扩展

Luke Bailey, Kaiyue Wen, Kefan Dong, Tatsunori Hashimoto, Tengyu Ma

机构 * Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.LG

AI总结 本文提出Self-Guided Self-Play算法，通过语言模型自身引导Conjecturer避免退化，解决传统自我对弈在计算资源扩展时的学习停滞问题，并在形式化定理证明中验证其有效性。