语言大模型 / LLM

LM-GRASP: Instance-Specific Language Models for Combinatorial Construction via Online Imitation Learning

LM-GRASP：基于在线模仿学习的组合构造的实例特定语言模型

Mohand Mezmaz, Grégoire Danoy

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本研究提出LM-GRASP框架，将GRASP随机构造阶段转为在线模仿学习任务，用仅解码器Transformer作构造策略，在Taillard PFSP基准上平均比GPU-GRASP提升28.4个制造跨度单位，是手工构造器的实用替代方案。

Predict before you train: Scaling Laws for particle physics foundation models

训练前预测：粒子物理基础模型的缩放定律

Jan-Lucas Uslu, Benjamin Nachman, Christopher Re

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 研究粒子物理基础模型训练成本高及缩放回报难测问题，通过在小模型上拟合联合缩放定律预测大模型损失，还将其与下游物理性能关联，发布相关预训练模型、训练方法及代码。

ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information

ChineseBERT：通过字形和拼音信息增强的中文预训练模型

Zijun Sun, Xiaoya Li, Xiaofei Sun, Yuxian Meng, Guoyin Wang, Xiang Ao, Qing He, Fei Wu, Jiwei Li

机构 * Zhejiang University（浙江大学） ； Key Lab of Intelligent Information Processing of Chinese Academy of Sciences（中国科学院智能信息处理重点实验室） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL

AI总结 研究针对中文预训练模型忽略字形和拼音信息的问题，提出ChineseBERT，将二者纳入预训练，在大规模语料库上训练后，在多种中文NLP任务中性能显著提升，取得新SOTA，代码和模型已公开。

Comments To appear at ACL2021

KletterMix: Climbing Toward High-Quality German Pretraining Data - The Full Report

KletterMix: 攀登高质量德语预训练数据

Maurice Kraus, Ruben Härle, Sebastian Sztwiertnia, Abbas Goher Khan, Mehdi Ali, Michael Fromm, Nicolas Flores-Herr, Kristian Kersting

机构 * AI & ML Group, TU Darmstadt（人工智能与机器学习小组，德累斯顿技术大学） ； Lab1141 ； Lamarr Institute（拉马尔研究所） ； Fraunhofer IAIS（弗劳恩霍夫人工智能研究所） ； hessian.AI（海斯坦.AI） ； German Research Center for AI (DFKI)（德国人工智能研究中心（DFKI）） ； Centre for Cognitive Science, TU Darmstadt（认知科学中心，德累斯顿技术大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL

AI总结 通过翻译高质量英语语料库构建德语预训练语料库KletterMix，并验证其在德语下游任务中的有效性。

CuraWeb: Joint Optimization of Quality, Redundancy, and Diversity for Web-Scale Pretraining Data

CuraWeb：网络规模预训练数据的质量、冗余性和多样性联合优化

Peiguang Li, Yongwei Zhou, Juncheng Diao, Yuchun Fan, Jian Yang, Jianxiao Yang, Zhongda Su, Shuguang Jiao, Xiao Wei, Zhiye Zou, Gan Dong, Zhizhao Zeng, Rongxiang Weng, Jingang Wang, Xunliang Cai

机构 * Meituan（美团） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 研究针对开放网络语料库预训练数据优化的局限性，提出质量、冗余性和多样性联合优化范式，结合双轨清理与混合去重，构建CuraWeb语料库，实验证明其在多基准测试中性能显著优于基线。

Detecting LLM-Generated Tokens in Human--LLM Coauthored Text

在人类与大语言模型合作撰写的文本中检测大语言模型生成的令牌

Yangjun Lu, Hongyi Zhou, Fabian Spill, Kai Ye, Chengchun Shi, Jin Zhu

机构 * School of Mathematics, University of Birmingham（伯明翰大学数学学院） ； School of Statistics and Data Science, Shanghai University of Finance and Economics（上海财经大学统计与数据科学学院） ； Department of Statistics, The London School of Economics and Political Science（伦敦政治经济学院统计系） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；language model(abstract)；分类 cs.AI

AI总结 针对人类与大语言模型合作撰写文本中难以检测大语言模型生成内容的问题，提出在令牌级别运行、基于现有分数并平滑分数降低变异性的新方法，在合成与真实数据集上性能强，还部署了网站。

MSBraM: A Multi-scale Self-supervised Brain Foundation Model for Hierarchical EEG Dynamics Learning

MSBraM：用于分层脑电动力学学习的多尺度自监督脑基础模型

Tao Zhou, Jing Han, Lingyu Shu, Zixing Zhang

机构 * Hunan University（湖南大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 针对现有方法难捕捉EEG信号多尺度时间结构的问题，提出MSBraM模型。该模型采用两阶段预训练框架，经多尺度神经分词器和课程多尺度掩码策略学习分层EEG表征。实验显示其在多个下游任务中性能优越，证明显式建模多尺度时间动态对EEG基础模型的重要性。

Multimodal Pretraining for Generalizable EEG Representation Learning

用于可泛化脑电信号表征学习的多模态预训练

Targol Bakhtiarvand, Jugal Kalita, Adham Atyabi

机构 * University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 研究针对癫痫EEG模型应用局限问题，开发多模态EEG基础模型，结合多种编码器，通过创新预训练技术创建癫痫相关表征。在多个数据集和评估设置下实验，该模型实现强大癫痫检测与适应新场景能力，支持可解释癫痫定位，性能达当前最优。

BrainNext: A General-Purpose Self-Supervised Foundation Model for Brain MRI Analysis

BrainNext：用于脑MRI分析的通用自监督基础模型

Moona Mazher, Abdul Qayyum, Steven A. Niederer, Daniel C. Alexander

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 研究提出BrainNext通用自监督基础模型用于脑MRI分析，结合MAE预训练与三维双向xLSTM-UNet架构，从大量未标记数据学习，经微调用于下游任务，在FOMO 2025评估中表现出色，证明其可转移性和作为基础模型的潜力。

Perturbation is All You Need for Extrapolating Language Models

扰动是语言模型外推所需的一切

Zetai Cen, Jin Zhu, Xinwei Shen, Chengchun Shi

机构 * School of Mathematics, University of Bristol（布里斯托大学数学系） ； School of Mathematics, University of Birmingham（伯明翰大学数学系） ； Department of Statistics, University of Washington（华盛顿大学统计系） ； Department of Statistics, London School of Economics and Political Science（伦敦政治经济学院统计系） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

AI总结 本文针对大语言模型外推问题，提出基于扰动的方法，先转换前缀为语义邻域再进行下一个token预测，构建分层模型。通过建立五个属性发展外推性理论，经合成与真实数据评估，该方法提升支持域外预测性能，为语言建模提供实用路径。

Comments 59 pages

Gradient-Free Privacy Leakage in Federated Language Models through Selective Weight Tampering

通过选择性权重篡改在联邦语言模型中实现无梯度隐私泄露

Md Rafi Ur Rashid, Vishnu Asutosh Dasu, Kang Gu, Najrin Sultana, Shagufta Mehnaz

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； Dartmouth College（达特茅斯学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

AI总结 研究联邦语言模型中隐私敏感数据泄露问题，发现中间轮次模型快照及恶意参与者篡改选择性权重会加剧泄露，提出无梯度攻击方法，提升了成员推理召回率和私有数据重建率，还给出客户端防御隐私风险的技术建议。

Comments 21 pages (including bibliography and Appendix), Submitted to PETS'26

Knowledgeless Language Models: Suppressing Parametric Recall for Evidence-Grounded Language Modeling

无知识语言模型：抑制参数化记忆以进行基于证据的语言建模

Roi Cohen, Yvan Carré, Nick Lechtenbörger, Hendrik Droste, Lucas Kerschke, Russa Biswas, Gerard de Melo, Jan Buys

机构 * HPI / University of Potsdam（波茨坦大学哈索·普拉特纳数字工程学院） ； African Institute for Mathematical Sciences（非洲数学科学研究所） ； Department of Computer Science Aalborg University（奥尔堡大学计算机科学系） ； Department of Computer Science University of Cape Town（开普敦大学计算机科学系） ； Polytechnique Montréal（蒙特利尔理工大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL

AI总结 研究修改预训练信号能否使语言模型从参数化记忆转向基于证据的推理，引入无知识语言模型（KLLMs），其在命名实体匿名化语料库上预训练，实验表明能降低闭卷事实记忆，在多任务基准上表现优，提升鲁棒性与校准，为语言模型训练提供新思路。

CITRAS-FM: Tiny Time Series Foundation Model for Covariate-Informed Zero-Shot Forecasting

CITRAS-FM: 面向协变量信息零样本预测的微型时间序列基础模型

Yosuke Yamaguchi, Issei Suemitsu, Yuki Kajihara, Wenpeng Wei

机构 * University of Tokyo（东京大学） ； Keio University（庆应大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出CITRAS-FM，一个仅7M参数的时间序列基础模型，通过引入Shifted Attention和协变量合成方法CovSynth，实现高效零样本预测，在100个任务上达到子10M模型最优精度且CPU推理时间低于0.1秒。

Comments Accepted to EUSIPCO 2026. Code available at https://github.com/hitachi-ais/citras-fm

Prompting Complexity: Shortest Prompts for Texts and Behaviors in LLMs

提示复杂性：大语言模型中用于文本和行为的最短提示

Adrian Cosma

机构 * Dalle Molle Institute for Artificial Intelligence (IDSIA)（达勒·莫利人工智能研究所） 纠错

专题命中 预训练与数据 ：prompting(title,abstract)；language model(abstract)；分类 cs.CL

AI总结 研究提示复杂性，定义其为固定语言模型产生目标文本的最短合理提示量，类似资源受限柯尔莫哥洛夫复杂性。介绍计算方法、扩展定义到软提示复杂性，定义提示距离等，据此制定研究议程以探究短提示可实现的文本和行为。

A Unified Framework for In-Context Learning with Causal and Masked Language Models

一种用于上下文学习的因果和掩码语言模型统一框架

Chenrui Liu, Chuanlong Xie, Falong Tan, Yicheng Zeng, Lixing Zhu

机构 * Beijing Normal University at Zhuhai（北京师范大学珠海分校） ； Hunan University（湖南大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 研究上下文学习，提出统计学习框架，将自回归和掩码预训练目标置于共同风险分析中，在特定条件下得出推理时MASK和自回归目标的同阶上界等成果，做了实验验证。

RGB-Pointmap Pretraining for Unified 3D Scene Understanding

对比语言-彩色点图预训练用于统一3D场景理解

Ye Mao, Weixun Luo, Ranran Huang, Junpeng Jing, Krystian Mikolajczyk

机构 * Imperial College London（帝国理工学院伦敦分校） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.LG

AI总结 提出UniScene3D，一种基于Transformer的编码器，通过多视图彩色点图联合建模外观和几何，并引入跨视图几何对齐和接地视图对齐，在少样本和任务特定微调中达到SOTA。

Comments 19 Pages, ECCV 2026 Accepted

CEFR-Annotated WordNet: LLM-Based Proficiency-Guided Semantic Database for Language Learning

CEFR标注的WordNet：基于大语言模型的 proficiency 指导语义数据库用于语言学习

Masato Kikuchi, Masatsugu Ono, Toshioki Soga, Tetsu Tanabe, Tadachika Ozono

机构 * Nagoya Institute of Technology（名古屋技术大学） ； Kitami Institute of Technology（Kitami技术学院） ； Chitose Institute of Science and Technology（常立科学技术学院） ； Hokkaido University（北海道大学） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出基于CEFR的WordNet标注数据库，利用大语言模型自动整合语义网络与语言水平，开发出有效的上下文词法分类器，实验表明其性能与标准标注相当，且在语言教育中具有应用价值。

Comments The 15th edition of the Language Resources and Evaluation Conference (LREC 2026); resources are available at https://doi.org/10.5281/zenodo.17395388

LeVLJEPA: End-to-End Vision-Language Pretraining Without Negatives

LeVLJEPA：无负样本的端到端视觉语言预训练

Lukas Kuhn, Giuseppe Serra, Randall Balestriero, Florian Buettner

机构 * German Cancer Research Center（德国癌症研究中心） ； German Cancer Consortium（德国癌症联盟） ； Goethe University Frankfurt（法兰克福大学） ； Brown University（布朗大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.AI

AI总结 提出首个完全非对比的端到端视觉语言预训练方法LeVLJEPA，通过跨模态预测与分布正则化学习，无需负样本、温度参数等，生成更强的密集语义特征，在下游任务中优于对比基线。

Prototype Language Models

原型语言模型

Dan Ley, Giang Nguyen, Himabindu Lakkaraju, Julius Adebayo

机构 * Harvard University（哈佛大学） ； Guide Labs Inc.（Guide Labs公司） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract_cn)；分类 cs.LG

AI总结 提出原型语言模型架构PRISM，通过稀疏非负原型混合进行预测，在保持下游精度的同时实现快速训练数据归因和可解释性。

Multipole Semantic Attention: A Fast Approximation of Softmax Attention for Pretraining

多极语义注意力：一种用于预训练的Softmax注意力快速近似方法

Rupert Mitchell, Kristian Kersting

机构 * TU Darmstadt（达姆施塔特工业大学） ； Hessian Center for AI (hessian.AI)（黑森人工智能中心） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 提出多极语义注意力（MuSe），通过对查询和键分别聚类实现查询特定的摘要，在64k上下文预训练中加速36%且保持损失不变，无需架构修改，兼容现有预训练模型。

Revisiting Audio-language Pretraining for Learning General-purpose Audio Representation

重新审视音频-语言预训练以学习通用音频表示

Wei-Cheng Tseng, Xuanru Zhou, Mingyue Huo, Yiwen Shao, Hao Zhang, Dong Yu

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Zhejiang University（浙江大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Tencent AI Lab Seattle（腾讯AI实验室西雅图） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过构建大规模数据集CaptionStew并系统对比对比学习和字幕生成目标，揭示了音频-语言预训练在数据效率和可扩展性上的权衡，为通用音频表示学习提供了实证指导。

Comments ACL 2026 Main. Code available at https://github.com/AudenAI/Auden

SonoCLIP: Mask-Guided Region-Aware Vision-Language Pretraining for Fetal Ultrasound Analysis

SonoCLIP: 面向胎儿超声分析的掩码引导区域感知视觉-语言预训练

Hang Su, Chao Sun, Zhaofan Li, Wei Hu, Juhua Liu, Bo Du

机构 * School of Computer Science, Wuhan University, Wuhan, China（武汉大学计算机学院，武汉，中国） ； Institute of Artificial Intelligence, Wuhan University, Wuhan, China（武汉大学人工智能研究院，武汉，中国） ； Department of Ultrasound, Renmin Hospital of Wuhan University, Wuhan, China（武汉大学仁民医院超声科，武汉，中国） ； National Engineering Research Center for Multimedia Software, Wuhan University, Wuhan, China（武汉大学多媒体软件国家工程研究中心，武汉，中国） ； Hubei Key Laboratory of Multimedia and Network Communication Engineering, Wuhan University, Wuhan, China（湖北省多媒体与网络通信工程重点实验室，武汉大学，武汉，中国） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 提出SonoCLIP，首个百万级区域可控胎儿超声视觉-语言基础模型，通过掩码引导的全局-局部对比学习，提升对临床关键局部结构的敏感性，在零样本迁移中表现优异。

Towards Evaluating Data Priors for Tabular Foundation Models

面向表格基础模型的数据先验评估

Zeynep Türkmen, Kürşat Kaya, Alexander Pfefferle, Frank Hutter

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出一种统一接口，比较不同表格基础模型的数据先验对下游分类任务的影响，发现先验偏好不同且数据相似性仅部分解释下游行为。

Scaling limit of the Random Language Model

随机语言模型的标度极限

Eric De Giuli

机构 * Department of Physics, Toronto Metropolitan University（物理系，多伦多 Metropolitan 大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 研究随机语言模型在隐藏符号数趋于无穷、语法温度趋于零的标度极限下的相变行为，发现规则使用在临界值x_c=1/8处发生凝聚转变，并推导出熵等可观测量的标度律。

Comments 17 pages + 14 pages SI

Continual Memorization of Factoids in Language Models

语言模型中事实的持续记忆

Howard Chen, Jiayi Geng, Adithya Bhaskar, Dan Friedman, Danqi Chen

机构 * Princeton Language and Intelligence (PLI), Princeton University（普林斯顿大学普林斯顿语言与智能研究所） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL

AI总结 提出持续记忆任务，发现语言模型在后续微调中严重遗忘事实，并提出REMIX方法（混合随机词序列或预训练语料）缓解遗忘，优于回放等方法。

Journal ref Transactions on Machine Learning Research, 2026

moBERTo: A Modern Encoder for Portuguese via Continued Pretraining of ModernBERT

moBERTo: 通过ModernBERT的持续预训练实现的现代葡萄牙语编码器

Thiago Laitz, Thales Sales Almeida, João Guilherme Alves Santos, Giovana Kerche Bonás

机构 * UNICAMP（坎皮纳斯州立大学） ； Tropic AI ； Maritaca AI 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；post-training(abstract)；分类 cs.CL

AI总结 提出moBERTo，通过对ModernBERT-base在600亿token上持续预训练得到葡萄牙语编码器，在检索、分类、NER和NLU任务上表现优异，并揭示了持续预训练优于从头训练、分词器适配和长上下文后训练的影响。

Atomistic Language Models Understand and Generate Materials

原子语言模型理解与生成材料

Sathya Edamadaka, Krithik Ramesh, Ju Li, Rafael Gómez-Bombarelli

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Lyra Labs ； Lila Sciences 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.LG

AI总结 提出原子语言模型（ALMs），通过连续投影和分阶段训练统一原子编码器、大语言模型和去噪扩散模型，实现从自然语言生成和优化晶体结构，在晶体结构预测和从头生成上达到最优。

Qwen-RobotManip Technical Report: Alignment Unlocks Scale for Robotic Manipulation Foundation Models

Qwen-RobotManip 技术报告：对齐解锁机器人操作基础模型的规模

Haoqi Yuan, Zhixuan Liang, Anzhe Chen, Ye Wang, Haoyang Li, Pei Lin, Yiyang Huang, Zixing Lei, Tong Zhang, Jiazhao Zhang, Jie Zhang, Jingyang Fan, Gengze Zhou, Qihang Peng, Chenxu Lv, Xiaoyue Chen, An Yang, Fei Huang, Junyang Lin, Dayiheng Liu, Jingren Zhou, Chenfei Wu, Xiong-Hui Chen

机构 * Qwen Team（Qwen团队） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出 Qwen-RobotManip，通过统一的对齐框架（表示、运动和行为维度）实现多源异构操作数据的大规模协同训练，构建约38,100小时预训练语料，在零样本指令跟随、跨本体迁移等泛化能力上超越先前模型。

Comments 44 pages

EyeMVP: OCT-Informed Fundus Representation Learning via Paired CFP--OCT Pretraining

EyeMVP: 通过配对CFP-OCT预训练实现OCT启发的眼底表征学习

Zhuo Deng, Ruiheng Zhang, Ziheng Zhang, Weihao Gao, Yitong Li, Qian Wang, Lei Shao, Jiaoyue Dong, Zhixi Zeng, Lijian Fang, Haibo Wang, Xiaobin Lin, Tao Liu, Zhicheng Du, Zhengwei Zhang, Lin Yang, Zheng Gong, Xinyu Zhao, Zhenquan Wu, Fang Li, Zhiguang Zhou, Guoming Zhang, Sun Jing, Han Lv, Wenbin We, Lan Ma

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Beijing Tongren Eye Center, Beijing Tongren Hospital, Capital Medical University（首都医科大学附属北京同仁医院北京同仁眼科中心） ； Liangxiang Hospital of Beijing Fangshan District, Capital Medical University（首都医科大学北京市房山区良乡医院） ； The Third People's Hospital of Dalian（大连市第三人民医院） ； National Clinical Research Center for Endocrine and Metabolic Diseases, The Second Xiangya Hospital of Central South University（中南大学湘雅二医院国家内分泌代谢病临床医学研究中心） ； The Central Hospital of Baoji City（宝鸡市中心医院） ； Wuxi No.2 People's Hospital, Affiliated Wuxi Clinical College of Nantong University（南通大学附属无锡临床学院无锡市第二人民医院） ； Shenzhen Eye Hospital, Southern Medical University（南方医科大学深圳眼科医院） ； Beijing Friendship Hospital, Capital Medical University（首都医科大学附属北京友谊医院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 提出跨模态视网膜基础模型EyeMVP，利用配对CFP-OCT预训练，通过跨模态掩码重建将OCT结构信息注入CFP表征，在16项下游任务中优于现有模型，尤其对黄斑疾病诊断有显著提升。

GeoRoPE: Ground-Aware Rotary Adaptation for Remote Sensing Foundation Models

GeoRoPE: 面向遥感基础模型的地面感知旋转适配

Yu Luo, Kun Hu, Mengwei He, Xiaogang Zhu, Shan Zeng, Allen Benter, Wei Xiang, Patrick Filippi, Thomas Francis Bishop, Zhiyong Wang

机构 * The University of Sydney（悉尼大学） ； Edith Cowan University（埃迪斯科文大学） ； Adelaide University（阿德莱德大学） ； Wuhan Polytechnic University（武汉轻工大学） ； Climate, Orange Agricultural Institute（气候研究所，奥兰治农业研究所） ； La Trobe University（拉筹伯大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 提出GeoRoPE方法，通过地理坐标校准和频率校准解决遥感基础模型中的尺度失配问题，提升跨分辨率鲁棒性和尺度敏感表征学习。