RIBOSPAN：用于多功能RNA建模的长上下文RNA基础模型
RIBOSPAN: A Long-Context RNA Foundation Model for Versatile RNA Modeling
浏览论文内容
中文总结 AI 辅助
本研究提出支持10240nt上下文的长RNA基础模型RIBOSPAN，结合多种技术实现高分辨率长RNA建模，在多任务评估中达最优性能，并开发基于其主干的mRNA生成与优化框架。
中文摘要 AI 辅助
全长RNA，尤其是信使RNA，通常超过现有RNA基础模型预训练所用的上下文长度，限制了单核苷酸分辨率下的完整转录本建模。我们提出RIBOSPAN，这是一个拥有16.1亿参数的双向RNA基础模型，原生预训练时支持长达10240个核苷酸（nt）的上下文长度。RIBOSPAN结合了密集双向自注意力、单核苷酸标记化以及注意力隔离的序列打包技术，可实现完整长RNA的高分辨率建模。我们通过核苷酸重建、受控长上下文表示基准测试以及冻结RNA类型表示分析对该模型进行评估。原生10K预训练在10240个token下保持了较强的重建能力，而采用40%掩码的持续预训练则提升了严重损坏下的恢复能力，同时保留了表示质量。长上下文基准测试进一步表明，原生10K模型在保持扰动诱导的表示变化高度局部化的同时，维持了较强的上下文响应性和上下文特定的表示分离。推理时的YaRN缩放恢复了短上下文模型直接外推所丢失的大部分上下文结构，但会引发显著更大的远端表示扩散。冻结表示评估进一步证明了该模型达到了当前最优的RNA表示质量，RIBOSPAN在不同RNA类型中实现了最强的整体性能，并在长RNA上保持了明显优势。基于同一主干，我们开发了一个多维条件离散扩散框架，用于全长mRNA的生成与重新设计，包括用于保留蛋白质的编码序列优化的同义密码子扩散。总之，RIBOSPAN为可迁移的RNA表示学习和完整转录本mRNA设计奠定了强大的长上下文基础。
英文摘要
Full-length RNAs, particularly messenger RNAs, often exceed the context lengths used to pretrain existing RNA foundation models, limiting complete-transcript modeling at single-nucleotide resolution. We present RIBOSPAN, a 1.61-billion-parameter bidirectional RNA foundation model natively pretrained with context lengths up to 10,240 nt. RIBOSPAN combines dense bidirectional self-attention, single-nucleotide tokenization, and attention-isolated sequence packing to enable high-resolution modeling of complete long RNAs. Native 10K pretraining preserves strong reconstruction at 10,240 tokens and, in a controlled long-context benchmark, maintains strong contextual responsiveness and context-specific representation separation while keeping perturbation-induced changes highly localized. Inference-time YaRN scaling recovers much of the contextual organization lost by direct short-context extrapolation, but induces substantially greater distal representation diffusion. Frozen RNA-type evaluations show that RIBOSPAN learns state-of-the-art RNA representations, with a particularly clear advantage on long RNAs. Across downstream biological benchmarks, RIBOSPAN emerges as the strongest encoder-only RNA foundation model, achieving state-of-the-art performance in both full-transcript biological property prediction and zero-shot mutation-fitness modeling. Building on the same backbone, we develop a multidimensionally conditioned discrete-diffusion framework for full-length mRNA generation and redesign, including synonymous-codon diffusion for protein-preserving CDS optimization. Together, RIBOSPAN establishes a powerful long-context foundation for transferable RNA representation learning, biological prediction, and full-transcript mRNA design.
发表机构
- Shanghai Innovation Institute（上海创新研究院）
- Center for Excellence in Molecular Cell Science, CAS（中国科学院分子细胞科学卓越创新中心）
- University of Chinese Academy of Sciences（中国科学院大学）
- Shanghai Jiao Tong University（上海交通大学）
机构由 AI 辅助整理，请以论文原文为准。
