Hi-DREAM: Brain-Inspired Hierarchical Diffusion for fMRI-to-Image Reconstruction via ROI Encoder and VisuAl Mapping
Hi-DREAM: 基于脑启发的层次化扩散用于fMRI到图像重建,通过ROI编码器和视觉映射
机构 * Dept of Data Science and AI, Monash University, Melbourne, Australia(数据科学与人工智能系,墨尔本大学,澳大利亚) ; School of Psychological Sciences, Monash University, Melbourne, Australia(心理学科学学院,墨尔本大学,澳大利亚) ; Brain and Mind Centre, University of Sydney, Sydney, Australia(脑与心智中心,悉尼大学,澳大利亚)
专题命中 扩散模型 :diffusion(title,abstract);分类 cs.CV
AI总结 提出Hi-DREAM框架,利用层次化扩散模型,通过ROI适配器将早期、中期和晚期视觉ROI流转换为多尺度皮层金字塔,并用轻量级ROI条件ControlNet注入解剖先验,在NSD数据集上实现最先进的高层语义重建和强低层结构。
Comments 18 pages, 5 figures