An Attentive Dual-Encoder Framework Leveraging Multimodal Visual and Semantic Information for Automatic OSAHS Diagnosis
School of Electronic and Electrical Engineering, Shanghai University of Engineering Science（上海工程技术大学电子与电气工程学院）；INF Technology (shanghai) Co., Ltd.（INF科技（上海）有限公司）；Artificial Intelligence Innovation and Incubation Institute, Fudan University（复旦大学人工智能创新与孵化研究院）
本文提出一种融合视觉与语义信息的多模态双编码器框架，通过注意力网格、文本转换和交叉注意力提升OSAHS自动诊断精度，在四分类任务中达到91.3%的top-1准确率。
2024-12-25 cs.CV cs.LG
Deformable Attentive Visual Enhancement for Referring Segmentation Using Vision-Language Model
King Fahd University of Petroleum and Minerals（法赫德国王石油与矿产大学）
提出SegVLM视觉语言模型，通过集成SE块、可变形卷积和残差连接，并引入指代感知融合损失，提升指代分割精度与跨模态对齐，实验证明各组件有效且泛化性强。
2025-05-25 cs.CV
Continuous Emotion Recognition with Audio-visual Leader-follower Attentive Fusion
Nanyang Technological University（南洋理工大学）；Huazhong University of Science and Technology（华中科技大学）
我们提出了一个视听时空深度神经网络：（1）一个视觉块，包含一个预先训练的2D-CNN，然后是一个时间卷积网络（TCN）;（2）一个听觉块，包含几个并行的TCN;（3）一个领导者-追随者注意融合块，结合视听信息。具有大历史覆盖的TCN使我们的模型能够在大得多的窗口长度内利用时空信息（即，300)与基线和现有技术方法相比（即，36或48）。融合块强调视觉模态，同时使用模态间注意力机制利用噪声听觉模态。为了充分利用数据和减少过拟合，对训练集和验证集进行交叉验证。一致性相关系数（CCC）中心用于合并来自每个折叠的结果。在Aff-Wild 2数据库的测试（验证）集上，所实现的CCC对于效价为0.463（0.469），对于唤醒为0.492（0.649），这显著优于基线方法，其中对应的CCC对于效价和唤醒分别为0.200（0.210）和0.190（0.230）。该代码可在https://github.com/sucv/ABAW2上获得。
2021-08-17 cs.CV cs.MM
Attentive Explanations: Justifying Decisions and Pointing to the Evidence (Extended Abstract)
EECS, UC Berkeley（加州大学伯克利分校电气工程与计算机科学系）；University of Amsterdam（阿姆斯特丹大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；Facebook AI Research（Facebook人工智能研究院）
深度模型是视觉决策问题的事实标准，因为它们在各种视觉任务上的表现令人印象深刻。另一方面，它们的不透明性导致了对可解释系统的兴趣激增。在这项工作中，我们强调模型解释的重要性，在各种形式，如视觉指向和文本的理由。缺乏具有调整注释的数据是生成多模态解释的瓶颈之一。因此，我们提出了两个带有注释的大规模数据集，可以从视觉和文本上证明各种活动（即ACT-X）和问答（即VQA-X）的分类决策的合理性。我们还介绍了一种多模态方法，用于同时生成视觉和文本解释。我们定量地表明，使用文本解释进行训练不仅会产生更好的文本合理性模型，而且还会产生更好地本地化支持其决策的证据的模型。
2017-11-17 cs.CV
Attentive Generative Adversarial Network for Raindrop Removal from a Single Image
Peking University（北京大学）；National University of Singapore（新加坡国立大学）；Yale-NUS College（耶鲁-新加坡国立大学学院）
粘附在玻璃窗或相机镜头上的雨滴会严重妨碍背景场景的可见性，并大大降低图像质量。在本文中，我们解决了这个问题，通过视觉消除雨滴，从而将雨滴退化图像转化为一个干净的。这个问题是棘手的，因为首先被雨滴遮挡的区域没有给出。第二，被遮挡区域的背景信息大部分完全丢失。为了解决这个问题，我们应用了一个使用对抗训练的注意生成网络。我们的主要想法是将视觉注意力注入生成网络和辨别网络。在训练过程中，我们的视觉注意力了解雨滴区域及其周围环境。因此，通过注入这些信息，生成网络将更加关注雨滴区域及其周围的结构，而判别网络将能够评估恢复区域的局部一致性。本文的主要贡献是将视觉注意力注入生成网络和判别网络。我们的实验表明，我们的方法的有效性，它优于国家的最先进的方法定量和定性。
2018-05-06 cs.CV
Semantically-Aware Attentive Neural Embeddings for Image-based Visual Localization
SRI International（SRI国际）
我们提出了一种方法，结合外观和语义信息的2D图像为基础的本地化（2D-VL）跨越大的感知变化和时间滞后。与外观特征相比，场景的语义布局通常对外观变化更具有不变性。我们使用这种直觉，并提出了一种新的端到端的深度注意力为基础的框架，利用多模态线索生成强大的嵌入2D-VL。所提出的注意力模块预测共享通道注意力和特定于模态的空间注意力，以引导嵌入集中在更可靠的图像区域。我们在三个具有挑战性的本地化数据集上评估了我们的模型对最先进的（SOTA）方法的影响。我们报告了$19\%$在2D-VL方面相对于当前SOTA的平均（绝对）改善。此外，我们提出了一个广泛的研究，展示了我们的模型的每个组件的贡献，显示$8$ - $15\%$和$4\%$改进添加语义信息和我们提出的注意力模块。最后，我们展示了预测的注意力地图，为我们的模型提供了有用的见解。
2019-07-02 cs.CV
EVP: Enhanced Visual Perception using Inverse Multi-Attentive Feature Refinement and Regularized Image-Text Alignment
SRI NASU-SSAU（乌克兰国家科学院与乌克兰国立航空航天大学空间研究所）；KAUST（阿卜杜拉国王科技大学）；Intel Labs（英特尔实验室）
本研究提出EVP增强视觉感知架构，通过IMAFR模块与新型图文对齐模块优化Stable Diffusion骨干特征提取，在单图像深度估计和指代分割任务上取得SOTA结果。
2023-12-13 cs.CV
Attentive Relational Networks for Mapping Images to Scene Graphs
Beihang University（北京航空航天大学）；Beijing Advanced Innovation Center for Big Data and Brain Computing（大数据与脑计算北京高级创新中心）；University of Rochester（罗切斯特大学）
场景图生成是指将图像自动映射为语义结构图的任务，这需要正确标记每个提取的对象及其交互关系。尽管最近使用深度学习技术在目标检测方面取得了成功，但从视觉数据推断复杂的上下文关系和结构化图形表示仍然是一个具有挑战性的主题。在这项研究中，我们提出了一种新的注意关系网络，由两个关键模块与目标检测骨干来解决这个问题。第一个模块是语义转换模块，用于通过将视觉特征和语言特征转换到公共语义空间来捕获语义嵌入关系特征。另一个模块是图自关注模块，通过为相邻节点分配各种重要性权重来嵌入联合图表示。最后由关系推理模块生成精确的场景图，识别所有实体及其对应关系。我们在广泛采用的可视化基因组数据集上对我们提出的方法进行了评估，结果证明了我们的模型的有效性和优越性。
2019-04-06 cs.CV
Attentive Feature Aggregation or: How Policies Learn to Stop Worrying about Robustness and Attend to Task-Relevant Visual Cues
University of Edinburgh（爱丁堡大学）；UCL（伦敦大学学院）；Samsung AI Center - Cambridge, UK（三星AI研究中心-剑桥，英国）
本文提出AFA方法，通过注意力机制提升视觉-运动策略在扰动环境下的鲁棒性和泛化能力。
2026-02-27 cs.CV cs.RO
Adaptive-Attentive Geolocalization from few queries: a hybrid approach
Italian Institute of Technology（意大利理工学院）
我们解决的任务，跨域的视觉识别，其目标是地理定位一个给定的查询图像对一个标记的画廊，在查询和画廊属于不同的视觉域的情况下。为了实现这一目标，我们专注于通过利用注意力机制结合Few-Shot无监督领域自适应技术来构建一个领域鲁棒的深度网络，其中我们使用少量未标记的目标域图像来学习目标分布。通过我们的方法，我们能够在使用两个数量级的目标域图像的同时优于当前的最新技术。最后，我们提出了一个新的跨域视觉位置识别的大规模数据集，称为SVOX。pytorch代码可以在https://github.com/valeriopaolicelli/AdAGeo上找到。
2021-01-06 cs.CV
Hierarchical Attentive Recurrent Tracking
University of Oxford（牛津大学）
类不可知的对象跟踪是特别困难的，在杂乱的环境中，因为目标特定的判别模型不能被事先学习。受人类视觉皮层如何利用空间注意力和分离的“哪里”和“什么”处理路径来主动抑制不相关的视觉特征的启发，这项工作开发了一个分层的注意递归模型，用于视频中的单个对象跟踪。第一层注意力通过选择包含感兴趣对象的区域来丢弃大部分背景，而后续层则调整跟踪对象的特定视觉特征。这个框架是完全可区分的，可以通过梯度方法以纯粹的数据驱动方式进行训练。为了提高训练的收敛性，我们增加了损失函数与跟踪相关的一些辅助任务的条款。在两个数据集上对所提出的模型进行评估：KTH活动识别数据集上的行人跟踪和更困难的KITTI对象跟踪数据集。
2017-09-05 cs.AI cs.CV cs.NE
GrabVG: Graph-Attentive Binding for Visual Grounding in UAV Imagery
Northwestern Polytechnical University（西北工业大学）；Harbin Institute of Technology（哈尔滨工业大学）；The Hong Kong Polytechnic University（香港理工大学）
本文针对无人机图像视觉 grounding 的冗余与拓扑歧义问题，提出 GrabVG 框架，通过预注意假设搜索与图注意力特征绑定实现目标定位，在 AerialVG、AerialSense 数据集上精度显著优于基线且精度-速度权衡良好。
2026-08-20 cs.AI cs.CV
vGamba: Attentive State Space Bottleneck for efficient Long-range Dependencies in Visual Recognition
NewraLab；Beihang University（北京航空航天大学）；Beijing GoerTek Alpha Labs（北京歌尔泰克阿尔法实验室）；Imperial College London（伦敦帝国学院）；University of Electronic Science and Technology of China（电子科技大学）
vGamba通过引入轻量级状态空间模块替代传统瓶颈卷积，有效建模长程依赖，实现更高的计算和内存效率，适用于高分辨率视觉任务。
2026-03-30 cs.CV
UniHEAR: Unified Heterogeneous-Source Attentive Retrieval for Knowledge-Based Visual Question Answering
School of Aeronautics and Astronautics, Sichuan University（四川大学航空航天学院）
针对KB-VQA现有系统的单源检索瓶颈与检索源盲重排序问题，提出UniHEAR框架，在E-VQA和InfoSeek数据集上实现最优检索与VQA性能，提升Recall@1达6.7和1.2个点。
2026-08-06 cs.CL cs.CV cs.IR
Attentive Sequence to Sequence Translation for Localizing Clips of Interest by Natural Language Descriptions
Zhejiang University（浙江大学）；University of Technology Sydney（悉尼科技大学）；Hikvision Research Institute（海康威视研究院）
提出了一种新的基于自然语言描述的注意序列到序列翻译器（ASST）。我们做了两个贡献。首先，我们提出了一个双向递归神经网络（RNN）与精细校准的视觉语言注意机制，全面理解自由形式的自然语言描述。RNN在两个方向上解析自然语言描述，注意力模型将每个有意义的单词或短语注意到每个帧，从而导致对视频内容和描述语义的更详细的理解。其次，我们为网络设计了一个分层架构，以联合建模语言描述和视频内容。给定视频描述对，网络生成矩阵表示，即，一系列向量矩阵中的每个向量表示由描述调节的视频帧。二维表示不仅保留了帧的时间依赖性，而且提供了一种有效的方法来执行帧级视频语言匹配。分层架构利用具有多粒度的视频内容，从细微的细节到全局上下文。多粒度的集成产生了一个强大的表示多层次的视频语言抽象。我们在两个大规模数据集上验证了我们的ASST的有效性。我们的ASST在DiDeMo数据集上的排名$@1$中优于最先进的$4.28\%$。在Charades-STA数据集上，我们通过排名$@1,IoU=0.5$中的$13.41\%$显著提高了最新技术水平。
2018-08-27 cs.CV
Opening the Black Box of Financial AI with CLEAR-Trade: A CLass-Enhanced Attentive Response Approach for Explaining and Visualizing Deep Learning-Driven Stock Market Prediction
University of Guelph（圭尔夫大学）；CIFAR（加拿大高等研究院）；Vector Institute（向量研究所）；University of Waterloo（滑铁卢大学）；Waterloo AI Institute（滑铁卢人工智能研究所）
深度学习已被证明在广泛的问题领域优于传统的机器学习算法。然而，目前的深度学习算法被批评为无法解释的“黑匣子”，无法解释其决策过程。这是阻碍深度学习广泛应用于金融等具有监管流程的领域的主要缺点。因此，金融等行业不得不依赖决策树等传统模型，这些模型更具可解释性，但在处理复杂问题时不如深度学习有效。在本文中，我们提出了CLEAR-Trade，这是一种新颖的金融AI可视化框架，用于深度学习驱动的股市预测，可以缓解深度学习方法的可解释性问题。特别是，CLEAR-Trade提供了一种有效的方式来可视化和解释深度股票市场预测模型做出的决策。通过对标准普尔500指数的预测进行实验，验证了CLEAR-Trade在提高股票市场预测可解释性方面的有效性。结果表明，CLEAR-Trade可以为深度学习驱动的金融模型的决策过程提供重要见解，特别是对于监管流程，从而提高其在金融行业的潜在应用。
2017-09-05 cs.AI cs.CV cs.NE
Attentive Explanations: Justifying Decisions and Pointing to the Evidence
UC Berkeley EECS（加州大学伯克利分校电气工程与计算机科学系）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
深度模型是视觉决策模型的事实标准，因为它们在各种视觉任务上的表现令人印象深刻。然而，他们往往被视为不透明，无法解释他们的决定。相比之下，人类可以用自然语言证明他们的决定，并指出导致他们决定的视觉世界中的证据。我们假设深层模型也可以做到这一点，并提出了我们的指向和证明（PJ-X）模型，该模型可以用一个句子来证明其决定，并通过使用注意力机制反思其决定和解释过程来指向证据。不幸的是，没有数据集可用于视觉决策的参考解释。因此，我们在两个领域收集了两个数据集，在这两个领域中，解释决策是有趣和具有挑战性的。首先，我们扩展了视觉问答任务，不仅提供了一个答案，但也为答案的自然语言解释。其次，我们专注于解释人类活动，这在传统上比对象分类更具挑战性。我们广泛评估我们的PJ-X模型，无论是在理由和指向任务，通过比较它与以前的模型和消融使用自动和人工评估。
2017-07-25 cs.AI cs.CL cs.CV
X-AVDD: Cross-Attentive Audio-Visual Dataset Distillation
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Wadhwani School of Data Science & AI（瓦德瓦尼数据科学与人工智能学院）
针对现有视听数据集蒸馏方法内存密集、跨模态语义对应弱的问题，提出基于跨注意力的X-AVDD方法，解耦跨模态对齐与联合优化，在多数据集、多架构上实现准确率提升与成本降低。
2026-10-12 cs.CV cs.LG cs.SD
Fourier-Attentive Representation Learning: A Fourier-Guided Framework for Few-Shot Generalization in Vision-Language Models
Vietnamese German University（越南德语大学）
本文提出FARL框架，通过傅里叶分析解缠视觉表示，提升视觉-语言模型在少样本场景下的泛化能力。
2026-02-28 cs.CV
Video Action Recognition with Attentive Semantic Units
Huawei Technologies Ltd（华为技术有限公司）；Xi’an Jiaotong University（西安交通大学）；Xiamen University（厦门大学）
该研究挖掘动作标签背后的语义单元，结合多区域模块增强视觉-语言模型的视觉内容与语义单元对齐，通过自适应注意力选择相关单元解码时空表征，提升了动作识别的判别力与可迁移性，在全监督和少样本基准上均取得优异表现。
2023-10-10 cs.CV
SAFIN: Arbitrary Style Transfer With Self-Attentive Factorized Instance Normalization
IBM Research（IBM研究院）
艺术风格转移是指将一幅图像的风格特征转移到另一幅图像上，同时保留其内容。现有的方法通常利用各种归一化技术，尽管这些技术在充分地将不同的纹理转移到不同的空间位置方面面临限制。基于自我注意力的方法已经部分成功地解决了这个问题，但受到不必要的工件。受这些观察的启发，本文旨在结合两个世界的最佳：自我注意和正常化。这产生了一个新的即插即用模块，我们将其命名为Self-Attentive Factorized Instance Normalization（SAFIN）。SAFIN本质上是一个空间自适应归一化模块，其参数通过对内容和风格图像的关注来推断。我们证明，插入SAFIN到另一个国家的最先进的方法的基础网络的结果，在增强风格化。我们还开发了一种新的基础网络组成的小波变换的多尺度风格转移，当与SAFIN相结合，产生视觉上有吸引力的结果，较少不必要的纹理。
2021-05-20 cs.AI cs.CV cs.LG
Progressive Attention Networks for Visual Attribute Prediction
POSTECH（浦项科技大学）；Adobe Research（奥多比研究院）；Seoul National University（首尔国立大学）
我们提出了一种新的注意力模型，可以准确地注意到各种规模和形状的图像中的目标对象。该模型被训练为通过在卷积神经网络的多个层上的渐进注意过程来逐渐抑制输入图像中的不相关区域。每一层中的注意过程确定是否传递或阻挡某些空间位置处的特征以供后续层使用。所提出的渐进式注意力机制工作得很好，特别是当与硬注意相结合时。我们进一步采用本地上下文，将每个位置的邻域特征，并估计一个更好的注意力概率图。在合成数据集和真实数据集上的实验表明，所提出的注意力网络在视觉属性预测任务中优于传统的注意力方法。
2018-08-06 cs.CV
STEAM-EEG: Spatiotemporal EEG Analysis with Markov Transfer Fields and Attentive CNNs
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出STEAM-EEG框架，利用马尔可夫迁移场将EEG时间序列转换为时空图像，并结合注意力CNN与计算机图形学技术进行可视化和建模，以提升脑电信号的模式识别与临床决策支持。
2024-12-07 cs.AI cs.CE cs.CV
Shadow Generation with Decomposed Mask Prediction and Attentive Shadow Filling
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
本文提出DMASNet两阶段网络，通过分解掩码预测与注意力阴影填充为合成图像生成逼真阴影，并构建大规模数据集RdSOBA，实验证明其视觉效果与泛化能力更优。
2024-01-04 cs.CV
ProCAP: Probabilistic Cross-Attentive Prompt Learning for Vision-Language Models
University of Kurdistan（库尔德斯坦大学）；The University of Queensland（昆士兰大学）
提出ProCAP，一种概率交叉注意力提示学习框架，通过双向交叉注意力连接视觉与文本提示令牌，并用高斯参数化及KL/L2正则化减少过拟合，在不更新CLIP权重下提升少样本泛化与迁移性能。
2026-09-28 cs.CV
Top-down and Bottom-up Feature Combination for Multi-sensor Attentive Robots
Technological Institute of Aeronautics (ITA)（航空技术学院（ITA））；São Paulo State University (UNESP)（圣保罗州立大学（UNESP））
在实际任务中，机器人可获得的信息在时间和空间上都是广泛分布的，这就要求智能体搜索相关数据。在人类中，当声音、图像和气味在日常场景中呈现给他们的传感器时，他们面临着同样的问题，一个自然系统被应用：注意力。由于视觉在我们的日常生活中起着重要的作用，大多数关于注意力的研究都涉及这种感觉系统，同样的研究也被复制到机器人领域。然而，现在大多数机器人任务不仅仅依赖于视觉数据，这仍然是昂贵的。为了允许使用注意力的概念与其他机器人传感器，通常用于任务，如导航，自我定位，搜索和映射，一个通用的注意力模型已被提出。在这项工作中，特征映射函数被设计为从距离扫描仪和声纳传感器的数据中构建到该关注模型的特征映射。在高保真度的模拟机器人环境中进行了实验，结果表明该模型能够处理从多个传感器提取的多个特征上的突出刺激和目标驱动的注意力。
2013-07-22 cs.CV cs.RO
DALG: Deep Attentive Local and Global Modeling for Image Retrieval
深入学习的表示已经以检索然后重新排序的方式实现了卓越的图像检索性能。最近的国家的最先进的单阶段模型，它巧妙地融合了本地和全球的功能，实现了有前途的效率和有效性之间的权衡。然而，我们注意到，现有的解决方案的效率仍然受到限制，因为他们的多尺度推理范式。在本文中，我们遵循单阶段的艺术，并获得进一步的复杂性和有效性的平衡，成功地摆脱了多尺度测试。为了实现这一目标，我们放弃了广泛使用的卷积网络，因为它在探索不同的视觉模式方面存在局限性，并采用基于完全注意力的框架来进行鲁棒的表示学习，这是由Transformer的成功所激发的。除了使用Transformer进行全局特征提取外，我们还设计了一个由基于窗口的多头注意力和空间注意力组成的局部分支，以充分利用局部图像模式。此外，我们建议通过交叉注意模块将分层局部和全局特征相结合，而不是像以前的技术那样使用启发式融合。通过我们的深度关注局部和全局建模框架（DALG），大量的实验结果表明，可以显着提高效率，同时保持与最先进技术的竞争结果。
2022-07-01 cs.CV
ProActive: Self-Attentive Temporal Point Process Flows for Activity Sequences
IIT Delhi（德里印度理工学院）
任何人类活动都可以表示为实现特定目标所执行的动作的时间序列。与机器制造的时间序列不同，这些动作序列是高度不同的，因为完成类似动作所花费的时间可能在不同的人之间有所不同。因此，理解这些序列的动态对于许多下游任务（诸如活动长度预测、目标预测等）是必不可少的。现有的对活动序列进行建模的神经方法要么限于视觉数据，要么是任务特定的，即，仅限于下一个动作或目标预测。在本文中，我们提出了ProActive，神经标记时间点过程（MTPP）框架，用于对活动序列中的动作的连续时间分布进行建模，同时解决三个高影响力的问题-下一个动作预测，序列目标预测和端到端序列生成。具体来说，我们利用一个自我注意模块与时间规范化流程的影响和一个序列中的动作之间的到达时间。此外，对于时间敏感的预测，我们通过一个约束的边缘为基础的优化过程进行早期检测的序列目标。这反过来又允许ProActive使用有限数量的操作来预测序列目标。对来自三个活动识别数据集的序列进行的广泛实验表明，ProActive在动作和目标预测方面的准确性显著提高，并且首次应用端到端动作序列生成。
2022-06-10 cs.CV cs.LG
CAR-Net: Clairvoyant Attentive Recurrent Network
Stanford University（斯坦福大学）；Race Optimal（Race Optimal公司）；Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））
我们提出了一个可解释的路径预测框架，利用代理的行为和空间导航环境之间的依赖关系。我们利用两个来源的信息：过去的运动轨迹感兴趣的代理和广泛的顶视图图像的导航场景。我们提出了一个千里眼注意递归网络（CAR-Net），它可以在解决路径预测任务时学习在场景的大图像中看哪里。我们的方法可以处理原始图像内的任何区域或区域组合（例如，道路交叉口）。这使我们能够可视化影响轨迹预测的导航场景的细粒度语义元素。为了研究空间对智能体轨迹的影响，我们构建了一个由数百个场景（一级方程式赛道）的顶视图图像组成的新数据集，其中智能体的行为受到图像中已知区域的严重影响（例如，即将到来的转折）。CAR-Net成功地关注了这些突出的地区。此外，CAR-Net在标准轨迹预测基准斯坦福无人机数据集（SDD）上达到了最先进的精度。最后，我们展示了CAR-Net推广到不可见场景的能力。
2018-07-31 cs.CV
Lumbar Bone Mineral Density Estimation from Chest X-ray Images: Anatomy-aware Attentive Multi-ROI Modeling
University of Maryland（马里兰大学）；PAII Inc.（PAII公司）；Alibaba Group DAMO Academy（阿里巴巴集团达摩院）；Xpeng Motors（小鹏汽车）；Ping An Technology（平安科技）；Chang Gung Memorial Hospital（长庚纪念医院）
骨质疏松症是一种常见的慢性代谢性骨疾病，由于骨矿物质密度（BMD）检查（例如通过双能X射线吸收测定法（DXA））的使用有限，经常诊断不足和治疗不足。本文提出了一种方法来预测骨密度从胸部X射线（CXR），最常见的和低成本的医学影像检查之一。我们的方法首先自动检测局部CXR骨骼结构的感兴趣区域（ROI）。然后，开发了一种具有Transformer编码器的多ROI深度模型，以利用胸部X射线图像中的局部和全局信息进行准确的BMD估计。我们的方法进行了评估13719 CXR患者的情况下，地面真实BMD测量的金标准DXA。该模型预测的BMD与地面真实值有很强的相关性（腰椎1的Pearson相关系数为0.894）。当应用于骨质疏松症筛查时，它实现了高分类性能（平均AUC为0.968）。作为首次尝试使用CXR扫描来预测BMD，所提出的算法具有很强的潜力，用于早期骨质疏松症筛查和公共健康促进。
2022-06-09 cs.CV eess.IV
Looking Back and Forth: Cross-Image Attention Calibration and Attentive Preference Learning for Multi-Image Hallucination Mitigation
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Harbin Institute of Technology（哈尔滨工业大学）；Beijing Institute of Technology（北京理工大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳分校）
本文提出CAPL框架，通过跨图像注意力校准和偏好学习缓解多图像幻觉问题，提升模型对跨图像关联的建模能力，并在多个任务中取得稳定性能提升。
2026-03-07 cs.AI cs.CV
Cross-Identity Motion Transfer for Arbitrary Objects through Pose-Attentive Video Reassembling
Yonsei University（延世大学）；Facebook
我们提出了一种基于注意力的网络，用于在任意对象之间传输运动。给定源图像和驾驶视频，我们的网络根据驾驶视频中的运动来动画化源图像中的主体。在我们的注意力机制中，计算源图像和驱动图像中学习到的关键点之间的密集相似性，以便从源图像中检索外观信息。采取不同的方法从研究翘曲的模型，我们的注意力为基础的模型有几个优点。通过重新组装非本地搜索件从源内容，我们的方法可以产生更真实的输出。此外，我们的系统可以利用对源外观的多个观察（例如，面部的正面和侧面）来使结果更准确。为了减少自监督学习的训练-测试差异，引入了一种新的交叉身份训练方案。通过训练方案，我们的网络被训练为在不同的主体之间传输运动，就像在真实的测试场景中一样。实验结果验证了我们的方法在各种对象域产生视觉上令人愉快的结果，表现出更好的性能相比，以前的作品。
2020-07-17 cs.CV
Co-AttenDWG: Co-Attentive Dimension-Wise Gating and Expert Fusion for Multi-Modal Offensive Content Detection
Department of Computer Science and Engineering, Bangladesh University of Business and Technology（计算机科学与工程系，孟加拉国商业技术大学）；Department of Computer Science, American International University-Bangladesh（计算机科学系，美国国际大学-孟加拉国）
针对多模态攻击性内容检测中跨模态交互不足、融合策略僵化的问题，提出带维度门控的协同注意力与专家融合模型Co-AttenDWG，在两个数据集上实现了当前最优性能。
2025-07-30 cs.CL cs.CV
MHSA: A Multi-scale Hypergraph Network for Mild Cognitive Impairment Detection via Synchronous and Attentive Fusion
针对现有超图脑网络分析仅依赖单尺度向量距离的不足，提出融合时频域同步特征的多尺度超图网络MHSA，用于轻度认知障碍检测，在真实数据集上验证了有效性。
2025-01-12 cs.AI cs.CV cs.LG
Knee Osteoarthritis Severity Prediction using an Attentive Multi-Scale Deep Convolutional Neural Network
Indian Institute of Technology Guwahati（印度古瓦哈蒂印度理工学院）；Cleveland Clinic（克利夫兰诊所）；Duke-NUS Medical School（杜克-新加坡国立大学医学院）；National University of Singapore（新加坡国立大学）
本文提出 OsteoHRNet，结合 HRNet 多尺度特征提取与注意力机制，从膝部X光片自动预测KL分级，并在OAI数据集上取得优于已有方法的性能。
2021-06-27 cs.CV eess.IV
Distilling Knowledge From a Deep Pose Regressor Network
University of Oxford（牛津大学）
本文提出了一种新的方法来提取知识的深度姿态回归网络有效的视觉里程计（VO）。标准蒸馏依赖于成功的知识转移的“暗知识”。由于这些知识在姿势回归中不可用，并且教师预测并不总是准确的，因此我们建议仅当我们信任教师时才强调知识转移。我们实现这一点，通过使用教师损失作为一个信心分数，把可变的相对重要性的教师预测。我们通过注意力模仿损失（AIL）将此置信度分数注入到主训练任务中，并通过注意力提示训练（AHT）方法学习教师的中间表示。据我们所知，这是第一个成功地从深度姿势回归网络中提取知识的工作。我们对KITTI和Malaga数据集的评估表明，我们可以保持学生预测接近教师，参数减少高达92.95%，计算时间加快2.12倍。
2019-08-02 cs.CV cs.LG cs.RO
Hierarchical Visual Feature Aggregation for OCR-Free Document Understanding
IPAI, Seoul National University（首尔大学IPAI研究所）；Samsung SDS（三星SDS公司）
提出基于多模态大语言模型的无OCR文档理解框架，通过层级视觉特征聚合模块减少输入令牌，并引入指令调优任务提升文本阅读能力，实验验证了其在多种文档理解任务中的优越性能。
2024-11-08 cs.CV
Visio-Linguistic Brain Encoding
INRIA（法国国家信息与自动化研究所）；IIIT Hyderabad（印度海得拉巴国际信息技术学院）；Microsoft（微软）
实现有效的脑机接口需要了解人类大脑如何编码刺激跨模态，如视觉，语言（或文本）等。大脑编码的目的是构建功能磁共振成像大脑活动的刺激。存在过多的神经编码模型，它们研究单一模式刺激的大脑编码：视觉（预训练的CNN）或文本（预训练的语言模型）。最近的一些论文也获得了单独的视觉和文本表示模型，并使用简单的算法进行后期融合。然而，以前的工作未能探索：（a）图像Transformer模型编码视觉刺激的有效性，以及（b）视觉和文本推理的共同关注多模态建模。在本文中，我们系统地探讨了图像Transformers（ViT，DEiT和BEiT）和多模态Transformers（VisualBERT，LXMERT和CLIP）对大脑编码的有效性。在两个流行的数据集BOLD 5000和Pereira上进行的广泛实验提供了以下见解。(1)据我们所知，我们是第一个调查图像和多模态Transformers的大脑编码的有效性。(2)我们发现，VisualBERT，多模态Transformer，显着优于以前提出的单模CNN，图像Transformers以及其他以前提出的多模态模型，从而建立新的国家的最先进的。至高无上的语言模型提出了一个问题，即使被动地观看图像的视觉区域引起的反应是否隐含的语言处理的影响。未来的fMRI任务可以在适当的实验环境中验证这种计算洞察力。
2022-04-18 cs.AI cs.CL cs.CV
