首页/论文/2002.11020

arXiv 2002.110202020-02-24cs.CVcs.LGeess.IV

See，Attend and Brake：一个基于注意力的端到端驾驶显著图预测模型

See, Attend and Brake: An Attention-based Saliency Map Prediction Model for End-to-End Driving

Eskisehir Osmangazi University（埃斯基谢希尔奥斯曼加齐大学）；Gazi University（加齐大学）

Ekrem Aksoy, Ahmet Yazıcı, Mahmut Kasap

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

视觉感知是驾驶决策的最关键输入。在这项研究中，我们的目的是了解显着性和驾驶决策之间的关系。我们提出了一种新的基于注意力的显着图预测模型进行制动决策这种方法构建了一个整体模型的驾驶任务，并可以扩展到其他驾驶决策，如转向和加速。所提出的模型是一个深度神经网络模型，它将从输入图像中提取的特征馈送到具有注意力机制的递归神经网络。然后利用预测的显著图进行制动决策。我们使用驾驶注意力数据集BDD-A和显着性数据集CAT 2000进行训练和评估。

英文摘要：

Visual perception is the most critical input for driving decisions. In this study, our aim is to understand relationship between saliency and driving decisions. We present a novel attention-based saliency map prediction model for making braking decisions This approach constructs a holistic model to the driving task and can be extended for other driving decisions like steering and acceleration. The proposed model is a deep neural network model that feeds extracted features from input image to a recurrent neural network with an attention mechanism. Then predicted saliency map is used to make braking decision. We trained and evaluated using driving attention dataset BDD-A, and saliency dataset CAT2000.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

SalKG：从知识图谱描述中学习常识推理

SalKG: Learning From Knowledge Graph Explanations for Commonsense Reasoning

University of Southern California（南加州大学）；IIT Delhi（印度理工学院德里分校）

用知识图谱（KG）增强预训练的语言模型在各种常识推理任务上取得了成功。然而，对于给定的任务实例，KG或KG的某些部分可能不是有用的。虽然KG增强模型经常使用注意力来关注特定的KG组件，但KG仍然总是被使用，并且注意力机制从未被明确教导应该使用哪些KG组件。同时，显著性方法可以测量KG特征（例如，图形、节点、路径）影响模型做出正确的预测，从而解释哪些KG特征有用。本文探讨了如何显着性解释可以用来提高KG增强模型的性能。首先，我们建议创建粗糙（KG有用吗？）和精细（KG中的哪些节点/路径有用？）显着性解释。其次，为了激励基于显着性的监督，我们分析了直接使用显着性解释作为额外输入来引导他们的注意力的甲骨文KG增强模型。第三，我们提出了SalKG，KG增强模型的框架，从粗糙和/或精细的显着性解释中学习。给定从任务训练集创建的显着性解释，SalKG联合训练模型来预测解释，然后通过关注预测解释突出的KG特征来解决任务。在三个常识性的QA基准测试（CSQA，OBQA，CODAH）和一系列KG增强模型上，我们表明SalKG可以产生相当大的性能增益-CSQA的绝对改善高达2.76%。

2022-03-20cs.AIcs.CLcs.LG

MAAD：驾驶中“注意感知”的模型和数据集

MAAD: A Model and Dataset for "Attended Awareness" in Driving

Northwestern University（西北大学）；Toyota Research Institute（丰田研究院）；Woven Planet

我们提出了一个计算模型来估计一个人的出席意识，他们的环境。我们将关注意识定义为一个潜在的动态场景的那些部分，一个人在最近的历史中关注过这些部分，并且他们仍然可能在身体上意识到这些部分。我们的模型以视频和嘈杂的凝视估计的形式作为输入场景信息，并输出视觉显着性，精细的凝视估计和人的出席意识的估计。为了测试我们的模型，我们捕获了一个新的数据集与高精度的凝视跟踪器，包括24.5小时的凝视序列，从23个主题参加驾驶场景的视频。该数据集还包含基于扫描路径观察的第三方对受试者注意意识的注释。我们的研究结果表明，我们的模型能够在受控环境中合理估计注意意识，并且在未来可能扩展到真实的以自我为中心的驾驶数据，以帮助在安全系统中实现更有效的提前警告，从而提高驾驶员的表现。我们还使用我们的数据集和现有的显着性数据集，证明了我们的模型在显着性，凝视校准和去噪任务上的有效性。我们在https://github.com/ToyotaResearchInstitute/att-aware/上提供我们的模型和数据集。

2021-10-16cs.CVcs.HCcs.LG

PiCANet：学习逐像素上下文注意力的显著性检测

PiCANet: Learning Pixel-wise Contextual Attention for Saliency Detection

Northwestern Polytechincal University（西北工业大学）；University of California, Merced（加州大学默塞德分校）；Google Cloud（谷歌云）

上下文在显著性检测任务中起着重要的作用。然而，给定上下文区域，并非所有上下文信息都对最终任务有帮助。在本文中，我们提出了一种新的像素级上下文注意网络，即，PiCANet，学习选择性地关注每个像素的信息上下文位置。具体地，对于每个像素，它可以生成注意力图，其中每个注意力权重对应于每个上下文位置处的上下文相关性。然后，可以通过选择性地聚合上下文信息来构建有人值守的上下文特征。我们制定了建议的PiCANet在全球和本地的形式出席全球和本地的背景下，分别。这两种模型都是完全可区分的，可以嵌入CNN进行联合训练。我们还将所提出的模型与U-Net架构来检测显著对象。大量的实验表明，所提出的PiCANets可以不断提高显着性检测性能。全局和局部PiCANet分别促进了全局对比度和一致性的学习。因此，我们的显着性模型可以更准确，更均匀地检测显着对象，从而表现出良好的对国家的最先进的方法。

2018-04-03cs.CV

PiCANet：用于精确显著性检测的逐像素上下文注意学习

PiCANet: Pixel-wise Contextual Attention Learning for Accurate Saliency Detection

Northwestern Polytechnical University（西北工业大学）；University of California, Merced（加州大学默塞德分校）

在显著性检测中，每个像素都需要上下文信息来进行显著性预测。以前的模型通常从整体上结合上下文。然而，对于每个像素，通常只有其上下文区域的一部分是有用的，并有助于其预测，而一些其他部分可能会作为噪声和干扰。在本文中，我们提出了一种新的逐像素上下文注意力网络，\ie PiCANet，学习有选择地参加在每个像素的信息上下文位置。具体来说，PiCANet在每个像素的上下文区域上生成注意力图，其中每个注意力权重对应于所引用像素的上下文位置的相关性。然后，通过选择性地将有用的上下文位置的特征与学习到的注意力相结合，可以构建注意的上下文特征。我们提出了三个具体的配方的PiCANet通过嵌入到池化和卷积操作的像素明智的上下文注意力机制参加全球或本地上下文。所有这三个模型都是完全可区分的，并且可以通过联合训练与CNN集成。我们将建议的PiCANets引入到用于显著目标检测的U-Net架构中。实验结果表明，提出的PiCANets能显著提高显著性检测性能.生成的全局和局部注意力可以分别学习合并全局对比度和平滑度，这有助于更准确地定位突出对象并更均匀地突出它们。因此，我们的显着性模型表现良好，对其他国家的最先进的方法。此外，我们还验证了PiCANets还可以提高语义分割和目标检测性能，进一步证明了其有效性和泛化能力。

2018-12-15cs.CV

关注一切：统一人类注意力建模的基础模型

Attend to Anything: Foundation Model for Unified Human Attention Modeling

College of Computer Science, Sichuan University, Chengdu, 610065, China（四川大学计算机学院）；National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University, Chengdu, 610065, China（合成视觉基础科学国家重点实验室）

提出 Attend to Anything Model (AAM)，一种多模态基础模型，通过层次化语言提示和双曲空间嵌入统一图像、视频和视听任务中的注意力建模，并在16个基准上平均提升6%，视频推理加速约4倍。

2026-06-02cs.CV

视频动作识别中的可解释时空注意

Interpretable Spatio-temporal Attention for Video Action Recognition

University of British Columbia（不列颠哥伦比亚大学）；Tsinghua University（清华大学）

受观察到人类能够有效地处理视频，只注意在哪里和何时需要的启发，我们提出了一个可解释的和简单的插件时空注意力机制的视频动作识别。对于空间注意力，我们学习了一个显着性掩码，使模型能够专注于特征图中最显着的部分。对于时间注意力，我们采用基于卷积LSTM的注意力机制来识别输入视频中最相关的帧。此外，我们提出了一组正则化，以确保我们的注意力机制出席在空间和时间的连贯区域。我们的模型不仅提高了视频动作识别的准确性，而且在空间和时间上都定位了有区别的区域，尽管是以弱监督的方式训练的，只有分类标签（没有限界框标签或时间帧时间标签）。我们评估了我们的方法在几个公共视频动作识别数据集与消融研究。此外，我们定量和定性地评估我们的模型的能力，本地化的歧视性地区的空间和关键帧的时间。实验结果证明了我们的方法的有效性，表现出优越的或可比的准确性与国家的最先进的方法，同时增加模型的可解释性。

2019-06-03cs.CVcs.LGstat.ML

更多相关论文收起更多论文

用于解释视觉语言模型中视觉素养的注意力引导显著图

Attention-Guided Saliency Maps for Interpreting Visualization Literacy in VLMs

The Alan Turing Institute（艾伦·图灵研究所）

研究视觉语言模型如何解释数据可视化这一问题，提出针对图像文本生成的轻量级诊断显著图方法，通过聚合注意力并映射到图像，生成快速无梯度显著图，用删除度量评估，揭示模型注意力分配情况。

2026-07-20cs.CVcs.HC

学习参加什么和在哪里参加

Learning what and where to attend

Carney Institute for Brain Science（卡尼脑科学研究所）；Brown University（布朗大学）

视觉识别的最新进展源于深度卷积网络（DCN）中包含的注意力机制。由于这些网络针对对象识别进行了优化，因此它们只使用来自图像类标签的弱监督形式来学习参加哪里。在这里，我们展示了使用更强的监督信号的好处，通过教导DCN来关注人类认为对对象识别很重要的图像区域。我们首先描述了一个大规模的在线实验（ClickMe），用于补充ImageNet，其中包含近50万个人类“自上而下”的注意力地图。使用人类的心理物理学，我们确认，从ClickMe确定的自上而下的功能比“自下而上”的显着性特征更诊断快速图像分类。作为概念证明，我们扩展了一个最先进的注意力网络，并证明添加ClickMe监督显着提高了其准确性，并产生更可解释和更类似于人类观察者使用的视觉功能。

2019-06-11cs.CV

行动前先注意：利用人类视觉注意力进行持续学习

Attend Before you Act: Leveraging human visual attention for continual learning

Mila - McGill University（米拉-麦吉尔大学）；Google Deepmind（谷歌DeepMind）

当人类执行任务时，例如玩游戏，他们选择性地关注视觉输入的某些部分，收集相关信息并将其顺序组合以从感官数据构建表示。在这项工作中，我们探索利用人类在图像中的位置作为决策的显着指示。我们在DeepMind Lab的3D导航迷宫环境中构建了UNREAL架构。我们训练代理与原始图像和foveated图像，这是通过重叠的原始图像与显着图使用实时光谱残差技术产生的。我们调查的有效性，这种方法在迁移学习的环境中的噪声的背景下测量性能。

2018-07-25cs.AIcs.CV

引力模型解释了人类视觉注意力的变化

Gravitational Models Explain Shifts on Human Visual Attention

University of Siena（锡耶纳大学）；Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；I3S（索菲亚安提波利斯信息学、信号与系统研究所）

视觉注意是指人类大脑选择相关感官信息进行优先处理的能力，提高视觉和认知任务的表现。它分两个阶段进行。其中视觉特征图被并行地获取和处理。另一个是来自这些地图的信息被合并，以便选择一个单一的位置来进行进一步和更复杂的计算和推理。它的计算描述是具有挑战性的，特别是如果考虑到该过程的时间动态。在过去的三十年里，已经提出了许多方法来估计显着性。它们在像素级估计显着性方面几乎达到了完美的性能，但它们产生视觉注意力转移的方式完全取决于赢家通吃（WTA）电路。WTA由生物硬件实现，以便选择具有最大显著性的位置，将外显注意力引向该位置。在本文中，我们提出了一个引力模型（GRAV）来描述注意力转移。每一个单一的功能作为一个吸引子和位移的结果的联合作用的吸引子。在目前的框架中，一个单一的，集中的显着图的假设不再是必要的，虽然仍然似是而非。在两个大型图像数据集上的定量结果表明，该模型比赢者通吃模型更准确地预测偏移。

2020-09-15cs.AIcs.CVcs.LG

展示、关注与翻译：具有自正则化和注意力的无监督图像翻译

Show, Attend and Translate: Unsupervised Image Translation with Self-Regularization and Attention

University of Southern California（南加州大学）；ObEN, inc.（ObEN公司）

两个域之间的图像翻译是一类旨在学习从源域中的输入图像到目标域中的输出图像的映射的问题。它已被应用于许多领域，如数据增强，领域自适应，和无监督训练。当成对的训练数据不可访问时，图像平移成为不适定问题。我们通过假设翻译后的图像需要在感知上与原始图像相似并且似乎是从新的域中提取来约束这个问题，并提出了一个简单而有效的图像翻译模型，该模型由一个使用自正则化项和对抗项训练的单个生成器组成。我们进一步注意到，现有的图像翻译技术对感兴趣的主题是不可知的，并且经常向输入引入不想要的变化或伪影。因此，我们建议增加一个注意力模块来预测注意力地图，以指导图像翻译过程。该模块学习关注图像的关键部分，同时保持其他一切不变，基本上避免了不必要的伪影或更改。预测的注意力地图还为无监督分割和显着性检测等应用打开了大门。大量的实验和评估表明，我们的模型虽然更简单，但比现有的图像翻译方法具有更好的性能。

2019-06-04cs.CV

在不遗忘的情况下寻找正确的视觉证据：通过层间视觉注意力差异减轻LVLMs中的幻觉

Finding the Correct Visual Evidence Without Forgetting: Mitigating Hallucination in LVLMs via Inter-Layer Visual Attention Discrepancy

School of Computer Science and Engineering, Southeast University, Nanjing, China（东南大学计算机科学与工程学院）；School of Artificial Intelligence, Shenzhen University, Shenzhen, China（深圳大学人工智能学院）；College of Computer Science and Software Engineering, Shenzhen University, Shenzhen, China（深圳大学计算机科学与软件工程学院）；Engineering, South China University of Technology, Guangzhou, China（华南理工大学工程学院）；National Engineering Laboratory for Big Data Systems Computing Technology, Shenzhen University, Shenzhen, China（深圳大学大数据系统计算技术国家工程实验室）；Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China（新一代人工智能技术及其交叉应用重点实验室（东南大学），中华人民共和国教育部）

本文提出了一种基于层间视觉注意力差异的幻觉缓解方法，通过增强视觉证据的注意力来减少视觉遗忘，从而在不遗忘的情况下找到正确的视觉证据。

2026-05-20cs.AIcs.CV

基础模型是否理解生物学？利用空间转录组学评估胶质母细胞瘤中的注意力一致性

Do Foundation Models See Biology? Evaluating Attention Coherence with Spatial Transcriptomics in Glioblastoma

Translational Medicine, School of Medicine, Queen’s University, Kingston, ON, Canada（转化医学、医学院、皇后大学、金斯顿，ON，加拿大）；School of Computing, Queen’s University, Kingston, ON, Canada（计算学院、皇后大学、金斯顿，ON，加拿大）；Department of Surgery, Queen’s University, Kingston, ON, Canada（外科部门、皇后大学、金斯顿，ON，加拿大）

提出基于空间转录组学的框架，客观评估病理基础模型注意力图与生物学的一致性，发现注意力捕捉多基因转录程序而非单个分子事件。

2026-06-24cs.CV