Beyond Max-Margin: Class Margin Equilibrium for Few-shot Object Detection
University of Chinese Academy of Sciences(中国科学院大学);Xiamen University(厦门大学);Peng Cheng Laboratory(鹏城实验室)
Few-Shot目标检测通过使用在一组基类对象上学习的特征表示来表示新的类对象,取得了实质性的进展。然而,新的类分类和表示之间的一个隐含的矛盾不幸被忽视。一方面,为了实现准确的新类分类,两个基类的分布必须彼此远离(最大间隔)。另一方面,为了精确地表示新类,基类的分布应该彼此接近,以减少新类的类内距离(最小边缘)。在本文中,我们提出了一个类边缘均衡(CME)的方法,其目的是在一个系统的方式来优化特征空间划分和新的类重建。CME首先通过使用全连接层来解耦定位特征,将Few-Shot检测问题转换为Few-Shot分类问题。然后,CME通过在特征学习期间引入简单而有效的类余量损失来为新类保留足够的余量空间。最后,CME追求利润平衡,以对抗性的最小-最大的方式干扰新的类实例的功能。在Pascal VOC和MS-COCO数据集上的实验表明,CME在两个基线检测器上有显著的改进(平均达到$3\sim 5\%$),达到了最先进的性能。代码可在https://github.com/Bohao-Lee/CME上获得。
2021-05-31 cs.CV
Maximum Margin Vector Correlation Filter
Carnegie Mellon University(卡内基梅隆大学)
相关滤波器(CF)是一类为精确模式定位而设计的分类器。传统的CF已被用于标量功能,这限制了他们的能力,被用于与矢量特征表示,如Gabor滤波器组,SIFT,HOG等,在本文中,我们提出了一种新的CF命名为最大容限矢量相关滤波器(MMVCF),扩展了传统的CF设计的矢量特征。MMVCF进一步结合了基于大间隔的分类器(如支持向量机(SVM))的泛化能力和CF的局部化属性,以获得对离群值的更好的鲁棒性。我们证明了MMVCF的目标检测和地标本地化的各种数据库的功效,并表明MMVCF一贯表现出改进的模式定位能力相比,支持向量机。
2014-04-24 cs.CV
DDS: Decoupled Dynamic Scene-Graph Generation Network
University of California Santa Barbara(加州大学圣巴巴拉分校);Army Research Laboratory(陆军研究实验室);Microsoft(微软公司)
提出解耦动态场景图生成网络DDS,通过两个独立分支解耦对象与关系特征,显著提升对未见三元组的检测性能。
2025-01-20 cs.CV
InstructScene: Instruction-Driven 3D Indoor Scene Synthesis with Semantic Graph Prior
Peking University(北京大学)
针对三维室内场景合成中自然语言指令可控性不足的问题,提出InstructScene框架,结合语义图先验与布局解码器,提升生成可控性与保真度,并构建高质量数据集,实验大幅超越现有方法。
2024-02-07 cs.CV
Not All Voxels Are Equal: Semantic Scene Completion from the Point-Voxel Perspective
Peking University(北京大学);Chinese University of Hong Kong(香港中文大学)
我们重新语义场景完成(SSC),一个有用的任务来预测三维场景的语义和占用表示,在本文中。许多用于此任务的方法总是基于体素化场景表示以保持局部场景结构。然而,由于可见空体素的存在,当网络深入时,这些方法总是存在大量的计算冗余,从而限制了完成质量。为了解决这个难题,我们提出了我们的新的点体素聚合网络的这项任务。首先,我们通过去除这些可见的空体素,将体素化的场景转换为点云,并采用深度点流从场景中有效地捕获语义信息。同时,只包含两个3D卷积层的轻量体素流保留了体素化场景的局部结构。此外,我们还设计了一个各向异性体素聚合算子,将体素流中的结构细节融合到点流中,并设计了一个语义感知的传播模块,通过语义标签来增强点流中的上采样过程。我们证明了我们的模型在两个基准上远远超过了最先进的技术,只有深度图像作为输入。
2023-03-20 cs.CV
Semantic Fisher Scores for Task Transfer: Using Objects to Classify Scenes
Microsoft(微软);University of California at San Diego(加利福尼亚大学圣迭戈分校)
被认为是一个神经网络(CNN)训练识别对象的场景分类的任务的转移。首先通过将场景图像块馈送到对象CNN,并通过随后的后验类概率向量(语义后验)来表示场景图像,来诱导语义袋(BoS)表示。然后研究了用Fisher向量(FV)对BoS进行编码。在任何概率模型的FV和用于通过最大似然估计其参数的期望最大化(EM)算法的Q函数之间建立了联系。最后,提出了一种MFA Fisher评分(MFA-FS)的网络实现,表示为MFAFSNet,以实现端到端的训练。对不同对象CNN和数据集的实验表明,该方法具有最先进的传输性能。有些令人惊讶的是,场景分类结果优于使用大型场景数据集(地点)明确训练用于场景分类的CNN的结果。这表明,整体分析是不够的场景分类。局部对象语义的建模似乎至少同样重要。这两种方法也被证明是强有力的互补性,导致非常大的场景分类收益时,结合起来,并优于所有以前的场景分类方法的一个相当大的保证金
2019-05-27 cs.CV
ScanComplete: Large-Scale Scene Completion and Semantic Segmentation for 3D Scans
Stanford University(斯坦福大学);Brown University(布朗大学);Google(谷歌);DeepMind(深度思维);Technical University of Munich(慕尼黑工业大学)
我们介绍ScanComplete,一种新的数据驱动的方法,用于将场景的不完整3D扫描作为输入,并预测完整的3D模型以及每体素语义标签。我们的方法的关键贡献是它能够处理具有不同空间范围的大型场景,随着场景大小的增加,管理数据大小的立方增长。为此,我们设计了一个完全卷积生成的3D CNN模型,其滤波器内核对整个场景大小是不变的。该模型可以在场景子体积上进行训练,但在测试时可以部署在任意大的场景上。此外,我们提出了一个由粗到细的推理策略,以产生高分辨率的输出,同时还利用大的输入上下文大小。在一系列广泛的实验中,我们仔细评估了不同的模型设计选择,考虑了确定性和概率模型的完成和语义推理。我们的研究结果表明,我们优于其他方法,不仅在处理的环境和处理效率的大小,而且在完成质量和语义分割性能方面的显着保证金。
2018-03-28 cs.CV
MOSE: Boosting Vision-based Roadside 3D Object Detection with Scene Cues
Hikvision Research Institute(海康威视研究院)
本文提出MOSE框架,通过场景线索库聚合多帧帧不变场景特征,并结合transformer解码器与3D位置嵌入提升路侧单目3D检测性能。
2024-04-08 cs.CV
Scene Graph Generation from Objects, Phrases and Region Captions
The Chinese University of Hong Kong(香港中文大学);University of Sydney(悉尼大学);Massachusetts Institute of Technology(麻省理工学院)
目标检测、场景图生成和区域字幕是三个不同语义层次的场景理解任务,它们被捆绑在一起:场景图是在图像中检测到的对象之上生成的,它们的成对关系被预测,而区域字幕给出了对象、它们的属性、关系和其他上下文信息的语言描述。在这项工作中,利用跨语义层次的相互连接,我们提出了一种新的神经网络模型,称为多层次场景描述网络(表示为MSDN),以解决这三个视觉任务联合在一个端到端的方式。对象、短语和字幕区域首先根据它们的空间和语义连接与动态图对齐。然后使用特征细化结构通过图在语义任务的三个级别之间传递消息。我们对三个任务的学习模型进行了基准测试,并表明使用我们提出的方法跨三个任务的联合学习可以带来比以前模型的相互改进。特别是,在场景图生成任务,我们提出的方法优于国家的最先进的方法超过3%的利润率。
2017-09-15 cs.CV
SceneGraphFusion: Incremental 3D Scene Graph Prediction from RGB-D Sequences
Technische Universität München(慕尼黑工业大学);Google(谷歌)
场景图是一种紧凑而明确的表示,成功地用于各种二维场景理解任务。这项工作提出了一种方法来逐步建立语义场景图从3D环境给定的一系列RGB-D帧。为此,我们通过一个图神经网络从原始场景组件聚合PointNet功能。我们还提出了一种新的注意力机制,非常适合在这样的增量重建方案中存在的部分和丢失的图形数据。虽然我们所提出的方法是设计运行在场景的子地图,我们表明它也转移到整个3D场景。实验结果表明,该方法在35 Hz下运行时,其预测精度与其他3D语义和全景分割方法相当,优于3D场景图预测方法。
2021-03-31 cs.CV cs.LG
Scene Text Detection with Supervised Pyramid Context Network
Tongji University(同济大学);University of Electronic Science and Technology of China(电子科技大学);Megvii (Face++) Technology Inc.(旷视(Face++)科技有限公司)
基于深度学习的场景文本检测方法在过去几年取得了显著的成果。然而,由于自然场景的高度多样性和复杂性,当应用于在真实世界环境中捕获的图像时,先前的最先进的文本检测方法仍然可能产生相当数量的误报。为了解决这个问题,主要受Mask R-CNN的启发,本文提出了一种有效的场景文本检测模型,该模型基于特征金字塔网络(FPN)和实例分割。我们提出了一个监督金字塔上下文网络(SPCNET),以精确定位文本区域,同时抑制误报。由于语义信息的引导和FPN的共享,SPCNET在引入少量额外计算的同时,获得了显著的性能提升。在标准数据集上的实验表明,我们的SPCNET明显优于最先进的方法。具体而言,它在ICDAR 2013上实现了92.1%的F-测量,在ICDAR 2015上实现了87.2%,在ICDAR 2017 MLT上实现了74.1%,在Total-Text上实现了82.9%。
2018-11-21 cs.CV
Learning Robust Features for Gait Recognition by Maximum Margin Criterion
Masaryk University(马萨里克大学);Faculty of Informatics, Masaryk University(马萨里克大学信息学院)
在基于运动捕获数据的步态识别领域,设计人类可理解的步态特征是许多研究人员的共同做法。为了避免特别的方案,并找到最大的区别特征,我们可能需要探索超越人类可解释性的极限。本文有助于国家的最先进的机器学习方法提取强大的步态特征直接从原始关节坐标。学习的特点是通过修改的线性判别分析与最大利润标准,使身份最大限度地分离,并结合适当的分类器,用于步态识别。在CMU MoCap数据库上的实验表明,该方法在生物特征模板在四类可分性系数表示的特征空间中的分布方面优于其他八种相关方法。另外的实验表明,该方法是基于秩的分类器系统的领先概念。
2022-12-07 cs.CV
Cars Can't Fly up in the Sky: Improving Urban-Scene Segmentation via Height-driven Attention Networks
LG Electronics(LG电子);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Korea University(高丽大学);KAIST(韩国科学技术院)
本文利用城市场景图像的内在特征,提出了一个通用的附加模块,称为高度驱动的注意力网络(HANet),用于改善城市场景图像的语义分割。它根据像素的垂直位置有选择地强调信息特征或类别。在城市场景图像的水平分割部分中,像素级分布彼此之间存在显著差异。同样,城市场景图像也有其独特的特征,但大多数语义分割网络并没有在架构中反映这些独特的属性。建议的网络架构采用的能力,利用属性,有效地处理城市场景数据集。我们验证了一致的性能(mIoU)增加的各种语义分割模型在两个数据集时,采用HANet。这种广泛的定量分析表明,将我们的模块添加到现有模型中是简单且具有成本效益的。我们的方法在Cityscapes基准测试中实现了新的最先进的性能,在基于ResNet-101的分割模型中具有很大的优势。此外,我们表明,所提出的模型是一致的,在城市场景中观察到的事实,通过可视化和解释的注意力地图。我们的代码和训练模型可在https://github.com/shachoi/HANet上公开获取
2020-04-07 cs.CV
Semantic Complete Scene Forecasting from a 4D Dynamic Point Cloud Sequence
Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Qi Zhi Institute(上海期智研究院)
针对4D动态点云序列的语义完整场景预测新问题,提出SCSFNet网络,通过混合几何表示、注意力跳跃连接、辅助可见性网格实现协同建模,在多基准上大幅优于基线方法。
2023-12-15 cs.CV
Precise Detection in Densely Packed Scenes
Bar-Ilan University(巴伊兰大学);Trax Retail(Trax零售公司);Tel Aviv University(特拉维夫大学);The Open University of Israel(以色列开放大学)
人造场景可以是密集的,包含许多物体,通常是相同的,位置很近。我们表明,精确的目标检测在这样的场景仍然是一个具有挑战性的前沿,即使是国家的最先进的目标检测器。我们提出了一种新的基于深度学习的精确目标检测方法,专为此类具有挑战性的设置而设计。我们的贡献包括:(1)用于估计Jaccard指数作为检测质量分数的层;(2)一个新的EM合并单元,它使用我们的质量分数来解决检测重叠模糊性;最后,(3)一个广泛的注释数据集,E110 - 110 K,代表包装零售环境,在这种极端设置下发布用于训练和测试。对CARPK和PUCPR+的检测测试和计数测试表明,我们的方法优于现有的最先进的技术,具有相当大的利润率。代码和数据将在\url{www.github.com/eg4000/SKU110K_CVPR19}上提供。
2019-04-30 cs.CV
Bi-PointFlowNet: Bidirectional Learning for Point Cloud Based Scene Flow Estimation
Sungkyunkwan University(成均馆大学)
在计算机视觉中,提取场景间逐点运动的场景流估计是一项重要的任务。然而,现有的估计方法都只利用单向特性,限制了准确性和通用性。本文提出了一种新的场景流估计结构,使用双向流嵌入层。所提出的双向层沿前向和后向学习特征,从而增强估计性能。此外,分层特征提取和变形提高了性能并减少了计算开销。实验结果表明,该架构实现了一个新的国家的最先进的记录,优于其他方法与大幅度在FlyingThings3D和KITTI基准测试。代码可在https://github.com/cwc1260/BiFlow上获得。
2022-07-15 cs.AI cs.CV
Max-margin Deep Generative Models
Stanford University(斯坦福大学);Tsinghua University(清华大学)
深度生成模型(DGMs)在学习复杂数据的多层表示和通过探索生成能力来执行输入数据的推理方面是有效的。然而,很少有工作已经做了检查或授权的判别能力的DGMs作出准确的预测。本文提出了最大间隔深度生成模型(mmDGMs),该模型探索了最大间隔学习的强区分原则,以提高DGMs的区分能力,同时保留生成能力。针对分段线性目标,提出了一种有效的双随机次梯度算法。在MNIST和SVHN数据集上的实验结果表明,(1)最大间隔学习可以显着提高DGMs的预测性能,同时保持生成能力;(2)通过采用深度卷积神经网络(CNN)作为识别和生成模型,mmDGMs与最先进的完全判别网络相比具有竞争力。
2015-12-15 cs.CV cs.LG
In pixels we trust: From Pixel Labeling to Object Localization and Scene Categorization
University of Alcalá(阿尔卡拉大学)
虽然在解决图像像素标记、目标检测和场景分类的问题方面已经取得了显著的进展,但是现有的方法通常分别解决它们。在本文中,我们建议从自下而上的角度来解决这些问题,我们只需要一个语义分割的场景作为输入。我们采用了基于ResNet深度网络的DeepLab架构,该架构利用多尺度输入来融合它们的响应,以执行场景的精确像素标记。这个语义分割掩码用于定位对象和识别场景,遵循两个简单而有效的策略。我们评估了我们解决方案的优势,对NYU Depth V2数据集进行了全面的实验评估。我们的方法实现了一个显着的利润率击败领先的结果的性能,定义了新的艺术状态,在这个基准的三个任务,包括场景理解:语义分割,目标检测和场景分类。
2018-07-19 cs.CV cs.RO
Max-Margin Deep Generative Models for (Semi-)Supervised Learning
Tsinghua University(清华大学)
深度生成模型(DGMs)在学习复杂数据的多层表示和通过探索生成能力来执行输入数据的推理方面是有效的。然而,这是相对不够的,以赋予区分能力的DGMs作出准确的预测。本文提出了最大间隔深度生成模型(mmDGMs)和类条件变体(mmDCGMs),它们探索了最大间隔学习的强判别原理,以提高DGMs在监督和半监督学习中的预测性能,同时保留生成能力。在半监督学习中,我们使用最大间隔分类器的预测作为缺失标签,而不是执行完整的后验推理以提高效率;为了提高效率,我们还引入了额外的未标记数据的最大间隔和标签平衡正则化项。针对分段线性目标问题,提出了一种有效的双随机次梯度算法。在不同数据集上的实验结果表明:(1)最大间隔学习可以显著提高DGM的预测性能,同时保持DGM的生成能力;(2)在监督学习中,当采用卷积神经网络作为生成和识别模型时,mmDGM可以与最好的全判别网络相竞争;(3)在半监督学习中,mmDCGM可以进行有效的推理,并在多个基准上获得最先进的分类结果。
2016-11-22 cs.CV cs.LG stat.ML
SEPT: Towards Efficient Scene Representation Learning for Motion Prediction
Tsinghua University(清华大学)
针对自动驾驶运动预测的场景时空关系提取需求,提出自监督预训练框架SEPT,通过三类掩码-重建任务预训练场景编码器,在Argoverse系列基准上实现最优性能。
2023-12-19 cs.CV cs.LG
In Defense of Scene Graphs for Image Captioning
University of California San Diego(加利福尼亚大学圣迭戈分校);Intel Labs(英特尔实验室);University of Warwick(华威大学)
主流的图像描述模型依赖于卷积神经网络(CNN)图像特征,通过递归模型生成字幕。最近,图像场景图已被用来增强字幕模型,以利用其结构语义,如对象实体,关系和属性。一些研究已经注意到,来自黑盒场景图生成器的场景图的天真使用损害了图像描述的性能,并且基于场景图的字幕模型必须招致显式使用图像特征来生成体面的字幕的开销。为了解决这些挑战,我们提出了\textbf{SG2Caps},一个框架,只利用场景图标签的竞争图像描述性能。其基本思想是关闭两个场景图之间的语义差距-一个来自输入图像,另一个来自其标题。为了实现这一点,我们利用对象的空间位置和人-物-交互(HOI)标签作为额外的HOI图。SG 2Caps优于现有的场景图只有字幕模型的大幅度,表明场景图作为一个有前途的表示图像描述。直接利用场景图标签避免了高维CNN特征上昂贵的图卷积,从而减少了49%的可训练参数。我们的代码可在:https://github.com/Kien085/SG2Caps
2021-08-17 cs.CL cs.CV
Max-Margin Contrastive Learning
Johns Hopkins University(约翰霍普金斯大学);Massachusetts Institute of Technology(麻省理工学院);Mitsubishi Electric Research Labs(三菱电机研究实验室)
标准的对比学习方法通常需要大量的否定来进行有效的无监督学习,并且通常表现出缓慢的收敛。我们怀疑这种行为是由于用于提供阳性对比度的阴性的次优选择。我们从支持向量机(SVMs)中获得灵感,提出了最大间隔对比学习(MMCL),从而克服了这一困难。我们的方法选择消极的稀疏支持向量,通过二次优化问题获得的,和对比性是通过最大化的决策余量。由于SVM优化在计算上要求很高,特别是在端到端的设置中,我们提出了减轻计算负担的简化方法。我们在标准视觉基准数据集上验证了我们的方法,在无监督表示学习中表现出比最先进的更好的性能,同时具有更好的经验收敛特性。
2021-12-21 cs.AI cs.CV cs.LG
S4G: Amodal Single-view Single-Shot SE(3) Grasp Detection in Cluttered Scenes
Tsinghua University(清华大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
抓取是机器人研究中最基本、最持久的问题之一。本文研究了在商品深度传感器从单视点捕获的杂乱场景中,并联夹持器的6自由度抓取问题。我们在基于学习的框架中解决这个问题。在高层次上,我们依赖于一个单次抓取建议网络,用合成数据进行训练,并在现实世界的场景中进行测试。我们的单次神经网络架构可以有效地预测非模态抓取建议。我们的训练数据合成管道可以生成复杂物体配置的场景,并利用创新的抓爪接触模型来创建密集和高质量的抓取注释。在合成和真实环境中的实验表明,所提出的方法可以大大优于最先进的。
2019-10-31 cs.CV cs.RO
Weakly Supervised Point Cloud Segmentation via Conservative Propagation of Scene-level Labels
提出一种弱监督点云分割方法,通过二分匹配保守传播场景级标签至相关点,在ScanNet和S3DIS上大幅超越现有技术。
2025-06-13 cs.CV cs.LG
Max-Margin Invariant Features from Transformed Unlabeled Data
Carnegie Mellon University(卡内基梅隆大学)
研究对数据的常见变换不变的表示对于学习是重要的。大多数技术都集中在昂贵的优化框架内实现的局部近似不变性,缺乏明确的理论保证。在本文中,我们研究内核是不变的酉群,同时有理论保证,在解决重要的实际问题的不可用的转换版本的标记数据。我们称之为无标记转换问题,它是半监督学习和一次性学习的一种特殊形式。我们提出了一个理论上的动机替代方法不变核SVM的基础上,我们提出最大利润不变特征(MMIF)来解决这个问题。作为一个例子,我们设计了一个人脸识别的框架,并在一个包含153,000张图像的大规模半合成数据集上展示了我们的方法的有效性,以及一个新的具有挑战性的野生标记人脸(LFW)协议,同时表现出强大的基线。
2017-10-24 cs.AI cs.CV cs.LG