首页/论文/2007.15381

arXiv 2007.153812020-07-30cs.CV

标签还是信息：文本与客体共现的大规模实验研究

Label or Message: A Large-Scale Experimental Survey of Texts and Objects Co-Occurrence

Kyushu University（九州大学）

Koki Takeshita, Juntaro Shioyama, Seiichi Uchida

备注：: Accepted at ICPR2020

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们的日常生活被文本信息所包围。随着场景文本检测器和识别器技术的飞速发展，文本信息的自动采集成为可能。本文的目的是进行一个大规模的调查，视觉对象（如书籍和汽车）和场景文本之间的共现与大型图像数据集和国家的最先进的场景文本检测器和识别器。特别是，我们专注于“标签”文本的功能，这是附加到对象的细节对象。通过分析对象和场景文本之间的共现，可以观察标签文本的统计数据，并了解场景文本如何有助于识别对象，反之亦然。

英文摘要：

Our daily life is surrounded by textual information. Nowadays, the automatic collection of textual information becomes possible owing to the drastic improvement of scene text detectors and recognizer. The purpose of this paper is to conduct a large-scale survey of co-occurrence between visual objects (such as book and car) and scene texts with a large image dataset and a state-of-the-art scene text detector and recognizer. Especially, we focus on the function of "label" texts, which are attached to objects for detailing the objects. By analyzing co-occurrence between objects and scene texts, it is possible to observe the statistics about the label texts and understand how the scene texts will be useful for recognizing the objects and vice versa.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

标签-出现-平衡混合的长尾识别方法

Label-Occurrence-Balanced Mixup for Long-tailed Recognition

Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Inner Mongolia Key Laboratory of Molecular Biology on Featured Plants（内蒙古特色植物分子生物学重点实验室）

Mixup是一种流行的数据增强方法，随后提出了许多变体。这些方法主要通过随机数据对及其对应的独热标签的凸组合来创建新的示例。然而，它们中的大多数坚持随机抽样和混合策略，而不考虑混合过程中标签出现的频率。当将mixup应用于长尾数据时，会出现标签抑制问题，其中每个类的标签出现频率不平衡，并且大多数新示例将完全或部分分配有头部标签。抑制效应可能进一步加剧数据不平衡的问题，并导致尾部类的性能较差。为了解决这个问题，我们提出了标签发生平衡混合来增加数据，同时保持每个类别的标签发生统计平衡。总之，我们采用两个独立的类平衡采样器来选择数据对并混合它们以产生新的数据。我们在几个长尾视觉和声音识别基准上测试我们的方法。实验结果表明，该方法显著提高了混合方法对不平衡数据的适应性，并取得了优于最先进的长尾学习方法的性能。

2021-10-11cs.CV

共现事件：动作关系学习的时间动作定位

Co-Occurrence Matters: Learning Action Relation for Temporal Action Localization

Northwestern Polytechnical University（西北工业大学）

时间动作定位（TAL）因其巨大的应用潜力而成为当前研究的热点.现有的工作主要存在两个不足：（1）忽略了多标签的情况，只关注时态建模。(2)它们忽略了类标签中的语义信息，只使用视觉信息。为了解决这些问题，我们提出了一种新的同现关系模块（CORM），明确的动作之间的同现关系模型。除了视觉信息，它进一步利用类标签的语义嵌入来建模同现关系。CORM以即插即用的方式工作，可以很容易地与现有的序列模型相结合。通过考虑视觉和语义共现，我们的方法实现了高的多标签关系建模能力。同时，TAL中现有的数据集总是集中在低语义原子动作上。因此，我们构建了一个具有挑战性的多标签数据集UCF-Crime-TAL，通过在框架级别注释UCF-Crime数据集并考虑不同事件的语义重叠，重点关注高语义动作。两个常用的TAL数据集，\textit{i.e.}，MultiTHUMOS和TSU，和我们新提出的UCF-Crime-TAL上的大量实验证明了所提出的CORM的有效性，它在这些数据集上实现了最先进的性能。

2023-03-15cs.CV

利用病理学共现进行胸部X光诊断的测试时适应

Leveraging Pathology Co-occurrence for Test-Time Adaptation in Chest X-Ray Diagnosis

Seoul National University（首尔国立大学）；Nanyang Technological University（南洋理工大学）；UNIST（蔚山科学技术院）

研究针对医学影像模型在新临床地点性能下降问题，提出共现加权适应（CoWA）方法，利用疾病共现模式作适应可靠性信号，估计标签共现结构并降低偏离模式样本权重，在胸部X光基准测试中优于基线。

2026-07-10cs.CV

通过联合消息传递与基于原型的软标签传播实现鲁棒转导式小样本学习

Robust Transductive Few-shot Learning via Joint Message Passing and Prototype-based Soft-label Propagation

Anhui University（安徽大学）

本文提出PSLP方法，将原型学习与标签传播结合，通过联合消息传递同时学习样本表示和关系图，实现无需参数且高效的鲁棒转导式小样本学习，在多个数据集上取得有竞争力的结果。

2023-11-28cs.CV

基于图卷积网络的共现监督皮肤病学习鉴别诊断

Learning Differential Diagnosis of Skin Conditions with Co-occurrence Supervision using Graph Convolutional Networks

Voxelcloud Inc.（体素云公司）；Northeastern University（东北大学）

据报道，皮肤病是全球非致命性疾病负担的第四大原因。然而，鉴于临床上定义的皮肤病的巨大范围和皮肤病学专业知识的短缺，及时准确地诊断皮肤状况仍然是一项具有挑战性的任务。使用计算机视觉技术，深度学习系统已被证明可以有效地帮助临床医生进行放射学、眼科等的图像诊断。在本文中，我们提出了一个深度学习系统（DLS），可以使用临床图像预测皮肤状况的鉴别诊断。我们的DLS制定的差分诊断作为一个多标签分类任务超过80个条件时，只有不完整的图像标签。我们通过将分类网络与图卷积网络（GCN）相结合来解决标签不完整性问题，GCN表征标签同现并有效地将其正则化为稀疏表示。我们的方法在136，462张临床图像上进行了验证，并得出结论，分类准确率大大受益于共现监督。我们的DLS在12，378张测试图像上实现了93.6%的前5名准确率，并且始终优于基线分类网络。

2020-07-13cs.CV

基于多标签动作相似性的时态动作定位模型

Modeling Multi-Label Action Dependencies for Temporal Action Localization

University of Central Florida（中佛罗里达大学）

真实世界的视频包含许多复杂的动作，动作类之间存在固有的关系。在这项工作中，我们提出了一个基于注意力的架构，这些动作关系模型的任务，在未修剪的视频时间动作本地化。相对于以前的作品，利用视频级同现的行动，我们区分在同一时间步发生的行动和发生在不同的时间步（即那些之前或之后彼此）的行动之间的关系。我们将这些不同的关系定义为动作依赖关系。我们建议通过在一个新的基于注意力的多标签动作依赖（MLAD）层中对这些动作依赖进行建模来提高动作本地化性能。MLAD层由两个分支组成：共现依赖性分支和时间依赖性分支，分别对共现动作依赖性和时间动作依赖性进行建模。我们观察到，用于多标签分类的现有指标没有明确衡量如何以及动作依赖建模，因此，我们提出了新的指标，考虑共同出现和动作类之间的时间依赖关系。通过实证评估和广泛的分析，我们在f-mAP和我们提出的指标方面显示了对多标签动作本地化基准（MultiTHUMOS和Charades）的最先进方法的改进性能。

2021-05-29cs.CV

更多相关论文收起更多论文

探索通过整合语义共现知识的半多标签学习

Exploring Partial Multi-Label Learning via Integrating Semantic Co-occurrence Knowledge

School of Computing and Artificial Intelligence, Southwest Jiaotong University（计算机与人工智能学院，西南交通大学）；Engineering Research Center of Sustainable Urban Intelligent Transportation, Ministry of Education（可持续城市智能交通工程研究中心，教育部）；School of Engineering, Swinburne University of Technology（工程学院，斯winburne大学）；School of Electronic and Information Engineering, Wuyi University（电子与信息工程学院，五邑大学）；College of Electrical Engineering, Sichuan University（电气工程学院，四川大学）；School of Computer Science, Chengdu University（计算机科学学院，成都大学）

本文提出SCINet框架，通过整合语义共现知识，提升半多标签学习的准确性与效果。

2026-02-23cs.AIcs.CV

BB-GCN：一种用于多标记胸片识别的双模态桥接图卷积网络

BB-GCN: A Bi-modal Bridged Graph Convolutional Network for Multi-label Chest X-Ray Recognition

Shandong University of Traditional Chinese Medicine（山东中医药大学）；Qingdao Academy of Chinese Medical Sciences（青岛中医药科学院）

多标签胸部X射线（CXR）识别涉及同时诊断和识别不同病理的多个标签。由于病理标签具有关于它们彼此关系的丰富信息，因此对病理标签之间的共现依赖性进行建模对于提高识别性能至关重要。然而，以前的方法依赖于状态变量编码和面向注意力机制来建模局部标签信息，并且缺乏对标签之间的全局共现关系的学习。针对这些方法将图像特征和标签嵌入粗略地结合在一起，忽略了跨模态向量融合中的对齐和紧致性问题，提出了一种双模态桥接图卷积网络（BB-GCN）模型。该模型主要由主干模块、病理标签共现关系嵌入模块和Transformer桥图模块组成。具体地，主干模块获取图像视觉特征表示。LCE模块利用图对多个标签之间的全局共现关系进行建模，并采用图卷积网络进行学习推理。TBG模块通过GroupSum方法将交叉模态向量更复杂、更有效地连接起来。我们在两个大规模CXR数据集（ChestX-Ray 14和CheXpert）上评估了所提出的BB-GCN的有效性。我们的模型达到了最先进的性能：14种病理的平均AUC得分分别为0.835和0.813。所提出的LCE和TBG模块可以联合有效地提高BB-GCN的识别性能。我们的模型在多标签胸部X射线识别中也取得了令人满意的结果，并具有很强的泛化能力。

2023-02-22cs.CV

基于共生矩阵分析的半监督训练目标检测

Co-occurrence matrix analysis-based semi-supervised training for object detection

DGIST（韩国大邱庆北科学技术院）；KAIST（韩国科学技术院）；SK Telecom（SK电讯）

使用卷积神经网络（CNN）训练对象识别网络的最重要因素之一是提供伴随人类判断的注释数据。特别地，在目标检测或语义分割中，注释过程需要相当多的人力。在本文中，我们提出了一种基于半监督学习（SSL）的训练方法用于目标检测，该方法通过应用先前从注释数据集训练的网络来自动标记未注释的数据。由于经过训练的网络的推断标签取决于学习的参数，因此重新训练网络通常是没有意义的。为了将有价值的推断标签转移到未标记的数据，我们提出了一种基于共生矩阵分析的重新对齐方法，该方法考虑了估计标签的单热矢量编码和图像中对象之间的相关性。我们使用MS-COCO检测数据集来验证所提出的SSL方法和可变形神经网络（D-ConvNets）作为基本训练的对象检测器的性能。现有的最先进的检测器（DConvNets，YOLO v2，和Single Shot multi-box detector（SSD））的性能可以通过所提出的SSL方法来提高，而无需使用额外的模型参数或修改网络架构。

2018-02-20cs.CV

TRCGL-Net：基于生成式数据增强和标签共现建模的长尾多标签胸部X光分类框架

TRCGL-Net: A Long-Tailed Multi-Label Chest X-Ray Classification Framework with Generative Data Augmentation and Label Co-Occurrence Modeling

School of Biomedical Engineering, South-Central Minzu University（中南民族大学生物医学工程学院）

针对胸部X光多标签分类中的长尾分布问题，提出TRCGL-Net，利用可学习文本引导扩散模型生成尾部类样本、通道重加权和类别注意力机制增强特征，以及基于标签共现的图卷积网络建模类别关系，在PadChest数据集上尾部类mAP达0.4904。

2026-07-02cs.AIcs.CV

利用类共现概率改进多标签识别

Improving Multi-label Recognition using Class Co-Occurrence Probabilities

University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Vizzhy（维兹希）

提出利用类共现概率改进多标签识别，通过图卷积网络整合条件概率，在四个数据集上超越现有方法。

2024-09-19cs.AIcs.CVcs.LG

C²A：通过共现感知类注意力将空间证据与临床先验耦合用于多标签胸部X射线分类

C$^2$A: Coupling Spatial Evidence with Clinical Priors via Co-occurrence Aware Class Attention for Multi-Label Chest X-Ray Classification

本研究提出C²A分类头，通过耦合空间证据与临床先验，在CheXpert数据集上实现0.895的宏观平均AUROC，提升了高度共现模糊类别的分类性能。

2026-08-11cs.CVcs.LGeess.IV

Halluci-Net：利用对象共现关系的场景补全

Halluci-Net: Scene Completion by Exploiting Object Co-occurrence Relationships

Adobe Research India（Adobe印度研究院）；Arizona State University（亚利桑那州立大学）；Carnegie Mellon University（卡内基梅隆大学）

近年来，基于语义标签的图像合成技术取得了很大的进展.然而，用于此任务的方法假设完整和明确的labelmaps的可用性，对象的实例边界和每个像素的类标签。这种对大量注释输入的依赖限制了图像合成技术在现实世界应用中的应用，特别是在由于天气、遮挡或噪声引起的不确定性下。另一方面，可以从稀疏的标签地图或草图合成图像的算法是非常可取的工具，可以指导内容创作者和艺术家通过简单地指定几个对象的位置来快速生成场景。在本文中，我们解决的问题，复杂的场景完成稀疏labelmaps。在此设置下，很少有关于场景的细节（30%的对象实例）可用作图像合成的输入。我们提出了一种基于两阶段深度网络的方法，称为“Halluci-Net”，它学习场景中对象之间的共现关系，然后利用这些关系来生成密集而完整的标签图。然后，生成的密集标签图可以用作最先进的图像合成技术（如pix 2 pixHD）的输入，以获得最终图像。在Cityscapes数据集上对所提出的方法进行了评估，它在Fréchet Inception Distance（FID），语义分割准确性和对象共现相似性等性能指标上优于两种基线方法。我们还展示了包含卧室图像的ADE 20 K数据集子集的定性结果。

2021-05-21cs.CVcs.LG

多视图局部共现和全局一致性学习提高乳腺X线分类泛化能力

Multi-view Local Co-occurrence and Global Consistency Learning Improve Mammogram Classification Generalisation

The University of Adelaide（阿德莱德大学）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）；St Vincent’s Institute of Medical Research（圣文森特医学研究所）；St Vincent’s Hospital Melbourne（墨尔本圣文森特医院）

在分析筛查乳房X线照片时，放射科医生可以自然地处理每个乳房的两个同侧视图（即头尾向（CC）和内外侧斜位（MLO）视图）的信息。这些多个相关图像提供互补的诊断信息，并且可以提高放射科医师的分类准确性。不幸的是，大多数现有的深度学习系统，用全局标记的图像训练，缺乏联合分析和整合来自这些多个视图的全局和局部信息的能力。通过忽略存在于筛查事件的多个图像中的潜在有价值的信息，限制了这些系统的潜在准确性。在这里，我们提出了一种新的多视图全局-局部分析方法，模仿放射科医生的阅读过程，基于全局一致性学习和局部同现学习的同侧视图在乳房X光片。大量的实验表明，我们的模型在分类准确性和泛化方面优于竞争方法，在大规模私人数据集和两个公开可用的数据集上，模型仅使用全局标签进行训练和测试。

2022-09-21cs.CV

一种用于密集多标签动作检测的高效且有效的方法

An Effective-Efficient Approach for Dense Multi-Label Action Detection

University of Surrey（萨里大学）

本文针对密集多标签动作检测中时间位置信息丢失和动作共现关系建模计算开销大的问题，提出一种采用非分层结构和相对位置编码的Transformer网络，并通过新型学习范式在推理阶段无额外计算成本地建模动作共现依赖，在两个基准数据集上取得最优结果。

2024-06-10cs.CV

基于动作共现先验的人-物交互检测

Detecting Human-Object Interactions with Action Co-occurrence Priors

KAIST（韩国科学技术院）；Microsoft Research（微软研究院）

人-物交互（HOI）检测任务中的一个常见问题是，大量的HOI类只有少量的标记示例，导致训练集具有长尾分布。缺乏正标签可能导致这些类别的分类准确度较低。为了解决这个问题，我们观察到人与物体之间的相互作用存在自然的相关性和反相关性。在本文中，我们将相关性建模为动作同现矩阵，并提出了学习这些先验知识的技术，并利用它们进行更有效的训练，特别是在罕见的类别中。实验证明了我们方法的实用性，在两个领先的HOI检测基准数据集HICO-Det和V-COCO上，我们方法的性能超过了最先进的方法。

2020-07-27cs.CVcs.LG

基于互补并行自蒸馏的多标记图像分类算法

Boosting Multi-Label Image Classification with Complementary Parallel Self-Distillation

Chongqing University（重庆大学）；San Diego State University（圣地亚哥州立大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）

多标签图像分类（MLIC）方法通常利用标签相关性来实现良好的性能。然而，强调相关性（如同现）可能会忽略目标本身的区别性特征，导致模型过拟合，从而破坏性能。在这项研究中，我们提出了一个通用的框架，名为并行自蒸馏（PSD），以提高MLIC模型。PSD通过共现图划分（CGP）和离散图划分（DGP）两种互补的任务分解策略，将原始MLIC任务分解为若干个较简单的MLIC子任务。然后，用这些子任务并行训练较少类别的MLIC模型，分别学习联合模式和类别特定的标签模式。最后，利用知识蒸馏来学习具有这些学习到的模式的完整类别的紧凑的全局集合，以用于调和标签相关性利用和模型过拟合。在MS-COCO和NUS-WIDE数据集上的大量结果表明，我们的框架可以很容易地插入到许多MLIC方法中，并提高了最近最先进方法的性能。可解释的视觉研究也进一步验证了我们的方法能够学习类别特定和共现特征。源代码发布于https://github.com/Robbie-Xu/CPSD。

2022-05-23cs.AIcs.CV

ACP ++：用于人-物交互检测的动作共现先验

ACP++: Action Co-occurrence Priors for Human-Object Interaction Detection

KAIST（韩国科学技术院）；Microsoft Research（微软研究院）

在人-物体交互（HOI）检测任务中的一个常见问题是，许多HOI类只有少量的标记示例，导致训练集具有长尾分布。缺乏正标签可能导致这些类别的分类准确度较低。为了解决这个问题，我们观察到人与物体之间的相互作用存在自然的相关性和反相关性。在本文中，我们将相关性建模为动作同现矩阵，并提出了学习这些先验知识的技术，并利用它们进行更有效的训练，特别是在稀有类上。实验证明了我们方法的有效性，在两个领先的HOI检测基准数据集HICO-Det和V-COCO上，我们方法的性能始终优于最先进的方法。

2021-09-09cs.AIcs.CV

多标记图像识别的语义表示与相关学习

Semantic Representation and Dependency Learning for Multi-Label Image Recognition

Sun Yat-sen University（中山大学）；Plan Technology（Plan科技公司）；Guangdong University of Technology（广东工业大学）；University of Electronic Science and Technology of China（电子科技大学）

近年来，许多多标签图像识别（MLR）工作取得了重大进展，通过引入预训练的目标检测模型来生成大量的建议，或者利用统计标签共现来增强不同类别之间的相关性。然而，这些工作也存在一些局限性：（1）网络的有效性很大程度上依赖于预先训练的目标检测模型，这带来了昂贵的和负担不起的计算;（2）当图像中偶尔存在共生对象时，网络性能会下降，特别是对于罕见的类别。为了解决这些问题，我们提出了一种新的和有效的语义表示和依赖学习（SRDL）框架，学习特定类别的语义表示为每个类别，并捕获所有类别之间的语义依赖。具体来说，我们设计了一个类别特定的注意力区域（CAR）模块来生成通道/空间的注意力矩阵，以指导模型专注于语义感知区域。我们还设计了一个对象擦除（OE）模块，隐式地学习类别之间的语义依赖，通过擦除语义感知区域来规则化网络训练。对两个流行的MLR基准数据集（即，MS-COCO和Pascal VOC 2007）证明了所提出的框架在当前最先进的算法的有效性。

2023-01-09cs.CV

微创手术视频中的弱半监督工具检测

Weakly Semi-supervised Tool Detection in Minimally Invasive Surgery Videos

Keio University（庆应义塾大学）

本文提出一种利用图像级标签的弱半监督手术工具检测方法，通过引入共现损失解决工具形状相似导致的分类困难，在Endovis2018数据集上验证有效。

2024-01-08cs.CVcs.LG

Polymorph: 为嵌入式设备上的视频流实现高效多标签分类

Polymorph: Energy-Efficient Multi-Label Classification for Video Streams on Embedded Devices

Queen’s University Belfast（女王大学贝尔法斯特分校）；Microsoft（微软）；Virginia Tech（弗吉尼亚理工大学）；University College Dublin（都柏林大学）

Polymorph通过模块化轻量级LoRA适配器实现嵌入式设备上视频流的高效多标签分类，降低能耗并提升mAP性能。

2026-01-11cs.CVcs.PF

Lie-Sensor：实时情感验证器或使用情感智能的聊天应用程序的许可证颁发者

Lie-Sensor: A Live Emotion Verifier or a Licensor for Chat Applications using Emotional Intelligence

Pandit Deendayal Petroleum University（潘迪特·迪恩达亚尔石油大学）

准确性是研究和开发创新产品的关键。实时情感分析和验证可以消除在实时聊天中对投诉者的欺骗，证实消息应用程序中两端的消息，并促进用户之间的诚实对话。这种情感人工智能验证器背后的主要概念是通过比较通过面部表情和文本预测识别的聊天应用程序用户的各种情绪来许可或拒绝消息问责制。在本文中，提出的情感智能现场检测器作为一个诚实的仲裁者谁分配到标签，即，快乐，悲伤，惊讶，和仇恨的面部情绪。此外，它通过文本分类单独预测消息的标签。最后，它比较两个标签，并宣布该消息为欺诈或善意。对于情感检测，我们使用miniXception模型部署了卷积神经网络（CNN），对于文本预测，我们选择了支持向量机（SVM）自然语言处理概率分类器，因为在应用支持向量机（SVM）、随机森林分类器、朴素贝叶斯分类器和Logistic回归后，在训练数据集上获得了最佳准确度。

2021-02-11cs.AIcs.CLcs.CV

CheXFusion：基于Transformer的多视图特征有效融合用于长尾胸部X光分类

CheXFusion: Effective Fusion of Multi-View Features using Transformers for Long-Tailed Chest X-Ray Classification

Carnegie Mellon University（卡内基梅隆大学）

针对医学图像分类中疾病长尾分布、标签共现及多视图问题，提出基于Transformer的CheXFusion融合模块，结合数据平衡与自训练，在CXR-LT竞赛中获0.372 mAP并取得第一名。

2023-08-08cs.AIcs.CV

利用共现知识与可学习词频的场景图生成策略

Scene Graph Generation Strategy with Co-occurrence Knowledge and Learnable Term Frequency

Keimyung University（启明大学）；Electronics and Telecommunications Research Institute (ETRI)（电子通信研究院）；Kyungpook National University（庆北国立大学）

针对场景图生成中对象共现利用不足及关系长尾问题，提出融合共现知识 CooK 与可学习 TF-l-IDF 的方法，在 SGGen 上最高提升 3.8%，并可泛化至各类 MPNN。

2024-05-21cs.AIcs.CV