Technical Report for CVPR 2022 LOVEU AQTC Challenge
UNIST（蔚山国立科学技术院）；Pyler, Inc.（Pyler公司）
本技术报告介绍了AQTC的第二个获奖模型，这是CVPR 2022 LONG形式视频理解（LOVEU）挑战中新引入的任务。这一挑战面临着多步骤答案、多模态以及视频中多样化和不断变化的按钮表示的困难。我们解决这个问题，提出了一个新的上下文地面模块注意力机制更有效的特征映射。此外，我们还对按钮的数量进行了分析，并对不同步骤的网络和视频特征进行了消融研究。因此，我们在LOVEU竞赛轨道3中获得了第二名，特别是在四个评估指标中的两个中获得了第一名。我们的代码可在https://github.com/jaykim9870/ CVPR-22_LOVEU_unipyler上获得。
2022-06-29 cs.AI cs.CV
Workshop on Autonomous Driving at CVPR 2021: Technical Report for Streaming Perception Challenge
ShanghaiTech University（上海科技大学）；Xi’an Jiaotao University（西安交通大学）；Megvii Technology（旷视科技）；Waseda University（早稻田大学）
在这份报告中，我们介绍了我们的实时2D目标检测系统的现实自动驾驶场景。我们的探测器是建立在一个新设计的YOLO模型，称为YOLOX。在Argoverse-HD数据集上，我们的系统实现了41.0流式AP，分别在仅检测跟踪/完全跟踪上超过第二名7.8/6.1。此外，配备TensorRT，我们的模型在高分辨率输入大小（例如，1440-2304）。代码和模型将在https://github.com/Megvii-BaseDetection/YOLOX上提供
2021-07-27 cs.AI cs.CV
Technical Report: Temporal Aggregate Representations
University of Bonn（波恩大学）；National University of Singapore（新加坡国立大学）
这份技术报告扩展了我们在[9]中提出的工作，并进行了更多的实验。在[9]中，我们解决了长期的视频理解，这需要从当前和过去或未来的观察中进行推理，并提出了几个基本问题。时间或顺序关系应如何建模？需要处理的信息和上下文的时间范围是什么？应在什么时间尺度上得出这些数据？[9]解决了这些问题，一个灵活的多粒度的时间聚合框架。在这份报告中，我们使用这个框架在不同的任务和一个新的数据集EPIC-KITCHENS-100上进行了进一步的实验。
2021-06-15 cs.CV
Technical Report: Image Captioning with Semantically Similar Images
Brno University of Technology（布尔诺理工大学）
本报告介绍了我们提交给MS COCO字幕挑战赛2015。该方法使用卷积神经网络激活作为嵌入，以找到语义相似的图像。从这些图像中，基于单字频率选择最典型的字幕。虽然该方法在自动评估指标和人类评估的平均正确性方面得分较低，但它在通过图灵测试的字幕比例方面具有竞争力，并且被评估为更好或等于人类字幕。
2015-06-12 cs.CV
Multiple Object Tracking Challenge Technical Report for Team MT_IoT
Meituan Inc.（美团公司）
这是一个简短的技术报告，我们提出的方法在复杂环境中的多目标跟踪（MOT）的挑战。在本文中，我们把MOT任务作为一个两阶段的任务，包括人体检测和轨迹匹配。具体而言，我们设计了一个改进的人体检测器和关联的大部分检测，以保证运动轨迹的完整性。我们还提出了一个位置明智的匹配矩阵，以获得更准确的跟踪匹配。在没有任何模型合并的情况下，我们的方法在DanceTrack挑战数据集上实现了66.672 HOTA和93.971 MOTA。
2022-12-07 cs.CV
Technical Report for Valence-Arousal Estimation on Affwild2 Dataset
Georgia Institute of Technology（佐治亚理工学院）；Anonymous University（匿名大学）
在这项工作中，我们描述了我们的方法来解决ABAW FG-2020竞赛的效价唤醒估计挑战。比赛组织者提供了一个野外Aff-Wild 2数据集，供参与者分析现实生活中的情感行为。我们使用MIMAMO Net \cite{deng2020mimamo}模型来获得关于微运动和宏运动的信息以改进视频情感识别，并且在重新选择的验证集上实现了0.415和0.511的效价和唤醒的一致性相关系数（CCC）。
2021-05-13 cs.CV
EPIC-KITCHENS-100 Unsupervised Domain Adaptation Challenge for Action Recognition 2021: Team M3EM Technical Report
Institute of Industrial Science, the University of Tokyo（东京大学生产技术研究所）
在本报告中，我们描述了我们提交2021年EPIC-KITCHENS-100无监督领域自适应行动识别挑战赛的技术细节。利用多模态已被证明有利于无监督领域自适应（UDA）任务。在这项工作中，我们提出了多模态相互增强模块（M3 EM），这是一个深度模块，用于联合考虑来自多个模态的信息，以找到跨域最可转移的表示。我们通过实施两个子模块来实现这一点，用于使用其他模式的上下文来增强每种模式。第一子模块通过语义空间跨模态交换信息，而第二子模块基于所有模态的共识找到最可转移的空间区域。
2021-07-01 cs.CV
Technical Report for Soccernet 2023 -- Dense Video Captioning
OPPO Research Institute（OPPO研究院）；Tongji University（同济大学）
本研究针对Soccernet数据集的密集视频字幕任务，采用Blip框架生成足球动作字幕，结合多尺寸滑动窗口、时序候选生成与分类实现时间戳定位，完成动作字幕与时间定位的双重任务。
2024-10-31 cs.CV
Technical Report for SoccerNet Challenge 2022 -- Replay Grounding Task
OPPO Research Institute（OPPO研究院）；Beijing University of Posts and Telecommunications（北京邮电大学）
本研究针对SoccerNet 2022挑战赛回放定位任务，将该问题转化为视频动作定位问题，采用自研的Faster-TAD统一网络处理，并结合训练数据分布优化模型输出，得到最终提交结果。
2024-10-31 cs.CV
The Dem@Care Experiments and Datasets: a Technical Report
Information Technologies Institute, Centre for Research & Technology（信息技术研究所，研究与技术中心）；School of Medicine, Aristotle University of Thessaloniki（亚里士多德大学医学院）
Dem@Care的目标是开发一个完整的系统，为痴呆症患者以及医疗专业人员和护理人员提供个人健康服务，通过使用多种传感器，对生活方式，周围环境和健康参数进行上下文感知，多参数监测。多传感器数据分析与智能决策机制相结合，将允许准确表示人的当前状态，并将向人和相关护理人员提供适当的反馈，从而增强标准临床工作流程。在项目框架内，开展了若干数据汇集活动，以协助技术开发和评价工作。在所有这些活动中，特别注意遵守道德准则和保护参与者的隐私。本技术报告简要介绍了（a）项目的主要目标，（b）主要道德原则和（c）已经创建的数据集。
2016-12-17 cs.CV
A Technical Report for VIPriors Image Classification Challenge
DeepBlue Technology (Shanghai) Co., Ltd（深兰科技（上海）有限公司）
图像分类一直是一个热点和具有挑战性的课题。本文是一个简短的报告，我们提交的VIPriors图像分类挑战。在这个挑战中，困难在于如何在没有任何预先训练的权重的情况下从头开始训练模型。在我们的方法中，几个强大的骨干和多个损失函数用于学习更多的代表性的功能。为了提高模型的泛化能力和鲁棒性，使用了有效的图像增强策略，如自动增强和剪切混合。最后，集成学习用于提高模型的性能。我们团队DeepBlueAI最终的Top-1准确率为0.7015，在排行榜中排名第二。
2020-07-17 cs.CV
Technical Report of 2023 ABO Fine-grained Semantic Segmentation Competition
University of Glasgow（格拉斯哥大学）
本报告介绍2023 ABO细粒度语义分割竞赛的参赛方案，以DGCNN为主干网络，结合带热重启的SGD与分类别因子率设置，在挑战赛开发阶段获第三名。
2023-09-30 cs.CV
Working with scale: 2nd place solution to Product Detection in Densely Packed Scenes [Technical Report]
本报告描述了CVPR 2020 Retail-Vision研讨会上举办的检测挑战的第二名解决方案。而不是进一步考虑以前的结果，这项工作的主要目的是通过重新实验来验证以前观察到的外卖。通过结合流行的目标检测工具箱- MMDetection，可实现结果的可靠性和再现性。在本报告中，我首先介绍了Faster-RCNN和RetinaNet模型的结果，这些模型在原始工作中进行了比较。然后用更先进的模型描述了实验结果。最后一节回顾了Faster-RCNN模型的两个简单技巧，它们用于我的最终提交：更改默认锚定尺度参数和训练时间图像平铺。源代码可在https://github.com/tyomj/product_detection上获得。
2020-06-14 cs.CV
Technical Report for ICCV 2021 Challenge SSLAD-Track3B: Transformers Are Better Continual Learners
Hikvision Research Institute（海康威视研究院）
在持续学习的SSLAD-Track 3B挑战赛中，我们提出了用Transformer进行持续学习的方法（COLT）。我们发现，Transformers遭受灾难性遗忘相比，卷积神经网络。我们的方法的主要原理是配备Transformer为基础的特征提取器与旧的知识蒸馏和头部扩展策略，以竞争灾难性遗忘。在这份报告中，我们首先介绍了目标检测的持续学习的总体框架。然后，分析了解决方案中关键要素对抵御灾难性遗忘的影响。我们的方法在SSLAD-Track 3B挑战测试集上实现了70.78 mAP。
2022-01-13 cs.CV
Technical Report for CVPR 2024 WeatherProof Dataset Challenge: Semantic Segmentation on Paired Real Data
本文提出 CVPR'24 UG2 WeatherProof 挑战赛第二名方案，利用 InternImage 结合多噪声图像训练与 dense-CRF 后处理，在不使用额外数据集的情况下取得 45.1 mIOU。
2024-06-09 cs.CV
Team PKU-WICT-MIPL PIC Makeup Temporal Video Grounding Challenge 2022 Technical Report
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
在这份技术报告中，我们简要介绍了我们的团队“PKU-WICT-MIPL”为ACM-MM 2022的PIC化妆临时视频接地（MTVG）挑战赛提供的解决方案。给定未修剪的化妆视频和步骤查询，MTVG旨在定位视频中的目标化妆步骤的时间时刻。为了解决这个问题，我们提出了一个短语关系挖掘框架，利用时间定位关系的细粒度短语和整个句子。此外，我们还提出了一种动态规划算法来约束不同步骤语句查询的定位结果不相互重叠。实验结果证明了该方法的有效性。我们最终提交的作品在排行榜上排名第二，与第一名的差距仅为0.55%。
2022-07-06 cs.CV
Ultra Light OCR Competition Technical Report
Ultra Light OCR Competition是由CSIG（中国图像图形学会）和百度公司联合举办的中文场景文本识别竞赛。除了关注中文场景文本识别中常见的问题，如文本长度长和大量字符外，由于比赛中的模型大小限制为10M，因此我们需要平衡模型规模和准确性之间的权衡。从数据、模型、训练等方面进行实验，我们提出了一种通用且有效的中文场景文本识别方法，并在TestB数据集中以0.817的准确率在100多个团队中获得第二名。该代码可在https://aistudio.baidu.com/aistudio/projectdetail/2159102上获得。
2021-10-25 cs.CV
Technical Report for Valence-Arousal Estimation in ABAW2 Challenge
在这项工作中，我们描述了我们的方法，用于解决ABAW 2 ICCV-2021竞赛的效价唤醒估计挑战。比赛组织者提供了一个野外Aff-Wild 2数据集，供参与者分析现实生活中的情感行为。我们使用两个流模型来学习情感特征，分别从外观和动作。为了解决数据不平衡的问题，我们使用标签分布平滑（LDS）来重新加权标签。我们提出的方法在Aff-wild 2数据集的验证集上实现了效价和唤醒的一致性相关系数（CCC）为0.591和0.617。
2021-07-08 cs.CV
VCL Challenges 2023 at ICCV 2023 Technical Report: Bi-level Adaptation Method for Test-time Adaptive Object Detection
Sichuan University（四川大学）
本报告提出一种双层自适应方法用于测试时自适应目标检测，在图像层和检测器层分别采用可调参数滤波器与均值教师模块，在VCL挑战赛B中达到38.3% mAP，最小下降4.2%。
2023-10-13 cs.CV
Pegasus-v1 Technical Report
Twelve Labs（十二实验室）
本文介绍了专门用于视频内容理解与自然语言交互的多模态语言模型 Pegasus-1，概述了其架构、训练策略及在多项视频基准测试上的性能，并探讨了其能力与局限性。
2024-04-23 cs.AI cs.CL cs.CV
Team VI-I2R Technical Report on EPIC-KITCHENS-100 Unsupervised Domain Adaptation Challenge for Action Recognition 2022
Institute for Infocomm Research, Agency for Science, Technology and Research（新加坡科技研究局资讯通信研究院）；National University of Singapore（新加坡国立大学）
在本报告中，我们介绍了我们提交给EPIC-KITCHENS-100无监督领域自适应（UDA）2022年行动识别挑战赛的技术细节。该任务旨在将在标记的源域上训练的动作识别模型适应于未标记的目标域。为了实现这一目标，我们提出了一个动作感知的领域自适应框架，利用先验知识诱导的动作识别任务在适应。具体来说，我们使用学习的动作分类器将源特征分解为动作相关特征和动作无关特征，然后将目标特征与动作相关特征对齐。为了进一步提高动作预测性能，我们利用动词-名词共现矩阵来约束和细化动作预测。我们最终提交的作品在top-1动作识别准确率方面取得了第一名的成绩。
2023-01-29 cs.CV
ImageNet MPEG-7 Visual Descriptors - Technical Report
Université François Rabelais of Tours（图尔弗朗索瓦·拉伯雷大学）
ImageNet是一个大规模的公共图像数据库。它目前提供超过1400万张图像，根据WordNet层次结构进行组织。创建者的主要目标之一是为研究界提供一个相关的数据库，用于视觉识别应用，如对象识别，图像分类或对象定位。然而，只有少数视觉描述的图像可供研究人员使用。仅从集合的子集中提取了基于SIFT的特征。本技术报告介绍了从ImageNet数据库中提取一些MPEG-7视觉描述符。这些描述符是公开的，以努力实现开放的研究。
2017-02-01 cs.CV cs.IR
Docling Technical Report
IBM Research（IBM研究院）
本报告介绍开源PDF转换工具包Docling，它基于DocLayNet和TableFormer两类前沿AI模型，能在普通硬件低资源下高效运行，且接口易扩展，支持新增功能与模型。
2024-12-09 cs.CL cs.CV cs.SE
Technical Report for ICML 2024 TiFA Workshop MLLM Attack Challenge: Suffix Injection and Projected Gradient Descent Can Easily Fool An MLLM
School of Computing, National University of Singapore（新加坡国立大学计算机学院）；School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）
本技术报告针对TiFA workshop MLLM攻击挑战赛，提出结合后缀注入与投影梯度下降（PGD）添加不可察觉扰动的方法，成功实现了对LLaVA 1.5模型的攻击。
2024-12-20 cs.CR cs.CV
HiLight: Technical Report on the Motern AI Video Language Model
Shenzhen Motern Technology Co., Ltd.（深圳魔门科技有限公司）
本报告提出具备双视觉塔的HiLight视频对话框架及先进视频编码器，实现视频-文本模态对齐与高效用户交互，用于解决台球场景的视频理解任务，并阐述相关概念与最终方案。
2024-07-11 cs.CL cs.CV cs.MM
Technical Report: Co-learning of geometry and semantics for online 3D mapping
ONERA（法国航空航天实验室）；Université Paris Saclay（巴黎萨克雷大学）
本文是关于我们提交ECCV 2018 3DRMS研讨会语义3D重建挑战赛\cite{Tylecek2018rms}的技术报告。在本文中，我们解决了三维语义重建自主导航使用深度图和语义分割的共同学习。我们的管道的核心是一个深度多任务神经网络，它严格细化深度，并产生准确的语义分割图。它的输入是图像和通过标准立体视觉从一对图像产生的原始深度图。然后将得到的语义3D点云合并，以创建一致的3D网格，进而用于生成密集的语义3D重建图。在3DRMS挑战赛的数据集和多个任务上评估了所提出方法的每个步骤的性能，并多次超过最先进的方法。
2019-11-04 cs.CV cs.RO
Team AcieLee: Technical Report for EPIC-SOUNDS Audio-Based Interaction Recognition Challenge 2023
Southwest University（西南大学）；Samsung Research China-Beijing(SRC-B)（三星中国研究院-北京）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
本报告介绍AcieLee团队参与2023年EPIC-SOUNDS基于音频的交互识别挑战赛的技术方案，通过采用学习率步长衰减等优化策略及多模型融合方法，最终获得挑战赛第三名。
2023-06-15 cs.CV cs.SD eess.AS
