Impact of annotation modality on label quality and model performance in the automatic assessment of laughter in-the-wild
TU Delft(代尔夫特理工大学);Instituto Tecnologico de Costa Rica(哥斯达黎加技术学院)
笑被认为是快乐的最明显的信号之一。笑声被公认为是一种多模态现象,但最常见的是通过感知笑声来检测。目前还不清楚当通过笑声的身体动作从视频等其他形式注释时,笑声的感知和注释有何不同。在本文中,我们在这个方向上迈出了第一步,询问是否以及如何可以注释笑声时,只有音频,只有视频(包含全身运动信息)或视听形式可供注释。我们询问笑的注释是否在模态之间是一致的,并比较标记模态对机器学习模型性能的影响。我们比较注释和模型的笑声检测,强度估计和分割,在以前的研究中常见的三个任务的笑声。我们的4000多个注释从48个注释者获得的分析揭示了证据的不一致的看法笑,其强度之间的方式。进一步分析注释对统一的视听参考注释显示,召回是较低的平均视频相比,音频条件下,但往往会增加与强度的笑声样本。我们的机器学习实验比较了最先进的单峰(基于音频、基于视频和基于加速度)和多模态模型在输入模态、训练标签模态和测试标签模态的不同组合下的性能。无论训练标签模式如何,具有视频和加速度输入的模型都具有类似的性能,这表明使用视频获取的标签来训练模型用于从身体运动中检测笑声可能是完全合适的,尽管它们的评分者间一致性较低。
2022-11-02 cs.CV cs.CY cs.LG
Self-supervised Audiovisual Representation Learning for Remote Sensing Data
Technical University of Munich(慕尼黑工业大学);Renmin University of China(中国人民大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
本文提出一种自监督视听表示学习方法,利用地理标记音频与遥感影像的对应关系预训练ResNet模型,无需人工标注,并在多个遥感数据集上微调验证其优于现有预训练策略。
2024-08-21 cs.CV
VALOR: Vision-Audio-Language Omni-Perception Pretraining Model and Dataset
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Nanjing University of Science and Technology(南京理工大学)
本文提出端到端视觉-音频-语言预训练模型 VALOR,通过 MGA、MGC 任务和 VALOR-1M 数据集学习三模态对齐与条件文本生成,并在多项跨模态基准上达到最优。
2025-01-06 cs.CL cs.CV cs.LG
Predicting emotion from music videos: exploring the relative contribution of visual and auditory information to affective responses
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学);Goethe University Frankfurt(法兰克福大学)
尽管媒体内容越来越多地以多种形式的组合来生产、分发和消费,但个体形式如何对媒体项目的感知情感做出贡献仍然知之甚少。在本文中,我们提出了MusicVideos(MuVi),情感多媒体内容分析的一种新的数据集,研究听觉和视觉模态如何有助于感知媒体的情感。通过在三种条件下向参与者展示音乐视频来收集数据:音乐,视觉和视听。参与者对音乐视频进行了注释,以了解随着时间的推移的效价和唤醒程度,以及传达的整体情感。我们提供了数据集中关键指标的详细描述性统计数据,以及每种条件下特征重要性分析的结果。最后,我们提出了一种新的迁移学习架构,训练预测模型增强与孤立的模态评级(PAIR),并证明了潜在的孤立的模态评级,以提高多模态情感识别。我们的研究结果表明,觉醒的看法主要是由听觉信息的影响,而感知价更主观,可以同时受到视觉和听觉信息的影响。数据集是公开的。
2022-02-19 cs.CV cs.LG cs.MM
InaGVAD : a Challenging French TV and Radio Corpus Annotated for Speech Activity Detection and Speaker Gender Segmentation
French National Institute of Audiovisual (INA)(法国国家视听研究院);Laboratoire de Recherche de l’EPITA (LRE)(EPITA 研究实验室)
本文介绍法语视听语料库 InaGVAD,包含 VAD 和说话人性别分割标注,并通过基准测试证明仅用 1 小时多样化数据训练的 X-vector 迁移学习方法即可取得有竞争力的性别分割性能。
2024-06-06 cs.DL cs.MM cs.SD
MObyGaze: a film dataset of multimodal objectification densely annotated by experts
Université Côte d’Azur, CNRS, I3S, France(法国里沃利大学、法国国家科学研究中心、I3S研究所);Université Côte d’Azur, CNRS, Inria, I3S, France(法国里沃利大学、法国国家科学研究中心、法国国家科学研究院、I3S研究所);Institut Universitaire de France(法国大学研究院);Université Côte d’Azur, Inria, France(法国里沃利大学、法国国家科学研究院、法国);Université Côte d’Azur, CNRS, BCL, France(法国里沃利大学、法国国家科学研究中心、BCL研究所);Sorbonne Université, GRIPIC(索邦大学、GRIPIC研究所);Université Sorbonne Paris Nord, LabSIC(巴黎-索邦大学北校区、LabSIC研究所)
该研究引入新AI任务以量化电影中多模态客体化模式,构建含20部电影的MObyGaze数据集并完成标注,通过基准测试证明任务可行性,公开代码与数据集。
2026-08-28 cs.CV
VidHarm: A Clip Based Dataset for Harmful Content Detection
Linköping University(林雪平大学);Statens Medieråd(瑞典媒体委员会);Luleå University of Technology(吕勒奥理工大学)
自动识别视频中的有害内容是一项重要的任务,具有广泛的应用。然而,缺乏专业标记的开放数据集。在这项工作中,VidHarm,一个开放的数据集3589个视频剪辑的电影预告片由专业人士注释,提出。对数据集进行分析,揭示剪辑和预告片级别注释之间的关系。在数据集上训练视听模型,并对建模选择进行深入研究。实验结果表明,通过结合视觉和音频模态、在大规模视频识别数据集上进行预训练以及类均衡采样,性能得到了极大的提高。最后,训练模型的偏差进行了调查,使用歧视探测。VidHarm是公开的,更多详情请访问:https://vidharm.github.io
2022-09-02 cs.CV
Towards Multimodal Sarcasm Detection (An _Obviously_ Perfect Paper)
University of Michigan(密歇根大学);National University of Singapore(新加坡国立大学);SUTD(新加坡科技设计大学)
讽刺通常通过几种语言和非语言线索来表达,例如,语调的变化,一个词的过分强调,一个拉长的音节,或者一张板着的脸。最近的大部分讽刺检测工作都是在文本数据上进行的。在本文中,我们认为,将多模态线索可以提高自动分类的讽刺。作为第一步,使多模态的讽刺检测方法的发展,我们提出了一个新的讽刺数据集,多模态讽刺检测数据集(MUSTARD),从流行的电视节目编译。MUSTARD由带有讽刺标签的视听话语组成。每一个话语都伴随着对话中的历史话语的上下文,这提供了关于话语发生的场景的额外信息。我们的初步研究结果表明,使用多模态信息可以减少高达12.9%的F-分数的讽刺检测的相对出错率相比,使用个人的方式。完整的数据集可在https://github.com/soujanyaporia/MUStARD上公开使用
2019-06-05 cs.CL cs.CV
Toward Automated Classroom Observation: Multimodal Machine Learning to Estimate CLASS Positive Climate and Negative Climate
在这项工作中,我们提出了一个多模态的机器学习为基础的系统,我们称之为ACORN,分析视频的学校教室的积极的气候(PC)和消极的气候(NC)方面的类观察协议,广泛用于教育研究。ACORN使用卷积神经网络来分析频谱音频特征、教师和学生的面部以及每帧图像的像素,然后使用时间卷积网络将这些信息随着时间的推移进行整合。视听ACORN的PC和NC预测具有$0.55$和$0.63$与专家CLASS编码器在UVA Toddler数据集上提供的地面实况分数的Pearson相关性(对$n=300$ 15分钟视频片段的交叉验证),并且纯听觉ACORN预测PC和NC与MET数据集上的$0.36$和$0.41$的相关性($n=2000$视频片段的测试集)。这些数字类似于人类编码器的编码器间可靠性。最后,使用图卷积网络,我们在预测PC特别弱/强的特定时刻(45- 90秒片段)方面取得了早期进展(AUC= $0.70$)。我们的研究结果为自动课堂观察的设计以及更一般的视频活动识别和摘要识别系统提供了信息。
2021-07-23 cs.CV cs.LG cs.SD
QVHighlights: Detecting Moments and Highlights in Videos via Natural Language Queries
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
从给定自然语言(NL)用户查询的视频中检测定制的时刻和亮点是一个重要但未充分研究的主题。朝着这一方向努力的挑战之一是缺乏附加说明的数据。为了解决这个问题,我们提出了基于查询的视频亮点(QVHIGHLIGHTS)数据集。它由超过10,000个YouTube视频组成,涵盖广泛的主题,从生活方式vlog视频中的日常活动和旅行到新闻视频中的社会和政治活动。数据集中的每个视频都注释有:(1)人类书写的自由形式NL查询,(2)视频中的相关时刻w.r.t.查询,以及(3)所有查询相关剪辑的五点标度显著性分数。这种全面的注释使我们能够开发和评估系统,检测相关的时刻,以及突出的亮点,为多样化,灵活的用户查询。我们还提出了一个强大的基线,这个任务,矩DETR,一个Transformer的编码器-解码器模型,认为时刻检索作为一个直接集预测问题,提取的视频和查询表示作为输入和预测时刻坐标和显着性分数端到端。虽然我们的模型没有利用任何人类先验知识,但我们表明,与精心设计的架构相比,它具有竞争力。通过使用ASR字幕的弱监督预训练,MomentDETR大大优于以前的方法。最后,我们提出了几个消融和可视化的Moment-DETR。数据和代码可在https://github.com/jayleicn/moment_detr上公开获取
2021-11-29 cs.AI cs.CL cs.CV
Resnet-conformer network with shared weights and attention mechanism for sound event localization, detection, and distance estimation
Drexel University, College of Engineering Electrical(德雷塞尔大学工程学院电气工程系)
面向DCASE 2024任务3A纯音频SELD,提出融合对数梅尔频谱、强度向量、数据增强及共享权重注意力的EINV2 Resnet-conformer网络,并新增距离估计,取得更优指标。
2025-07-23 cs.SD eess.AS
Uncertainty aware audiovisual activity recognition using deep Bayesian variational inference
Intel Labs(英特尔实验室)
深度神经网络(DNN)为多种应用提供了最先进的结果,但是将DNN用于多模态视听应用的方法不考虑与各个模态相关联的预测不确定性。贝叶斯深度学习方法提供原则性的置信度并量化预测的不确定性。我们在这项工作中的贡献是提出了一个不确定性感知的多模态贝叶斯融合框架的活动识别。我们展示了一种新的方法,该方法结合了确定性和变化层,以将贝叶斯DNN扩展到更深的架构。我们的实验使用的分布内和分布外的样本,从一个子集的时刻在时间(MiT)数据集显示了一个更可靠的信心措施相比,非贝叶斯基线和蒙特卡罗脱落(MC脱落)近似贝叶斯推断。我们还证明了从所提出的框架中获得的不确定性估计可以识别UCF101和MiT数据集上的分布外数据。在多模态设置中,与非贝叶斯基线相比,所提出的框架在MiT数据集的子集上将精确召回AUC提高了10.2%。
2019-09-20 cs.LG cs.NE stat.ML
CASTELLA: Long Audio Dataset with Captions and Temporal Boundaries
LY Corporation(LY公司);Nagoya University(名古屋大学)
CASTELLA是一个大规模人工标注的音频片段检索数据集,通过预训练和微调提升了模型性能。
2026-01-29 cs.CL cs.SD eess.AS
Language-based Audio Moment Retrieval
LY Corporation(LY公司)
本文提出音频时刻检索任务,构建Clotho-Moment数据集和AM-DETR模型,利用时间依赖超越片段级方法,在Recall1@0.7上提升9.00点。
2025-08-04 cs.CL cs.SD eess.AS
A Bimodal Learning Approach to Assist Multi-sensory Effects Synchronization
CEFET/RJ(里约热内卢联邦教育、科学与技术中心)
在Mulsemedia应用程序中,传统的媒体内容(文本、图像、音频、视频等)可以与以其他人类感官为目标的媒体对象相关(例如,嗅觉、触觉、味觉)。这些应用旨在通过传感器和执行器连接虚拟和现实世界。致动器负责执行感官效果(例如,风、热、光),其对使用者产生感官刺激。在这些应用中,感官刺激必须以与所呈现的其他传统媒体内容相关的及时方式发生。例如,在视听内容中呈现爆炸的时刻,激活产生热和光的致动器可能是足够的。通常使用某种声明性多媒体创作语言来将其中要呈现每个媒体对象的时间戳与某种感官效果的执行相关联。这种设置中的一个问题是媒体对象和感官效果的同步是由应用程序的作者手动完成的,这是一个耗时且容易出错的过程。在本文中,我们提出了一个双峰神经网络架构,以协助同步任务在mulsemedia应用。我们的方法是基于这样的想法,即音频和视频信号可以同时使用,以确定时间戳中的一些感官效果应该执行。我们的学习架构结合了音频和视频信号,用于预测场景组件。出于评估目的,我们基于Google的AudioSet构建了一个数据集。我们提供实验来验证我们的双峰架构。我们的研究结果表明,双峰的方法产生更好的结果相比,几个变种的单峰架构。
2018-04-28 cs.AI cs.CV cs.MM
TVR: A Large-Scale Dataset for Video-Subtitle Moment Retrieval
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
我们介绍了电视节目检索(TVR),一个新的多模态检索数据集。TVR要求系统理解视频及其相关的字幕(对话)文本,使其更加逼真。该数据集包含从6个不同类型的电视节目中收集的21.8K视频上的109 K查询,其中每个查询都与紧密的时间窗口相关联。这些查询还标记了查询类型,表明它们中的每一个都与视频或字幕或两者更相关,从而允许对数据集和构建在其上的方法进行深入分析。应用严格的资格和注释后验证测试来确保收集的数据的质量。此外,我们提出了几个基线和一个新的跨模态矩定位(XML)网络的多模态矩检索任务。所提出的XML模型使用了一种新的卷积开始-结束检测器(ConvSE)的后期融合设计,大大超过了基线,效率更高,为未来的工作提供了一个强有力的起点。我们还为TVR中的每个注释时刻收集了额外的描述,以形成一个新的具有262 K字幕的多模态字幕数据集,称为电视节目字幕(TVC)。这两个数据集都是公开的。TVR:https://tvr.cs.unc.edu,TVC:https://tvr.cs.unc.edu/tvc.html。
2020-08-18 cs.CL cs.CV cs.IR
TutlAit v1: a crowdsourced Moroccan Tamazight speech dataset with Arabic transcriptions and regional accent labels
Cadi Ayyad University(卡迪·阿雅德大学)
该论文介绍TutlAit数据集,一个众包的摩洛哥塔马齐格特语音语料库,配有阿拉伯语转写和地区口音标签,包含约20.9小时音频,可用于语音识别、翻译和口音识别。
2026-10-01 cs.CL cs.LG
Detecting Precise Hand Touch Moments in Egocentric Video
Australian Institute for Machine Learning(澳大利亚机器学习研究所);Adelaide University(阿德莱德大学)
本文提出HiCE模块和TouchMoment数据集,通过时空特征和跨注意力机制提升手触检测精度,实验显示在严格评估标准下,方法在平均精度上优于现有基线16.91%。
2026-04-14 cs.CV
HACS: Human Action Clips and Segments Dataset for Recognition and Temporal Localization
Massachusetts Institute of Technology(麻省理工学院);Dartmouth College(达特茅斯学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一种新的大规模数据集的识别和时间定位的人的行动收集的Web视频。HACS(Human Action Clips and Segments,人类动作片段)我们利用视觉分类器之间的共识和分歧来从未标记的视频中自动挖掘候选短剪辑,随后由人类注释者进行验证。由此产生的数据集被称为HACS Clips。通过一个单独的过程,我们还收集定义动作段边界的注释。这个数据集被称为HACS Segments。总体而言,HACS Clips由从504 K未修剪视频中采样的1.5M注释剪辑组成,HACS Segments包含139 K动作片段,这些动作片段在50 K未修剪视频中密集注释,跨越200个动作类别。HACS Clips包含比任何现有视频基准更多的标记示例。这使得我们的数据集既是一个大规模的动作识别基准,也是时空特征学习的一个很好的来源。在我们对三个目标数据集的迁移学习实验中,HACS Clips作为预训练源的表现优于Kinetics-600,Moments-In-Time和Sports 1 Ma。在HACS Segments上,我们评估了最先进的行动建议生成和行动本地化方法,并强调了我们密集的时间注释所带来的新挑战。
2019-09-04 cs.AI cs.CV
A Closer Look at Weakly-Supervised Audio-Visual Source Localization
Carnegie Mellon University(卡内基梅隆大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
音视频源定位是一项具有挑战性的任务,旨在预测视频中视觉声源的位置。由于收集探测对象的地面实况注释可能成本高昂,近年来已经提出了大量的弱监督定位方法,这些方法可以通过利用音频和视觉信号的自然共现来从没有边界框注释的数据集中学习。尽管有很大的兴趣,流行的评估协议有两个主要缺陷。首先,它们允许使用完全注释的数据集来执行早期停止,从而显著增加了训练所需的注释工作。第二,当前的评估度量假设声源在任何时候都存在。这当然是一个不切实际的假设,因此需要更好的度量来捕获模型在没有可见声源的(负)样本上的性能。为了实现这一目标,我们扩展了流行的基准测试集,Flickr SoundNet和VGG-Sound Sources,以包括负样本,并使用平衡定位准确性和召回率的指标来衡量性能。使用新的协议,我们对现有的方法进行了广泛的评估,发现大多数现有的工作都无法识别阴性,并且存在严重的过拟合问题(严重依赖于早期停止以获得最佳结果)。我们还提出了一种新的方法,解决这两个问题的视觉声源定位。特别是,我们发现,通过极端的视觉辍学和使用动量编码器,所提出的方法有效地打击过拟合,并建立了一个新的国家的最先进的性能在Flickr SoundNet和VGG-Sound Source。代码和预训练模型可在https://github.com/stoneMo/SLAVC上获得。
2022-08-30 cs.CV cs.LG cs.MM
Detecting Engagement in Egocentric Video
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在可穿戴相机视频中,我们看到的是相机佩戴者看到的。虽然这使得我们很容易大致知道他选择看什么,但它并不能立即揭示他何时与环境接触。具体来说,当他停下来收集更多关于他所看到的东西的信息时,他的注意力在什么时候停留过?知道这个答案将有利于视频摘要和增强现实中的各种应用,但先前的工作只关注“什么”问题(估计显着性,凝视),而不考虑“何时”(参与)。我们提出了一种基于学习的方法,该方法使用长期自我运动线索来检测参与度,特别是在浏览场景中,人们经常接受新的视觉信息(例如,购物,旅游)。我们引入了一个大型的,注释丰富的自我参与数据集,这是同类中的第一个。我们的方法优于各种现有的方法。我们表明,参与可以很好地检测到独立的场景外观和相机佩戴者的身份。
2016-04-04 cs.CV
ViDAS: Vision-based Danger Assessment and Scoring
SRM Institute of Science and Technology(SRM科学技术学院);Vellore Institute of Technology(韦洛尔理工学院)
ViDAS数据集包含100个带人类危险评分和时间戳的YouTube视频,利用LLM独立评估并引入MSE分数进行元评估,证明LLM在危险评估中具有类人潜力。
2024-10-01 cs.CV
RiskCueBench: Benchmarking Anticipatory Reasoning from Early Risk Cues in Video-Language Models
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of California San Diego(加州大学圣地亚哥分校)
RiskCueBench通过标注早期风险信号片段,评估视频语言模型在预测未来风险事件中的能力,揭示了现有系统在解读动态情境方面的不足。
2026-10-23 cs.CL cs.CV
Exploring Interactions and Regulations in Collaborative Learning: An Interdisciplinary Multimodal Dataset
University of Oulu(奥卢大学)
协作学习是一种教育方法,通过共同的目标和共同努力来加强学习。互动和调节是关系到协作学习成功与否的两个重要因素。由于来自各种模态的信息可以反映协作的质量,本文引入了一个新的多模态数据集的认知和情感触发器,以探讨如何在协作过程中的法规影响的互动。具体而言,设计了一个具有有意干预的学习任务,并分配给平均年龄为15岁的高中生(N=81)。多模态信号,包括视频,Kinect,音频,和生理数据,收集和利用,以研究在协作学习的规则,个人-参与者-单模态,个人-参与者-多模态,和多参与者-多模态。注释的情绪,身体姿态,以及它们的相互作用的分析表明,我们的多模态数据集与设计的治疗可以有效地检查时刻的监管协作学习。此外,基于基线模型的初步实验表明,该数据集提供了一个具有挑战性的野外场景,这可能进一步有助于教育和情感计算领域。
2022-10-11 cs.CV cs.DB
DAVE: Diverse Atomic Visual Elements Dataset with High Representation of Vulnerable Road Users in Complex and Unpredictable Environments
University of Maryland(马里兰大学);University of Virginia(弗吉尼亚大学);Boston University(波士顿大学)
针对现有交通视频数据集以西方结构化场景为主、亚洲复杂场景覆盖不足的问题,本文提出DAVE数据集,高比例标注弱势道路使用者及复杂罕见动作,用于评估多种视频感知任务,并证明现有方法在该数据集上性能下降。
2024-12-28 cs.CV
EgoTrigger: Toward Audio-Driven Image Capture for Human Memory Enhancement in All-Day Energy-Efficient Smart Glasses
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Google(谷歌)
针对全天候智能眼镜的能耗挑战,提出EgoTrigger方法,利用音频线索选择性触发摄像头捕获图像,在减少54%帧数的同时保持记忆增强任务性能。
2025-08-03 cs.CV cs.ET cs.HC
Nexar Dashcam Collision Prediction Dataset and Challenge
Nexar Inc.(奈萨公司)
本文提出Nexar Dashcam Collision Prediction Dataset与挑战赛,提供1500个多场景标注视频,要求参赛者开发机器学习模型预测碰撞可能性,并以事件前多时间间隔的平均精度(AP)进行评估。
2025-03-05 cs.CV
Raindrops on Windshield: Dataset and Lightweight Gradient-Based Detection Algorithm
Evocargo LLC(Evocargo有限责任公司);Institute for Information Transmission Problems(信息传输问题研究所);Moscow Institute of Physics and Technology (National Research University)(莫斯科物理技术学院(国家研究型大学))
自动驾驶汽车使用摄像头作为环境信息的主要来源之一。不利的天气条件,如雨滴、雪、泥等,可能导致各种图像伪影。这种伪影显著降低了所获得的视觉数据的质量和可靠性,并且如果不及时检测到它们,则可能导致事故。本文介绍了一个新的数据集正在进行的工作,用于训练和评估视觉算法的性能,用于相机镜头或挡风玻璃上的图像伪影检测的不同任务。目前,我们提出了一个公开的图像集包含$8190$图像,其中$3390$包含雨滴。图像注释与二进制掩模表示区域与雨滴。我们证明了数据集的雨滴存在检测和雨滴区域分割的问题的适用性。为了增加数据,我们还提出了一个算法,数据增强,它允许生成的图像上的合成雨滴。除了数据集,我们提出了一种新的基于梯度的算法在视频序列中的雨滴存在检测。实验结果表明,该算法能够可靠地检测雨滴。此外,与基于互相关的\cite{Einecke2014}算法相比,该算法具有更高的雨滴检测质量和图像处理速度,适用于实际自主系统的自检过程。数据集可在\href{https://github.com/EvoCargo/RaindropsOnWindshield}{$github.com/EvoCargo/RaindropsOnWindshield$}上获得。
2021-04-11 cs.CV
PerceptionComp: A Video Benchmark for Complex Perception-Centric Reasoning
Tsinghua University(清华大学);University of Washington(华盛顿大学);Nanyang Technological University(南洋理工大学)
PerceptionComp是一个手动标注的复杂长时景视频推理基准测试,要求多时间片段的视觉证据和逻辑约束,涉及多个感知子任务,测试人类和模型在感知推理中的性能瓶颈。
2026-03-27 cs.AI cs.CL cs.CV
Would Mega-scale Datasets Further Enhance Spatiotemporal 3D CNNs?
National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所(AIST))
我们如何收集和使用视频数据集来进一步改进时空3D卷积神经网络(3D CNN)?为了积极回答视频识别中的这个开放性问题,我们使用几个大规模视频数据集和3D CNN进行了探索性研究。在深度神经网络的早期时代,在视频识别的背景下,2D CNN比3D CNN更好。最近的研究表明,3D CNN可以胜过在大规模视频数据集上训练的2D CNN。然而,我们严重依赖于架构探索而不是数据集考虑。因此,在本文中,我们进行探索性研究,以改善时空3D CNN如下:(i)最近提出的大规模视频数据集有助于提高时空3D CNN在视频分类准确性方面。我们揭示了一个仔细注释的数据集(例如,Kinetics-700)有效地为视频分类任务预训练视频表示。(ii)我们确认#category/#instance和视频分类准确率之间的关系。结果表明,在构建数据集时,首先应固定#category,然后增加视频数据集上的#instance。(iii)为了实际扩展视频数据集,我们简单地连接公开可用的数据集,例如Kinetics-700和Moments in Time(MiT)数据集。与Kinetics-700预训练相比,我们使用合并的数据集进一步增强了时空3D CNN,例如,在微调方面,UCF-101、HMDB-51和ActivityNet数据集分别为+0.9、+3.4和+1.1。(iv)在识别架构方面,Kinetics-700和合…
2020-04-10 cs.CV
Right on Time: Revising Time Series Models by Constraining their Explanations
针对深度时间序列模型依赖虚假相关性导致预测不可靠的问题,提出可在时域、频域约束模型解释的RioT方法,经多数据集验证能有效引导模型做出更可靠决策。
2025-06-13 cs.LG