arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2306.09172cs.CV
收藏

面向 Ego4D 情景记忆挑战赛 2023 的动作敏感性学习

Action Sensitivity Learning for the Ego4D Episodic Memory Challenge 2023

Zhejiang University(浙江大学);CCAI(之江实验室)

Jiayi Shao, Xiaohan Wang, Ruijie Quan, Yi Yang

AI总结:

本文提出基于 ASL 框架并结合更强视频特征与融合策略的方法,参加 Ego4D 情景记忆基准两项赛道,分获 Moment Queries 第一和 Natural Language Queries 第二。

摘要:

本报告介绍了 ReLER 提交给 CVPR 2023 中 Ego4D Episodic Memory Benchmark 两个赛道的方案,包括 Natural Language Queries 和 Moment Queries。该解决方案继承了我们提出的 Action Sensitivity Learning 框架(ASL),以更好地捕捉帧之间的差异信息。此外,我们融合了一系列更强的视频特征和融合策略。我们的方法取得了 29.34 的平均 mAP,在 Moment Queries 挑战赛中排名第一,并获得 19.79 的平均 R1,在 Natural Language Queries 挑战赛中排名第二。我们的代码将会发布。

英文摘要:

This report presents ReLER submission to two tracks in the Ego4D Episodic Memory Benchmark in CVPR 2023, including Natural Language Queries and Moment Queries. This solution inherits from our proposed Action Sensitivity Learning framework (ASL) to better capture discrepant information of frames. Further, we incorporate a series of stronger video features and fusion strategies. Our method achieves an average mAP of 29.34, ranking 1st in Moment Queries Challenge, and garners 19.79 mean R1, ranking 2nd in Natural Language Queries Challenge. Our code will be released.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑