Energy-Latency Manipulation of Multi-modal Large Language Models via Verbose Samples
Tsinghua University(清华大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Peng Cheng Laboratory(鹏城实验室);University of Oxford(牛津大学);Tencent Technology (Beijing) Co.Ltd(腾讯科技(北京)有限公司);Tencent Data Platform(腾讯数据平台)
本文提出通过制作冗长样本(verbose samples)来操纵多模态大语言模型的能量-延迟成本,利用模态非特定和特定损失延长生成序列长度,实验证明该方法能有效增加模型推理时的能耗和延迟。
2024-04-25 cs.AI cs.CV
Egocentric Action Recognition by Video Attention and Temporal Context
Samsung AI Centre, Cambridge(三星剑桥人工智能中心);University of Surrey(萨里大学)
三星剑桥人工智能中心(Samsung AI Centre Cambridge)提交了CVPR 2020 EPIC-Kitchen Action Recognition Challenge的参赛作品。在这一挑战中,动作识别提出的问题,同时预测一个单一的“动词”和“名词”类标签给定的输入修剪视频剪辑。也就是说,一个“动词”和一个“名词”一起定义了一个组合的“动作”类。这种现实生活中的动作识别任务的挑战性方面包括小的快速移动的对象,复杂的手对象的相互作用,和闭塞。我们提交的核心是最近提出的时空视频注意力模型,称为“W3”(“What-Where-When”)注意力~ \cite{perez2020knowing}。我们进一步引入了一个简单而有效的上下文学习机制,直接从长期的时间行为的基础上的“动词”和“名词”的预测分数模型的“行动”类分数。我们的解决方案在挑战指标上实现了强大的性能,而无需使用特定于对象的推理,也无需额外的训练数据。特别是,我们的最佳解决方案与多模态集成实现了2 $^{nd}$最佳位置的“动词”,3 $^{rd}$最好的“名词”和“行动”的Seen Kitchild测试集。
2020-07-03 cs.CV
GRASP: Learning to Ground Social Reasoning in Multi-Person Non-Verbal Interactions
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Georgia Institute of Technology(佐治亚理工学院);Amazon AGI Korea University(亚马逊AGI韩国大学)
GRASP通过连接高层社会问答与细粒度目光和指代手势事件,提升多个人非语言互动的社会推理能力,包含290万对问题-答案对,提出Social Grounding Reward提升模型性能。
2026-05-15 cs.AI cs.CV
Can Language Models Laugh at YouTube Short-form Videos?
Seoul National University(首尔大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本文构建了包含10K个多模态YouTube搞笑视频的ExFunTube数据集,并提出零样本视频到文本提示方法,显著提升了大语言模型对视频幽默的解释能力。
2024-03-31 cs.CL cs.CV
From Verbatim to Gist: Distilling Pyramidal Multimodal Memory via Semantic Information Bottleneck for Long-Horizon Video Agents
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学深圳校区);Peng Cheng Laboratory(鹏城实验室)
本文提出MM-Mem架构,通过金字塔多模态记忆压缩,结合语义信息瓶颈目标,实现长视界视频理解中的高效记忆组织与任务相关信息保留。
2026-04-21 cs.AI cs.CL cs.CV
MimeQA: Towards Socially-Intelligent Nonverbal Foundation Models
Massachusetts Institute of Technology(麻省理工学院);Imperial College London(伦敦帝国理工学院)
MimeQA通过引入非语言互动数据集,评估视频大语言模型在非语言社会推理中的表现,发现其准确率较低,人类表现更优。
2025-11-30 cs.AI cs.CL cs.CV
Closing the Confidence-Faithfulness Gap in Large Language Models
University of Pennsylvania(宾夕法尼亚大学)
本文通过线性探针和对比激活添加分析,揭示大语言模型中置信度信号与校准的线性关系,提出双阶段适应性引导流程以提升校准对齐。
2026-04-01 cs.AI cs.CL
Free-Form Composition Networks for Egocentric Action Recognition
Northeastern University(东北大学);the University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院);Yunnan University(云南大学);Stony Brook University(石溪大学)
本文提出自由形式组合网络(FFCN),通过解耦动词、介词和名词表示并在特征空间中自由组合新样本,解决自我中心动作识别中的数据稀缺问题,在三个数据集上显著提升性能。
2023-10-14 cs.CV
Seeing What You're Told: Sentence-Guided Activity Recognition In Video
Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院);Purdue University(普渡大学)
我们提出了一个系统,演示了事件的组成结构,与语言的组成结构相一致,可以与视频动作识别中的底层聚焦机制相互作用,从而提供了一种媒介,不仅用于自上而下和自下而上的集成,而且用于视觉和语言之间的多模态集成。我们展示了参与者(名词)扮演的角色,他们的特点(形容词),执行的动作(动词),这样的行动(副词)的方式,并改变参与者(介词)之间的空间关系的形式,整个间接的语法描述介导的,指导活动识别过程。此外,我们的框架的实用性和表现力证明了在多活动视频领域中执行三个独立的任务:注意力的集中,视频的原始描述的生成,以及基于查询的视频搜索,简单地利用框架以不同的方式。
2014-05-28 cs.AI cs.CL cs.CV
Verbosity Bias in Preference Labeling by Large Language Models
University of Tsukuba(筑波大学);RIKEN AIP(理化学研究所人工智能研究中心);LY Corporation(LY公司)
本文研究大型语言模型在偏好标注中的冗长性偏差,发现GPT-4比人类更偏好长答案,并提出一种度量该偏差的指标。
2023-10-16 cs.AI cs.CL
Towards Training Stronger Video Vision Transformers for EPIC-KITCHENS-100 Action Recognition
National University of Singapore(新加坡国立大学);Huazhong University of Science and Technology(华中科技大学);Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团)
随着近年来视觉Transformer研究的兴起,它在图像识别、点云分类以及视频理解等具有挑战性的计算机视觉应用中表现出了巨大的潜力。在本文中,我们提出了经验的结果,训练一个更强的视频视觉Transformer的EPIC-KITCHENS-100动作识别数据集。具体来说,我们探索视频视觉Transformer的训练技术,如增强,分辨率以及初始化等。使用我们的训练配方,单个ViViT模型在EPIC-KITCHENS-100数据集的验证集上实现了47.4%的性能,比原始论文中报道的性能高出3.4%。我们发现,视频Transformers在动词-名词动作预测任务中尤其擅长预测名词。这使得视频Transformers的整体动作预测准确性明显高于卷积变换器。令人惊讶的是,即使是最好的视频Transformers在动词预测方面也不如卷积网络。因此,我们结合视频视觉Transformer和一些卷积视频网络,并提出我们的解决方案,EPIC-KITCHENS-100动作识别比赛。
2021-06-09 cs.CV
Disentangled Action Recognition with Knowledge Bases
University of California, Berkeley(加州大学伯克利分校);Amazon Alexa AI(亚马逊Alexa人工智能部门);Fujitsu Laboratories Ltd.(富士通实验室有限公司);Pennsylvania State University(宾夕法尼亚州立大学)
视频中的动作通常涉及人与物体的交互。动作标签通常由动词和名词的各种组合组成,但我们可能没有所有可能组合的训练数据。在本文中,我们的目标是提高合成动作识别模型的泛化能力,新的动词或新的名词是看不见的训练时间,通过利用知识图谱的力量。以前的工作利用动词-名词组成的动作节点的知识图谱,使其效率低下的规模,因为组成的动作节点的数量的增长二次方相对于动词和名词的数量。为了解决这个问题,我们提出了我们的方法:与知识库(DARK),它利用了固有的组合性的行动的分离动作识别。DARK首先提取动词和名词的分解特征表示,然后使用外部知识图谱中的关系预测分类权重,从而训练因子化模型。动词和名词之间的类型约束是从外部知识库中提取的,并最终应用于组合动作。DARK在对象和动词的数量方面具有更好的可扩展性,并在Charades数据集上实现了最先进的性能。我们进一步提出了一个新的基准分裂的基础上Epic-kitchen数据集,这是一个数量级更大的类和样本的数量级,并基准各种模型在这个基准。
2022-07-04 cs.AI cs.CL cs.CV
TextMI: Textualize Multimodal Information for Integrating Non-verbal Cues in Pre-trained Language Models
University of Rochester(罗切斯特大学)
预训练的大语言模型最近在各种各样的语言理解任务中取得了突破性的表现。然而,相同的模型不能应用于多模态行为理解任务(例如,视频情感/幽默检测)除非非语言特征(例如,听觉和视觉)可以与语言相结合。联合建模多个模态显著增加了模型的复杂性,并使训练过程数据饥饿。虽然通过网络可以获得大量的文本数据,但收集大规模的多模式行为视频数据集在时间和金钱方面都非常昂贵。在本文中,我们调查是否大语言模型单独可以成功地将非语言信息时,他们在文本形式。我们提出了一种方法来转换成相应的文本描述和连接它们与口语文本的声学和视觉信息。我们将此增强输入馈送到预训练的BERT模型,并在三个下游多模态任务上对其进行微调:情感,幽默和讽刺检测。我们的方法,TextMI,大大降低了模型的复杂性,增加了解释模型的决定,并可以应用于一组不同的任务,同时实现卓越的(多模态讽刺检测)或接近SOTA(多模态情感分析和多模态幽默检测)的性能。我们建议TextMI作为一个通用的,有竞争力的多模态行为分析任务的基线,特别是在低资源的设置。
2023-03-29 cs.CL cs.LG
ADVICE: Answer-Dependent Verbalized Confidence Estimation
Department of Computer Science, Hanyang University(韩国汉阳大学计算机科学系)
本文提出ADVICE框架,通过增强答案依赖性改进大语言模型的置信度校准,减少过度自信现象,提升可信度。
2026-05-01 cs.CL
Object-Level Verbalized Confidence Calibration in Vision-Language Models via Semantic Perturbation
University of Science and Technology of China(中国科学技术大学);SKL of Processors, Institute of Computing Technology, CAS(中国科学院计算技术研究所处理器专项实验室);National University of Singapore(新加坡国立大学);University of Chinese Academy of Sciences(中国科学院大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出CSP框架,通过语义扰动和两阶段训练,改进视觉语言模型在对象级查询中的言语化置信度校准,提升置信度与正确性的对齐。
2025-04-21 cs.AI cs.CV
Towards Child-Inclusive Clinical Video Understanding for Autism Spectrum Disorder
University of Southern California(南加州大学);Korea University(高丽大学);Boston University(波士顿大学);University of California San Francisco(加州大学旧金山分校);University of California Los Angeles(加州大学洛杉矶分校)
本研究针对自闭症谱系障碍临床视频手动分析耗时的问题,提出一种利用大型语言模型作为推理智能体融合语音、视频和文本三种模态的统一方法,有效提升了活动识别与异常行为检测性能。
2024-09-20 cs.CV cs.LG
Symbiotic Attention with Privileged Information for Egocentric Action Recognition
University of Technology Sydney(悉尼科技大学);Baidu Research(百度研究院)
以自我为中心的视频识别是多种交互推理的自然测试平台。由于以自我为中心的视频数据集中存在大量的动作词汇,目前的研究通常采用两分支结构进行动作识别,即一个分支用于动词分类,另一个分支用于名词分类。然而,动词和名词分支之间的相关性研究在很大程度上被忽视了。此外,由于缺乏位置感知的注意力机制,这两个分支未能利用局部特征。在本文中,我们提出了一种新的共生注意力框架,利用标记信息(SAP)的自我中心的视频识别。更精细的位置感知目标检测特征可以促进对动作者与对象的交互的理解。我们在动作识别中引入这些特征,并将它们视为特权信息。我们的框架使动词分支,名词分支和特权信息之间的相互通信。这种通信过程不仅将局部细节注入到全局特征中,而且还利用了关于正在进行的动作的时空位置的隐式指导。我们引入新的共生注意力(SA),使有效的沟通。它首先对一个分支上的检测引导特征进行标准化,以强调来自另一个分支的动作相关信息。SA自适应地增强了三个源之间的相互作用。为了进一步促进这种沟通,空间关系被揭露的选择最相关的行动信息。它识别最有价值和最有区别的分类特征。我们从数量和质量上验证SAP的有效性。值得注意的是,它在两个大规模以自我为中心的视频数据集上达到了最先进的水平。
2020-02-08 cs.CV
Open-vocabulary Video Question Answering: A New Benchmark for Evaluating the Generalizability of Video Question Answering Models
Korea University(高丽大学)
本文提出OVQA开放词汇视频问答基准,并设计基于GNN的软言语器聚合相似词语义,以评估并提升模型对罕见及未见答案的泛化能力。
2023-08-18 cs.CV
Iterative Length-Regularized Direct Preference Optimization: A Case Study on Improving 7B Language Models to GPT-4 Level
MMLab, CUHK(香港中文大学MMLab);Shanghai AI Laboratory(上海人工智能实验室)
针对迭代DPO提升回复质量却增加冗长性的问题,本文提出iLR-DPO通过长度正则惩罚约束回复长度,使7B模型在AlpacaEval 2.0等基准上达到GPT-4级表现。
2024-06-17 cs.AI cs.CL cs.LG
Improving Spatial-Temporal Reasoning in Video-Language Models with Structured Video Prompting
Sharif University of Technology(谢里夫理工大学)
该研究提出无需训练的结构化视频提示方法,在推理时通过为视频添加时空结构锚点,提升视频-语言模型在时空推理任务上的性能,为改进视频理解提供了实用方向。
2026-09-09 cs.CV
YTCommentQA: Video Question Answerability in Instructional Videos
LG AI Research(LG AI研究院)
针对现有视频问答模型未考虑真实用户问题可能超出视频信息边界的问题,研究者提出包含YouTube自然生成问题、按可回答性及所需模态分类的YTCommentQA数据集,实验验证了其复杂性及多模态协同理解的重要性。
2024-01-30 cs.AI cs.CV
Developing Motion Code Embedding for Action Recognition in Videos
University of South Florida(南佛罗里达大学)
在这项工作中,我们提出了一个运动嵌入策略称为运动代码,这是一个矢量化的运动表示的基础上操纵的显着的机械属性。这些运动代码提供了一个强大的运动表示,它们是使用一个层次结构的功能称为运动分类。我们开发并训练了一个深度神经网络模型,该模型结合了视觉和语义特征,以识别我们的运动分类中发现的特征,从而使用运动代码嵌入或注释视频。为了证明运动代码作为机器学习任务特征的潜力,我们将从运动嵌入模型中提取的特征集成到当前最先进的动作识别模型中。在EPIC-KITCHENS数据集的以自我为中心的视频上,所获得的模型比基线模型的动词分类任务实现了更高的准确性。
2020-12-10 cs.AI cs.CV cs.RO
VideoResearcher: Self-Improving Tool Design for Long-Video Understanding
Johns Hopkins University(约翰霍普金斯大学)
VideoResearcher提出无需训练的多智能体框架,通过双重循环自主设计、测试和优化视频理解工具,在自我改进智能体中达到最先进性能,接近人工设计上限。
2026-09-18 cs.CV
Opening the Vocabulary of Egocentric Actions
National University of Singapore(新加坡国立大学);Meta Reality Labs Research(Meta现实实验室)
针对第一人称动作数据集动作组合稀疏、交互物体闭集的问题,提出解耦动词与物体预测的开放词汇动作识别方法,在两个基准上验证了有效性,且物体编码器性能优于现有开放词汇视觉识别方法。
2023-12-12 cs.CV
LAVE: Latent Visual Evidence-Enhanced Planning for Video Tool-use Agents
针对视频工具使用智能体的工具观测瓶颈,提出无训练框架LAVE,通过双通道观测接口复用隐式视觉证据,在三个基准数据集上提升了智能体性能,Video-MME得分较最强基线提高3.76分。
2026-08-11 cs.CV cs.LG cs.MA
Do Egocentric Video-Language Models Truly Understand Hand-Object Interactions?
Renmin University of China(中国人民大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
针对 EgoVLM 难以区分手-物交互描述中动名词变化的问题,本文提出 EgoHOIBench 揭示其局限,并设计非对称对比目标 EgoNCE++,显著提升多类 EgoVLM 的交互理解性能。
2025-02-20 cs.CV
Episodic Memory Verbalization using Hierarchical Representations of Life-Long Robot Experience
Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology(人机学与机器人研究所,卡尔斯鲁厄理工学院);Computer Science Department, Columbia University(计算机科学系,哥伦比亚大学)
本文提出了一种基于分层表示的机器人长期经验语言化方法,利用大规模预训练模型实现零样本学习,通过构建树状数据结构实现事件记忆的自然语言抽象,提升人机交互能力。
2025-08-14 cs.AI cs.RO
Faithful Activation Verbalization: Reducing Hallucinations in LLM Representation Interpretation
New Jersey Institute of Technology(新泽西理工学院);Shanghai AI Laboratory(上海人工智能实验室);Xi’an JiaoTong University(西安交通大学);Chinese Univerity of Hongkong, Shenzhen(香港中文大学(深圳))
AVPO通过两阶段框架(重建源文本并用冻结问答模型评估)结合直接偏好优化,显著减少激活言语化中的幻觉,提升信息恢复并超越基线。
2026-09-29 cs.CL
Kronecker Mask and Interpretive Prompts are Language-Action Video Learners
University of Science and Technology of China(中国科学技术大学);Great Bay University(大湾区大学);Anhui Tsinglink Information Technology Co.,Ltd.(安徽清听信息技术有限公司)
针对CLIP适配视频领域的问题,提出CLAVER模型,通过Kronecker掩码注意力优化视觉分支的时空建模,结合大语言模型生成的解释性提示增强文本分支的动词理解,实验验证了方法的优越性与通用性。
2025-02-10 cs.CV
Towards Improving Spatiotemporal Action Recognition in Videos
Carnegie Mellon University(卡内基梅隆大学)
时空动作识别处理视频中动作的定位和分类。受最新的实时对象检测器You Only Watch Once(YOWO)的启发,我们的目标是修改其结构,以提高动作检测精度并减少计算时间。具体来说,我们提出了四种新的方法,试图改善YOWO和解决不平衡的类视频的问题,通过修改的损失函数。我们考虑两个中等大小的数据集来应用我们对YOWO的修改-流行的关节注释人体运动数据库(J-HMDB-21)和由卡内基梅隆大学的初创公司Agot. AI提供的餐厅视频片段的私人数据集。后者涉及小对象的快速移动动作以及不平衡的数据类,使得动作本地化任务更具挑战性。我们在GitHub存储库https://github.com/stoneMo/YOWOv2中实现了我们提出的方法。
2020-12-15 cs.CV
NOVA: NOise-aware Verbal Confidence CAlibration for Robust Large Language Models in RAG Systems
HKUST(香港科技大学);UIUC(伊利诺伊大学香槟分校);Northwestern University(西北大学)
提出NOVA框架,通过规则引导的监督微调,解决检索增强生成中噪声上下文导致的过度自信问题,在域内和域外分别提升ECE 10.9%和8.0%。
2026-09-29 cs.CL
Large-scale weakly-supervised pre-training for video action recognition
Facebook AI(Facebook人工智能)
目前的全监督视频数据集只有几十万个视频和不到一千个特定领域的标签。这阻碍了先进视频架构的发展。本文提出了一个深入的研究,使用大量的网络视频预训练视频模型的动作识别任务。我们的主要经验发现是,尽管有嘈杂的社交媒体视频和标签,但在非常大的规模(超过6500万个视频)下进行预训练,大大提高了三个具有挑战性的公共行为识别数据集的最新水平。此外,我们还研究了弱监督视频动作数据集构建中的三个问题。首先,考虑到动作涉及与对象的交互,应该如何构建动词-对象预训练标签空间以使迁移学习受益最大?第二,基于帧的模型在动作识别上表现得很好;对好的图像特征进行预训练是否足够,或者对时空特征进行预训练对于最佳迁移学习是否有价值?最后,动作在长视频中的本地化程度通常低于短视频;由于动作标签是在视频级别提供的,那么在给定视频数量或分钟数的固定预算的情况下,应该如何选择视频片段以获得最佳性能?
2019-05-02 cs.CV
An Action Is Worth Multiple Words: Handling Ambiguity in Action Recognition
University of Edinburgh(爱丁堡大学)
准确地命名视频中描述的动作可能是一项具有挑战性且经常模糊的任务。与表示为名词的对象实例(例如狗、猫、椅子等)相反,在动作的情况下,人类注释者通常缺乏关于什么构成特定动作(例如慢跑与跑步)的共识。在实践中,给定的视频可以包含针对同一动作的多个有效的积极注释。因此,视频数据集通常包含大量的标签噪声和原子动作类之间的重叠。在这项工作中,我们解决了仅从单个正训练标签训练多标签动作识别模型的挑战。我们提出了两种方法,是基于生成伪训练样本的训练集内类似的情况下。与其他使用模型衍生伪标签的方法不同,我们的伪标签来自人类注释,并基于特征相似性进行选择。为了验证我们的方法,我们创建了一个新的评估基准手动注释EPIC-Kitchen-100的验证集的一个子集,多个动词标签。我们在这个新的测试集上给出了结果,以及在新版本的HMDB-51上的其他结果,称为混淆-HMDB-102,在这两种情况下,我们都优于现有的方法。数据和代码可在https://github.com/kiyoon/verb_ambiguity上获得
2022-10-10 cs.CV
DREAM: Improving Video-Text Retrieval Through Relevance-Based Augmentation Using Large Foundation Models
University of Waterloo(滑铁卢大学);Duke University(杜克大学);City University of Hong Kong(香港城市大学);Netflix Eyeline Studios(Netflix Eyeline工作室)
本文提出DREAM范式,利用大型语言模型和视觉生成模型对视频与文本进行基于相关性的增强,从而学习更具泛化性的特征,并在多个视频-文本检索基准上取得优于现有方法的结果。
2025-02-04 cs.CL cs.CV cs.IR
Direct Confidence Alignment: Aligning Verbalized Confidence with Internal Confidence In Large Language Models
Algoverse AI Research(Algoverse AI研究院)
本文提出直接置信对齐方法,通过优化使LLM的 verbalized 置信度与内部置信度对齐,提升模型透明度和可靠性。
2025-12-12 cs.CL
Large-Scale Automatic Labeling of Video Events with Verbs Based on Event-Participant Interaction
Purdue University(普渡大学);University of Toronto(多伦多大学);University of South Carolina(南卡罗来纳大学)
我们提出了一种方法来标记短视频片段与英语动词的事件描述。这项工作的一个关键区别在于,它用动词来标记视频,这些动词描述了事件参与者、人类和相互交互的对象之间的时空交互,抽象出所有对象类信息和细粒度图像特征,并仅依赖于事件参与者的粗粒度运动。我们将我们的方法应用于22个不同动词类的大集合和2,584个视频的语料库,产生了两个令人惊讶的结果。首先,分类准确率大于70%的1出22标签任务和大于85%的各种1出10子集的标签任务是独立的选择,其中两个不同的时间序列分类器,我们采用。其次,我们实现了这种水平的准确性,使用一个高度贫困的中间表示,仅由一个或两个事件参与者的边界框作为时间的函数。这表明,成功的事件识别更多地取决于选择适当的功能,表征的语言不变的事件类比特定的分类算法。
2012-04-16 cs.AI cs.CV
Memory-efficient Streaming VideoLLMs for Real-time Procedural Video Understanding
Meta Reality Labs(Meta现实实验室);FAIR, Meta(Meta人工智能研究机构);National University of Singapore(新加坡国立大学)
提出ProVideLLM,一种内存高效的流式视频LLM,通过多模态缓存减少令牌数22倍,实现10FPS推理和25FPS对话,并在六个程序性任务上达到SOTA。
2025-04-10 cs.CV
Video Moment Localization using Object Evidence and Reverse Captioning
Simon Fraser University(西蒙弗雷泽大学)
我们解决的问题,基于语言的时间定位的时刻在未修剪的视频。与固定类别的时间本地化相比,这个问题更具挑战性,因为基于语言的查询没有预定义的活动类,也可能包含复杂的描述。当前最先进的模型MAC通过从视频和语言模态中挖掘活动概念来解决这个问题。该方法对来自语言查询中的动词/对象对的语义活动概念进行编码,并利用来自视频活动分类预测分数的视觉活动概念。我们提出了“多方面的VideoMoment定位器”(MML),MAC模型的扩展,通过引入视觉对象的证据,通过对象分割掩模和视频理解功能,通过视频描述。此外,我们还改进了句子嵌入中的语言建模。我们在Charades-STA数据集上进行了实验,发现MML在R@1和R@5指标上分别比MAC基线高出4.93%和1.70%。我们的代码和预训练模型可在https://github.com/madhawav/MML上公开获取。
2020-06-18 cs.CV cs.MM
QueryMamba: A Mamba-Based Encoder-Decoder Architecture with a Statistical Verb-Noun Interaction Module for Video Action Forecasting @ Ego4D Long-Term Action Anticipation Challenge 2024
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Fraunhofer IOSB(弗劳恩霍夫IOSB研究所)
本文提出QueryMamba架构,通过统计动词-名词共现矩阵增强视频动作预测,在Ego4D LTA挑战赛获第二名且名词预测精度第一。
2024-07-04 cs.CV
Reading Between the Frames: Multi-Modal Depression Detection in Videos from Non-Verbal Cues
PRHLT Research Center, Universitat Politècnica de València(瓦伦西亚理工大学PRHLT研究中心);Interdisciplinary School of Doctoral Studies, University of Bucharest(布加勒斯特大学跨学科博士研究学院);Politehnica University of Bucharest(布加勒斯特理工大学);ValgrAI Valencian Graduate School and Research Network of Artificial Intelligence(瓦伦西亚人工智能研究生院与研究网络)
本文提出一种简单灵活的多模态时间模型,通过提取并融合真实视频中的语音、面部情绪、landmarks及注视等非言语线索,在三个基准数据集上以显著优势达到最先进的抑郁症检测性能。
2024-01-05 cs.CV
VideoNorms: Benchmarking Cultural Awareness of Video Language Models
Department of Computer Science, Columbia University(哥伦比亚大学计算机科学系)
本研究推出VideoNorms数据集评估VideoLLMs的文化规范意识,发现模型中文表现逊于英文、提供非语言证据更困难,视频模态必要且规模扩大无分类分数提升,成果助力文化导向的视频模型训练与评估。
2026-07-30 cs.AI cs.CL cs.CV
Improving Classification by Improving Labelling: Introducing Probabilistic Multi-Label Object Interaction Recognition
University of Bristol(布里斯托大学)
这项工作偏离了对象交互的易于定义的类边界。对于对象交互识别的任务,通常使用以自我为中心的观点来捕获,我们表明动词中的语义歧义和识别子交互以及并发交互导致合法的类重叠(图1)。因此,我们的目标是模拟观测和交互类之间的映射,以及类重叠,对一个概率多标签分类器,模仿人类注释。给定包含对象交互的视频片段,我们对可能的动词列表中的动词用于注释该交互的概率进行建模。概率是从众包注释中学习的,并在两个公共数据集上进行测试,包括1405个视频序列,我们为90个动词提供注释。我们在两个数据集上分别比传统的单标签分类高出11%和6%,并表明从注释概率中学习的性能优于多数投票,并能够发现共现标签。
2017-04-21 cs.CV
SEM-POS: Grammatically and Semantically Correct Video Captioning
本文提出融合词性成分与视觉-空间特征的全局-局部融合网络SEM-POS,通过GLFB和POS监督提升视频字幕的语法与语义正确性,并在MSVD、MSRVTT上达到新SOTA。
2023-04-04 cs.CV
RareAct: A video dataset of unusual interactions
ENS/Inria(巴黎高等师范学院/法国国家信息与自动化研究所);CIIRC CTU(捷克技术大学信息、机器人与控制研究所);VGG Oxford(牛津大学视觉几何组)
本文介绍了一个手动注释的视频数据集的不寻常的行动,即RareAct,包括行动,如“混合电话”,“削减键盘”和“微波鞋”。RareAct的目的是评估zero-shot和Few-Shot组合的动作识别模型的不太可能的组合常见的动作动词和对象名词。它包含了122个不同的动作,这些动作是由HowTo100M大规模文本语料库中很少同时出现但经常单独出现的动词和名词组合而成的。我们使用最先进的HowTo100 M预训练视频和文本模型提供基准测试,并表明zero-shot和Few-Shot组合动作仍然是一个具有挑战性和未解决的任务。
2020-08-03 cs.CV
Just how sure are you? Improving Verbalized Uncertainty Calibration in Medical VQA
Politecnico di Milano(米兰理工大学)
针对多模态大语言模型在医学VQA中过度自信的问题,提出基于复合损失函数的微调框架,通过校准项、锚定正则化、对比对齐和KL稳定项,将校准误差降低60%以上,判别力提升26%以上。
2026-06-26 cs.CL cs.CV cs.LG
Learning Action Changes by Measuring Verb-Adverb Textual Relationships
The University of Edinburgh(爱丁堡大学)
本工作通过测量动词与副词的文本关系生成回归目标,将动作变化预测转化为回归任务,在多个数据集上取得最先进结果,并构建了高质量数据集AIR以提升学习与评估可靠性。
2023-05-23 cs.CV
LocoMotion: Learning Motion-Focused Video-Language Representations
Leiden University(莱顿大学);University of Amsterdam(阿姆斯特丹大学);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
本文提出LocoMotion方法,通过合成运动生成运动中心描述并结合动词变体改写,学习以运动为中心的视频-语言表示,在数据有限的下游任务中表现有效。
2024-10-23 cs.CL cs.CV cs.MM
Improving LSTM-based Video Description with Linguistic Knowledge Mined from Text
UT Austin(得克萨斯大学奥斯汀分校);UC Berkeley(加州大学伯克利分校);Boston University(波士顿大学)
本文研究了如何从大型文本语料库中挖掘语言知识,以帮助生成视频的自然语言描述。具体来说,我们将神经语言模型和分布式语义训练的大型文本语料库到最近的LSTM为基础的架构的视频描述。我们评估我们的方法上收集的Youtube视频,以及两个大型电影描述数据集显示显着改善语法,同时适度提高描述质量。
2016-11-29 cs.CL cs.CV
Understanding Action Sequences based on Video Captioning for Learning-from-Observation
University of Tokyo(东京大学);Microsoft(微软)
从人类演示视频中学习动作是智能机器人系统的一个很有前途的研究方向。提取准确的部分并详细地重新观察提取的视频部分对于模仿复杂的技能非常重要,因为人类运动为机器人提供了有价值的提示。然而,一般的视频理解方法更多地关注于对全帧的理解,缺乏对提取准确片段并将其与人类意图对齐的考虑。我们提出了一个从观察中学习的框架,该框架可以分割和理解带有口头指令的人类演示视频,以提取准确的动作序列。分裂是基于局部最小点的手的速度,它对齐人类日常生活中的行动与对象为中心的面接触过渡所需的机器人运动。然后,我们使用视频描述技术提取分割视频上的运动描述,该技术是从我们新的日常生活动作视频数据集训练的。最后,我们将运动描述与口头指令进行匹配,以理解正确的人类意图,并忽略视频中的非预期动作。我们评估的手速度为基础的视频分割的有效性,并证明它是有效的。在我们的新的视频描述数据集上的实验结果表明了该方法的有效性。源代码,训练模型和数据集将提供。
2020-12-09 cs.CV cs.RO
Rendezvous: Attention Mechanisms for the Recognition of Surgical Action Triplets in Endoscopic Videos
ICube, University of Strasbourg, CNRS(斯特拉斯堡大学ICube研究所,法国国家科学研究中心);IHU Strasbourg(斯特拉斯堡大学医院研究所);University Hospital of Strasbourg(斯特拉斯堡大学医院);Fondazione Policlinico Universitario Agostino Gemelli IRCCS(阿戈斯蒂诺·杰梅利大学综合医院基金会IRCCS);IRCAD France(法国消化癌症研究研究所)
在内窥镜视频中的手术工作流程分析的所有现有框架中,动作三联体识别脱颖而出,成为唯一一个旨在提供关于手术活动的真正细粒度和全面信息的框架。这些信息以<instrument,verb,target>组合的形式呈现,要准确识别这些信息非常具有挑战性。三元组分量可能难以单独识别;在此任务中,不仅需要同时对所有三个三元组分量执行识别,而且还需要正确地建立它们之间的数据关联。为了实现这一任务,我们引入了我们的新模型,Renminbi(RDV),它通过在两个不同的水平上利用注意力直接从手术视频中识别三胞胎。我们首先介绍了一种新形式的空间注意力,以捕捉场景中的个人动作三元组组件,称为类激活引导注意力机制(CAGAM)。该技术的重点是使用仪器产生的激活来识别动词和目标。为了解决关联问题,我们的RDV模型增加了一种新的形式的语义注意力的启发Transformer网络,称为多头混合注意力(MHMA)。这种技术使用几个交叉注意和自我注意来有效地捕捉工具,动词和目标之间的关系。我们还介绍了CholecT 50-一个包含50个内窥镜视频的数据集,其中每一帧都用来自100个三元组类的标签进行了注释。与该数据集上的最先进方法相比,我们提出的RDV模型显着提高了三重预测平均AP超过9%。
2022-03-03 cs.CV
Learning to Recognize Actions on Objects in Egocentric Video with Attention Dictionaries
FBK(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学);Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心)
我们提出了EgoACO,这是一种用于视频动作识别的深度神经架构,它通过利用以自我为中心的视频数据集中动作标签的动词-名词结构来学习从帧级特征中汇集动作上下文对象描述符。EgoACO的核心组件是类激活池(CAP),这是一种可区分的池化操作,它结合了用于细粒度识别的双线性池化和用于区分性定位的特征学习的思想。CAP使用自注意力和一个可学习的权重字典来从最相关的特征区域中汇集。通过CAP,EgoACO学习从视频帧特征中解码对象和场景上下文描述符。对于EgoACO中的时间建模,我们设计了一个称为长短期注意力(LSTA)的类激活池的递归版本。LSTA通过内置的空间注意力和重新设计的输出门扩展了卷积门控LSTM。动作,对象和上下文描述符融合的多头预测,占名-动词-动作之间的相互依赖关系的结构化标签在以自我为中心的视频数据集。EgoACO具有内置的视觉解释,有助于学习和解释。目前可用的两个最大的以自我为中心的动作识别数据集EPIC-KITCHENS和EGTEA的结果表明,通过显式解码动作上下文对象描述符,EgoACO实现了最先进的识别性能。
2021-02-16 cs.CV
SEMBED: Semantic Embedding of Egocentric Action Videos
University of Bristol(布里斯托大学)
我们提出了SEMBED,一种用于在语义视觉图中嵌入以自我为中心的对象交互视频以估计其潜在语义标签的概率分布的方法。当对象的相互作用使用无界选择的动词进行注释时,我们拥抱这些标签的财富和模糊性,通过捕捉语义关系以及运动和外观特征的视觉相似性。我们展示了SEMBED如何解释1225个自由注释的以自我为中心的视频的具有挑战性的数据集,其性能优于SVM分类超过5%。
2016-07-29 cs.CV
Identifying Visible Actions in Lifestyle Vlogs
University of Michigan(密歇根大学);Princeton University(普林斯顿大学)
我们认为识别在线视频中可见的人类行为的任务。我们专注于广泛传播的生活方式视频博客类型,其中包括人们在口头描述动作的同时执行动作的视频。我们的目标是识别视频的语音描述中提到的动作是否在视觉上存在。我们构建了一个数据集与众包手动注释的可见动作,并引入了多模态算法,利用来自视觉和语言线索的信息,自动推断哪些动作是可见的视频。我们证明,我们的多模态算法优于算法的基础上只有一个模态的时间。
2019-06-10 cs.CL cs.CV
EgoAction: Egocentric Action Composition with Reliability-Aware Temporal Fusion for the EPIC-KITCHENS Action Detection Challenge at CVPR 2026
Shandong University(山东大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
提出 EgoAction 统一解耦检测与融合流水线,通过动态加权融合(DWF)自适应组合动词和名词检测流,解决自我中心视频中动作边界定位的可靠性问题。
2026-06-04 cs.CV