Good Visual Guidance Makes A Better Extractor: Hierarchical Visual Prefix for Multimodal Entity and Relation Extraction
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
多模态命名实体识别与关系抽取(MNER和MRE)是信息抽取中的一个基础和关键分支。然而,现有的方法MNER和MRE通常遭受错误的敏感性时,不相关的对象图像纳入文本。为了解决这些问题,我们提出了一种新的层次视觉前缀融合网络(HVPNeT)的视觉增强实体和关系抽取,旨在实现更有效和强大的性能。具体来说,我们把视觉表示作为可插入的视觉前缀,以指导错误不敏感的预测决策的文本表示。我们进一步提出了一种动态门控聚合策略,以实现层次化的多尺度视觉特征作为融合的视觉前缀。在三个基准数据集上的大量实验证明了该方法的有效性,并达到了最先进的性能。代码可在https://github.com/zjunlp/HVPNeT上找到。
2022-05-07 cs.AI cs.CL cs.CV
HiFi-KPI: A Dataset for Hierarchical KPI Extraction from Earnings Filings
Department of Computer Science, Aalborg University(奥尔堡大学计算机科学系);ALIPES ApS(ALIPES公司);University of Copenhagen(哥本哈根大学);Pioneer Centre for AI(先锋人工智能中心)
针对财报中关键绩效指标(KPI)跨公司可迁移性差的问题,提出包含165万段落和19.8万层次化标签的HiFi-KPI数据集,并评估分类、提取和结构化提取三个任务。
2026-08-21 cs.AI cs.CL
HiURE: Hierarchical Exemplar Contrastive Learning for Unsupervised Relation Extraction
Tsinghua University(清华大学);Amazon(亚马逊);University of Illinois at Chicago(伊利诺伊大学香槟分校)
提出层次范例对比学习框架HiURE,利用跨层次注意力获取层次信号并优化句子关系表示,解决无监督关系抽取中的漂移和相似句对误分问题,在公开数据集上优于现有模型。
2025-06-18 cs.AI cs.CL
Relation Mention Extraction from Noisy Data with Hierarchical Reinforcement Learning
State Grid Corporation of China(国家电网有限公司);Tsinghua University(清华大学);Zhejiang University(浙江大学)
在本文中,我们解决了一个任务的关系提到提取噪声数据:提取代表性的短语,从嘈杂的句子,通过远程监督收集的特定关系。尽管它在许多下游应用中具有重要意义和价值,但该任务在噪声数据上的研究较少。主要的挑战存在于1)缺乏对提及短语的注释,更严重的是,2)处理根本不表达关系的嘈杂句子。为了解决这两个挑战,我们制定了一个半马尔可夫决策过程的任务,并提出了一种新的分层强化学习模型。我们的模型包括一个顶级的句子选择器,以消除嘈杂的句子,一个低级的提及提取器,以提取关系提及,和一个奖励估计器提供信号,以指导数据去噪和提及提取没有显式注释。实验结果表明,该模型能有效地从噪声数据中提取关系提及。
2018-11-03 cs.AI cs.CL cs.LG
Feature extraction without learning in an analog Spatial Pooler memristive-CMOS circuit design of Hierarchical Temporal Memory
Nazarbayev University(纳扎尔巴耶夫大学)
分层时间记忆(HTM)是一种神经形态算法,它模拟类似于新皮质工作原理的稀疏性、分层性和模块性。特征编码是生成稀疏二值模式的重要步骤。这种稀疏性是由HTM初始化阶段的二进制权重和随机权重分配引入的。我们提出了另一种确定性方法的HTM初始化阶段,它连接HTM的权重的输入数据,并保持自然稀疏的输入信息。此外,我们介绍了硬件实现的确定性方法,并将其与传统的HTM和现有的硬件实现。我们测试所提出的方法的人脸识别问题,并表明它优于传统的HTM方法。
2018-03-14 cs.AI cs.AR cs.ET
THESIS-MoE: Trainable Hierarchical Extraction and SteerIng of Sycophancy in Mixture-of-Experts
本研究提出THESIS-MoE,通过共享对比信号定位MoE模型中谄媚行为的计算子电路,采用有条件干预方法,在保留知识的同时消除了高达90%的信念诱导谄媚行为。
2026-08-18 cs.AI
The Analysis and Extraction of Structure from Organizational Charts
University at Buffalo(布法罗大学)
提出一种基于计算机视觉、深度学习和自然语言处理的端到端自动化方法,从组织架构图中提取层级结构信息,并引入评估完整性和层级准确性的度量标准,以支持组织重组与资源优化。
2023-11-16 cs.AI cs.CV
BioPIE: A Biomedical Protocol Information Extraction Dataset for Experiment Understanding
School of Advanced Manufacturing and Robotics, Peking University(北京理工大学先进制造与机器人学院);School of Integrated Circuits, Peking University(北京理工大学集成电路学院)
提出BioPIE数据集,以程序为中心的知识图谱捕获实体、动作和关系,解决生物医学实验理解中的高信息密度和多步推理难题,并验证了信息抽取方法及问答系统的有效性。
2026-08-31 cs.AI
Hallucination-Resistant Relation Extraction via Dependency-Aware Sentence Simplification and Two-tiered Hierarchical Refinement
Shanghai Jiao Tong University(上海交通大学);University of California San Diego(加州大学圣地亚哥分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Alibaba Group(阿里巴巴集团)
DEPTH通过依赖感知句子简化和双层级层次精炼提升关系抽取的准确性,将幻觉率降低至7.9%,F1分数提升9.3%。
2026-02-01 cs.AI cs.CL
Schema-Guided Hierarchical Information Extraction and Semantic Evaluation Using Generative AI
该研究提出模式引导的生成式AI框架,可零样本提取分层结构化信息并自动语义评估,在NICE文档上F1超90%,速度为人类专家30倍,具通用性与可迁移性。
2026-08-07 cs.AI cs.CL
Does GPT Really Get It? A Hierarchical Scale to Quantify Human vs AI's Understanding of Algorithms
Georgia Institute of Technology(佐治亚理工学院)
针对LLM是否真正理解算法的问题,提出一个理解层次分级体系,并基于人类与多代GPT的对比实验揭示异同,为追踪AI认知进展提供严格标准。
2025-01-18 cs.AI
Siamese Representation Learning for Unsupervised Relation Extraction
Jiangnan University(江南大学)
针对无监督关系抽取中对比学习易产生伪负样本、破坏层次结构的问题,提出仅用正样本对的孪生表示学习框架,在两个基准数据集上取得了更优的抽取效果。
2023-10-01 cs.AI cs.CL
Nellie: Automated organelle segmentation, tracking, and hierarchical feature extraction in 2D/3D live-cell microscopy
Calico Life Sciences LLC(Calico生命科学有限责任公司);University of California San Francisco(加州大学旧金山分校)
Nellie是一个自动化、无偏的流水线,用于活细胞显微镜中细胞器的分割、追踪和层次化特征提取,通过适应元数据、增强对比度和模式匹配实现,并提供无代码GUI和开源扩展,适用于多种生物学分析场景。
2024-10-15 cs.AI cs.CV cs.LG
Neuron-Anchored Rule Extraction for Large Language Models via Contrastive Hierarchical Ablation
Università della Svizzera italiana(瑞士意大利大学)
提出MechaRule方法,通过定位稀疏激动剂激活将规则提取锚定在LLM电路中,利用自适应组测试和置信引导剪枝,以极低代价高召回率识别关键神经元,并在算术和越狱任务中验证其有效性。
2026-06-06 cs.AI cs.LG
HiCrew: Hierarchical Reasoning for Long-Form Video Understanding via Question-Aware Multi-Agent Collaboration
School of Artificial Intelligence, Sun Yat-sen University, China(中山大学人工智能学院)
本文提出HiCrew框架,通过混合树结构、问题感知描述生成和动态规划层,解决长视频中时空冗余和叙事依赖问题,提升时间与因果推理能力。
2026-04-23 cs.AI
ContextRAG: Extraction-Free Hierarchical Graph Construction for Retrieval-Augmented Generation
HSE University(俄罗斯高等经济大学)
本文提出ContextRAG,一种无需大型语言模型提取实体和关系的图检索增强生成系统,通过残差量化k均值和Formal Concept Analysis方法构建模糊概念图,在130个任务的UltraDomain子集中实现了33.6%的F1分数,显著优于传统方法。
2026-05-19 cs.AI cs.CL
CNN Autoencoders for Hierarchical Feature Extraction and Fusion in Multi-sensor Human Activity Recognition
Amirkabir University of Technology(阿米尔卡比尔理工大学)
本文提出层次无监督融合模型,通过CNN和自动编码器的混合结构提取和融合多传感器数据特征,提升人类活动识别的准确率。
2025-02-06 cs.AI cs.LG
Multi-Hierarchical Fine-Grained Feature Mapping Driven by Feature Contribution for Molecular Odor Prediction
Shandong Normal University(山东师范大学);Shandong University(山东大学);ZJU-UIUC Institute(浙大-UIUC研究院);Huangshan University(黄山大学)
针对分子气味预测中特征表达不足和类别不平衡问题,提出HMFNet网络,通过局部与全局多层级特征提取及谐波调制特征映射增强原子级特征学习,并引入化学信息损失缓解类别不平衡,显著提升多种深度学习模型的预测性能。
2025-05-01 cs.AI cs.LG
Hierarchical Dialogue Understanding with Special Tokens and Turn-level Attention
National University of Singapore(新加坡国立大学)
针对对话语义动态多变导致机器理解困难的问题,提出结合特殊标记、轮次级别注意力与异构图模块的层级对话理解模型HiDialog,在三项对话理解任务上达到最优性能且代码开源。
2023-04-29 cs.AI cs.CL
Hierarchical Sparse Circuit Extraction from Billion-Parameter Language Models through Scalable Attribution Graph Decomposition
Department of CSE, Muffakham Jah College of Engineering and Technology (MJCET)(计算机科学与工程系,穆法卡姆·贾赫工程与技术学院(MJCET))
提出分层归因图分解(HAGD)方法,通过跨层编码器训练、谱粗化、GNN引导分层遍历和因果干预验证,将电路提取复杂度降至O(n² log n),在多个大模型上实现高行为保留。
2026-06-23 cs.AI cs.CL cs.LG
Hierarchical Representations for Spatio-Temporal Visual Attention Modeling and Understanding
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
该博士论文围绕视频中的时空视觉注意力建模,提出层次化表示方法,包括一个上下文感知的生成式概率模型和一个先估计自顶向下时空注意力再用于时间域建模的深度网络架构。
2023-08-09 cs.AI cs.CV cs.LG
SRFUND: A Multi-Granularity Hierarchical Structure Reconstruction Benchmark in Form Understanding
University of Science and Technology of China(中国科学技术大学);iFLYTEK(讯飞)
本文提出多语言、多任务的 SRFUND 基准,通过多粒度标注与全局层次依赖,评估模型对复杂表单结构的重建和跨语言理解能力。
2024-06-13 cs.AI cs.CL
Constructing Hierarchical Q&A Datasets for Video Story Understanding
Seoul National University(首尔国立大学);Korea Institute of Ocean Science & Technology(KIOST)(韩国海洋科学技术院);Hongik University(弘益大学)
视频理解正在成为研究类人AI的新范式。问答(Q&A)被用作衡量视频理解智能水平的通用基准。虽然之前的几项研究已经提出了视频问答任务的数据集,但它们并没有真正纳入故事层面的理解,导致问题难度的高度偏差和缺乏差异。在本文中,我们提出了一个层次化的方法来构建Q&A数据集,即层次难度水平。我们介绍了视频故事理解的三个标准,即记忆容量,逻辑复杂性和DIKW(数据-信息-知识-智慧)金字塔。我们讨论了如何从这些标准构建的三维地图可以被用来作为一个衡量标准,用于评估有关的视频故事理解的智能水平。
2019-04-01 cs.AI cs.CV cs.LG
GroupLink: An End-to-end Multitask Method for Word Grouping and Relation Extraction in Form Understanding
University of California, San Diego(加利福尼亚大学圣地亚哥分校);Sensetime Group Limited(商汤集团有限公司);Beihang University(北京航空航天大学)
表单是现实生活中常见的文档类型,通过文本内容和组织结构承载着丰富的信息。在光学字符阅读机(OCR)的初步处理之后,要实现表格的自动处理,组词和关系抽取是两个基本而关键的步骤。词分组是对属于同一语义实体的词进行聚合,关系抽取是对语义实体之间的联系进行预测。现有的作品将它们视为两个独立的任务,但这两个任务是相互关联的,可以相互加强。分组过程将细化相应实体的集成表示,链接过程将对分组性能进行反馈。为此,我们从文本数据和布局信息中获取多模态特征,并通过多任务训练建立端到端模型,将单词分组和关系抽取相结合,以提高每个任务的性能。我们验证了我们提出的方法在现实世界中,完全注释,噪声扫描基准,FUNSD,和广泛的实验证明了我们的方法的有效性。
2021-05-10 cs.AI cs.CL
Spurious Correlations and Beyond: Understanding and Mitigating Shortcut Learning in SDOH Extraction with Large Language Models
Department of Computer Science(计算机科学系);School of Nursing(护理学院);Department of Information Sciences and Technology(信息科学与技术系);Department of Biomedical Informatics & Medical Education(生物医学信息学与医学教育系)
研究大型语言模型在 SDOH 抽取中因依赖表面线索导致的虚假预测及性别差异问题,并评估提示工程与思维链等缓解策略以提升模型可靠性。
2025-05-30 cs.AI cs.CL
TreeGaussian: Tree-Guided Cascaded Contrastive Learning for Hierarchical Consistent 3D Gaussian Scene Segmentation and Understanding
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Beihang University(北京航空航天大学)
本文提出TreeGaussian,通过树引导的级联对比学习框架,解决3DGS在表示层次结构和捕捉整体-部分关系上的不足,提升分割一致性与质量。
2026-03-31 cs.AI cs.CV
SemHiTok: A Unified Image Tokenizer via Semantic-Guided Hierarchical Codebook for Multimodal Understanding and Generation
Sun Yat-sen University(中山大学);Huawei Noah’s Ark Lab(华为诺亚实验室);University of Hong Kong(香港大学);South China University of Technology(华南理工大学)
SemHiTok通过语义引导的层次代码本实现统一图像分词器,提升多模态理解和生成性能。
2026-02-28 cs.AI cs.CV
HPP: Hierarchical Programmatic Probing for Long Video Understanding by Decoupling Perception and Reasoning
Queen’s University Belfast(贝尔法斯特女王大学);AMD(AMD公司);Queen Mary University of London(伦敦玛丽女王大学)
提出HPP框架,通过将长视频理解重构为分层视频的迭代程序化探索,解耦语义感知与高阶时序推理,在LongVideoBench等基准上取得显著提升。
2026-06-23 cs.AI cs.CV
Understanding Jargon: Combining Extraction and Generation for Definition Modeling
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University at Buffalo(布法罗大学);NVIDIA(英伟达)
机器能知道什么是孪生素数吗?从这个短语的构成来看,机器可能会猜出孪生素数是某种素数,但如果没有额外的知识,仍然很难准确地推断出孪生素数代表什么。在这里,孪生素数是一个术语-一个特定领域的专家使用的专业术语。解释行话是具有挑战性的,因为它通常需要领域知识来理解。近年来,人们对自动提取和生成词的定义越来越感兴趣。然而,现有的方法,无论是提取或生成,执行行话不佳。本文提出了一种提取和生成相结合的行话定义建模方法:首先从Web上提取目标行话的自定义信息和相关定义信息,然后结合提取的定义信息生成最终的行话定义。我们的框架非常简单但有效:实验表明,我们的方法可以为行话生成高质量的定义,并且显著优于最先进的模型,例如,BLEU评分从8.76至22.66,人类注释评分从2.34至4.04。
2022-10-20 cs.AI cs.CL
Enhancing Long Video Understanding via Hierarchical Event-Based Memory
Tencent(腾讯)
针对长视频中粗粒度压缩导致的事件混杂与信息冗余问题,本文提出HEM-LLM,通过自适应事件分割、事件内记忆建模及前序事件信息注入增强长程依赖,并在多任务上达到SOTA。
2024-09-10 cs.AI cs.CV
EIPE-text: Evaluation-Guided Iterative Plan Extraction for Long-Form Narrative Text Generation
Microsoft Research Asia(微软亚洲研究院)
针对长篇叙事生成中规划质量不佳的问题,提出EIPE-text框架,通过问答评估引导的迭代计划提取构建更好规划器,经微调或上下文学习提升生成连贯性与相关性。
2023-10-12 cs.AI cs.CL
H2VU-Benchmark: A Comprehensive Benchmark for Hierarchical Holistic Video Understanding
OPPO AI Center(OPPO人工智能中心)
针对现有视频理解基准覆盖不足的问题,提出层次化整体视频理解基准H2VU,通过扩展视频时长、增加反常识与轨迹追踪任务及第一人称数据,全面评估多模态大模型,并揭示其改进潜力。
2025-05-27 cs.AI cs.CV
Navigation Objects Extraction for Better Content Structure Understanding
Zhejiang University(浙江大学);University of British Columbia(不列颠哥伦比亚大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
从网页中提取导航对象的现有工作主要集中在导航菜单上,以揭示网站的信息结构。然而,诸如社交网络、电子商务门户等web 2.0站点使得对网站中的内容结构的理解变得越来越困难。动态和个性化的元素,如顶部的故事,在网页中的推荐列表是至关重要的动态性质的Web 2.0网站的理解。为了更好地理解Web 2.0网站的内容结构,本文提出了一种新的网页导航对象提取方法。我们的方法将提取不仅是静态的导航菜单,但也动态和个性化的页面特定的导航列表。由于网页中的导航对象自然是分块的,我们首先利用超链接的空间位置,DOM树的层次结构和超链接密度聚类到不同的块。然后,我们确定导航对象从这些块使用SVM分类器与新的功能,如锚文本长度等真实世界的数据集上的实验,从不同领域和风格的网页验证了我们的方法的有效性。
2017-08-26 cs.AI cs.IR
Design considerations for a hierarchical semantic compositional framework for medical natural language understanding
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对医学NLP难以逻辑解释临床文本的问题,论文提出受认知机制启发、以HSCM为核心的层级语义组合框架,并设计生成式语义模型与语义解析器。
2022-04-05 cs.AI cs.CL
Hierarchical Evidence-Driven Reasoning for Long Document Understanding
University of Science and Technology of China(中国科学技术大学);iFLYTEK Research(科大讯飞研究院)
针对现有多模态RAG管道面临的问题,提出分层证据驱动的多模态RAG框架HIEVI-RAG,通过四阶段管道,包括分层问题分解、粗视觉页面检索、细粒度页面验证和内存引导迭代生成,提升长文档理解,效果显著优于现有基线。
2026-07-07 cs.AI cs.CV
Multimodal Tree Decoder for Table of Contents Extraction in Document Images
University of Science and Technology of China(中国科学技术大学);iFLYTEK Research(讯飞研究院)
目录抽取的目的是抽取文档中不同层次的标题,以更好地理解内容的概要,可广泛应用于文档理解和信息检索。现有的作品往往使用手工制作的功能和预定义的基于规则的功能来检测标题和解决标题之间的层次关系。基于深度学习的基准测试和研究仍然有限。因此,在本文中,我们首先介绍了一个标准的数据集,HierDoc,包括从650个文件的科学论文的内容标签的图像样本。然后,我们提出了一种新的端到端模型,使用多模态树解码器(MTD)的ToC作为基准HierDoc。MTD模型主要由编码器、分类器和解码器三部分组成。编码器融合了文档中每个实体的视觉、文本和布局信息的多模态特征。然后分类器识别并选择标题实体。其次,为了解析标题实体之间的层次关系,设计了一个树形结构的解码器。为了评估性能,采用了树编辑距离相似度(TEDS)和F1-Measure。最后,我们的MTD方法在HierDoc的测试集上实现了87.2%的平均TEDS和88.1%的平均F1-Measure。代码和数据集将在https://github.com/Pengfei-Hu/MTD上发布。
2022-12-06 cs.AI cs.CV
Hierarchical Annotation for Building A Suite of Clinical Natural Language Processing Tasks: Progress Note Understanding
University of Wisconsin(威斯康星大学);Loyola University Chicago(芝加哥洛约拉大学);Boston Children’s Hospital(波士顿儿童医院);Harvard Medical School(哈佛医学院)
将自然语言处理方法应用于电子健康记录(EHR)数据是一个不断发展的领域。现有的语料库和标注集中在文本特征建模和关系预测上。然而,有一个注释的语料库建立临床诊断思维,涉及文本理解,领域知识的抽象和推理的过程中,一个缺乏。这项工作介绍了一个层次化的注释模式,有三个阶段,以解决临床文本理解,临床推理和总结。我们创建了一个注释语料库的基础上广泛收集的公开可用的每日进展记录,一种类型的EHR文档,是在时间序列中收集的问题为导向的格式。进度记录的常规格式遵循主观、客观、评估和计划标题(SOAP)。我们还定义了一套新的任务,进度说明理解,三个任务利用三个注释阶段。这套新的任务旨在训练和评估未来的NLP模型,用于临床文本理解、临床知识表示、推理和总结。
2022-04-06 cs.AI cs.CL cs.CY
Towards Hierarchical Structure Understanding of Newspaper Images
University of Rouen Normandy(鲁昂诺曼底大学);INSA of Rouen Normandy(鲁昂诺曼底国立应用科学学院);Teklia(泰克莱亚公司);Bibliothèque nationale de France(法国国家图书馆)
针对报纸图像复杂层次结构理解难题,提出模块化自底向上流程结合开源模型及新型端到端Tiramisu架构,利用其并行注意力机制实现多任务,还发布新数据集,实验证明两种方法有效,突出各自优势。
2026-07-17 cs.AI cs.CV cs.IR
DramaQA: Character-Centered Video Story Understanding with Hierarchical QA
Seoul National University(首尔大学);AI Institute (AIIS)(人工智能研究所)
尽管最近在计算机视觉和自然语言处理方面取得了进展,但由于视频故事的内在困难,开发能够理解视频故事的机器仍然很难实现。此外,如何基于人类认知过程来评价视频理解程度的研究还没有进展。在本文中,我们提出了一种新的视频问答(视频QA)任务,DramaQA,全面了解的视频故事。DramaQA侧重于两个方面:1)基于人类智力认知发展阶段的分层QA作为评估指标。2)以用户为中心的视频注释,以模拟故事的局部连贯性。我们的数据集是建立在电视剧“另一个吴小姐”,它包含17,983问答对从23,928个不同长度的视频剪辑,每个问答对属于四个难度级别之一。我们提供了217,308个注释图像,其中包含丰富的以字符为中心的注释,包括视觉边界框,主要角色的行为和情感以及共指解决脚本。此外,我们提出了多层次上下文匹配模型,该模型分层理解以字符为中心的视频表示来回答问题。我们公开发布我们的数据集和模型用于研究目的,我们希望我们的工作能够为视频故事理解研究提供新的视角。
2020-12-17 cs.AI cs.CL cs.CV
HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院);National University of Singapore(新加坡国立大学)
HERMES提出一种无需训练的架构,通过将KV缓存视为分层内存框架,实现视频流的实时准确理解,提升处理速度并降低内存消耗。
2026-05-07 cs.AI cs.CL cs.CV
Hierarchical BERT for Medical Document Understanding
IQVIA(艾昆纬)
医学文档理解近年来受到广泛关注。一个代表性的任务是国际疾病分类(ICD)诊断代码分配。现有的工作采用RNN或CNN作为骨干网络,因为香草BERT不能很好地处理长文档(>2000到kens)。所有这些方法的一个共同问题是,它们过于特定于ICD代码分配任务,失去了提供整个文档级和文档级嵌入的通用性。因此,将它们引导到其他下游NLU任务并不简单。出于这些观察,我们提出了医疗文档BERT(MDBERT)的长期医疗文档理解的任务。MDBERT不仅在学习不同语义级别的表示方面有效,而且通过利用自下而上的层次结构,在编码长文档方面也很有效。与普通的BERT解决方案相比:1,MDBERT在MIMIC-III数据集上将性能提高了20%,使其与当前的SOTA解决方案相当; 2,它将自注意模块的计算复杂性降低到1/100以下。除了ICD代码分配之外,我们还在一个名为TrialTrove的大型商业数据集上进行了各种其他NLU任务,以展示MDBERT在提供不同级别语义方面的优势。
2022-03-11 cs.AI cs.CL cs.CV
N2F2: Hierarchical Scene Understanding with Nested Neural Feature Fields
University of Oxford(牛津大学)
提出嵌套神经特征场(N2F2),通过层次化监督和CLIP蒸馏学习单一特征场,实现多粒度场景理解,在开放词汇3D分割和定位任务上优于现有方法。
2024-07-28 cs.AI cs.CV cs.GR
Hierarchical Long Video Understanding with Audiovisual Entity Cohesion and Agentic Search
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
本文提出HAVEN框架,通过整合音频视觉实体凝聚力与层次化视频索引与代理搜索,解决长视频理解中的信息碎片化和全局一致性问题,实验显示在LVBench上达到84.1%的准确率。
2026-03-24 cs.AI cs.CV cs.IR
DynaVieW: Schema-Guided World Modeling for Understanding Hierarchical Visual Dynamics
EPFL, Switzerland(瑞士联邦理工学院);Harvard University(哈佛大学);Sony Group Corporation(索尼集团);ETH Zurich, Switzerland(瑞士苏黎世联邦理工学院)
针对多模态语言模型难以系统建模视频视觉场景时间演变的问题,提出DynaVieW模型,通过学习交错状态转换序列理解视觉动态,在多架构下联合建模,提升下游视觉叙事创作等任务表现。
2026-07-07 cs.AI cs.CL cs.CV
Canary Extraction in Natural Language Understanding Models
Institute for Systems Research(系统研究所);University of Maryland(马里兰大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
自然语言理解(NLU)模型可以在敏感信息(如电话号码,邮政编码等)上进行训练。最近的文献集中在模型反演攻击(ModIvA)上,该攻击可以从模型参数中提取训练数据。在这项工作中,我们提出了一个版本的这样的攻击提取金丝雀插入NLU训练数据。在攻击中,对模型具有开放式访问权限的对手重建模型训练集中包含的金丝雀。我们评估我们的方法,通过执行文本完成金丝雀,并证明,通过使用前缀(非敏感)令牌的金丝雀,我们可以生成完整的金丝雀。例如,我们的攻击能够在NLU模型的训练数据集中重建四位数代码,其最佳配置的概率为0.5。作为对策,我们确定了几种防御机制,当结合起来,有效地消除了ModIvA在我们的实验中的风险。
2022-03-25 cs.AI cs.CL cs.IR