HTMLPhish: Enabling Phishing Web Page Detection by Applying Deep Learning Techniques on HTML Analysis
Teesside University(提赛德大学);Northumbria University(诺森比亚大学)
最近,网络钓鱼攻击的开发和实施需要很少的技术技能和成本。这一事件导致万维网上越来越多的网络钓鱼攻击。因此,对抗网络钓鱼攻击的主动技术变得非常必要。在本文中,我们提出了HTMLPhish,一种基于深度学习的数据驱动的端到端自动钓鱼网页分类方法。具体地,HTMLPhish接收网页的HTML文档的内容,并且采用卷积神经网络(CNN)来学习HTML的文本内容中的语义依赖性。CNN从HTML文档嵌入中学习适当的特征表示,而无需大量的手动特征工程。此外,我们提出的连接单词和字符嵌入的方法允许我们的模型管理新的功能,并确保易于外推到测试数据。我们对超过50,000个HTML文档的数据集进行了全面的实验,该数据集提供了在现实世界中可获得的网络钓鱼到良性网页的分布,其准确率和真阳性率超过93%。此外,HTMLPhish是一种完全独立于语言的客户端策略,因此,无论文本语言如何,都可以进行网页钓鱼检测。
2020-05-15 cs.CL cs.CR cs.LG
Automatic Compositor Attribution in the First Folio of Shakespeare
Carnegie Mellon University(卡内基梅隆大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Google(谷歌)
排版者属性,由设置类型的个人对历史印刷文档中的页面进行聚类,是一项依赖于正字法变化分析和印刷页面视觉细节检查的书目任务。在本文中,我们介绍了一种新的无监督模型,共同描述的文本和视觉特征,需要区分排序。应用于莎士比亚的第一对开本的图像,我们的模型预测的属性,同意与书目的人工判断的准确性为87%,即使是在文本的OCR输出。
2017-04-25 cs.CL
Semantic Parsing of Interpage Relations
Istanbul Technical University(伊斯坦布尔技术大学);Yapı Kredi Teknoloji(Yapı Kredi科技公司)
文档的页面级分析一直是数字化工作中感兴趣的主题,并且多模态方法已被应用于分类和页面流分割。在这项工作中,我们专注于捕捉更精细的多页文档的页面之间的语义关系。为此,我们正式的任务,作为语义解析的页间关系,我们提出了一个端到端的方法进行页间依赖提取,灵感来自依存句法分析文献。我们进一步设计了一个多任务训练方法,以联合优化用于分割,分类和解析页面依赖关系的页面嵌入,使用从页面中提取的文本和视觉特征。此外,我们还结合了两种模态的特征,以获得多模态页面嵌入。据我们所知,这是第一个研究,以提取丰富的语义跨页关系的多页文档。我们的实验结果表明,所提出的方法提高了41个百分点的LAS语义解析,提高了33个百分点的准确性页面流分割,和45个百分点的页面分类在一个天真的基线。
2022-05-26 cs.CL cs.LG
PDF-MVQA: A Dataset for Multimodal Information Retrieval in PDF-based Visual Question Answering
The University of Melbourne(墨尔本大学);The University of Sydney(悉尼大学);The University of Western Australia(西澳大利亚大学)
提出PDF-MVQA数据集和VRD-QA框架,解决以文本为主的多页研究论文中的多模态信息检索与问答问题,增强视觉语言模型对层次化布局的理解。
2024-04-19 cs.CL cs.CV
WYSIWYE: An Algebra for Expressing Spatial and Textual Rules for Visual Information Extraction
IBM Research(IBM研究院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);IBM Germany Research & Development(IBM德国研发中心)
网页的视觉布局可以为某些类型的信息抽取(IE)任务提供有价值的线索。在传统的基于规则的IE框架中,这些布局提示被映射到对网页的HTML源进行操作的规则。相比之下,我们已经开发了一个框架,其中的规则可以直接指定在布局级别。这有很多优点,因为更高的抽象级别导致更简单的提取规则,这些规则在很大程度上独立于页面的源代码,因此更健壮。它还可以实现以其他方式不可能的新类型规则的规范。据我们所知,没有一个通用的框架,允许声明性规范的信息抽取规则的基础上的空间布局。我们的框架是传统的基于文本的规则框架的补充,并允许基于空间布局的规则与传统的基于文本的规则的无缝结合。我们描述的代数,使这样一个系统和它的有效实施使用标准的关系和文本索引功能的关系数据库。我们证明了这个系统的简单性和效率的任务,涉及软件产品页面的软件系统要求的提取。
2016-09-27 cs.CL cs.DB cs.IR
Long document summarization using page specific target text alignment and distilling page importance
本文提出PTS和PTSPI模型,通过页面划分、目标文本对齐和页面重要性权重改进长文档抽象式摘要,在基准数据集上ROUGE-1和ROUGE-2分别超越SOTA 6.32%和8.08%。
2025-09-20 cs.CL cs.IR
Kleister: A novel task for Information Extraction involving Long Documents with Complex Layout
Adam Mickiewicz University(亚当·密茨凯维奇大学);Nicolaus Copernicus University(尼古拉·哥白尼大学);Warsaw University of Technology(华沙理工大学);Samsung R&D Institute Poland(三星波兰研发研究所)
最先进的自然语言处理(NLP)解决方案能够捕获广泛的上下文,例如短文档的文档级上下文或文档级上下文。但是,当涉及到更长的、真实世界的文档时,这些解决方案仍然在努力,这些文档的信息编码在文档的空间结构中,例如表格、表单、页眉、开头或页脚等页面元素;复杂的页面布局或多个页面的存在。为了鼓励更深入和更复杂的信息抽取(IE)的进展,我们引入了一个新的任务(名为Kleister)与两个新的数据集。利用文本和结构布局功能,NLP系统必须在长的正式文档中找到关于各种类型实体的最重要的信息。我们提出管道方法作为一个纯文本的基线与不同的命名实体识别架构(Flair,BERT,RoBERTa)。此外,我们检查了最流行的PDF文本提取处理工具(pdf 2djvu,Tesseract和Texextract),以分析IE系统在这些工具引入错误时的行为。
2020-03-06 cs.CL
Infusing Knowledge into the Textual Entailment Task Using Graph Convolutional Networks
IBM Research(IBM研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tulane University(杜兰大学)
文本蕴涵是自然语言处理中的一项基本任务。解决该问题的大多数方法仅使用训练数据中存在的文本内容。一些方法已经表明,来自外部知识源(如知识图谱(KG))的信息可以通过提供对任务至关重要的背景知识来增加文本内容之外的价值。然而,所提出的模型没有充分利用通常大而嘈杂的KG中的信息,并且不清楚如何有效地编码以用于蕴涵。我们提出了一种方法,补充基于文本的蕴涵模型与信息从KG(1)使用个性化PageRank生成上下文子图与减少噪音和(2)编码这些子图使用图卷积网络捕捉KG结构。我们的技术扩展了文本模型利用KG中发现的结构和语义信息的能力。我们在多个文本蕴涵数据集上评估了我们的方法,并表明外部知识的使用有助于提高预测精度。这在具有挑战性的BreakingNLI数据集中尤为明显,我们看到在多个基于文本的蕴涵模型上有5-20%的绝对改进。
2019-11-22 cs.AI cs.CL
VLD-RAG: Agentic Vision-Language Retrieval-Augmented Generation for Long, Visually-Rich Multi-Page Documents
Mazelone(马泽隆)
研究针对视觉丰富的长文档问答的多模态检索增强生成,提出VLD-RAG框架,构建多模态索引并采用混合检索策略,经智能体工作流程协调,在相关基准上提升了证据页面检索及问答表现,凸显协调验证与混合检索的重要性。
2026-07-29 cs.AI cs.CL cs.IR
DocBank: A Benchmark Dataset for Document Layout Analysis
Microsoft Research Asia(微软亚洲研究院);Beihang University(北京航空航天大学)
文档布局分析通常依赖于计算机视觉模型来理解文档,而忽略了对捕获至关重要的文本信息。同时,高质量的标记数据集的视觉和文本信息仍然不足。在本文中,我们提出了\textbf{DocBank},一个基准数据集,包含50万文档页面与细粒度的标记级注释的文档布局分析。DocBank是使用一种简单而有效的方法构建的,对arXiv.com上提供的\LaTeX{}文档的监督很弱。使用DocBank,可以公平地比较来自不同模态的模型,并进一步研究多模态方法,提高文档布局分析的性能。我们构建了几个强大的基线,并手动分割训练/开发/测试集进行评估。实验结果表明,在DocBank上训练的模型能够准确识别各种文档的布局信息。DocBank数据集在\url{https://github.com/doc-analysis/DocBank}上公开提供。
2020-11-11 cs.CL
CMDR: Contextual Multimodal Document Retrieval
Human Informatics Labs.(人文信息实验室);NTT, Inc.(日本NTT公司)
研究多模态文档检索,提出CMDR-Embed框架联合编码页面纳入文档上下文,引入CMCL对比学习目标训练,实验证明该框架显著优于非上下文嵌入,凸显上下文感知多模态嵌入对文档检索的重要性。
2026-07-08 cs.AI cs.CL cs.CV
UNIMO-2: End-to-End Unified Vision-Language Grounded Learning
Baidu Inc.(百度公司)
视觉语言预训练(VLP)在各种跨模态下游任务上取得了令人印象深刻的性能。然而,大多数现有的方法只能从对齐的图像字幕数据中学习,并且严重依赖昂贵的区域特征,这极大地限制了它们的可扩展性和性能。在本文中,我们提出了一个端到端的统一模态预训练框架,即UNIMO-2,用于对齐的图像标题数据和未对齐的纯图像和纯文本语料库的联合学习。我们建立了一个统一的Transformer模型来共同学习视觉表示,文本表示和图像和文本之间的语义对齐。特别是,我们建议通过共享接地空间对图像和文本进行接地学习,这有助于弥合未对齐的图像和文本,并在不同类型的语料库上对齐视觉和文本语义空间。实验表明,我们的接地学习方法可以提高文本和视觉语义对齐,提高各种跨模态任务的性能。此外,得益于不同类型语料库的有效联合建模,我们的模型在单模态视觉和文本任务上也取得了令人印象深刻的性能。我们的代码和模型在UNIMO项目页面https://unimo-ptm.github.io/上公开。
2022-03-17 cs.CL cs.CV
ColPali: Efficient Document Retrieval with Vision Language Models
Illuin Technology(伊卢因科技);CentraleSupélec, Paris-Saclay(巴黎萨克雷中央高等电力学院);ETH Zürich(苏黎世联邦理工学院)
针对视觉丰富文档检索的挑战,提出ColPali视觉语言模型,直接嵌入文档页面图像生成多向量嵌入,结合晚期交互匹配,在ViDoRe基准上大幅超越现有流程,且更简单、更快、可端到端训练。
2025-02-28 cs.CL cs.CV cs.IR
JDocQA: Japanese Document Question Answering Dataset for Generative Language Models
Nara Institute of Science and Technology(奈良科学技术研究所);RIKEN(理化学研究所);ATR(ATR(先进电信研究所))
本文提出JDocQA,一个包含5,504份PDF文档和11,600个日语问答实例的大规模日语文档问答数据集,要求同时利用视觉与文本信息,并通过纳入不可回答问题来抑制大语言模型的幻觉生成。
2024-03-28 cs.CL
MMLongBench-Doc: Benchmarking Long-context Document Understanding with Visualizations
S-Lab, Nanyang Technological University(南洋理工大学S-Lab);Peking University(北京大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);National University of Singapore(新加坡国立大学);Wuhan University(武汉大学);Singapore Management University(新加坡管理大学);Shanghai AI Laboratory(上海人工智能实验室);University of Arizona(亚利桑那大学);Fudan University(复旦大学)
本文提出长上下文多模态文档理解基准MMLongBench-Doc,包含1,062个基于130份长PDF的专家标注问题,评估14个LVLMs发现长上下文DU极具挑战,最佳模型GPT-4o仅获42.7% F1分数,凸显了研发更强大长上下文LVLMs的必要性。
2024-11-12 cs.CL cs.CV
MinerU-Popo: Universal Post-Processing Model for Structured Document Parsing
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory, OpenDataLab(上海人工智能实验室,OpenDataLab);University of California, Berkeley(加州大学伯克利分校)
提出MinerU-Popo轻量级通用后处理框架,通过分解为文本/表格截断恢复、标题层级重建和图文关联四个子任务,并利用动态分块和重叠同步将OCR页面级结果重构为文档级逻辑结构,显著提升标题层级TEDS和RAG准确性。
2026-07-31 cs.AI cs.CL cs.CV
MMESGBench: Pioneering Multimodal Understanding and Complex Reasoning Benchmark for ESG Tasks
Nanyang Technological University(南洋理工大学);University College London(伦敦大学学院);Alibaba Group(阿里巴巴集团)
本文提出首个ESG领域多模态理解与复杂推理基准MMESGBench,通过人机协作流程从45份多源ESG文档构建933个经专家验证的QA对,并实验证明多模态与检索增强模型显著优于纯文本基线。
2025-08-15 cs.CL cs.MM
Combining Linguistic and Spatial Information for Document Analysis
我们提出了一个框架来分析复杂布局的彩色文档。此外,没有对布局做出任何假设。我们的框架结合了内容驱动的自下而上的方法两个不同的信息来源:文本和空间。为了分析文本,使用了浅层自然语言处理工具,例如标记器和部分解析器。为了推断逻辑布局的关系,我们求助于与艾伦演算密切相关的定性空间演算。我们评估系统对彩色期刊的文件,并提出了从期刊的页面中提取阅读顺序的结果。在这种情况下,我们的分析是成功的,因为它从文档中提取了预期的阅读顺序。
2000-09-20 cs.CL cs.DL
DocPruner: A Storage-Efficient Framework for Multi-Vector Visual Document Retrieval via Adaptive Patch-Level Embedding Pruning
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Alibaba Cloud Computing(阿里云计算)
针对多向量视觉文档检索中补丁嵌入导致的高存储开销,提出 DocPruner,利用文档内补丁注意力分布自适应剪枝冗余嵌入,在十余个数据集上实现50%至60%存储压缩且性能损失极小。
2025-09-28 cs.CL cs.IR
Generative Digital Twins: Vision-Language Simulation Models for Executable Industrial Systems
Institute of Artificial Intelligence Innovation(人工智能创新研究所)
本文提出视觉-语言模拟模型VLSM,通过统一视觉与文本理解,实现从布局草图和自然语言提示生成可执行的工业模拟代码,建立首个大规模生成数字孪生数据集并提出三个专用评估指标。
2026-01-13 cs.AI cs.CL cs.CV
MMDocIR: Benchmarking Multimodal Retrieval for Long Documents
Huawei Technologies Co., Ltd.(华为技术有限公司)
本文提出 MMDocIR 基准,通过页面级和版面级检索任务及大规模标注数据集,系统评估并提升长文档多模态检索性能,证明视觉检索器和 VLM-text 的显著优势。
2025-11-07 cs.AI cs.CL cs.CV
MathCanvas: Intrinsic Visual Chain-of-Thought for Multimodal Mathematical Reasoning
Multimedia Laboratory (MMLab), The Chinese University of Hong Kong(中文大学多媒体实验室);Huawei Research(华为研究);BUAA(北京航空学院)
针对多模态数学推理中视觉思维链的不足,提出MathCanvas框架,通过两阶段训练赋予LMMs内在VCoT能力,在基准上相对提升86%。
2025-10-16 cs.CL cs.CV