Defense of Adversarial Ranking Attack in Text Retrieval: Benchmark and Baseline via Detection
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
本文针对神经排序模型的对抗性文档篡改攻击,构建了防御基准数据集并引入两类检测任务,实验发现有监督分类器对已知攻击有效但对未知攻击表现差,且应避免使用查询文本以防误弃相关文档。
2023-07-31 cs.CL cs.IR
Benchmarking Robustness of Deep Learning Classifiers Using Two-Factor Perturbation
Southeast Missouri State University(东南密苏里州立大学);University of Arkansas at Little Rock(阿肯色大学小石城分校)
深度学习(DL)分类器的准确性通常是不稳定的,因为当在对抗图像、不完美图像或扰动图像上重新测试时,它们可能会发生显著变化。本文增加了基准的DL分类器对有缺陷的图像的鲁棒性的工作的基本机构。为了衡量强大的DL分类器,以前的研究报告单因素腐败。我们创建了全面的69个基准图像集,包括一个干净的集,单因素扰动集和双因素扰动条件集。现有技术的双因子扰动包括(a)在两个序列中应用的两个数字扰动(椒盐噪声和高斯噪声),以及(b)在两个序列中应用的一个数字扰动(椒盐噪声)和一个几何扰动(旋转)。以前的研究评估DL分类器通常使用前1/前5的准确性。我们创新了一种新的二维统计矩阵来评估DL分类器的鲁棒性。此外,我们引入了一个新的可视化工具,包括最小精度,最大精度,平均精度和变异系数(CV),基准的DL分类器的鲁棒性。与单因素腐败相比,我们首先报告,使用双因素扰动图像提高了DL分类器的鲁棒性和准确性。所有源代码和相关图像集都在网站http://cslinux.semo.edu/david/data上共享,以支持未来的学术研究和行业项目。
2022-03-02 cs.AI cs.CV cs.GR
ShredBench: Evaluating the Semantic Reasoning Capabilities of Multimodal LLMs in Document Reconstruction
Xidian University(西安电子科技大学);Shanghai Jiao Tong University(上海交通大学);Alibaba Qwen(阿里巴巴量子计算实验室);Old Dominion University(旧 Dominion 大学)
本文提出ShredBench基准,用于评估多模态大语言模型在文档重建任务中的语义推理能力,发现现有模型在处理破碎文档时存在显著性能差距。
2026-10-28 cs.CL cs.CV
Evaluating Multimodal Large Language Models on Vertically Written Japanese Text
Waseda University(早稻田大学);NII(日本国立信息机构);NII LLMC Tokyo, Japan(日本国立信息机构LLMC东京)
针对现有MLLMs竖排日文处理能力研究不足的问题,构建合成及真实竖排日文评估数据集开展评测,验证了现有模型竖排表现弱于横排,且合成数据集微调可提升模型竖排文本处理能力。
2025-11-19 cs.CL cs.CV
Evaluating LLMs for Historical Document OCR: A Methodological Framework for Digital Humanities
Italian Institute of Germanic Studies (IISG)(意大利德语研究学院);University of Bologna(博洛尼亚大学)
针对历史文档OCR缺乏评估框架的问题,提出包含HCPR和AIR等新指标的评估方法,发现Gemini和Qwen模型优于传统OCR但存在过度历史化现象。
2025-10-08 cs.AI cs.CL cs.CV
Evaluating Adversarial Robustness on Document Image Classification
Credit Agricole S.A(法国农业信贷银行)
针对现有对抗攻防研究多聚焦普通图像、较少涉及文档图像的问题,该研究将三类无目标对抗攻击应用于文档与自然数据,评估三种防御手段对两种模型在文档图像分类任务上的鲁棒性影响,填补了相关研究空白。
2023-05-01 cs.AI cs.CV
Evaluating Deep Neural Networks for Image Document Enhancement
HP Inc.(惠普公司)
这项工作评估了六个国家的最先进的深度神经网络(DNN)架构应用于增强相机捕获的文档图像的问题。使用图像质量评估(IQA)指标对每个网络的结果进行了定性和定量评估,并与基于传统计算机视觉技术的现有方法进行了比较。与现有算法相比,性能最好的架构通常会产生良好的增强效果,这表明DNN可以用于文档图像增强。此外,性能最佳的架构可以作为未来使用深度学习技术进行文档增强研究的基线。本文的主要贡献是:可以进一步改进以提供更好结果的深度学习技术的基线,以及使用IQA指标的评估方法,用于定量比较从神经网络生成的图像与地面实况。
2021-06-11 cs.CV cs.LG eess.IV
Synthetic Data Augmentation for Table Detection: Re-evaluating TableNet's Performance with Automatically Generated Document Images
Deggendorf Institute of Technology(德格多夫技术学院)
本研究针对文档表格人工提取效率低的问题,提出基于LaTeX的自动化合成数据流水线增强Marmot基准,系统研究不同分辨率下TableNet的表格检测性能,在降低人工标注成本的同时取得了不错的检测效果。
2025-06-17 cs.AI cs.CV
Evaluating Performance of an Adult Pornography Classifier for Child Sexual Abuse Detection
Universidad de León(莱昂大学);INCIBE(西班牙国家网络安全研究所)
信息技术革命为人人接触色情材料提供了便利,包括最容易受到虐待的未成年人。准确性和时间性能是面向儿童性虐待检测的法医工具所期望的特征,其主要组成部分可能依赖于图像或视频分类器。在本文中,我们确定哪些是硬件和软件的要求,可能会影响性能的取证工具。我们评估了雅虎提出的基于深度学习的成人色情分类器,分为两种不同的操作系统和四种硬件配置,分别具有两种和四种不同的CPU和GPU。Ubuntu操作系统上的分类速度分别比Windows 10上的快$~5$和$~2$倍(当使用CPU和GPU时)。我们证明了一个基于GPU的机器,而不是基于CPU的优越性,是$7$到$8$倍更快。最后,我们证明了向上和向下的插值过程中进行,而嵌入的输入图像不影响所选择的预测模型的性能。
2020-05-18 cs.CV
A practical approach to evaluating the adversarial distance for machine learning classifiers
Federal Institute for Occupational Safety and Health (BAuA)(联邦职业安全与健康研究所(BAuA));University of Stuttgart(斯图加特大学)
本文提出一种结合迭代对抗攻击与认证方法估计对抗距离上下界的实用评估方法,并通过可视化与消融研究验证其有效性,旨在推动更具信息量的ML分类器鲁棒性评估。
2024-09-05 cs.CV cs.LG
Evaluating and Improving Factuality in Multimodal Abstractive Summarization
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
目前用于评估抽象文档摘要的真实性的度量已经与人类判断实现了高度相关性,但是它们不考虑视觉模态,因此不足以用于视觉和语言摘要。我们提出了CLIPBERTScore,CLIPScore和BERTScore的简单加权组合,分别利用图像摘要和文档摘要之间的鲁棒性和强真实性检测性能。接下来,由于缺乏元评估基准来评估多模态真实性指标的质量,我们收集了人类对文档和图像真实性的判断。我们表明,这种简单的组合中的两个指标的zero-shot设置实现了更高的相关性比现有的真实性指标的文档摘要,优于现有的多模态摘要指标,并执行竞争力强的多模态真实性指标专门微调的任务。我们的全面分析表明,CLIPBERTScore及其组件在四个真实性度量评估基准上具有鲁棒性和高度相关性。最后,我们展示了我们的CLIPBERTScore度量的两个实际下游应用:用于选择在训练过程中关注的重要图像,以及作为强化学习的奖励,以提高多模态摘要生成的真实性。我们的数据和代码可在https://github.com/meetdavidwan/faithful-multimodal-summ上公开获取
2022-11-04 cs.AI cs.CL cs.CV
Evaluating and Mitigating Bias in Image Classifiers: A Causal Perspective Using Counterfactuals
Microsoft Research(微软研究院);Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
输入的反事实示例-改变特定特征但不改变其他特征的扰动-已被证明可用于评估机器学习模型的偏差,例如,针对特定人口群体。然而,由于图像的各种特征的潜在因果结构,为图像生成反事实示例是不平凡的。为了有意义,生成的扰动需要满足因果模型隐含的约束。我们提出了一种方法,通过将结构因果模型(SCM)的逆向学习推理(ALI),生成反事实,根据图像的属性之间的因果关系的改进的变体生成反事实。基于生成的反事实,我们展示了如何解释预训练的机器学习分类器,评估其偏差,并使用反事实正则化器减轻偏差。在Morpho-MNIST数据集上,我们的方法生成的反事实在质量上与之前基于SCM的反事实(DeepSCM)的工作相当,而在更复杂的CelebA数据集上,我们的方法在生成高质量的有效反事实方面优于DeepSCM。此外,生成的反事实与人类评估实验中的重建图像无法区分,我们随后使用它们来评估在CelebA数据上训练的标准分类器的公平性。我们表明,分类器是有偏见的w.r.t.皮肤和头发的颜色,以及反事实正则化如何消除这些偏见。
2022-01-06 cs.CV cs.LG
Learning and Evaluating Representations for Deep One-class Classification
Google Cloud AI(谷歌云人工智能)
我们提出了一个两阶段的框架,深一类分类。我们首先从一类数据中学习自监督表示,然后在学习的表示上构建一类分类器。该框架不仅允许学习更好的表示,而且还允许构建忠实于目标任务的单类分类器。我们认为,在生成或判别模型的统计角度启发的分类器比现有的方法,如从一个代理分类器的正态性得分更有效。我们彻底评估了不同的自我监督表示学习算法下提出的框架一类分类。此外,我们提出了一种新的分布增强的对比学习,通过数据增强来扩展训练分布,以阻碍对比表示的一致性。在实验中,我们展示了视觉域一类分类基准的最先进的性能,包括新颖性和异常检测。最后,我们给出了视觉解释,证实了深度单类分类器的决策过程对人类来说是直观的。该代码可在https://github.com/google-research/deep_representation_one_class上获得。
2021-03-25 cs.CV
The Co-12 Recipe for Evaluating Interpretable Part-Prototype Image Classifiers
University of Twente(特文特大学);University of Duisburg-Essen(杜伊斯堡-埃森大学);University of Marburg(马尔堡大学)
本文基于Co-12属性,综述了可解释部件原型图像分类器的解释质量评估方法,揭示了研究空白,并提供了速查表以推动该领域发展。
2023-07-26 cs.AI cs.CV
GVdoc: Graph-based Visual Document Classification
Rensselaer Polytechnic Institute(伦斯勒理工学院);University of Richmond(里士满大学);Amazon(亚马逊);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
GVdoc利用文档布局构建图并训练图神经网络进行分类,以更少参数在分布外数据上超越现有模型,同时保持分布内性能。
2023-05-26 cs.CL cs.CV cs.LG
VDE Bench: Evaluating The Capability of Image Editing Models to Modify Visual Documents
UCAS(中国科学院大学);CASIA(中国科学院自动化研究所);Tencent(腾讯);CMU(卡内基梅隆大学);WashU(华盛顿大学);SJTU(上海交通大学);XDU(北京理工大学)
本文提出VDE Bench,一个专门评估图像编辑模型在双语中文-英文和复杂视觉文档编辑任务性能的基准,通过高质量数据集和新的评估框架,系统量化了文本修改的准确性。
2026-10-28 cs.AI cs.CV cs.MM
Evaluating Adversarial Attacks on Traffic Sign Classifiers beyond Standard Baselines
FZI Research Center for Information Technology(FZI信息技术研究中心);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本研究针对交通标志分类对抗攻击研究基线单一的问题,通过解耦模型与数据集、对比隐蔽与可见攻击设置,发现标准基线模型比通用模型更易受攻击,建议未来在更广基线上评估新攻击。
2024-12-12 cs.CV cs.LG
Document Image Classification with Intra-Domain Transfer Learning and Stacked Generalization of Deep Convolutional Neural Networks
Valeo India Pvt. Ltd.(法雷奥印度私人有限公司);University of Bonn(波恩大学);Indian Statistical Institute(印度统计研究所)
在这项工作中,提出了一个基于区域的深度卷积神经网络框架,用于文档结构学习。这项工作的贡献包括有效的训练区域为基础的分类器和有效的集成文件图像分类。通过从ImageNet数据集上的预训练VGG 16架构导出权重来使用初级的“域间”迁移学习,以在整个文档图像上训练文档分类器。利用基于区域的影响建模的性质,二级“域内”迁移学习用于图像片段的深度学习模型的快速训练。最后,利用基于堆叠泛化的集成来组合基础深度神经网络模型的预测。该方法在流行的RVL-CDIP文档图像数据集上实现了92.2%的最新准确率,超过了现有算法的基准。
2018-08-30 cs.CV cs.LG
Single Classifier-based Passive System for Source Printer Classification using Local Texture Features
Indian Institute of Technology Gandhinagar(甘地纳格尔印度理工学院)
检查印刷文件是否有潜在的伪造和侵犯版权的一个重要方面是识别源打印机,因为它有助于确定泄漏和检测伪造文件。本文提出了一个系统的分类源打印机从扫描图像的打印文件,同时使用所有的打印字母。该系统使用基于局部纹理模式的特征和单个分类器对所有印刷字母进行分类。字母是从扫描图像中提取使用连接组件分析,然后形态滤波,而不需要使用OCR。每个字母被细分为一个平坦的区域和一个边缘区域,并估计本地四模式分别为这两个区域。一个战略性的构造池技术被用来提取最终的特征向量。所提出的方法已被测试的公开数据集的10台打印机和一个新的数据集的18台打印机扫描的分辨率为600 dpi,以及300 dpi的四种不同的字体打印。结果表明,形状独立性的属性,在所提出的方法中,使用一个单一的分类器,它优于现有的手工制作的基于特征的方法,并需要更少的训练页面,通过使用所有的印刷字母。
2017-06-22 cs.CV cs.MM
Evaluating VisualRAG: Quantifying Cross-Modal Performance in Enterprise Document Understanding
Amazon(亚马逊)
本文提出系统定量基准框架评估企业VisualRAG系统跨模态输入可信度,发现最优模态权重使性能较纯文本基线提升57.3%,并揭示基础模型对说明生成与OCR提取可信度的差异化影响。
2025-06-19 cs.AI cs.CV cs.HC
DocFace+: ID Document to Selfie Matching
Michigan State University(密歇根州立大学)
我们日常生活中的许多活动都需要我们通过向人类操作员出示包含人脸图像的身份证件(如护照和驾驶执照)来验证我们是谁。然而,这个过程是缓慢的,劳动密集型和不可靠的。因此,需要一种用于实时的且高精度地将ID文档照片与活体面部图像(自拍)匹配的自动化系统。在本文中,我们提出DocFace+来满足这一目标。我们首先展示了基于梯度的优化方法收敛缓慢(由于分类器权重的拟合不足),当许多类的样本非常少时,这是现有ID自拍数据集的一个特征。为了克服这个缺点,我们提出了一种方法,称为动态权重印记(DWI),更新分类器的权重,它允许更快的收敛和更概括的表示。接下来,训练一对具有部分共享参数的兄弟网络,以学习具有特定领域参数的统一人脸表示。在ID自拍数据集上的交叉验证表明,虽然公开可用的通用人脸匹配器(SphereFace)在0.1%的错误接受率(FAR)下只能实现59.29+-1.55%的真实接受率(TAR),但DocFace+将TAR提高到97.51+-0.40%。
2018-09-18 cs.CV
MOTe error: A decomposable framework for evaluating Document Layout Analysis models
本文提出COTe分数,通过结构语义单元和可分解指标,提升文档布局分析模型的鲁棒性和可比性,展示其在性能评估中的有效性。
2026-10-23 cs.CV
Few-class Fidelity: Evaluating Explanations of Real-conditions CNN classifiers with Optimized Perturbations
LaTIM, INSERM, UMR 1101, Univ Brest(LaTIM、INSERM、UMR 1101、布列塔尼大学);LMBA, CNRS, UMR 6205, Univ Brest(LMBA、CNRS、UMR 6205、布列塔尼大学)
针对真实应用中类别数少的情况,提出基于保真度的XAI评估变体,通过生成分布内不确定性扰动来准确衡量解释方法的忠实度,并应用于医学和自然图像领域。
2026-09-22 cs.AI cs.CV
Graphic Symbol Recognition using Graph Based Signature and Bayesian Network Classifier
Université François Rabelais de Tours(弗朗索瓦·拉伯雷大学(图尔大学))
提出了一种新的技术文档中复杂图形符号的识别方法。图形符号识别是文档图像分析领域中众所周知的挑战,并且是大多数图形识别系统的核心。我们的方法使用结构化的符号表示和符号识别的统计分类器。在我们的系统中,我们表示符号的图形为基础的签名:一个图形符号被矢量化,并转换为属性关系图,这是用于计算的符号的特征向量。该签名对应于符号的几何和拓扑。我们学习贝叶斯网络编码的联合概率分布的符号签名,并使用它在监督学习的情况下,图形符号识别。我们已经评估了我们的方法对预分割的2D建筑和电子符号GREC数据库的综合变形和退化图像,并获得了令人鼓舞的识别率。
2010-04-30 cs.CV cs.GR
Page image classifier fine-tuned on century-spanning archives of scanned documents for further content-specific processing
Institute of Formal and Applied Linguistics, Charles University MFF(查尔斯大学数学与物理学院形式与应用语言学研究所);Institute of Archaeology, Czech Academy of Sciences(捷克科学院考古研究所)
针对历史文档数字化中手动分类不可行的问题,提出基于视觉内容类型(文本、表格、图形)的自动页面图像分类系统,采用微调深度网络(RegNetY-16GF达99.16%准确率)实现近完美分类,并公开模型、数据集和代码。
2026-06-24 cs.AI cs.CV cs.DL
Detecting Table Region in PDF Documents Using Distant Supervision
Tsinghua University(清华大学);Bosch Research(博世研究院)
优于国家的最先进的方法,在表格识别与67注释的政府报告在PDF格式发布的{ \it ICDAR 2013表格比赛},本文提供了一种新的范式,利用大规模的未标记的PDF文档的开放域表检测。我们将范例集成到我们最新开发的系统({ \it PdfExtra})中,以通过来自{ \it ACL Anthology}的整个存储库的9,466篇学术文章来检测表格的区域,其中几乎所有的论文都以PDF格式存档,没有对表格进行注释。该范例首先设计了自动构造弱标记数据的算法。然后将{ \it Apache PDFBox}提取并由{\it Stanford NLP}工具包处理的文档布局和语言特征等各种证据输入到不同的规范分类器中。最后,我们使用这些分类器,即{ \it朴素贝叶斯},{ \it逻辑回归}和{ \it支持向量机},对表的区域进行协同投票。实验结果表明,{ \it PdfExtra}与现有方法相比,实现了一个巨大的飞跃。此外,我们还讨论了不同的特征,学习模型,甚至文档的域可能会影响性能的因素。广泛的评估表明,我们的范例是兼容的,足以利用各种功能和学习模型的开放域表区域检测PDF文件。
2015-09-22 cs.CV cs.IR
Relevance Prediction from Eye-movements Using Semi-interpretable Convolutional Neural Networks
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Lockheed Martin Corporation(洛克希德·马丁公司)
我们提出了一种图像分类方法来预测感知相关性的文本文件从眼动。研究人员进行了一项眼动追踪研究,参与者阅读简短的新闻文章,并将其评定为与回答触发问题相关或不相关。我们将参与者的眼球运动扫描路径编码为图像,然后使用这些扫描路径图像训练卷积神经网络分类器。训练好的分类器被用来预测参与者从相应的扫描路径图像中感知到的新闻文章的相关性。这种方法是内容无关的,因为分类器不需要屏幕内容的知识,或用户的信息任务。即使只有很少的数据,图像分类器也可以以高达80%的准确率预测感知相关性。当从文献中类似的眼睛跟踪研究相比,这种扫描路径图像分类方法优于以前报道的指标可观的利润率。我们还试图解释图像分类器如何区分相关和不相关的文件之间的扫描路径。
2020-01-15 cs.CV cs.HC cs.IR