An Experience-based Direct Generation approach to Automatic Image Cropping
Gracenote, A Nielsen Company（Gracenote，尼尔森公司）
自动图像裁剪是一项具有挑战性的任务，有许多实际的下游应用。这项任务通常分为子问题-生成裁剪候选，找到视觉上重要的区域，并确定美学选择最有吸引力的候选。先前的方法分别对这些子问题中的一个或多个进行建模，并且通常将它们顺序地组合。我们提出了一种新的基于卷积神经网络（CNN）的方法来直接裁剪图像，而无需显式地对图像美学建模，评估多个裁剪候选项，或检测视觉上显著的区域。我们的模型是在由经验丰富的编辑器裁剪的大型图像数据集上训练的，可以同时预测多个固定长宽比的边界框。我们认为裁剪图像的长宽比是影响美学的一个关键因素。用于自动图像裁剪的先前方法不强制执行输出的纵横比，可能是由于缺乏用于该任务的数据集。因此，我们将我们的方法在两个相关任务的公共数据集上进行基准测试-第一，美学图像裁剪，而不考虑纵横比，第二，缩略图生成，需要固定的纵横比输出，但美学并不重要。我们表明，我们的策略是有竞争力的，或比现有的方法在这两项任务中表现更好。此外，我们的单阶段模型更容易训练，并且比现有的两阶段或端到端推理方法快得多。我们提出了一个定性的评估研究，并发现我们的模型是能够推广到不同的图像从看不见的数据集，并经常保留原始图像的组成特性后裁剪。我们的研究结果表明，显式建模图像美学或视觉注意区域不一定需要建立一个有竞争力的图像裁剪算法。
2022-12-30 cs.CV cs.LG
Image Cropping under Design Constraints
The University of Tokyo（东京大学）
针对媒体内容需满足宽高比和空白区域等设计约束的图像裁剪问题，提出基于评分函数的方法，并比较基于提议与基于热图的两种实现，实验证明其优于基线。
2023-10-13 cs.CV
Find Beauty in the Rare: Contrastive Composition Feature Clustering for Nontrivial Cropping Box Regression
Huazhong University of Science and Technology（华中科技大学）；Huawei（华为）
自动图像裁剪算法的目标是通过生成具有改进的合成质量的裁剪框来像人类摄影师一样重新合成图像。裁剪框回归方法从注释的裁剪框中学习构图之美。然而，注释的偏差导致了准平凡的重组结果，这有一个明显的倾向于平均位置的训练样本。这种困境的关键在于，该任务被天真地视为一个盒子回归问题，其中稀有样本可能被正常样本所支配，并且稀有样本的组成模式没有得到很好的利用。观察到相似的构图模式往往被标注得接近的裁剪边界所共享，我们认为通过聚类具有相似裁剪边界标注的样本，即相似构图模式，可以从稀有样本中发现构图之美。我们提出了一种新的对比组合聚类（C2C），通过对比动态建立的相似和不相似的组合特征。通过这种方式，可以更好地总结多个图像的常见组成模式，这特别有利于罕见的样本，并赋予我们的模型更好的泛化能力，以呈现非平凡的结果。大量的实验结果表明，我们的模型与现有技术相比的优越性。我们还用一个有趣的分析可视化来说明我们的设计理念。
2023-02-17 cs.CV
An End-to-End Neural Network for Image Cropping by Learning Composition from Aesthetic Photos
School of Computer Science, Beijing University of Posts and Telecommunications, Beijing, China（中国北京邮电大学计算机学院）；Information Sciences Institute, University of Southern California, Marina del Rey, CA, USA（美国加利福尼亚州马里纳德尔雷伊南加州大学信息科学研究所）
作为图像编辑的基本技术之一，图像裁剪丢弃不相关的内容并保留图像中令人愉快的部分，以增强整体构图并获得更好的视觉/美学感知。在本文中，我们主要集中在提高自动图像裁剪的准确性，并进一步探索其在公共数据集的高效率的潜力。从这方面来看，我们提出了一个基于深度学习的框架来学习具有高美学质量的照片中的对象组成，其中通过具有高斯内核的卷积神经网络（CNN）检测锚区域，以保持感兴趣对象的完整性。然后将该初始检测到的锚区域馈送到轻加权回归网络中以获得最终的裁剪结果。与传统的方法，多个候选人提出和评估迭代，只有一个锚区域产生在我们的模型，这是直接映射到最终输出。因此，所提出的方法需要较低的计算资源。在公开数据集上的实验结果表明，裁剪准确率和效率均达到了最先进的性能。
2019-08-22 cs.CV
Image Cropping on Twitter: Fairness Metrics, their Limitations, and the Importance of Representation, Design, and Agency
Twitter（推特）
Twitter使用机器学习来裁剪图像，其中裁剪以预测为最突出的部分为中心。2020年秋季，Twitter用户对Twitter上的自动图像裁剪系统偏爱浅色皮肤而不是深色皮肤的个人表示担忧，并对该系统偏爱裁剪女性的身体而不是头部表示担忧。为了解决这些问题，我们进行了广泛的分析，使用正式的组公平性指标。我们发现系统的差异，裁剪和确定的因素，包括事实上，裁剪的基础上，最突出的一点，可以放大的差异，因为我们术语argmax偏差的影响。然而，我们证明了形式化的公平性指标和定量分析本身是不够的，捕捉风险的代表性的伤害自动裁剪。我们建议删除基于显着性的裁剪，以更好地保留用户代理的解决方案。为了开发一种新的解决方案，充分解决与代表性伤害有关的问题，我们的批评激励了定量和定性方法的结合，包括以人为本的设计。
2021-09-09 cs.CV cs.CY cs.HC
Improving Data Efficiency for Plant Cover Prediction with Label Interpolation and Monte-Carlo Cropping
Friedrich Schiller University（弗里德里希·席勒大学）；German Centre for Integrative Biodiversity Research (iDiv) Halle-Jena-Leipzig（德国综合生物多样性研究中心（iDiv）哈雷-耶拿-莱比锡）；Michael Stifel Center Jena（耶拿米夏埃尔·施蒂费尔中心）
针对植被覆盖度标注稀缺问题，提出时间序列标签插值和 Monte-Carlo Cropping，将训练数据扩至七倍并高效利用高分辨率图像，提升物种、群落与分割指标。
2023-07-17 cs.CV
Pseudo-Labeling by Multi-Policy Viewfinder Network for Image Cropping
Huazhong University of Science and Technology（华中科技大学）；School of Artificial Intelligence and Automation（人工智能与自动化学院）；Key Laboratory of Image Processing and Intelligent Control, Ministry of Education（图像处理与智能控制教育部重点实验室）
针对图像裁剪标注数据稀缺问题，本文提出多策略取景器网络MPV-Net，通过多样化精修策略纠正教师模型伪标签中的错误，并基于对边界框抖动的鲁棒性选择最可靠策略生成可信伪标签，在FCDB和FLMS数据集上取得最先进结果。
2024-07-04 cs.CV
Aesthetic-Driven Image Enhancement by Adversarial Learning
CUHK-Sensetime Joint Laboratory, The Chinese University of Hong Kong（香港中文大学-商汤联合实验室，香港中文大学）
我们介绍了EnhanceGAN，这是一种基于对抗学习的模型，可以执行自动图像增强。传统的图像增强框架通常涉及以完全监督的方式训练模型，这需要以对齐图像对的形式进行昂贵的注释。与这些方法相比，我们提出的EnhanceGAN只需要弱监督（图像美学质量的二进制标签），并且能够学习增强算子，用于基于美学的图像增强任务。特别是，我们展示了用弱监督训练的分段颜色增强模块的有效性，并将所提出的EnhanceGAN框架扩展到学习基于深度过滤的美学增强器。我们的图像增强算子的完全可微性使EnhanceGAN能够以端到端的方式进行训练。我们进一步证明了EnhanceGAN在学习基于美学的图像裁剪而无需任何地面实况裁剪对的能力。我们的弱监督EnhanceGAN报告了基于美学的颜色增强以及自动图像裁剪的竞争性定量结果，用户研究证实，我们的图像增强结果与专业增强相当，甚至优于专业增强。
2018-07-02 cs.CV
CROP: Expert-Aligned Image Cropping via Compositional Reasoning and Optimizing Preference
Southeast University（东南大学）；Key Laboratory of New Generation Artificial Intelligence Technology（新一代人工智能技术重点实验室）；Alibaba Group（阿里巴巴集团）
本文提出CROP方法，通过组合推理和优化偏好，解决传统图像裁剪方法在复杂场景中难以做出组合权衡和缺乏适应性推理的问题，提升裁剪结果与专家审美的一致性。
2026-05-09 cs.AI cs.CV
A new smart-cropping pipeline for prostate segmentation using deep learning networks
Institute of Computer Science, FORTH（福拉什计算机科学研究所）；Hellenic Mediterranean University（希腊地中海大学）；University of Ioannina（约阿尼纳大学）
从磁共振成像（MRI）中分割前列腺是一项具有挑战性的任务。近年来，已经提出了几种网络架构来自动化这个过程，减轻手动注释的负担。虽然这些模型的性能已经取得了可喜的成果，但在这些模型能够安全有效地用于临床实践之前，仍有改进的空间。前列腺MR图像分割中的主要挑战之一是图像标签中存在类别不平衡，其中背景像素在前列腺上占主导地位。在目前的工作中，我们提出了一个基于DL的流水线从MRI图像中裁剪前列腺周围的区域，以产生一个更平衡的前景像素（前列腺）和背景像素的分布，并提高分割精度。使用五种流行的用于前列腺分割的DL网络（即U-net、U-net+、Res Unet++、Bridge U-net和Dense U-net）评估DL裁剪与标准中心裁剪相比改善分割性能的效果。建议的智能裁剪优于标准的中心裁剪的分割精度方面的所有评估的前列腺分割网络。在Dice得分方面，U-net+和ResU-net++架构实现了最高的改进，分别为8.9%和8%。
2021-07-07 cs.CV cs.LG eess.IV
Learning Subject-Aware Cropping by Outpainting Professional Photos
Stanford University（斯坦福大学）；Adobe Research（Adobe研究院）
针对主体感知图像裁剪，本文提出弱监督 GenCrop，利用专业库存图像和文本到图像扩散模型外绘未裁剪图像，自动构建训练对，性能媲美监督方法。
2024-04-04 cs.CV cs.GR
Comparing representations of biological data learned with different AI paradigms, augmenting and cropping strategies
ETH Zürich（苏黎世联邦理工学院）；Institute of Molecular Systems Biology（分子系统生物学研究所）
计算机视觉和机器人技术的最新进展使自动化大规模生物图像分析成为可能。各种机器学习方法已成功应用于表型分析。然而，目前还不清楚它们在生物特征提取方面的比较情况。在这项研究中，我们提出了一个简单的CNN架构，并实现了4种不同的表示学习方法。我们在相同的条件下对770k癌细胞图像数据集进行了训练16个深度学习设置，使用不同的增强和裁剪策略。我们通过评估三个下游任务中的每一个的多个指标来比较学习到的表示：i）已知药物的基于距离的相似性分析，ii）药物与对照的分类，iii）细胞系内的聚类。我们还比较了训练时间和内存使用情况。在所有测试的设置中，正如预期的那样，多作物和随机增强通常提高了跨任务的性能。引人注目的是，自监督（隐式对比学习）模型显示，训练的竞争性能快了11倍。自我监督的正则化学习需要大部分的内存和计算来提供可以说是信息量最大的特征。我们观察到，没有单一的增强和裁剪策略的组合始终在整个任务的最高性能的结果，并建议前瞻性的研究方向。
2022-03-07 cs.AI cs.CV cs.LG
Learning to Focus and Precise Cropping: A Reinforcement Learning Framework with Information Gaps and Grounding Loss for MLLMs
School of Cyber Science and Technology, University of Science and Technology of China（中国科学技术大学网络空间安全学院）；Anhui Province Key Laboratory of Digital Security（安徽省数字安全重点实验室）
本文提出一种无需轨迹监督的两阶段强化学习框架，通过信息缺口机制和接地损失提升多模态大语言模型在复杂视觉场景中的感知与推理能力，实验显示其在高分辨率视觉问答基准上达到最优性能。
2026-04-13 cs.AI cs.CV
StegaPos: Preventing Unwanted Crops and Replacements with Imperceptible Positional Embeddings
Harvard University（哈佛大学）
我们提出了一个学习，空间变化的隐写系统，允许检测何时以及如何图像已被修改后，裁剪，拼接或修复出版。该系统包括：学习编码器，其在发布之前在每个局部图像区域中不可感知地隐藏不同的位置签名;以及伴随的学习解码器，其提取隐写签名以针对每个局部图像区域确定其在原始发布的图像内的2D位置坐标。裁剪和替换编辑可以通过它们在隐藏的位置签名中引起的不一致来检测。使用小型$(400 \times 400)$图像的原型系统，我们通过实验证明，简单的CNN编码器和解码器架构可以联合训练，以实现可靠和鲁棒的检测，而不会引入可感知的失真。这种方法可以帮助个人和图像共享平台证明图像是由可信来源发布的，并且还可以知道这种图像的哪些部分（如果有的话）自发布以来已经被大幅修改。
2022-12-07 cs.CV cs.LG
Dynamic region proposal networks for semantic segmentation in automated glaucoma screening
SigTuple Technologies Pvt. Ltd.（SigTuple科技有限公司）
通过眼底图像进行青光眼诊断的筛查可以通过视杯与视盘直径比（CDR）来确定，这需要对视杯和视盘区域进行分割。在本文中，我们提出了两种新的方法，即参数共享分支网络（PSBN）和弱感兴趣区域模型为基础的分割（WRoIM），以确定盘和杯的边界。与以前的方法不同，所提出的方法通过单个神经网络架构进行端到端训练，并使用动态裁剪而不是手动或传统的基于计算机视觉的裁剪。我们能够实现类似的性能，国家的最先进的方法与较少的网络参数。我们的实验包括在公开的Drishti-GS1和RIM-ONE v3数据集上与不同的最知名方法进行比较。使用$7.8 \times 10^6$参数，我们的方法在Drishti-GS 1数据上实现了盘/杯分割的0.96/0.89的骰子分数，而现有的最先进的方法使用$19.8\times 10^6$参数实现了0.97/0.89的骰子分数。
2021-05-19 cs.CV cs.LG eess.IV
Boosted EfficientNet: Detection of Lymph Node Metastases in Breast Cancer Using Convolutional Neural Network
Shenzhen University（深圳大学）；The Ohio State University（俄亥俄州立大学）；University of Texas Southwestern Medical Center（德克萨斯大学西南医学中心）
近年来，全切片图像的发展为数字图像在病理学中的应用奠定了基础。在计算机图像分析的辅助下，自动识别组织或细胞类型，大大提高了组织病理学解释和诊断的准确性。本文将卷积神经网络（CNN）应用于乳腺癌淋巴结转移的预测和分类。与传统的图像裁剪方法只适用于大分辨率图像不同，我们提出了一种新的数据增强方法，称为随机中心裁剪（RCC），以促进小分辨率图像。RCC丰富了数据集，同时保留了图像分辨率和图像中心区域。此外，我们降低了网络的下采样规模，以进一步更好地促进小分辨率图像。此外，注意力和特征融合（FF）机制，以提高图像的语义信息。实验表明，我们的方法提高基本CNN架构的性能。在RPCam数据集上，性能最好的方法分别达到了97.96%的准确率和99.68%的AUC。
2020-10-10 cs.CV
A Neuronal Planar Modeling for Handwriting Signature based on Automatic Segmentation
针对脱机手写签名的鉴别问题，提出了一种签名图像的平面神经元模型。平面模型一般是基于划定均匀区的图像，我们提出了在本文中的自动分割方法到频带的签名图像。签名图像由一个平面神经元模型和一个水平的二级模型和一个垂直的主模型组成。所提出的方法已在两个数据库上进行了测试。第一个是我们收集的;它包括6000个签名，对应60个作家。第二个是公共的GPDS-300数据库，包括16200个签名，对应于300人。实验结果令人鼓舞。
2018-03-27 cs.CV
README: Robust Error-Aware Digital Signature Framework via Deep Watermarking Model
Korea University（韩国大学）
本文提出README框架，通过基于裁剪的容量扩展机制和ERPA纠错模块，在无需微调预训练水印模型的情况下，将2048位数字签名嵌入单张图像的零位错误率从1.2%提升至86.3%，实现鲁棒、可验证且容错的图像数字签名。
2025-07-06 cs.CR cs.CV
Offline Signature Verification Based on Feature Disentangling Aided Variational Autoencoder
University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Boston University（波士顿大学）
本文提出首个基于变分自编码器直接提取签名图像特征的离线签名验证方法，通过引入特征解耦损失函数增强判别性，并结合SVM分类，在MCYT-75和GPDS-synthetic数据集上显著优于13种代表性方法。
2024-09-29 cs.CV
PROVES: Establishing Image Provenance using Semantic Signatures
Washington University in St. Louis（圣路易斯华盛顿大学）；University of Massachusetts at Amherst（马萨诸塞大学阿默斯特分校）
现代人工智能工具，如生成对抗网络，已经改变了我们创建和修改具有照片级真实感结果的视觉数据的能力。然而，这些进步的有害副作用之一是出现了操纵视觉数据中信息的邪恶用途，例如通过使用深度伪造。我们提出了一种新的架构，用于保留图像中语义信息的来源，使它们不易受到深度伪造攻击的影响。我们的架构包括语义签名和验证步骤。我们应用这种架构来验证两种类型的语义信息：个人身份（面孔）和照片是在室内还是室外拍摄的。验证考虑了常见图像变换的集合，例如平移，缩放，裁剪和小旋转，并拒绝对抗性变换，例如对抗性扰动或在面部验证的情况下交换面部。实验表明，在图像中人脸来源的情况下，我们的方法对黑盒对抗性变换（被拒绝）以及良性变换（被接受）具有鲁棒性，几乎没有假阴性和假阳性。另一方面，背景验证容易受到黑盒对抗性示例的影响，但在对抗性训练后变得更加强大。
2021-10-21 cs.AI cs.CR cs.CV
A novel segmentation dataset for signatures on bank checks
University of Kaiserslautern（凯泽斯劳滕大学）
所呈现的数据集提供了包含各种复杂背景的真实填写的银行支票的高分辨率图像，以及相应字段中的手写文本和签名，以及支票上签名的像素级和补丁级分割掩码。银行支票的图像来自不同的来源，包括其他公开的支票数据集，互联网上的公开图像，以及真实支票的扫描和图像。使用GIMP图形软件，这些支票上签名的像素级分割掩码被手动生成为二进制图像。然后使用自动化脚本生成补丁级掩码。创建该数据集是为了训练和测试网络，以便从银行支票和其他具有非常复杂背景的类似文件中提取签名。
2021-04-28 cs.CV
Fully Automatic Segmentation of Gross Target Volume and Organs-at-Risk for Radiotherapy Planning of Nasopharyngeal Carcinoma
Stockholm University（斯德哥尔摩大学）；Karolinska Institutet（卡罗林斯卡学院）；KTH（皇家理工学院）
针对鼻咽癌放疗计划中的自动勾画需求，提出基于强度协调、自动裁剪和独立3D U-Net的全自动框架，实现45个OAR与两个GTV分割，并在SegRap 2023验证阶段两项任务均获第二名。
2023-10-04 cs.CV eess.IV
Biometric Signature Processing & Recognition Using Radial Basis Function Network
Vidyalankar Institute of Technology（维达兰卡理工学院）
签名的自动识别是一个具有挑战性的问题，由于其在不同领域的应用，近年来受到了广泛的关注。长期以来，签名一直被用于验证和认证目的。早期的方法是手动的，但现在它们正在数字化。本文提出了一种基于径向基函数网络的签名识别方法。网络使用数据库中的样本图像进行训练。在使用它们进行训练之前执行特征提取。为了测试的目的，一幅图像进行旋转-平移-缩放校正，然后给网络。该网络成功地识别了原始图像，并为存储的数据库图像提供了正确的输出。该方法提供了约80%的识别率为200个样本。
2013-11-07 cs.CV
Accurate Recognition of Pneumonia and COVID-19 by Geometric Shape Normalization of Lung Region using Automatic Landmark Detection and Piecewise Affine Warping
Facultad de Ciencias de la Electrónica Benemérita Universidad Autónoma de Puebla（Benemérita自治大学电子科学学院）
提出一种自动系统，通过肺区域几何归一化（结合ResNet-18地标检测、分段仿射扭曲和分类器）识别胸片中的肺部疾病，在COVID-19放射学数据库上达到98.60%准确率，优于未对齐图像。
2026-06-29 cs.CV
A new Level-set based Protocol for Accurate Bone Segmentation from CT Imaging
University of Minho（米尼奥大学）
在这项工作中，它提出了一个医学图像分割管道准确的骨骼分割CT成像。这是一个两步的方法，预分割步骤和分割细化步骤。首先，用户执行所需感兴趣区域的粗略分割。接下来，将全自动细化步骤应用于预分割数据。自动分割细化由图像去卷积、图像裁剪和插值等子步骤组成。然后，在图像的去卷积、裁剪和上采样版本上细化用户定义的预分割。该算法被应用于复合股骨的CT图像的分割，重建与不同的重建协议。分割结果根据使用坐标测量机Nikon Metris LK V20获得的黄金标准模型进行确认，该坐标测量机配备数字行扫描仪LC 60-D，可保证28 $μm$的准确度。所有测试数据集均获得了高亚像素精度模型。该算法是能够产生高质量的复合股骨的分割，无论使用的表面网格化策略。
2015-05-12 cs.CV physics.med-ph
Intrapersonal Parameter Optimization for Offline Handwritten Signature Augmentation
Federal University of Paraná（联邦巴拉那大学）；Pontifícia Universidade Católica do Paraná (PUCPR)（天主教巴拉那大学）；École de Technologie Supérieure（高等技术学院）；Université du Québec（魁北克大学）
通常，在现实世界的场景中，很少有签名样本可用于训练自动签名验证系统（ASVS）。然而，这样的系统确实需要大量的签名来实现可接受的性能。神经运动签名复制方法和特征空间增强方法可用于满足样本数量增加的需要。这样的技术手动地或凭经验地定义一组参数以引入一定程度的写入器可变性。因此，在本研究中，提出了一种方法来自动建模的最常见的作家的变异性状。该方法用于在图像和特征空间中生成离线签名并训练ASVS。我们还介绍了另一种方法来评估样本的质量，考虑他们的特征向量。我们使用三个著名的离线签名数据集：GPDS，MCYT-75和CEDAR，用生成的样本评估了ASVS的性能。在GPDS-300中，当SVM分类器使用每个作者的一个真实签名和在图像空间中生成的副本来训练时，相等出错率（EER）从5.71%降低到1.08%。在相同的条件下，EER降低到1.04%，使用特征空间增强技术。我们还验证了在图像空间中生成重复的模型再现了三个不同数据集中最常见的作者变异性特征。
2020-10-13 cs.CV cs.LG
