SmartPatch: Improving Handwritten Word Imitation with Patch Discriminators
Friedrich-Alexander University Erlangen-Nürnberg(埃尔朗根-纽伦堡大学)
到目前为止,生成对抗网络已经允许在不同领域中生成图像的真实性方面实现巨大飞跃,其中最重要的是手写文本生成。生成具有真实感的手写文本非常重要,因为它可以用于手写文本识别(HTR)系统或人机交互中的数据增强。我们提出了SmartPatch,这是一种新技术,通过使用量身定制的解决方案来增强训练反馈以减轻笔级伪影,从而提高当前最先进方法的性能。我们将众所周知的补丁丢失与从并行训练的手写文本识别系统和单词的单独字符收集的信息相结合。这导致更增强的局部匹配,并产生更逼真和更高质量的手写单词。
2021-05-21 cs.CV
Enhancing AI Face Realism: Cost-Efficient Quality Improvement in Distilled Diffusion Models with a Fully Synthetic Dataset
Department of Artificial Intelligence, Wroclaw University of Science and Technology(人工智能系,波兹南技术大学)
本研究提出用合成成对数据集训练图像转换头,将蒸馏扩散模型输出精炼至基线模型水平,在保持人像真实感的同时最多降低82%计算成本。
2025-05-08 cs.AI cs.CV
Less is More: Improving Motion Diffusion Models with Sparse Keyframes
Seoul National University(首尔国立大学);Roblox(Roblox公司);The Chinese University of Hong Kong(香港中文大学)
针对稠密帧运动扩散计算冗余的问题,本文提出围绕稀疏几何关键帧的扩散框架,通过掩码、插值与推理时动态细化提升文本对齐、运动真实性及少步生成性能。
2025-05-12 cs.CV
CounterScene: Counterfactual Causal Reasoning in Generative World Models for Safety-Critical Closed-Loop Evaluation
Tuojing Intelligence(途京智能);King's College London(伦敦大学国王学院);Tsinghua University(清华大学);The University of Hong Kong(香港大学)
CounterScene通过结构化反事实推理生成安全关键驾驶场景,通过因果对抗代理识别和冲突感知交互世界模型,提升长周期碰撞率并保持轨迹真实性。
2026-03-22 cs.CV cs.RO
Diffusion-HPC: Synthetic Data Generation for Human Mesh Recovery in Challenging Domains
Stanford University(斯坦福大学)
针对生成模型难以保持合理人体结构的问题,提出Diffusion-HPC,通过注入人体结构先验生成带3D网格真值的逼真图像,以缓解人体网格恢复训练数据短缺并提升生成逼真度。
2023-12-31 cs.CV
Mask Forcing: Improving Autoregressive Video Diffusion Distillation via Dual-Noise Masking Rollout
HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学);LIGHTSPEED;UCSD(加利福尼亚大学圣地亚哥分校);CUHK(SZ)(香港中文大学(深圳));NUS(新加坡国立大学)
针对自回归视频扩散蒸馏中的模式坍缩问题,提出双噪声掩码展开策略,通过随机掩码注入干净信号扰动学生自展开,提升多种蒸馏方法的视觉质量。
2026-09-09 cs.CV
IAR2: Improving Autoregressive Visual Generation with Semantic-Detail Associated Token Prediction
Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学)
提出IAR2框架,通过语义-细节关联双码本和分层预测机制,实现从粗到细的图像生成,在ImageNet上取得FID 1.50的领先性能。
2026-05-27 cs.CV
Towards Understanding and Quantifying Uncertainty for Text-to-Image Generation
U2IS ENSTA Paris Institut Polytechnique de Paris(巴黎综合理工学院ENSTA巴黎分校U2IS研究所);Mirai;Imperial College London(伦敦帝国学院);NVIDIA(英伟达公司)
本文首次针对提示词量化T2I模型不确定性,提出利用LVLMs的PUNC方法,通过文本空间比较实现随机与认知不确定性分离,实验性能更优,还提供数据集并拓展至偏见检测等应用,助力模型可信度提升。
2024-12-04 cs.AI cs.CV cs.LG
A cost-effective method for improving and re-purposing large, pre-trained GANs by fine-tuning their class-embeddings
Auburn University(奥本大学);Adobe Research(Adobe研究所)
大型的预训练生成模型越来越受欢迎,对研究和更广泛的社区都很有用。具体来说,BigGANs是一种在ImageNet上训练的类条件生成对抗网络,在生成逼真的照片方面具有出色的、最先进的能力。然而,对于大多数研究人员和工程师来说,从头开始微调或训练BigGAN几乎是不可能的,因为(1)GAN训练通常不稳定,并且会出现模式崩溃;(2)训练需要大量的计算,256个Google TPU持续2天或8xV100 GPU持续15天。重要的是,在NLP和图像领域,许多预先训练的生成模型都被发现包含对社会有害的偏见。因此,我们需要计算上可行的方法来修改和重新利用这些庞大的、预先训练好的模型来完成下游任务。在本文中,我们提出了一种具有成本效益的优化方法,通过仅对类嵌入层进行微调来改进和重新利用BigGAN。我们在三个任务中展示了我们的模型编辑方法的有效性:(1)显着提高完整模式崩溃类样本的真实性和多样性;(2)重新利用ImageNet BigGAN为Places365生成图像;(3)去偏置或提高选定ImageNet类的样本多样性。
2020-10-08 cs.CV cs.LG stat.ML
Quantifying the Preferential Direction of the Model Gradient in Adversarial Training With Projected Gradient Descent
Scientific Computing and Imaging Institute(科学计算与成像研究所);University of Utah School of Medicine(犹他大学医学院);University of Utah(犹他大学)
本文定义对抗训练后模型梯度的偏好方向,并提出基于生成对抗网络最小残差的对齐度量,证明PGD模型对齐更强且强化该对齐可提升鲁棒性。
2023-04-20 cs.CV cs.LG stat.ML
A Study on Improving Realism of Synthetic Data for Machine Learning
University of California, Berkeley(加州大学伯克利分校);University of Southern California(南加州大学);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室)
本研究针对通用机器学习合成数据对抗训练的深度评估研究不足的问题,训练并评估了以无标注真实数据为条件的合成到真实生成模型,通过多维度指标和下游任务完成全面评估。
2023-04-28 cs.CV cs.LG eess.IV
Improving the Physics of Video Generation with VJEPA-2 Reward Signal
FAIR, Meta Superintelligence Labs(FAIR、Meta超智能实验室);University of Oxford(牛津大学);Mila - Québec AI Institute(魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Columbia University(哥伦比亚大学);McGill University(麦吉尔大学);Canada CIFAR AI Chair(加拿大CIFAR人工智能 chair)
本报告提出将自监督视频世界模型VJEPA-2作为奖励信号,与视频生成模型MAGI-1结合,以提升生成视频的物理合理性,在PhysicsIQ基准上实现约6%的改进。
2025-10-22 cs.CV cs.GR
Improving Physical Object State Representation in Text-to-Image Generative Systems
Boston University(波士顿大学);Runway
本文针对文本到图像模型难以准确表示对象物理状态的问题,提出自动合成数据生成流程并微调多个开源模型,在GenAI-Bench和自建数据集上分别取得平均8%以上和24%以上的显著改进。
2025-05-04 cs.AI cs.CV
Efficient Semantic Diffusion Architectures for Model Training on Synthetic Echocardiograms
King’s College London(伦敦国王学院);Ultromics Ltd.(乌尔特罗米克斯公司)
本文提出基于Γ分布的潜在去噪扩散模型,高效生成语义引导的合成心脏超声图像,在降低计算成本的同时保持或提升左心室分割与视图分类任务性能。
2024-09-28 cs.CV eess.IV
DuoLift-GAN:Reconstructing CT from Single-view and Biplanar X-Rays with Generative Adversarial Networks
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
针对现有稀疏X射线重建CT方法结构准确性不足的问题,提出双分支DuoLift-GAN架构与掩码损失函数,融合二维图像的三维表征以重建胸部容积,兼顾视觉真实感与结构精度。
2024-12-11 cs.AI cs.CV eess.IV
Q-REAL: Towards Realism and Plausibility Evaluation for AI-Generated Content
Shanghai Jiao Tong University(上海交通大学);Meituan(美团);Shanghai AI Lab(上海人工智能实验室);Shanghai Innovation Institute(上海创新研究院)
本文提出Q-REAL数据集,用于细粒度评估AI生成图像的真实性和可信度,通过标注实体位置和设计判断问题,提升生成模型性能。
2026-04-01 cs.CV
Probability-Conserving Flow Guidance
University of Bristol(布里斯托大学);KAIST(韩国科学技术院)
本文提出了一种概率守恒的流引导方法AdaMaG,通过分析连续方程,将引导效果分解为发散项和分数平行项,并通过时间依赖的调度和分数平行衰减来控制这两个项,从而在不增加推理成本的情况下提高生成质量并减少幻觉。
2026-11-09 cs.AI cs.CV cs.LG
MakeupMirror: Improving Facial Attribute Preservation in Diffusion Models for Makeup Transfer
Amazon(亚马逊)
提出MakeupMirror扩散模型,通过ControlNet几何条件、区域特定迁移控制、肤色调制和Langevin采样器,在保持面部特征和肤色的同时实现高质量化妆迁移,相比Stable-Makeup提升面部识别相似度60%、降低肤色差异50%。
2026-06-19 cs.AI cs.CV cs.GR
Don't Fight Hallucinations, Use Them: Estimating Image Realism using NLI over Atomic Facts
Skoltech(斯科尔泰克理工学院);Moscow Institute of Physics and Technology(莫斯科物理技术学院);MTS AI(MTS人工智能公司);AIRI(人工智能研究所(AIRI))
针对图像真实性量化难题,提出利用大视觉语言模型幻觉、提取原子事实并计算成对蕴含分聚合得真实性分的方法,在WHOOPS!数据集零样本任务上达SOTA。
2025-03-20 cs.AI cs.CL cs.CV
From Keypoints to Realism: A Realistic and Accurate Virtual Try-on Network from 2D Images
Islamic Azad University(伊斯兰阿扎德大学)
本文提出一种基于2D图像的虚拟试穿方法,通过关键点精确变形、身体分割图预测和对齐感知分段归一化,在移除原服装后生成保留目标服装形状与纹理的逼真图像,并提升对新姿态和场景的泛化能力。
2025-04-04 cs.CV
Deep CG2Real: Synthetic-to-Real Translation via Image Disentanglement
UC San Diego(加州大学圣迭戈分校);Adobe Research(Adobe研究院)
我们提出了一种方法来提高低质量的视觉真实感,合成图像,例如OpenGL渲染。在图像空间中训练不成对的合成到真实的转换网络是严重的约束不足,并产生可见的伪影。相反,我们提出了一个半监督的方法,操作上的解开阴影和图像的层。我们的两阶段流水线首先学习以监督的方式使用基于物理的渲染作为目标来预测准确的着色,并使用改进的CycleGAN网络进一步提高纹理和着色的真实感。对SUCG室内场景数据集的广泛评估表明,与其他最先进的方法相比,我们的方法可以产生更逼真的图像。此外,在我们生成的“真实”图像上训练的网络比领域自适应方法更准确地预测深度和法线,这表明提高图像的视觉真实感可能比强加特定任务的损失更有效。
2020-03-27 cs.CV
Improving Object Detection by Modifying Synthetic Data with Explainable AI
The Alan Turing Institute(图灵研究所);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室)
针对合成数据设计成本高且缺乏指导的问题,提出利用可解释AI引导人在回路修改3D网格模型,通过增减合成数据真实感,有效提升了红外图像车辆检测性能。
2025-04-03 cs.CV
A Study on Quantifying Sim2Real Image Gap in Autonomous Driving Simulations Using Lane Segmentation Attention Map Similarity
Daegu Gyeongbuk Institute of Science and Technology(大邱庆北科学技术院)
针对自动驾驶仿真图像逼真度缺乏量化指标的问题,本文提出基于ENet-SAD注意力图相似度的度量方法,并在CARLA仿真图像上验证其有效性。
2023-06-18 cs.CV cs.RO
Modeling, Quantifying, and Predicting Subjectivity of Image Aesthetics
Yonsei University(延世大学);Seoul National University of Science and Technology(首尔科技大学)
图像美学评价是一项具有挑战性的计算机视觉任务。一个原因是审美偏好是高度主观的,并且对于某些图像,人们之间可能会有很大差异。因此,适当地对这种\textit{subjectivity}进行建模和量化是重要的,但是还没有太多的努力来解决这个问题。在本文中,我们提出了一个新的统一的概率框架,可以建模和量化的主观审美偏好的基础上的主观逻辑。在这个框架中,评级分布被建模为beta分布,从该分布中可以获得肯定令人满意、肯定令人不满意和不确定的概率。我们使用不确定性的概率来定义主观性的直观度量。此外,我们提出了一种学习深度神经网络的方法,用于预测图像美学,通过实验表明,该方法可以有效地提高主观性预测的性能。我们还提出了一个应用场景中的框架是有益的美学为基础的图像推荐。
2022-08-20 cs.CV
Improving Generalization in Deepfake Detection with Face Foundation Models and Metric Learning
本文提出基于人脸基础模型FSFM并结合三元组损失与归因监督的深度伪造检测框架,通过多数据集微调提升模型在真实场景中的泛化能力。
2025-11-10 cs.CV
Improving the color accuracy of lighting estimation models
Université Laval(拉瓦尔大学);Meta
本文研究单图像HDR光照估计中的颜色鲁棒性问题,提出用预训练白平衡网络预处理输入图像,在不重新训练模型的情况下提升现有光照估计方法的颜色准确性,并在三种最先进方法上验证了其普适性。
2025-09-22 cs.CV
Improving accuracy and uncertainty quantification of deep learning based quantitative MRI using Monte Carlo dropout
Technical University of Munich(慕尼黑工业大学);University of Oxford(牛津大学);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);Tianjin University(天津大学)
针对深度学习定量 MRI 的精度与不确定性问题,提出训练和推理均使用 Monte Carlo dropout 并平均多次预测的方法,在小数据集下显著提升 FA、MD 图精度,还能生成辅助诊断的置信图。
2023-11-05 cs.AI cs.CV eess.IV
Improving Aleatoric Uncertainty Quantification in Multi-Annotated Medical Image Segmentation with Normalizing Flows
Eindhoven University of Technology(埃因霍温理工大学)
量化医学图像分割应用中的不确定性是必不可少的,因为它通常与重要的决策有关。在量化图像分割架构中的不确定性方面已经做出了令人信服的尝试,例如,学习以输入图像为条件的密度分割模型。在这一领域的典型工作限制这些学习的密度是严格的高斯。在本文中,我们建议通过引入归一化流(NF)来使用更灵活的方法,这使得学习的密度更加复杂,并有助于对不确定性进行更准确的建模。我们通过采用ProbabilityU-Net并使用NF增强后验密度来证明这一假设,使其更具表达力。我们分别对多注释和单注释LIDC-IDRI和Kvasir-SEG分割数据集进行的定性和定量(GED和IoU)评估显示出明显的改进。这在任意不确定性的量化和高达14%的预测性能提高中最为明显。这一结果强烈表明,一个更灵活的密度模型,应认真考虑在架构,试图捕捉分割模糊通过密度建模。这种改进的建模的好处将增加人们对注释和分割的信心,并使该技术在实践中得到广泛采用。
2021-08-05 cs.CV cs.LG
SWITi: Quantifying and Reducing Tiling Artifacts with Sliding Window Inner Tiling
Fondazione Human Technopole(人类技术基金会);Università Campus Bio-Medico(校园生物医学大学)
研究针对大图像数据平铺预测产生的伪影问题,提出SWITi方法,通过平均重叠滑动窗口预测减少伪影,引入FRT和ASV指标量化检测伪影,在荧光显微镜数据集模型上验证该方法可减弱拼接缝、提升重建效果,利于生物医学大图像预测下游处理。
2026-07-22 cs.AI cs.CV
UltraPIPS: Improving model perception in B-mode ultrasound with foundation models
School of Biomedical Engineering, Tel Aviv University(特拉维夫大学生物医学工程学院)
该研究针对B型超声图像特性,提出采用超声领域特定骨干网络优化LPIPS指标,构建UltraPIPS库,可提升下游任务性能并平衡重建质量与真实性。
2026-08-27 cs.CV eess.IV
Improving Lip-synchrony in Direct Audio-Visual Speech-to-Speech Translation
Amazon(亚马逊公司)
本研究针对音视频语音到语音翻译中唇音同步被忽视的问题,提出将唇音同步损失整合到 AVS2S 模型训练过程中,显著提升了唇音同步效果,同时保持了翻译语音的自然度与高质量。
2024-12-21 cs.CL cs.CV cs.MM
HiFiGaze: Improving Eye Tracking Accuracy Using Screen Content Knowledge
Human-Computer Interaction Institute(人机交互研究所);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种新的高精度眼动追踪方法,通过利用设备屏幕内容信息实现鲁棒的反射分割,从而提升追踪精度,实验表明其比基线模型减少约8%的平均追踪误差。
2026-03-20 cs.CV cs.HC
Central-to-Local Adaptive Generative Diffusion Framework for Improving Gene Expression Prediction in Data-Limited Spatial Transcriptomics
Northwestern University(西北大学)
本文提出C2L-ST框架,通过结合大规模形态学先验与有限分子指导,解决空间转录组学数据稀缺问题,提升基因表达预测准确性与空间一致性。
2026-03-27 cs.AI cs.CV cs.LG