PLADE-Net: Towards Pixel-Level Accuracy for Self-Supervised Single-View Depth Estimation with Neural Positional Encoding and Distilled Matting Loss
Korea Advanced Institute of Science and Technology（韩国科学技术院）
在本文中，我们提出了一个自我监督的单视图像素级精确的深度估计网络，称为PLADE-Net。PLADE-Net是第一个显示出前所未有的准确性水平的工作，在具有挑战性的KITTI数据集上的$δ^1$度量方面超过95\%。我们的PLADE-Net基于一种新的网络架构，具有神经位置编码和一种新的损失函数，该损失函数借鉴了抠像拉普拉斯算子的闭合形式解，以从立体图像中学习像素级精确的深度估计。神经位置编码允许我们的PLADE-Net通过让网络推理特定于位置的图像属性（如镜头和投影失真）来获得更一致的深度估计。我们的新的蒸馏消光拉普拉斯损失允许我们的网络预测对象边界处的尖锐深度和高度均匀区域中更一致的深度。我们提出的方法优于所有以前的自监督单视图深度估计方法的挑战KITTI数据集上的大幅度，具有前所未有的精度水平。此外，我们的PLADE-Net，天真地扩展为立体输入，优于最新的自监督立体方法，即使没有任何高级块，如1D相关，3D卷积或空间金字塔池。我们提出了广泛的消融研究和实验，支持我们的方法在KITTI，CityScapes和Make 3D数据集上的有效性。
2021-03-12 cs.CV
Positional Prompt Tuning for Efficient 3D Representation Learning
Xi'an Jiaotong University（西安交通大学）；Tsinghua University（清华大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出PPT方法，通过增加补丁令牌和可训练位置编码进行参数高效微调，仅用1.05M参数在多个3D点云数据集上取得最先进结果。
2025-09-24 cs.CV
Conditional Positional Encodings for Vision Transformers
Meituan Inc.（美团公司）；Beijing Academy of AI（北京人工智能研究院）；Zhejiang University（浙江大学）
我们提出了一个条件位置编码（CPE）方案的视觉Transformer。与之前的固定或可学习的位置编码不同，CPE是动态生成的，并以输入标记的局部邻域为条件。因此，CPE可以很容易地推广到比模型在训练过程中看到的更长的输入序列。此外，CPE在图像分类任务中可以保持期望的不变性，从而提高性能。我们用一个简单的位置编码生成器（PEG）实现CPE，以无缝地集成到当前的Transformer框架中。在PEG的基础上，我们提出了条件位置编码视觉Transformer（CPVT）。我们证明，CPVT有视觉上相似的注意力地图相比，那些与学习位置编码，并提供优于结果。我们的代码可在https://github.com/Meituan-AutoML/CPVT上获得。
2023-02-13 cs.AI cs.CV cs.LG
Learnable Fourier Features for Multi-Dimensional Spatial Positional Encoding
Google Research（谷歌研究院）；UCLA（加州大学洛杉矶分校）；Apple（苹果公司）
注意机制是顺序不变的。位置编码是一个至关重要的组件，它允许基于注意力的深度模型架构（如Transformer）处理信息位置重要的序列或图像。在本文中，我们提出了一种新的位置编码方法的基础上学习傅立叶特征。我们不是将每个位置硬编码为令牌或向量，而是将每个位置（可以是多维的）表示为基于可学习傅立叶特征映射的可训练编码，并使用多层感知器进行调制。该表示对于空间多维位置特别有利，例如，图像上的像素位置，其中需要捕获$L_2$距离或更复杂的位置关系。我们基于几个公共基准测试任务的实验表明，我们的可学习的傅立叶特征表示的多维位置编码优于现有的方法，既提高了精度，允许更快的收敛。
2021-11-09 cs.AI cs.CV cs.LG
Rethinking Positional Encoding
University of Adelaide（阿德莱德大学）
值得注意的是，基于坐标的MLP通过将坐标位置编码为傅立叶特征阵列而在保留高频信息方面受益。迄今为止，这些位置编码的有效性的基本原理仅通过傅立叶透镜进行了研究。在本文中，我们努力扩大这种理解，表明替代非傅立叶嵌入函数确实可以用于位置编码。此外，我们表明，它们的性能完全取决于嵌入矩阵的稳定秩和嵌入坐标之间的距离保持之间的权衡。我们进一步确定，现在无处不在的位置的傅立叶特征映射是满足这些条件的特殊情况。因此，我们提出了一个更一般的理论来分析位置编码的移位基函数。为此，我们开发了必要的理论公式，并以经验验证我们的理论主张在实践中成立。代码可在https://github.com/osiriszjq/Rethinking-positional-encoding获得。
2021-10-11 cs.CV cs.LG
DPPE: Rethinking Camera-Based Positional Encoding for Scaling Multi-View Transformers
Keio University（庆应义塾大学）；SB Intuitions
针对多视图Transformer中基于相机参数的位置编码导致训练后期性能停滞的问题，提出解耦位姿位置编码（DPPE），将旋转和平移显式分离，实现稳定长训练并提升外推泛化能力。
2026-11-04 cs.AI cs.CV
Weierstrass Positional Encoding for Vision Transformers
School of Mathematics and Data Science, Jiangnan University（江南大学数学与数据科学学院）；School of Artificial Intelligence and Computer Science, Jiangnan University（江南大学人工智能与计算机科学学院）
针对视觉Transformer中可学习一维位置编码破坏二维空间结构的问题，提出基于Weierstrass椭圆函数的复数域二维位置编码方法，通过双周期性和非线性几何特性提升空间关系建模能力。
2026-05-20 cs.AI cs.CV
PEPS: Positional Encoding Projected Sampling -- Extended
本文提出PEPS方法，通过将位置编码分解为有意义的点，用于改进隐式神经表示，提升图像表示、纹理压缩和签名距离函数等任务的性能，且参数更少。
2026-04-27 cs.CV cs.GR cs.LG
What DINO saw: ALiBi positional encoding reduces positional bias in Vision Transformers
本文研究了视觉变换器中的位置偏差问题，通过线性探测发现其普遍存在，并通过微调使用ALiBi相对位置编码来减少偏差，证明了无偏特征在复杂显微图像分割中的有效性。
2026-08-12 cond-mat.mtrl-sci cs.CV
Improved Positional Encoding for Implicit Neural Representation based Compact Data Representation
InterDigital, Inc.（InterDigital公司）
提出一种具有更多频率基的新颖位置编码方法，在不增加复杂度的情况下提升隐式神经表示的重建质量，并在压缩和新视角合成任务中取得显著性能提升。
2023-11-10 cs.CV cs.LG eess.IV
CAPE: Encoding Relative Positions with Continuous Augmented Positional Embeddings
Apple（苹果公司）；Facebook AI Research（Facebook 人工智能研究院）；Herophilus, Inc.（Herophilus 公司）
在没有位置信息的情况下，基于注意力的Transformer神经网络是置换不变的。绝对或相对位置嵌入是向Transformer模型提供位置信息的最常用方法。绝对位置嵌入易于实现，但在对比训练时看到的更长的序列进行评估时会遇到泛化问题。相对位置对输入长度变化更鲁棒，但实现起来更复杂，并且由于额外的计算和内存成本而产生较差的模型吞吐量。在本文中，我们提出了一种基于增广的方法（CAPE）的绝对位置嵌入，它保持了绝对（简单和速度）和相对位置嵌入（更好的泛化）的优点。此外，我们对机器翻译、图像和语音识别中最先进的模型的经验评估表明，CAPE导致了更好的泛化性能以及训练超参数的稳定性。
2021-11-09 cs.CL cs.CV cs.LG
Generalized Classification of Satellite Image Time Series with Thermal Positional Encoding
Aarhus University（奥胡斯大学）；FieldSense A/S（FieldSense公司）；IRISA UMR 6074（法国国家信息与自动化研究所雷恩分院（IRISA UMR 6074））；Univ. Bretagne Sud（南布列塔尼大学）
大尺度作物类型分类是遥感工作的一项核心任务，其应用具有经济和生态两方面的重要性。当前最先进的深度学习方法是基于自我注意力，并使用卫星图像时间序列（SITS）来基于其独特的生长模式区分作物类型。然而，现有的方法推广到训练过程中没有看到的区域，主要是由于对气候变化引起的生长季节的时间变化不鲁棒。为此，我们提出了热位置编码（TPE）的注意力为基础的作物分类。与之前基于日历时间（例如，一年中的天数）的位置编码不同，TPE基于热时间，热时间通过累积生长季节的日平均温度获得。由于作物生长与热时间直接相关，而不是日历时间，TPE解决了不同地区之间的时间变化，以提高泛化能力。我们提出了多种TPE策略，包括可学习的方法，以进一步改善结果相比，常见的固定位置编码。我们展示了我们的方法在四个不同的欧洲地区的作物分类任务，在那里我们获得了最先进的泛化结果。
2022-06-14 cs.CV cs.LG
LieRE: Lie Rotational Positional Encodings
Computer Science Department, Stanford University, USA（斯坦福大学计算机科学系）；Radiology Department, Stanford University, USA（斯坦福大学放射学系）
本文提出 LieRE，通过可学习的李代数元素生成高维旋转矩阵来泛化 RoPE，在 2D 和 3D 视觉任务中提升了位置编码的表示能力，并能高效泛化到更高输入分辨率。
2025-08-16 cs.CV cs.LG
CRePE: Curved Ray Expectation Positional Encoding for Unified-Camera-Controlled Video Generation
Graduate School of AI（人工智能研究生院）
本文提出CRePE，一种基于曲率射线期望的位置编码，用于统一相机模型下的视频生成，通过几何注意力适配器稳定相机控制，提升几何感知和感知质量指标。
2026-11-10 cs.AI cs.CV cs.LG
Positional Encoding Field
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Pixocial Technology（Pixocial技术）
本文发现扩散变换器中补丁令牌的独立性，提出位置编码场（PE-Field）将位置编码扩展到三维，实现新视角合成与空间编辑的最优性能。
2025-10-23 cs.CV
Positional Encoding as Spatial Inductive Bias in GANs
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）；Tencent PCG（腾讯平台与内容事业群）；SenseTime Research（商汤科技研究院）
尽管SinGAN的有效感受野有限，但它在学习内部斑块分布方面表现出令人印象深刻的能力。我们感兴趣的是知道这样一个不变量卷积生成器如何仅用空间i.i.d.来捕获全局结构。输入.在这项工作中，以SinGAN和StyleGAN 2为例，我们表明，这种能力，在很大程度上，是由隐式位置编码时，在生成器中使用零填充。这种位置编码对于生成具有高保真度的图像是必不可少的。在其他生成架构（如DCGAN和PGGAN）中也观察到了同样的现象。我们进一步表明，零填充导致一个不平衡的空间偏差与位置之间的模糊关系。为了提供一个更好的空间感应偏置，我们研究替代位置编码，并分析其效果。基于更灵活的位置编码，我们提出了一种新的多尺度训练策略，并在最先进的无条件生成器StyleGAN2中证明了其有效性。此外，显式的空间感应偏置大大提高了SinGAN的更通用的图像处理。
2020-12-09 cs.CV
ViTaPEs: Visuotactile Position Encodings for Cross-Modal Alignment in Multimodal Transformers
Chair of Cyber-Physical Systems（感知系统教授席位）；Institute of Machine Learning and Neural Computation（机器学习与神经计算研究所）；Technical University of Leoben（莱比锡技术大学）；Graz University of Technology（格拉茨技术大学）
ViTaPEs通过两阶段位置注入学习任务无关的视觉触觉表示，提升多模态对齐性能，实验证明其在多种任务和领域中的优越表现。
2026-04-29 cs.CV cs.LG cs.RO
Robustness of Similarity-based Positional Encoding Under Rotations: Theoretical Analysis and Experimental Validation
Computer Science Institute, DiSIT, University of Piemonte Orientale, Alessandria, Italy（皮埃蒙特东方大学计算机科学研究所，DiSIT，亚历山德里亚，意大利）
本文理论分析并实验验证了基于相似性的位置编码（simPE）在旋转扰动下的稳定性，证明其在Frobenius范数下具有有界扰动，并在多个数据集上优于标准位置编码。
2026-06-17 cs.AI cs.CV
Positional Encodings Anchor Spatial Structure in Vision Transformers: A Geometric Perspective on Robustness
ESSTHS
本文通过引入空间相似性距离相关性（SSDC）度量，研究不同位置编码对视觉Transformer内部空间表示几何结构的影响，发现位置编码通过建立索引锚定的空间组织来提升模型在内容破坏性分布偏移下的鲁棒性。
2026-05-28 cs.CV cs.LG
Anisotropic Fourier Features for Positional Encoding in Medical Imaging
Center of Digital Health, Berlin Institute of Health at Charité – Universitätsmedizin Berlin（柏林查理医院数字健康中心）；Charité – Universitätsmedizin Berlin（柏林查理医院大学医学中心）；Freie Universität Berlin（柏林自由大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）
针对医学成像各向异性挑战，提出融合多维度空间依赖的各向异性傅里叶特征位置编码AFPE，在多类医学影像任务上优于现有位置编码，证明适配数据的各向异性位置编码对医学影像任务至关重要。
2025-09-02 cs.CV cs.LG
PyramidStyler: Transformer-Based Neural Style Transfer with Pyramidal Positional Encoding and Reinforcement Learning
针对现有神经风格迁移模型难适配复杂风格与高分辨率输入的问题，提出搭载金字塔位置编码、融合强化学习的Transformer框架PyramidStyler，在多数据集上实现低损失、近实时的高质量风格化效果。
2025-10-02 cs.AI cs.CV
PIP: Positional-encoding Image Prior
Tel-Aviv University（特拉维夫大学）
本文从神经隐式表示视角重审 DIP，提出以 Fourier-Features 和像素级 MLP 构成的 PIP，在参数更少的情况下取得与 DIP 相近的图像重建效果，并可稳定扩展至视频。
2024-03-03 cs.AI cs.CV
3DPPE: 3D Point Positional Encoding for Multi-Camera 3D Object Detection Transformers
Houmo AI（厚墨人工智能）；University of Sydney（悉尼大学）；ETH Zürich（苏黎世联邦理工学院）；University of Adelaide（阿德莱德大学）
提出3DPPE方法，通过预测深度近似3D点位置并引入3D检测Transformer解码器，在nuScenes数据集上显著提升多相机3D目标检测性能。
2023-07-28 cs.CV
Enhancing Multi-Scale Implicit Learning in Image Super-Resolution with Integrated Positional Encoding
Tsinghua University（清华大学）
中心位置是否完全能够表示像素？在离散图像表示中以其中心表示像素并没有错，但将每个像素视为图像超分辨率（SR）上下文中局部区域的信号聚合更有意义。尽管基于坐标的隐式表示在任意尺度图像SR领域具有很强的能力，但该领域的像素性质没有得到充分考虑。为此，我们提出了集成的位置编码（IPE），扩展传统的位置编码聚合频率信息的像素区域。我们将IPE应用于最先进的任意尺度图像超分辨率方法：局部隐式图像函数（LIIF），提出了IPE-LIIF。我们通过定量和定性的评价证明了IPE-LIIF的有效性，并进一步证明了IPE对更大图像尺度和多个基于隐式的方法的泛化能力。代码将被释放。
2021-12-10 cs.CV eess.IV
DepthFormer: Multimodal Positional Encodings and Cross-Input Attention for Transformer-Based Segmentation Networks
University of Padova（帕多瓦大学）
大多数用于语义分割的方法仅使用来自彩色相机的信息来解析场景，然而最近的进展表明，使用深度数据允许进一步提高性能。在这项工作中，我们专注于基于transformer的深度学习架构，这些架构在分割任务上实现了最先进的性能，我们建议通过将深度信息嵌入到位置编码中来使用深度信息。有效地，我们将网络扩展到多模态数据，而不添加任何参数，并以一种自然的方式利用Transformers的自我注意力模块的力量。我们还研究了在注意力模块内部执行跨模态操作的想法，在深度和颜色分支之间交换关键输入。我们的方法不断提高Cityscapes基准的性能。
2023-03-27 cs.CV
How Vision Transformers Represent Position: A Mechanistic Comparison of Absolute and Rotary Positional Encodings
ESSTHS；DJSCE；Lotte Innovate（乐天创新）；New York University（纽约大学）
本研究对比了视觉Transformer中绝对位置编码（APE）与旋转位置编码（RoPE）的位置表征机制，发现二者编码方式不同，且均对分类准确率有关键作用，为视觉模型的针对性干预提供了基础。
2026-10-14 cs.CV cs.LG
Revisiting Multimodal Positional Encoding in Vision-Language Models
Qwen Team, Alibaba Group（Qwen团队，阿里巴巴集团）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
本文分析了多模态Rotary Positional Embedding的核心组件，提出MHRoPE和MRoPE-Interleave两种改进方法，在多种基准测试中表现优异，提升了多模态理解能力。
2026-04-06 cs.CV
DirectUV: Image-Conditioned UV Texture Generation with Surface-Aware Positional Encoding
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
DirectUV提出表面感知位置编码的UV纹理扩散框架，利用3D表面坐标替代UV网格位置编码，提升接缝连贯性与遮挡区域纹理质量。
2026-09-30 cs.CV
Boosting Resolution Generalization of Diffusion Transformers with Randomized Positional Encodings
Kling Team, Kuaishou Technology（快手科技 Kling Team）
本文提出RPE-2D，通过随机化位置编码提升扩散变换器的分辨率泛化能力，实现高分辨率和低分辨率图像生成的无缝过渡。
2026-01-07 cs.CV
Observable- and Positional-Encoding-Dependent Symmetry Readout from Neural Network Weights
D3 Center, The Unversity of Osaka（大阪大学D3中心）
研究训练神经网络权重的事后分析，核心方法是通过精确可观性层次来阐述权重对称性与训练参数、位置编码及读出可观性的关系，主要贡献是揭示位置编码设计对事后权重层读出结构的影响。
2026-07-07 cs.CV cs.LG
Mitigating Coordinate Prediction Bias from Positional Encoding Failures
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；University of California, Los Angeles（加州大学洛杉矶分校）；The University of Queensland（昆士兰大学）；Shanghai University of Finance and Economics（上海财经大学）
本文提出VPSG方法，通过shuffle位置编码纠正坐标偏移，提升定位精度，无需重新训练。
2026-04-28 cs.AI cs.CL cs.CV
Head-wise Adaptive Rotary Positional Encoding for Fine-Grained Image Generation
本文提出HARoPE，一种面向细粒度图像生成的头部适应性旋转位置编码方法，通过动态频率分配和语义对齐提升模型性能。
2026-03-12 cs.CV
Trading Positional Complexity vs. Deepness in Coordinate Networks
本文研究了坐标网络中位置编码的复杂度与深度的权衡，提出更一般的理论分析方法，并通过实验验证了更复杂的编码可通过线性网络实现优异性能。
2026-03-13 cs.CV
Beyond flattening: a geometrically principled positional encoding for vision transformers with Weierstrass elliptic functions
School of Science, Jiangnan University（江南大学科学学院）；School of Artificial Intelligence and Computer Science（人工智能与计算机科学学院）
针对视觉Transformer展平破坏二维结构的问题，提出基于Weierstrass椭圆函数的WEF-PE位置编码，利用双周期性和加法公式编码空间距离，在CIFAR-100和VTAB-1k上取得显著性能提升。
2025-08-26 cs.CV
Seeing the Unseen: Mask-Driven Positional Encoding and Strip-Convolution Context Modeling for Cross-View Object Geo-Localization
College of Computer Science（计算机科学学院）；Software Engineering, Shenzhen University（软件工程，深圳大学）
提出基于掩码的位置编码和条带卷积上下文增强的EDGeo框架，解决跨视角目标地理定位中形状信息缺失和大跨度目标问题，在CVOGL和VIGOR-Building上取得最优性能，定位精度提升3.39%。
2025-10-23 cs.CV
Occlusion Handling in 3D Human Pose Estimation with Perturbed Positional Encoding
Graz University of Technology（格拉茨工业大学）；Microsoft（微软公司）
针对图卷积网络在三维人体姿态估计中因遮挡导致边缺失的问题，提出PerturbPE位置编码技术，利用瑞利-薛定谔扰动定理提取特征基的稳定成分，在Human3.6M数据集上实现高达12%的性能提升，并在双缺失边场景中刷新最优基准。
2024-05-27 cs.CV
Temporal Convolution Networks with Positional Encoding for Evoked Expression Estimation
Chonnam National University（全南国立大学）
本文针对视频诱发表情估计任务，提出使用预训练模型提取多模态时间戳特征，并以带位置编码的时间卷积网络建模时序关系，在EEV 2021挑战赛中获得第一名。
2021-06-16 cs.CV cs.HC
Incremental Transformer Structure Enhanced Image Inpainting with Masking Positional Encoding
Fudan University（复旦大学）
图像修补在近年来取得了显著的进展。然而，如何恢复出纹理逼真、结构合理的图像仍然是一个挑战。由于卷积神经网络（CNN）的有限感受野，一些特定的方法只能处理规则的纹理，而失去整体结构。另一方面，基于注意力的模型可以学习更好的长距离依赖性，用于结构恢复，但它们受到大图像尺寸的推理的繁重计算的限制。为了解决这些问题，我们建议利用一个额外的结构恢复，以促进图像修补增量。该模型在固定的低分辨率草图空间中使用基于注意力的Transformer模型恢复整体图像结构。这样的灰度空间很容易被上采样到更大的尺度，以传达正确的结构信息。我们的结构恢复器可以有效地与其他预训练的修复模型集成，并具有零初始化的残差加法。此外，掩蔽位置编码策略被用来提高性能与大的不规则的面具。在各种数据集上的大量实验验证了我们的模型与其他竞争对手相比的有效性。我们的代码发布在https://github.com/DQiaole/ZITS_inpainting。
2022-03-16 cs.CV
Synchronized Audio-Visual Frames with Fractional Positional Encoding for Transformers in Video-to-Text Translation
University of Augsburg（奥格斯堡大学）
视频到文本（VTT）是自动生成短视听视频片段的描述的任务，例如，它可以支持视障人士理解YouTube视频的场景。Transformer体系结构在机器翻译和图像描述方面都表现出了出色的性能，但缺乏直接和可再现的VTT应用。然而，有没有全面的研究，不同的策略和建议，视频描述生成，包括利用伴随的音频与完全自我关注的网络。因此，我们探索有前途的方法，从图像描述和视频处理，并将其应用到VTT开发一个简单的Transformer架构。此外，我们提出了一种新的方式同步音频和视频功能的Transformers，我们称之为分数位置编码（FPE）。我们在VATEX数据集上运行了多个实验，以确定适用于看不见的数据集的配置，该配置有助于用自然语言描述短视频片段，并将CIDEr和BLEU-4分数与普通Transformer网络相比提高了37.13和12.83分，并在MSR-VTT和MSVD数据集上实现了最先进的结果。此外，FPE有助于将CIDER评分提高8.6%的相对因子。
2021-12-28 cs.CV
Accelerated Decoding of Centroid Positional Encoding for Instance Segmentation
University of Modena and Reggio Emilia（摩德纳与雷焦艾米利亚大学）
针对实例分割中质心位置编码解码开销大的问题，提出优化的CUDA解码算法，显著降低延迟，优于CPU和朴素GPU实现。
2026-09-16 cs.CV
Spiral RoPE: Rotate Your Rotary Positional Embeddings in the 2D Plane
University of California, Berkeley（加州大学伯克利分校）；University of California, Santa Cruz（加州大学圣克ruz分校）；John Hopkins University（约翰霍普金斯大学）
Spiral RoPE通过多方向位置编码改进视觉变换器在分类、分割和生成任务中的性能。
2026-02-03 cs.CV
Faster DAN: Multi-target Queries with Document Positional Encoding for End-to-end Handwritten Document Recognition
Conservatoire National des Arts et Métiers（法国国立工艺学院）；LITIS Laboratory（LITIS实验室）；Rouen University（鲁昂大学）；INSA of Rouen（鲁昂国立应用科学学院）
Faster DAN通过两步策略（先预测每行首字符，再并行完成所有行）加速端到端手写文档识别，在多个数据集上速度提升至少4倍且性能相当。
2023-01-25 cs.CV
SIGN: Spatial-information Incorporated Generative Network for Generalized Zero-shot Semantic Segmentation
USC Information Sciences Institute（南加州大学信息科学研究所）
与传统的zero-shot分类不同，zero-shot语义分割在像素级而不是图像级预测类别标签。在解决zero-shot语义分割问题时，对周围上下文的像素级预测的需求促使我们使用位置编码来合并空间信息。我们通过引入相对位置编码的概念来改进标准的位置编码，该相对位置编码在特征级上集成了空间信息，并且可以处理任意大小的图像。此外，在自训练广泛应用于zero-shot语义分割中生成伪标签的同时，本文提出了一种新的基于知识蒸馏的自训练策略，即退火自训练，它可以自动为伪标签分配不同的重要性，以提高性能。我们系统地研究了所提出的相对位置编码和退火自训练的综合实验评估，我们的实证结果证实了我们的方法在三个基准数据集上的有效性。
2021-08-27 cs.CV
LEDiT: Your Length-Extrapolatable Diffusion Transformer without Positional Encoding
JIIOV Technology（极视角科技）；Nanjing University（南京大学）；Nankai University（南开大学）
LEDiT提出无需显式位置编码的扩散Transformer，利用因果注意力隐式编码位置信息并引入局部增强模块，支持高达4倍分辨率外推，在条件与文本到图像生成中超越现有方法。
2025-09-24 cs.CV
Seamless Human Motion Composition with Blended Positional Encodings
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
本文提出 FlowMDM，通过混合位置编码和姿态中心交叉注意力实现无需后处理的无缝长时人体运动合成，并在 Babel 和 HumanML3D 上取得最优效果，同时提出新的过渡平滑度指标。
2024-02-23 cs.CV
UCM: Unified Modeling of Camera Control and Memory with Time-aware Positional Encoding Warping for World Models
UCM通过时间感知位置编码变形机制实现相机控制与长期记忆的统一建模，在真实和合成基准测试中显著提升场景一致性并实现高保真视频生成的精确控制。
2026-06-29 cs.CV
