ContraLog: Log File Anomaly Detection with Contrastive Learning and Masked Language Modeling
Munich Center for Machine Learning(慕尼黑机器学习中心);LMU München(慕尼黑大学);German Research Center for Environmental Health, Helmholtz Zentrum München(德国环境健康研究中心,亥姆霍兹慕尼黑中心)
ContraLog通过对比学习和掩码语言模型实现日志文件异常检测,无需解析器即可预测连续消息嵌入,有效应对复杂日志数据。
2026-02-03 cs.AI cs.LG
Frequency-Masked Embedding Inference: A Non-Contrastive Approach for Time Series Representation Learning
School of Intelligence Science and Technology, University of Science and Technology Beijing(北京科技大学智能科学与技术学院);Institute of Artificial Intelligence, University of Science and Technology Beijing(北京科技大学人工智能研究院)
针对对比学习依赖正负样本且难以建模时间序列连续语义的问题,本文提出非对比方法 FEI,通过双向频率掩码提示与嵌入推理学习表示,并在8个数据集上验证其泛化优势。
2025-01-06 cs.AI cs.LG
Joint-Embedding Prediction of Masked Point Tubes for Self-Supervised Learning on 4D Point Cloud Videos
National Taiwan University(台湾大学)
该研究针对四维点云视频自监督学习的挑战,提出JEPA风格框架结合Sketched Isotropic Gaussian Regularization,通过掩码时空区域的潜在点管预测学习表示,在动作和手势识别任务中取得良好效果。
2026-08-26 cs.CV cs.LG
Enhancing Transformer Representations of Symbolic ODE Expressions
University of Southampton(南安普顿大学)
本研究探索树位置嵌入与对比学习增强Transformer对符号ODE表达式的结构化表示,提升学习性能并支持数学交换性质。
2026-09-22 cs.AI cs.LG
Robust Representation Learning in Masked Autoencoders
本文通过分析掩码自编码器(MAE)的表示学习机制,发现其预训练和微调后的表示对模糊、遮挡等退化具有鲁棒性,并通过层间分析和敏感性指标揭示了其类感知子空间和全局注意力机制。
2026-06-23 cs.CV cs.LG
MDERank: A Masked Document Embedding Rank Approach for Unsupervised Keyphrase Extraction
Alibaba Group(阿里巴巴集团);The University of New South Wales(新南威尔士大学);A*STAR Centre for Frontier AI Research(新加坡科技研究局前沿人工智能研究中心);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
关键词提取(KPE)自动提取文档中的短语,这些短语提供核心内容的简明摘要,这有利于下游的信息检索和NLP任务。以前的最先进的(SOTA)方法选择候选关键词的基础上学习的候选人和文档的表示之间的相似性。由于序列长度之间的差异,导致关键短语候选者和文档的表示之间不匹配,因此它们在长文档上的性能会下降。在这项工作中,我们提出了一种新的无监督的嵌入为基础的KPE方法,掩蔽文档嵌入排名(MDERank),来解决这个问题,利用掩模策略和排序候选人之间的相似性嵌入的源文件和掩蔽的文件。通过提出一种新的自监督对比学习方法,我们进一步开发了一个面向KPE的BERT(KPE BERT)模型,该方法比普通的BERT更适合于MDERank。对6个KPE基准测试的综合评价表明,所提出的MDERank比最先进的无监督KPE方法平均提高了1.80 $F1@15$。MDERank进一步受益于KPEBERT,总体上比SOTA SIFRank平均提高了3.53 $F1@15$。我们的代码可在\url{https://github.com/LinhanZ/mderank}上找到。
2023-02-28 cs.AI cs.CL
LEON: Location Embeddings from OSM Neighborhoods via Hexagonal Graph Masked Autoencoders
Wroclaw University of Science and Technology(弗罗茨瓦夫理工大学)
本文提出LEON,一种基于H3六边形网格和图掩码自编码器的自监督框架,利用OSM设施分布学习空间嵌入,在EuroSAT分类和地理预测任务上显著提升性能。
2026-10-06 cs.LG
MTSMAE: Masked Autoencoders for Multivariate Time-Series Forecasting
University of Science and Technology of China(中国科学技术大学);Institute of Advanced Technology, University of Science and Technology of China(中国科学技术大学先进技术研究院);Jiaxing University(嘉兴学院)
大规模自监督预训练Transformer架构显著提升了自然语言处理(NLP)和计算机视觉(CV)中各种任务的性能。然而,利用预训练好的Transformer处理多变量时间序列的研究还比较缺乏,尤其是针对自监督学习的时间序列掩蔽问题的研究更是空白。与语言和图像处理不同,时间序列的信息密度增加了研究的难度。挑战进一步与无效的先前补丁嵌入和掩模方法。本文针对多元时间序列的数据特点,提出了一种补丁嵌入方法,并提出了一种基于掩码自编码器(MAE)的自监督预训练方法MTSMAE,该方法与无需预训练的监督学习相比,可以显著提高学习性能。在不同领域、不同特征的多变量时间序列数据集上的实验结果表明,该方法的性能明显优于目前最好的方法。
2022-10-04 cs.AI cs.LG
GiGaMAE: Generalizable Graph Masked Autoencoder via Collaborative Latent Space Reconstruction
University of Georgia(佐治亚大学);University of Virginia(弗吉尼亚大学);New York University Shanghai(上海纽约大学)
针对图掩码自编码器泛化不足的问题,提出 GiGaMAE,通过协作重构融合拓扑与属性的潜在嵌入及互信息损失,在七数据集三任务上优于最先进基线。
2023-08-18 cs.AI cs.LG
Joint-Embedding Masked Autoencoder for Self-supervised Learning of Dynamic Functional Connectivity from the Human Brain
KAIST AI(韩国国立科学技术院人工智能研究所);Yonsei University College of Medicine(延世大学医学院);AITRICS
本文提出时空联合嵌入掩码自编码器ST-JEMA,受JEPA启发,通过重建动态图学习fMRI数据的高层语义表示,在八个基准数据集上优于现有方法,有效利用标签稀缺的脑影像数据。
2025-05-05 cs.LG q-bio.NC
MOSAIC: Masked Objective with Selective Adaptation for In-domain Contrastive Learning
MOSAIC通过联合优化掩码语言建模和对比目标,提升领域适应文本嵌入模型的性能,实现NDCG@10的显著提升。
2026-01-29 cs.AI cs.CL
Hierarchical Semantic Correlation-Aware Masked Autoencoder for Unsupervised Audio-Visual Representation Learning
KDDI Research, Inc., Saitama, Japan(KDDI研究所,埼玉,日本)
本文提出HSC-MAE框架,通过三级表示层次强制语义一致性,结合教师-学生架构和多任务学习,提升无监督音频-视觉表示学习效果。
2026-04-05 cs.AI cs.CV cs.MM
Graph Positional Autoencoders as Self-supervised Learners
Beijing University of Posts and Telecommunications(北京邮电大学);National University of Singapore(新加坡国立大学);Singapore Management University(新加坡管理学院)
针对传统图自编码器掩码范式仅捕获低频信号、难学结构信息的问题,提出双路径架构的GraphPAE,同时重构节点特征与位置以学习多频信息,在多项任务上取得最优性能。
2025-06-15 cs.LG
Weighted Sampling for Masked Language Modeling
University of New South Wales(新南威尔士大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对MLM中随机掩码导致的高频token偏差问题,提出基于频率和损失的加权采样策略,构建WSBERT模型,显著提升了句子嵌入及下游任务的迁移学习能力。
2023-05-24 cs.AI cs.CL
MapFormer: Self-Supervised Learning of Cognitive Maps with Input-Dependent Positional Embeddings
Institut Jean Nicod(让·内科研究所);LSCP(LSCP实验室);Département d’Études Cognitives - ENS, EHESS, CNRS, PSL University(认知研究系 - 巴黎高等师范学院,高等社会科学学院,国家科学研究中心,巴黎综合理工学院)
MapFormer通过输入依赖的位置嵌入学习认知图,结合绝对和相对位置编码,实现事件记忆和工作记忆建模,在多个认知任务中表现出色,实现近完美的分布外泛化。
2026-05-10 cs.CL cs.LG
Masked Autoencoders as Universal Speech Enhancer
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);AWS AI Labs(亚马逊人工智能实验室)
本文提出了一种基于掩码自动编码器的通用语音增强器,通过自监督学习处理多种失真,实现去噪和去回声的高性能表现。
2026-02-02 cs.LG cs.SD
Diffusion Masked Pretraining for Dynamic Point Cloud
Xi’an Jiaotong University(西安交通大学);School of Artificial Intelligence and Robotics, Hunan University(湖南大学人工智能与机器人学院);University of Western Australia(西澳大学)
本文提出DiMP框架,通过引入扩散建模解决动态点云预训练中位置泄露和运动监督问题,提升下游任务性能。
2026-11-03 cs.CV
CAPE: Encoding Relative Positions with Continuous Augmented Positional Embeddings
Apple(苹果公司);Facebook AI Research(Facebook 人工智能研究院);Herophilus, Inc.(Herophilus 公司)
在没有位置信息的情况下,基于注意力的Transformer神经网络是置换不变的。绝对或相对位置嵌入是向Transformer模型提供位置信息的最常用方法。绝对位置嵌入易于实现,但在对比训练时看到的更长的序列进行评估时会遇到泛化问题。相对位置对输入长度变化更鲁棒,但实现起来更复杂,并且由于额外的计算和内存成本而产生较差的模型吞吐量。在本文中,我们提出了一种基于增广的方法(CAPE)的绝对位置嵌入,它保持了绝对(简单和速度)和相对位置嵌入(更好的泛化)的优点。此外,我们对机器翻译、图像和语音识别中最先进的模型的经验评估表明,CAPE导致了更好的泛化性能以及训练超参数的稳定性。
2021-11-09 cs.CL cs.CV cs.LG
Configuring Data Augmentations to Reduce Variance Shift in Positional Embedding of Vision Transformers
POSTECH(浦项科技大学)
针对ViT训练中数据增强导致位置编码方差偏移的问题,提出正确配置数据增强以消除副作用,实验证明该方法提升ViT性能。
2024-05-23 cs.AI cs.CV cs.LG
LOOPE: Learnable Optimal Patch Order in Positional Embeddings for Vision Transformers
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
LOOPE通过学习最优补丁顺序优化位置嵌入,提升视觉变换器的分类性能,引入新的评估框架验证位置嵌入的有效性。
2026-04-10 cs.AI cs.CV
AdPE: Adversarial Positional Embeddings for Pretraining Vision Transformers via MAE+
Purdue University(普渡大学);Amazon AWS AI Labs(亚马逊AWS人工智能实验室);OPPO US Research Center(OPPO美国研究中心)
视觉Transformer的无监督学习试图通过没有标签的借口任务来预训练编码器。其中之一是Masked Image Modeling(MIM),它通过预测掩码补丁作为借口任务,与语言Transformers的预训练保持一致。无监督预训练中的一个标准是,托词任务需要足够困难,以防止Transformer编码器学习不能很好地推广到下游任务的琐碎低级特征。为此,我们提出了一种对抗性位置嵌入(AdPE)方法--它通过扰动位置编码来扭曲局部视觉结构,使得学习的Transformer不能简单地使用局部相关的补丁来预测丢失的补丁。我们假设它迫使Transformer编码器在全局上下文中学习更多的判别特征,并具有更强的下游任务的泛化能力。我们将考虑绝对和相对位置编码,其中可以在嵌入模式和坐标模式中施加对抗位置。我们还将提出一个新的MAE+基线,使MIM预训练的性能与AdPE达到一个新的水平。实验结果表明,在Imagenet 1 K上对ViT-B和ViT-L进行1600次预训练后,我们的方法可以通过$0.8\%$和$0.4\%$提高MAE的微调精度。对于迁移学习任务,它的性能优于具有ViT-B主干的MAE,分别是ADE 20 K上mIoU中的$2.6\%$,以及COCO上AP $^{bbox}$中的$3.2\%$和AP $^{mask}$中的$1.6\%$。这些结果是通过AdPE获得的,AdPE是一…
2023-03-14 cs.AI cs.CV cs.LG
GeoPE:A Unified Geometric Positional Embedding for Structured Tensors
University of Electronic Science and Technology of China(电子科技大学);Fudan University(复旦大学)
GeoPE通过引入几何位置嵌入,有效恢复2D空间流形,提升图像分类、目标检测和3D语义分割任务的性能。
2025-12-04 cs.AI cs.CV
StegaPos: Preventing Unwanted Crops and Replacements with Imperceptible Positional Embeddings
Harvard University(哈佛大学)
我们提出了一个学习,空间变化的隐写系统,允许检测何时以及如何图像已被修改后,裁剪,拼接或修复出版。该系统包括:学习编码器,其在发布之前在每个局部图像区域中不可感知地隐藏不同的位置签名;以及伴随的学习解码器,其提取隐写签名以针对每个局部图像区域确定其在原始发布的图像内的2D位置坐标。裁剪和替换编辑可以通过它们在隐藏的位置签名中引起的不一致来检测。使用小型$(400 \times 400)$图像的原型系统,我们通过实验证明,简单的CNN编码器和解码器架构可以联合训练,以实现可靠和鲁棒的检测,而不会引入可感知的失真。这种方法可以帮助个人和图像共享平台证明图像是由可信来源发布的,并且还可以知道这种图像的哪些部分(如果有的话)自发布以来已经被大幅修改。
2022-12-07 cs.CV cs.LG
DMT-JEPA: Discriminative Masked Targets for Joint-Embedding Predictive Architecture
Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Hanyang University ERICA(汉阳大学ERICA校区)
DMT-JEPA提出一种基于JEPA的判别性掩码目标方法,通过选择语义相似的邻近补丁并聚合其特征作为目标,增强局部语义理解,在多个视觉基准上表现优异。
2024-05-28 cs.AI cs.CV cs.LG
Cross-Axis Transformer with 3D Rotary Positional Embeddings
EmerGen LLC
本文提出Cross-Axis Transformer(CAT),受轴向Transformer和Retentive Network启发,通过三维旋转位置嵌入大幅减少图像处理浮点运算,同时实现比视觉Transformer更快的收敛和更高的准确率。
2024-12-16 cs.AI cs.CV
Robust Point Cloud Processing through Positional Embedding
The University of Adelaide(阿德莱德大学);Amazon(亚马逊)
本文提出基于带宽准则的分析性逐点嵌入,与随机傅里叶特征位置嵌入关联,提升点云分类与配准对分布外噪声的鲁棒性。
2023-09-01 cs.CV
Positional Bias in Multimodal Embedding Models: Do They Favor the Beginning, the Middle, or the End?
本文针对多模态表征模型的位置偏差研究缺口,在图文检索场景下区分上下文重要性与位置偏差开展实验,明确了不同模态编码器的偏差表现及偏差的诱发因素。
2025-11-14 cs.CV
Anatomical Positional Embeddings
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Artificial Intelligence Research Institute (AIRI)(人工智能研究所(AIRI));Institute for Information Transmission Problems(信息传输问题研究所);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
该研究提出一种生成3D解剖学位置嵌入的自监督模型,可高效生成整幅体图像的逐体素嵌入图,在多项任务上性能优于现有模型,还可低成本实现CT图像的高召回率解剖区域裁剪。
2024-09-16 cs.CV
How Vision Transformers Represent Position: A Mechanistic Comparison of Absolute and Rotary Positional Encodings
ESSTHS;DJSCE;Lotte Innovate(乐天创新);New York University(纽约大学)
本研究对比了视觉Transformer中绝对位置编码(APE)与旋转位置编码(RoPE)的位置表征机制,发现二者编码方式不同,且均对分类准确率有关键作用,为视觉模型的针对性干预提供了基础。
2026-10-14 cs.CV cs.LG
EVA02-AT: Egocentric Video-Language Understanding with Spatial-Temporal Rotary Positional Embeddings and Symmetric Optimization
Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University(电子与电气工程系,香港理工大学)
针对第一人称视频-语言理解的三大挑战,提出基于EVA02的EVA02-AT模型,采用单阶段预训练、时空旋转位置编码及对称多相似度损失,以更少参数实现多任务SOTA性能。
2025-06-17 cs.AI cs.CV
Geometry without Position? When Positional Embeddings Help and Hurt Spatial Reasoning
King Abdullah University of Science and Technology(卡布斯大学)
本文研究了位置嵌入在视觉变换器中对空间推理的影响,揭示了PEs作为几何先验的作用及其对多视角几何一致性的影响。
2026-01-29 cs.CV
Positional Embedding-Aware Activations
UC Berkeley(加州大学伯克利分校)
SPDER通过位置感知激活函数提升图像和音频表示性能,显著加快训练速度并降低损失值,适用于多种下游任务。
2026-01-14 cs.CV
SoPE: Spherical Coordinate-Based Positional Embedding for Enhancing Spatial Perception of 3D LVLMs
University of Macau(澳门大学);University of Science and Technology of China(中国科学技术大学);Shanghai Jiaotong University(上海交通大学);Hefei University of Technology(合肥工业大学);National University of Singapore(新加坡国立大学)
SoPE通过基于球坐标的位置嵌入提升3D LVLMs的空间感知能力,结合多尺度频率混合策略,增强几何表示的一致性和表达性。
2026-02-26 cs.AI cs.CV
Circle-RoPE: Cone-like Decoupled Rotary Positional Embedding for Large Vision-Language Models
Huawei Noah's Ark Lab.(华为诺亚实验室);City University of Hong Kong.(香港城市大学);University of Sydney.(悉尼大学);State Key Lab of General AI, School of Intelligence Science and Technology, Peking University(北京大学人工智能国家重点实验室,智能科学与技术学院)
本文提出Circle-RoPE,通过将图像标记坐标映射到与文本位置轴正交的圆环上,实现跨模态位置解耦,同时保留图像内部空间结构,并通过交替几何编码增强跨模态位置解耦和细粒度图像空间结构保留。
2026-05-21 cs.AI cs.CV
Spiral RoPE: Rotate Your Rotary Positional Embeddings in the 2D Plane
University of California, Berkeley(加州大学伯克利分校);University of California, Santa Cruz(加州大学圣克ruz分校);John Hopkins University(约翰霍普金斯大学)
Spiral RoPE通过多方向位置编码改进视觉变换器在分类、分割和生成任务中的性能。
2026-02-03 cs.CV
Latent Diffusion U-Net Representations Contain Positional Embeddings and Anomalies
BIFOLD - Berlin Institute for the Foundations of Learning and Data(BIFOLD——柏林学习与数据基础研究所)
本文通过表示相似性与范数分析Stable Diffusion模型,发现其U-Net表示中存在位置嵌入、角落伪影和高范数异常,提示下游任务使用前需进一步研究表示鲁棒性。
2025-04-09 cs.CV
Learning Where to Embed: Noise-Aware Positional Embedding for Query Retrieval in Small-Object Detection
Southeast University(东南大学);Fudan University(复旦大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校);Zhejiang Normal University(浙江师范大学);Data Space Research Institute, Hefei Comprehensive National Science Center(合肥综合国家科学中心数据空间研究院);Rice University(里士满大学);Huazhong Agricultural University(华中农业大学);City University of Hong Kong (Dongguan)(香港城市大学(东莞));Wake Forest University(威克森林大学)
本文提出HELP框架,通过选择性保留前景区域的位置编码来学习嵌入位置,结合热图引导的位置嵌入机制和线性蛇卷积提升小目标检索性能,实现参数减少59.4%的同时保持精度。
2026-04-16 cs.CV
PosBridge: Multi-View Positional Embedding Transplant for Identity-Aware Image Editing
PosBridge是一种高效灵活的图像编辑框架,通过位置嵌入迁移与角点居中布局,实现自定义对象的无缝插入,在结构一致性、保真度和效率上优于主流基线。
2026-08-11 cs.CV
ProM3E: Probabilistic Masked MultiModal Embedding Model for Ecology
Washington University in St. Louis(华盛顿大学圣路易斯分校)
ProM3E 提出一种概率掩码多模态嵌入模型,通过嵌入空间掩码重建与模态反演学习生态学多模态表征,并利用概率特性指导模态融合,在跨模态检索和线性探测任务上表现优越。
2025-11-04 cs.CV
RoPEMover: Depth-Aware Object Relocation via Positional Embeddings
Bilkent University(比尔肯大学);Brown University(布朗大学);Adobe Research(Adobe研究院)
提出一种基于扩散Transformer位置表示(RoPE)的几何感知物体运动方法,通过深度感知的2D RoPE扩展实现3D空间位移,在合成数据与少量真实图像训练下,实现物体身份保持、遮挡区域生成及阴影光照一致更新。
2026-06-26 cs.CV
ComRoPE: Scalable and Robust Rotary Position Embedding Parameterized by Trainable Commuting Angle Matrices
Tsinghua University(清华大学);Shenzhen University(深圳大学)
本文提出ComRoPE,通过可训练交换角矩阵推广旋转位置编码,解决RoPE变换空间受限问题,在ImageNet-1K上超越现有最优方法,并兼具可扩展性与位置鲁棒性。
2025-06-04 cs.AI cs.CV
Categorical Keypoint Positional Embedding for Robust Animal Re-Identification
Australian Institution for Machine Learning(澳大利亚机器学习研究所);The University of Adelaide(阿德莱德大学)
针对动物 ReID 中姿态、环境和跨物种迁移难题,提出基于扩散模型的单样本关键点传播机制,并以 KPE 与 CKPE 增强 ViT,在四个野生动物数据集上超越现有方法。
2024-12-01 cs.CV
Trading Positional Complexity vs. Deepness in Coordinate Networks
本文研究了坐标网络中位置编码的复杂度与深度的权衡,提出更一般的理论分析方法,并通过实验验证了更复杂的编码可通过线性网络实现优异性能。
2026-03-13 cs.CV
Deep Positional and Relational Feature Learning for Rotation-Invariant Point Cloud Analysis
Xi’an Jiaotong University(西安交通大学);Technical University of Munich(慕尼黑工业大学);Google(谷歌)
在本文中,我们提出了一种用于点云分析的旋转不变深度网络。基于点的深度网络通常被设计为基于点坐标识别粗略对齐的3D形状,但由于形状旋转而导致性能下降。一些几何特征,例如,作为网络输入的点的距离和角度是旋转不变的,但丢失了点的位置信息。在这项工作中,我们提出了一种新的点云深度网络,将点的位置信息作为输入,同时产生旋转不变性。该网络是分层的,依赖于两个模块:位置特征嵌入块和关系特征嵌入块。这两个模块和整个网络被证明是旋转不变的处理点云作为输入。实验表明,国家的最先进的分类和分割性能的基准数据集,消融研究表明网络设计的有效性。
2020-11-18 cs.CV
Technical Report: Masked Skeleton Sequence Modeling for Learning Larval Zebrafish Behavior Latent Embeddings
University College London(伦敦大学学院);Harbin Institute of Technology(哈尔滨工业大学)
提出自监督掩码骨架序列建模方法,结合Transformer-CNN架构(SSTFormer)捕获幼体斑马鱼游动的时空关节相关性,有效提取行为潜在嵌入并提升相似行为区分度。
2024-03-23 cs.CV
Rethinking Positional Encoding
University of Adelaide(阿德莱德大学)
值得注意的是,基于坐标的MLP通过将坐标位置编码为傅立叶特征阵列而在保留高频信息方面受益。迄今为止,这些位置编码的有效性的基本原理仅通过傅立叶透镜进行了研究。在本文中,我们努力扩大这种理解,表明替代非傅立叶嵌入函数确实可以用于位置编码。此外,我们表明,它们的性能完全取决于嵌入矩阵的稳定秩和嵌入坐标之间的距离保持之间的权衡。我们进一步确定,现在无处不在的位置的傅立叶特征映射是满足这些条件的特殊情况。因此,我们提出了一个更一般的理论来分析位置编码的移位基函数。为此,我们开发了必要的理论公式,并以经验验证我们的理论主张在实践中成立。代码可在https://github.com/osiriszjq/Rethinking-positional-encoding获得。
2021-10-11 cs.CV cs.LG
FreqPDE: Rethinking Positional Depth Embedding for Multi-View 3D Object Detection Transformers
Shanghai Jiao Tong University(上海交通大学);Xi’an Jiaotong University(西安交通大学);SenseAuto Research(SenseAuto研究院)
针对多视角3D目标检测中深度预测质量差及忽视跨视角一致性和尺度不变性的问题,提出FreqPDE方法,通过频率感知金字塔、跨视角尺度不变深度预测和位置深度编码三个模块,在nuScenes上验证了有效性。
2025-10-17 cs.CV
Loopy: Seamless Video Loop Generation via Anchored Looping Shift of Positional Embedding
Tianjin University(天津大学);The Hong Kong Polytechnic University(香港理工大学)
该研究针对现有循环视频生成质量差的问题,提出Loopy框架,通过锚定DiT的位置嵌入偏移策略,实现高质量、支持多格式及高级AIGC功能的循环视频生成,提升了时间一致性与视觉保真度。
2026-08-25 cs.CV
PPE: Positional Preservation Embedding for Token Compression in Multimodal Large Language Models
Huawei Technologies(华为技术有限公司)
PPE通过保持位置信息提升多模态大语言模型的token压缩效率和性能
2026-02-05 cs.CV
Multi Kernel Positional Embedding ConvNeXt for Polyp Segmentation
University of Science, VNU-HCM(胡志明市国家大学科学大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
针对UNet跳跃连接存在的上下文信息不足与语义鸿沟问题,提出融合ConvNeXt骨干和多核位置嵌入模块的息肉分割框架,在Kvasir-SEG等数据集上取得了具有竞争力的分割精度。
2023-06-15 cs.CV eess.IV
LV-MAE: Learning Long Video Representations through Masked-Embedding Autoencoders
Amazon(亚马逊)
LV-MAE提出一种自监督框架,将长短跨度依赖解耦,利用多模态编码器提取短片段表示并预训练掩码嵌入自编码器捕获长程交互,在三个长视频基准上取得最先进结果。
2025-10-07 cs.CV
Solving Masked Jigsaw Puzzles with Diffusion Vision Transformers
Northeastern University(东北大学);Qualcomm(高通公司)
针对现有判别式方法难以求解大规模拼图的问题,提出JPDVT方法,以视觉内容为条件用扩散Transformer生成位置信息来组装拼图,支持碎片缺失场景,在多数据集上达SOTA。
2024-04-10 cs.CV
Self-restrained Triplet Loss for Accurate Masked Face Recognition
Fraunhofer Institute for Computer Graphics Research IGD(弗劳恩霍夫计算机图形研究所);TU Darmstadt(达姆施塔特工业大学)
使用面部作为生物识别身份特征的动机是捕获过程的非接触性质和识别算法的高准确性。在当前COVID-19疫情后,为控制疫情,公共场所已强制佩戴口罩。然而,由于戴口罩的人脸遮挡提出了一个新兴的挑战,人脸识别系统。在本文中,我们提出了一种解决方案,以提高蒙面人脸识别性能。具体来说,我们提出了嵌入解蔽模型(EUM)操作现有的人脸识别模型的顶部。我们还提出了一种新的损失函数,自我约束的三元组(SRT),这使得EUM产生嵌入类似于这些相同身份的未蒙面的面孔。三个人脸识别模型,两个真实的蒙面数据集,和两个合成生成的蒙面人脸数据集上取得的评价结果证明,我们提出的方法显着提高了性能,在大多数实验设置。
2021-12-13 cs.CV
Masked Autoregressive Model for Weather Forecasting
SI Analytics
本文提出掩码自回归模型MAM4WF,通过掩码建模学习稳健时空关系,结合自回归与前置时间嵌入方法的优势,在天气、气候预测和视频帧预测任务中取得优越性能。
2024-09-30 cs.CV