Transformer-based Cross-Modal Recipe Embeddings with Large Batch Training
The University of Electro-Communications（电气通信大学）
本文在ACME~（Adversarial Cross-Modal Embedding）和H-T~（Hierarchical Transformer）的启发下，提出了一个跨模态菜谱检索框架--基于transformer的大批量训练网络（Transformer-based Network for Large Batch Training，TNLBT）。TNLBT旨在完成检索任务，同时从食谱嵌入生成图像。我们应用了基于Hierarchical Transformer的菜谱文本编码器、基于视觉Transformer ~（ViT）的菜谱图像编码器和对抗网络架构，以实现菜谱文本和图像的更好的跨模态嵌入学习。此外，我们使用自监督学习来利用没有对应图像的食谱文本中的丰富信息。根据最近关于自监督学习的文献，由于对比学习可以从较大的批量中受益，因此我们在训练过程中采用了较大的批量，并验证了其有效性。在实验中，所提出的框架显着优于目前国家的最先进的框架在跨模态的食谱检索和图像生成任务的基准Recipe 1 M。这是第一个证实大批量训练对跨模态配方嵌入的有效性的工作。
2022-12-16 cs.CV
TRIG: Transformer-Based Text Recognizer with Initial Embedding Guidance
Shanghai University（上海大学）
场景文本识别是图像和文本之间的重要桥梁，引起了广泛的研究关注。虽然卷积神经网络（CNNS）在这一任务上取得了显著的进展，但现有的大多数工作都需要一个额外的模块（上下文建模模块）来帮助CNN捕捉全局依赖关系，以解决归纳偏差，加强文本特征之间的关系。近年来，Transformer被认为是一种基于自注意力机制的全局上下文建模网络，但其主要缺点之一是识别效率低。我们提出了一个1-D的分裂，以解决复杂性的挑战，并取代CNN与Transformer编码器，以减少对上下文建模模块的需要。此外，最近的方法使用冻结的初始嵌入来引导解码器将特征解码为文本，从而导致精度损失。我们建议使用从Transformer编码器学习的可学习的初始嵌入，使其适应不同的输入图像。首先，我们介绍了一种新的文本识别体系结构，命名为TRansformer为基础的文本识别器与初始嵌入指导（TRIG），由三个阶段（转换，特征提取，和预测）。大量的实验表明，我们的方法可以达到国家的最先进的文本识别基准。
2021-11-16 cs.CV
A Hidden Semantic Bottleneck in Conditional Embeddings of Diffusion Transformers
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
研究揭示扩散变换器条件嵌入中的语义瓶颈，发现语义信息集中于少量维度，通过剪枝提升生成质量。
2026-02-25 cs.CV
Improved Robustness of Vision Transformer via PreLayerNorm in Patch Embedding
Pohang University of Science and Technology（浦项科技大学）
视觉Transformer（ViTs）最近在各种视觉任务中表现出最先进的性能，取代了卷积神经网络（CNN）。同时，由于ViT具有与CNN不同的架构，因此其行为可能不同。为了研究ViT的可靠性，本文研究了ViT的行为和鲁棒性。我们通过假设实际视觉任务中可能出现的各种图像损坏来比较CNN和ViT的鲁棒性。我们证实，对于大多数图像变换，ViT显示出与CNN相当或更高的鲁棒性。然而，对于对比度增强，在ViT中始终观察到严重的性能下降。通过详细的分析，我们发现了一个潜在的问题：当色标发生变化时，ViT补丁嵌入中的位置嵌入可能会不正常工作。在这里，我们要求使用PreLayerNorm，一个修改后的补丁嵌入结构，以确保规模不变的行为的ViT。具有PreLayerNorm的ViT在包括对比度变化环境在内的各种损坏中表现出更好的鲁棒性。
2021-11-16 cs.CV
Minutiae-Guided Fingerprint Embeddings via Vision Transformers
Michigan State University（密歇根州立大学）；Rank One Computing（Rank One Computing公司）；Amazon（亚马逊）
细节点匹配长期以来一直是指纹识别领域的主流。然而，深度网络可以用来从指纹中提取固定长度的嵌入。迄今为止，探索使用CNN架构来提取此类嵌入的少数研究已经显示出极大的希望。受这些早期作品的启发，我们提出了第一次使用视觉Transformer（ViT）来学习有区别的固定长度指纹嵌入。我们进一步证明，通过引导ViT专注于本地，细节相关的功能，我们可以提高识别性能。最后，我们表明，通过融合CNN和ViT学习的嵌入，我们可以达到与商业最先进（SOTA）匹配器的接近平价。特别是，我们在NIST SD 302公共域数据集上获得了TAR= 94.23%@FAR =0.1%，而SOTA商业匹配器获得了TAR= 96.71%@FAR = 0.1%。此外，我们的固定长度嵌入可以比商业系统更快地匹配数量级（250万匹配/秒，而50 K匹配/秒）。我们公开我们的代码和模型，以鼓励对这个主题的进一步研究：https://github.com/tba。
2022-10-26 cs.CV
DC-Former: Diverse and Compact Transformer for Person Re-Identification
Ant Group（蚂蚁集团）
在人员再识别（re-ID）任务中，由于数据有限，通过深度学习来学习区分表示仍然是具有挑战性的。一般来说，当数据量增加时，模型会获得更好的性能。相似类的加入增强了分类器识别相似身份的能力，从而提高了表征的区分度。在本文中，我们提出了一个多样的和紧凑的Transformer（DC-Former），可以实现类似的效果，通过分裂嵌入空间成多个多样的和紧凑的子空间。紧凑的嵌入子空间有助于模型学习更鲁棒和有区别的嵌入，以识别相似的类。通过融合这些包含更多细粒度信息的不同嵌入，可以进一步提高re-ID的效果。具体而言，在视觉Transformer中使用多个类标记来表示多个嵌入空间。然后，一个自多样性约束（SDC）被施加到这些空间，推动他们远离彼此，这使得每个嵌入空间多样和紧凑。此外，还设计了动态权重控制器（DWC），用于在训练过程中平衡它们之间的相对重要性。我们的方法的实验结果是有希望的，这超过了以前的国家的最先进的方法在几个常用的人重新ID基准。
2023-02-28 cs.CV
Rethinking Query, Key, and Value Embedding in Vision Transformer under Tiny Model Constraints
Kyungpook National University（庆北国立大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对小模型下ViT的QKV嵌入语义不足问题，提出三种非线性QKV嵌入结构，在低参数量下实现了优于XCiT-N12的图像分类与迁移学习性能。
2021-11-19 cs.CV
Transformer-based Fusion of 2D-pose and Spatio-temporal Embeddings for Distracted Driver Action Recognition
Eindhoven University of Technology（埃因霍温理工大学）
本文提出基于Transformer的融合架构，将2D姿态特征作为位置嵌入、时空特征作为编码器主输入，并结合多视角后处理，提升分心驾驶动作的时序定位与分类精度。
2024-03-11 cs.CV
MSPE: Multi-Scale Patch Embedding Prompts Vision Transformers to Any Resolution
School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院）；State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（中国科学院自动化研究所多模态人工智能系统国家重点实验室）；Centre for Artificial Intelligence and Robotics, HKISI-CAS（中国科学院香港中文大学信息工程研究所人工智能与机器人中心）
针对视觉变换器难以适应可变输入分辨率的问题，提出多尺度补丁嵌入（MSPE）方法，通过可变大小补丁内核替代标准嵌入，无需调整图像大小，在分类、分割和检测任务中低分辨率性能优越，高分辨率与现有方法相当。
2024-05-28 cs.CV
Pan-Arctic Permafrost Landform and Human-built Infrastructure Feature Detection with Vision Transformers and Location Embeddings
University of Connecticut（康涅狄格大学）；Google（谷歌）；Woodwell Climate Research Center（伍德韦尔气候研究中心）；National Center for Supercomputing Applications, University of Illinois（伊利诺伊大学国家超级计算应用中心）
本文针对泛北极永久冻土地貌与人造设施检测，将地理空间位置嵌入集成到视觉Transformer中，通过融合图像与位置信息提升跨区域泛化能力，并在冰楔多边形、后退融滑体等任务上取得优于CNN的结果。
2025-06-03 cs.CV
Trans-SVNet: Accurate Phase Recognition from Surgical Videos via Hybrid Embedding Aggregation Transformer
The Chinese University of Hong Kong（香港中文大学）；T Stone Robotics Institute, CUHK（香港中文大学T石机器人研究所）
实时手术时相识别是现代手术室中的一项基本任务。以前的作品解决这个任务依赖于安排在时空顺序的架构，但是，中间空间功能的支持性的好处没有被考虑。在本文中，我们介绍，第一次在手术工作流程分析，Transformer重新考虑被忽视的互补作用的空间和时间的功能，准确的手术阶段识别。我们的混合嵌入聚合Transformer融合了巧妙设计的空间和时间嵌入，允许基于时间嵌入序列的空间信息进行主动查询。更重要的是，我们的框架并行处理混合嵌入，以实现高推理速度。我们的方法在两个大型手术视频数据集上进行了彻底验证，即，Cholec80和M2CAI 16挑战数据集，并以91 fps的处理速度优于最先进的方法。
2021-07-12 cs.AI cs.CV
PriorLane: A Prior Knowledge Enhanced Lane Detection Approach Based on Transformer
Zhejiang Lab（之江实验室）；Zhejiang University（浙江大学）
车道检测是自动驾驶的基本模块之一。在本文中，我们采用了一种仅transformer的车道检测方法，因此它可以受益于完全视觉Transformer的蓬勃发展，并通过微调在大型数据集上完全预训练的权重，在CULANE和TuSimple基准测试中实现最先进的（SOTA）性能。更重要的是，本文提出了一种新颖的通用框架PriorLane，通过引入低成本的局部先验知识，提高了全视觉Transformer的分割性能。具体而言，PriorLane利用仅编码器的Transformer来融合由预先训练的分割模型提取的特征与先验知识嵌入。注意，知识嵌入对齐（KEA）模块适于通过对齐知识嵌入来增强融合性能。在我们的Zjlab数据集上进行的大量实验表明，当采用先验知识时，PriorLane优于SOTA车道检测方法2.82% mIoU，代码将在https://github.com/vincentqqb/PriorLane上发布。
2023-02-07 cs.CV
Cross-Axis Transformer with 3D Rotary Positional Embeddings
EmerGen LLC
本文提出Cross-Axis Transformer（CAT），受轴向Transformer和Retentive Network启发，通过三维旋转位置嵌入大幅减少图像处理浮点运算，同时实现比视觉Transformer更快的收敛和更高的准确率。
2024-12-16 cs.AI cs.CV
Relation Transformer Network
Ludwig Maximilian University of Munich（慕尼黑大学）；Technical University of Munich（慕尼黑工业大学）；Siemens AG（西门子股份公司）
以对象为节点、相互关系为边的场景图的提取是深入理解图像内容的基础。尽管最近的进展，如消息传递和联合分类，视觉关系的检测仍然是一个具有挑战性的任务，由于次优的探索视觉对象之间的相互作用。在这项工作中，我们提出了一种新的Transformer制定场景图生成和关系预测。我们利用Transformer的编码器-解码器架构来实现节点和边缘的丰富特征嵌入。具体来说，我们模型的节点到节点的相互作用与自注意的Transformer编码器和边缘到节点的相互作用与交叉注意的Transformer解码器。此外，我们引入了一种新的位置嵌入适合处理解码器中的边缘。最后，我们的关系预测模块从学习的节点和边缘嵌入分类的有向关系。我们将这种结构称为关系Transformer网络（RTN）。在Visual Genome和GQA数据集上，与最先进的方法相比，我们实现了4.85%和3.1%的总体平均点改进。我们的实验表明，关系Transformer可以有效地模型上下文在各种数据集的小型，中型和大型关系分类。
2021-07-20 cs.CV
EA-Swin: An Embedding-Agnostic Swin Transformer for AI-Generated Video Detection
N2TP Technology Solution JSC（N2TP技术解决方案有限公司）；College of Technology, National Economics University（国家经济大学技术学院）；University of Science, Vietnam National University（越南国家大学科学大学）；Faculty of AI and Data Science, Phenikaa University（Phenikaa大学人工智能与数据科学学院）；The Saigon International University（西贡国际大学）；College of Informatics, Yuan Ze University（元智大学资讯学院）
EA-Swin通过因子化窗口注意力设计，直接建模预训练视频嵌入的时空依赖性，实现对AI生成视频的高准确率检测，优于现有方法5-20%。
2026-03-05 cs.CV
MCTR: Multi Camera Tracking Transformer
NEC Laboratories America（NEC美国实验室）
MCTR提出了一种端到端的多摄像头跟踪方法，利用Transformer架构实现多目标检测和跟踪，通过概率关联和可微损失实现一致的跟踪结果。
2026-01-30 cs.CV
Maximizing the Position Embedding for Vision Transformers with Global Average Pooling
Yonsei University（延世大学）；Korea Institute of Science and Technology（韩国科学技术研究院）
本文提出MPVG方法，通过最大化位置嵌入在采用全局平均池化的逐层视觉Transformer中的平衡作用，解决了PE表达能力受限的问题，并在多种任务上取得优于现有方法的效果。
2025-02-05 cs.CV cs.LG
BEL: A Bag Embedding Loss for Transformer enhances Multiple Instance Whole Slide Image Classification
Helmholtz Munich（亥姆霍兹慕尼黑中心）；Technical University of Munich（慕尼黑工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
多实例学习（MIL）已成为对千兆像素组织病理学全切片图像（WSIs）进行分类任务的主要方法。在MIL框架中，单个WSI（包）被分解为补丁（实例），只有WSI级别的注释可用。最近的MIL方法通过利用Transformer架构对实例之间的依赖关系建模的能力来产生高度信息化的包级表示。然而，当应用于高放大率数据集时，由于大量的实例和较弱的监督学习信号，出现了问题。为了解决这个问题，我们建议另外训练Transformers与一个新的袋嵌入损失（BEL）。BEL迫使模型通过最小化同一类的包嵌入之间的距离和最大化不同类之间的距离来学习有区别的包级表示。我们在两个公开的组织病理学数据集BRACS和CAMELYON 17上使用Transformer架构TransMIL评估BEL。我们发现，使用BEL，TransMIL在两个数据集上的表现优于基线模型，从而有助于对组织学患者材料进行临床高度相关的基于AI的肿瘤分类。
2023-03-02 cs.CV cs.LG
Exploring Visual Embedding Spaces Induced by Vision Transformers for Online Auto Parts Marketplaces
Baylor University（贝勒大学）
本研究探索视觉Transformer（ViT）生成在线汽车配件市场图像视觉嵌入的能力，通过单模态数据提取嵌入、UMAP降维可视化、K-Means聚类分类，评估其检测非法活动模式的潜力，为相关欺诈检测提供基础。
2025-02-09 cs.CV cs.LG
Rotary Position Embedding for Vision Transformer
NAVER AI Lab（NAVER AI实验室）
本研究系统分析了旋转位置编码（RoPE）在视觉Transformer（ViT）中的应用，证明其具备良好的外推能力，能在推理时提高分辨率并保持精度，从而提升ImageNet-1k、COCO检测和ADE-20k分割性能，为ViT骨干网络提供最小额外开销的性能改进指导。
2024-07-16 cs.CV cs.LG
Sub-token ViT Embedding via Stochastic Resonance Transformers
UCLA（加利福尼亚大学洛杉矶分校）；Yale（耶鲁大学）
本文提出随机共振Transformer（SRT），通过子令牌空间变换与特征聚合，在不微调的情况下将ViT特征细化到更细空间粒度，在多个视觉任务上最高提升14.9%。
2024-05-06 cs.AI cs.CV
Hyperbolic Vision Transformers: Combining Improvements in Metric Learning
University of Trento（特伦托大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科技学院）；Skoltech（斯科尔科沃科技学院）；Yandex（杨德克斯）；AIRI（人工智能研究所）
度量学习旨在学习一个高度区分的模型，鼓励相似类的嵌入在所选度量中接近，而不相似的嵌入则被推开。常见的方法是使用编码器提取嵌入，并使用基于距离的损失函数来匹配表示-通常使用欧几里得距离。对学习双曲数据嵌入的新兴趣表明，双曲几何对自然数据是有益的。在这条工作路线之后，我们提出了一个新的基于双曲线的度量学习模型。我们的方法的核心是一个视觉Transformer，其输出嵌入映射到双曲空间。这些嵌入直接优化使用修改的成对交叉熵损失。我们在四个数据集上使用六种不同的配方评估了所提出的模型，以实现新的最先进的性能。源代码可在https://github.com/htdt/hyp_metric上获得。
2022-03-22 cs.CV cs.LG
Temporal-Spatial Tubelet Embedding for Cloud-Robust MSI Reconstruction using MSI-SAR Fusion: A Multi-Head Self-Attention Video Vision Transformer Approach
University of Luxembourg（卢森堡大学）
本文提出了一种基于多头自注意力视频视觉变换器的方法，通过时间-空间管状嵌入提升云覆盖区域的多谱段成像重建精度。
2025-12-10 cs.AI cs.CV
RoMedFormer: A Rotary-Embedding Transformer Foundation Model for 3D Genito-Pelvic Structure Segmentation in MRI and CT
Emory University（埃默里大学）；Winship Cancer Institute（温希普癌症研究所）
本文提出 RoMedFormer，通过自监督预训练与旋转位置嵌入增强 3D MRI/CT 空间建模，提升女性生殖盆腔多器官分割的泛化与性能。
2025-03-18 cs.CV eess.IV
Analyzing Vision Transformers for Image Classification in Class Embedding Space
Goethe University Frankfurt（法兰克福大学）；Ernst Strüngmann Institute（恩斯特·斯特伦曼研究所）；The Hessian Center for AI（黑森人工智能中心）
本文提出将视觉Transformer内部表示投影到类别嵌入空间的方法，揭示了图像token、自注意力和MLP层在构建类别表示中的作用，并证明其在定位关键图像区域和机制可解释性方面优于线性探测。
2023-10-29 cs.AI cs.CV
Learning to Merge Tokens via Decoupled Embedding for Efficient Vision Transformers
KAIST（韩国科学技术院）
提出DTEM方法，通过解耦嵌入和连续松弛令牌合并过程，提升视觉Transformer的令牌合并效率，在ImageNet-1k上减少37.2% FLOPs并保持79.85%准确率。
2024-12-13 cs.AI cs.CV
TransKD: Transformer Knowledge Distillation for Efficient Semantic Segmentation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Hunan University（湖南大学）；University of Stuttgart（斯图加特大学）；ETH Zurich（苏黎世联邦理工学院）；NIO（蔚来汽车）
本文提出TransKD框架，通过特征图蒸馏与patch嵌入蒸馏训练紧凑学生Transformer，在保持语义分割性能的同时将FLOPs降低85%以上，并优于现有蒸馏方法。
2024-09-05 cs.CV cs.RO eess.IV
Sector Patch Embedding: An Embedding Module Conforming to The Distortion Pattern of Fisheye Image
Beijing Institute of Technology（北京理工大学）
鱼眼相机在具有大视场（LFOV）的同时遭受图像失真。这一事实导致了一些鱼眼视觉任务的性能不佳。解决方法之一是对现有的鱼眼图像视觉算法进行优化。然而，大多数基于CNN的方法和基于Transformer的方法缺乏有效利用失真信息的能力。在这项工作中，我们提出了一种新的补丁嵌入方法称为扇区补丁嵌入（SPE），符合鱼眼图像的失真模式。在此基础上，我们提出了一个基于ImageNet-1 K的合成鱼眼数据集，并在此数据集上研究了几种Transformer模型的性能。SPE使ViT和PVT的前1分类准确率分别提高了0.75%和2.8%。实验结果表明，本文提出的扇形块嵌入方法能更好地感知鱼眼图像的畸变，并能更好地提取特征。我们的方法可以很容易地采用到其他基于transformer的模型。源代码位于https://github.com/IN2-ViAUn/Sector-Patch-Embedding。
2023-03-26 cs.CV cs.RO
Polyhedra Encoding Transformers: Enhancing Diffusion MRI Analysis Beyond Voxel and Volumetric Embedding
Vanderbilt University（范德堡大学）；Vanderbilt University Medical Center（范德堡大学医学中心）；National Institute on Aging（美国国家老龄化研究所）
本文提出多面体编码Transformer（PE-Transformer），通过将二十面体投影到单位球面重采样dMRI球面信号并结合方向信息，在估计多室模型和纤维取向分布上优于传统CNN和标准Transformer。
2025-03-11 cs.CV cs.LG eess.IV
LOOPE: Learnable Optimal Patch Order in Positional Embeddings for Vision Transformers
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
LOOPE通过学习最优补丁顺序优化位置嵌入，提升视觉变换器的分类性能，引入新的评估框架验证位置嵌入的有效性。
2026-04-10 cs.AI cs.CV
Overcoming Semantic Dilution in Transformer-Based Next Frame Prediction
Applied Artificial Intelligence Institute, Deakin University（迪肯大学应用人工智能学院）
针对基于Transformer的下一帧预测中MHSA机制导致的语义稀释及训练目标与输出不一致问题，提出SCMHSA架构与潜在空间损失函数，显著提升了预测性能。
2025-01-28 cs.AI cs.CV
ModEFormer: Modality-Preserving Embedding for Audio-Video Synchronization using Transformers
Amazon Studios（亚马逊工作室）
缺乏音频-视频同步是电视广播和视频会议期间的常见问题，导致不令人满意的观看体验。一个被广泛接受的范例是创建一个错误检测机制，该机制识别音频领先或滞后的情况。我们提出了ModEFormer，它独立地提取音频和视频嵌入使用特定的模态Transformers。与其他基于transformer的方法不同，ModEFormer保留了输入流的模态，这允许我们使用更大的批量大小和更多的负音频样本进行对比学习。此外，我们提出了一个权衡负样本的数量和数量的独特的样本在一批显着超过以前的方法的性能。实验结果表明，ModEFormer实现了最先进的性能，94.5%的LRS 2和90.9%的LRS 3。最后，我们演示了如何ModEFormer可以用于偏移检测测试剪辑。
2023-03-21 cs.CV cs.LG cs.SD
Convolutional Embedding Makes Hierarchical Vision Transformer Stronger
OPPO；North China University of Technology（北方工业大学）；Neolix Autonomous Vehicle（新石器自动驾驶）；University of Science and Technology of China（中国科学技术大学）
视觉Transformer（VisionTransformer，ViTs）近年来在计算机视觉领域占据主导地位，但其存在训练数据效率低、局部语义表达能力差等问题。卷积神经网络（CNN）固有地捕获区域感知语义，这激励研究人员将CNN引入ViT的架构中，为ViT提供理想的归纳偏差。然而，嵌入ViT中的微观CNN实现的局部性是否足够好？在本文中，我们深入探讨混合CNN/ViTs的宏架构如何增强分层ViTs的性能来研究这个问题。特别是，我们研究了令牌嵌入层，别名卷积嵌入（CE）的作用，并系统地揭示了CE如何在ViTs中注入理想的感应偏差。此外，我们还将最佳CE配置应用于最近发布的4款最先进的ViT，有效提升了相应的性能。最后，一系列高效的混合CNN/ViT，被称为CETNets，可以作为通用的视觉骨干。具体而言，CETNet在ImageNet-1 K上实现了84.9%的Top-1准确率（从头开始训练），在COCO基准测试中实现了48.6%的框mAP，在ADE 20 K上实现了51.6%的mIoU，大大提高了相应最先进基线的性能。
2022-08-01 cs.AI cs.CV
SPEAKER VGG CCT: Cross-corpus Speech Emotion Recognition with Speaker Embedding and Vision Transformers
University of Florence（佛罗伦萨大学）
近年来，语音情感识别（SER）已经被研究，主要是将语音信号转换成谱图，然后使用在通用图像上预训练并用谱图进行微调的卷积神经网络对谱图进行分类。在本文中，我们从上述的一般思想出发，并开发了一种新的学习解决方案SER，这是基于紧凑的卷积Transformers（CCT）结合说话人嵌入。通过CCT，视觉Transformer（ViT）的学习能力与对大量数据的需求减少相结合，因为卷积使之成为可能。这在SER中很重要，因为在SER中通常无法获得大型数据库。说话人嵌入允许网络提取说话人的身份表示，然后通过自注意力机制将其与CCT从声谱图中提取的特征相结合。总的来说，该解决方案能够实时运行，在跨语料库的情况下显示有希望的结果，其中训练和测试数据集保持分离。在文献中很少使用的跨语料库设置中的几个基准上进行了实验，结果与最先进的网络架构所获得的结果相当或更好。我们的代码可在https://github.com/JabuMlDev/Speaker-VGG-CCT上获得。
2022-11-04 cs.CV cs.SD eess.AS
Feature Combination Meets Attention: Baidu Soccer Embeddings and Transformer based Temporal Detection
Baidu Research（百度研究院）
随着互联网技术和新兴工具的快速发展，在线生成的体育相关视频正在以前所未有的速度增长。为了自动化体育视频编辑/高光生成过程，一个关键的任务是精确地识别和定位长的未修剪的视频中的事件。在这份技术报告中，我们提出了一个两阶段的范例来检测足球广播视频中发生的事件以及事件发生的时间。具体来说，我们对足球数据的多个动作识别模型进行了微调，以提取高层次的语义特征，并设计了一个基于Transformer的时间检测模块来定位目标事件。这种方法在两个任务中都实现了最先进的性能，即，行动发现和重播接地，在足球网v2挑战赛，根据CVPR 2021 ActivityNet研讨会。我们的足球嵌入功能在https://github.com/baidu-research/vidpress-sports上发布。通过与更广泛的社区共享这些功能，我们希望加速对足球视频理解的研究。
2021-06-28 cs.AI cs.CV cs.LG
AdPE: Adversarial Positional Embeddings for Pretraining Vision Transformers via MAE+
Purdue University（普渡大学）；Amazon AWS AI Labs（亚马逊AWS人工智能实验室）；OPPO US Research Center（OPPO美国研究中心）
视觉Transformer的无监督学习试图通过没有标签的借口任务来预训练编码器。其中之一是Masked Image Modeling（MIM），它通过预测掩码补丁作为借口任务，与语言Transformers的预训练保持一致。无监督预训练中的一个标准是，托词任务需要足够困难，以防止Transformer编码器学习不能很好地推广到下游任务的琐碎低级特征。为此，我们提出了一种对抗性位置嵌入（AdPE）方法--它通过扰动位置编码来扭曲局部视觉结构，使得学习的Transformer不能简单地使用局部相关的补丁来预测丢失的补丁。我们假设它迫使Transformer编码器在全局上下文中学习更多的判别特征，并具有更强的下游任务的泛化能力。我们将考虑绝对和相对位置编码，其中可以在嵌入模式和坐标模式中施加对抗位置。我们还将提出一个新的MAE+基线，使MIM预训练的性能与AdPE达到一个新的水平。实验结果表明，在Imagenet 1 K上对ViT-B和ViT-L进行1600次预训练后，我们的方法可以通过$0.8\%$和$0.4\%$提高MAE的微调精度。对于迁移学习任务，它的性能优于具有ViT-B主干的MAE，分别是ADE 20 K上mIoU中的$2.6\%$，以及COCO上AP $^{bbox}$中的$3.2\%$和AP $^{mask}$中的$1.6\%$。这些结果是通过AdPE获得的，AdPE是一…
2023-03-14 cs.AI cs.CV cs.LG
Configuring Data Augmentations to Reduce Variance Shift in Positional Embedding of Vision Transformers
POSTECH（浦项科技大学）
针对ViT训练中数据增强导致位置编码方差偏移的问题，提出正确配置数据增强以消除副作用，实验证明该方法提升ViT性能。
2024-05-23 cs.AI cs.CV cs.LG
Investigation of Speaker-adaptation methods in Transformer based ASR
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
在自动语音识别中，端到端模型正在迅速取代传统的混合模型。Transformer是一种基于自注意的序列到序列模型，广泛应用于机器翻译任务中，当用于自动语音识别时，已经给出了有希望的结果。本文探讨了在编码器输入端结合说话人信息的不同方法，同时训练基于变换器的模型，以提高其语音识别性能。我们目前的扬声器信息的形式扬声器嵌入每个扬声器。我们实验使用两种类型的扬声器嵌入：x向量和新的s向量在我们以前的工作中提出的。我们报告了两个数据集的结果a）NPTEL讲座数据库和b）Librispeech 500小时分裂。NPTEL是一个开源的电子学习门户网站，提供来自印度顶尖大学的讲座。我们通过将说话人嵌入到模型中的方法，在基线上提高了单词错误率。
2021-11-17 cs.CV cs.SD eess.AS
