Self-supervised Video Instance Segmentation Can Boost Geographic Entity Alignment in Historical Maps
ETH Zurich（苏黎世联邦理工学院）；Brown University（布朗大学）；Wuhan University（武汉大学）
本文提出利用视频实例分割（VIS）将历史地图中地理实体的分割与关联相结合，并引入自监督学习与合成视频预训练方法，显著减少人工标注需求，AP提升24.9%，F1提高0.23。
2024-11-26 cs.CV
Boosting Semi-Supervised 2D Human Pose Estimation by Revisiting Data Augmentation and Consistency Training
School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Chongqing Academy of Science and Technology（重庆科学技术研究院）；Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）
针对2D人体姿态估计需大量标签的问题，提出基于半监督学习的方法，通过挖掘未标记数据，结合现有增强方法的协同效应构建易-难增强对，以多路径预测优化多损失，提升模型性能与通用性。
2025-02-13 cs.CV
Enhancing pretraining efficiency for medical image segmentation via transferability metrics
本文针对医学图像分割提出一种基于对比学习的可迁移性度量，用于在预训练过程中识别适合下游迁移的最优模型权重，从而缩短预训练时间并提升分割性能。
2025-06-06 cs.CV cs.LG eess.IV
A Study of Transfer Learning in Music Source Separation
Northwestern University（西北大学）；Descript, Inc（Descript公司）
用于执行音频声源分离的监督深度学习方法在存在大量训练数据的领域中可能非常有效。虽然一些音乐领域有足够的数据适合训练分离系统，如摇滚和流行音乐，但许多音乐领域没有，如古典音乐，合唱音乐和非西方音乐传统。众所周知，从相关领域转移学习可以提高深度学习系统的性能，但如何最好地进行预训练并不总是很清楚。在这项工作中，我们研究了预训练期间数据增强的有效性，预训练和下游数据集具有相似内容域对性能的影响，并探讨了一旦预训练，模型必须在最终目标任务上重新训练多少。
2020-10-23 cs.LG cs.SD
BioDet: Boosting Industrial Object Detection with Image Preprocessing Strategies
Technical University of Munich（慕尼黑技术大学）；XYZ Robotics（XYZ机器人）
针对工业环境中目标检测在杂乱、光照不足等条件下性能退化的问题，提出基于低光增强和基础模型开词汇检测引导背景去除的即插即用预处理流程，显著提升检测精度且开销极小。
2025-10-23 cs.CV
Depth-based Privileged Information for Boosting 3D Human Pose Estimation on RGB
University of Modena and Reggio Emilia（摩德纳与雷焦艾米利亚大学）；University of Florence（佛罗伦萨大学）；University of Siena（锡耶纳大学）；Toyota Motor Europe（丰田汽车欧洲公司）
针对单RGB图像3D人体姿态估计的歧义问题，提出利用特权信息范式，让RGB生成网络学习深度预训练主干的特征，仅用RGB即可提取深度信息，提升性能且适配小数据集。
2024-09-17 cs.CV
Efficient Vision-Language Pretraining with Visual Concepts and Hierarchical Alignment
Sorbonne University（索邦大学）；Meta AI
视觉和语言预训练已经成为解决多模态下游任务的流行方法。目前的趋势是朝着更大的模型和预训练数据集发展。从长远来看，这种计算上的盲目追求似乎并不合理，无法实现可持续的解决方案，事实上也排除了资源有限的学术实验室。在这项工作中，我们提出了一个新的框架，称为ViCHA，有效地利用输入数据，以提高学习：（a）一个新的分层交叉模态对齐损失，（b）新的自我监督计划的基础上，掩码图像建模，（c）利用图像级注释，称为视觉概念，获得与现有的基础模型，如CLIP，以提高图像编码器的性能。虽然在少四倍的数据上进行了预训练，但我们的ViCHA策略在几个下游任务上的表现优于其他方法，例如图像-文本检索，VQA，视觉推理，视觉蕴涵和视觉基础。该代码将在以下网站公开发布：https://github.com/mshukor/ViCHA
2022-10-05 cs.CV cs.LG
TIPS: Text-Image Pretraining with Spatial awareness
Google DeepMind（谷歌DeepMind）
本文提出TIPS模型，通过合成文本描述替代嘈杂网络标题，并结合对比式图像-文本学习与自监督掩码图像建模，在16个数据集上显著提升密集和全局视觉理解的开箱即用性能。
2025-03-07 cs.CV
Self-supervised Pretraining and Transfer Learning Enable Flu and COVID-19 Predictions in Small Mobile Sensing Datasets
University of Washington（华盛顿大学）
来自手机、手表和健身追踪器的详细移动传感数据提供了一个无与伦比的机会，可以量化和应对以前无法测量的行为变化，以改善个人健康并加速对新出现疾病的反应。与自然语言处理和计算机视觉不同，深度表示学习尚未广泛影响这一领域，其中绝大多数研究和临床应用仍然依赖于手动定义的特征和增强的树模型，甚至由于准确性不足而完全放弃预测建模。这是由于行为健康领域的独特挑战，包括非常小的数据集（约10^1名参与者），这些数据集经常包含缺失数据，由具有关键长期依赖性的长时间序列（长度>10^4）和极端的类不平衡（>10^3：1）组成。在这里，我们介绍了一种用于多变量时间序列分类的神经架构，旨在解决这些独特的领域挑战。我们提出的行为表示学习方法结合了自监督预训练和迁移学习的新任务，以解决数据稀缺问题，并通过Transformer自注意力捕获长历史时间序列中的长程依赖关系，然后进行基于卷积神经网络的降维。我们提出了一个评估框架，旨在反映预期的真实世界的性能在合理的部署方案。具体而言，我们证明了（1）在五个预测任务中，相对于基线的性能改善高达0.15 ROC AUC，（2）在小数据场景中，迁移学习诱导的性能改善为16% PR AUC，以及（3）通过独立数据集中zero-shot COVID-19预测的探索性案例研究，迁移学习在新型疾病场景中的潜力。最后，我们讨论了潜在的影响，医疗监督测试。
2022-06-02 cs.HC cs.LG
LA-Pose: Latent Action Pretraining Meets Pose Estimation
Wayve；Simon Fraser University（西蒙弗雷泽大学）
本文通过自监督预训练视角重新审视相机姿态估计，提出逆动力学预训练作为替代全监督训练的方法。通过逆向和正向动力学模型学习潜在动作表示，将潜在动作特征用于相机姿态估计，实现高精度且可推广的姿态预测。
2026-04-30 cs.CV
Gesture-Aware Pretraining and Token Fusion for 3D Hand Pose Estimation
George Mason University（乔治梅森大学）
本文提出基于手势语义的预训练方法，通过InterHand2.6M数据集的粗细标签学习信息嵌入空间，并结合Transformer进行关节回归，提升单手姿态估计精度。
2026-04-07 cs.CV
CheXtransfer: Performance and Parameter Efficiency of ImageNet Models for Chest X-Ray Interpretation
Stanford University（斯坦福大学）
用于胸部X射线解读的深度学习方法通常依赖于为ImageNet开发的预训练模型。该范例假设更好的ImageNet架构在胸部X射线任务上表现更好，并且ImageNet预训练的权重比随机初始化提供了性能提升。在这项工作中，我们比较了16种流行的卷积架构在大型胸部X射线数据集（CheXpert）上的传输性能和参数效率，以研究这些假设。首先，我们发现ImageNet性能和CheXpert性能之间没有关系，无论是没有预训练的模型还是有预训练的模型。其次，我们发现，对于没有预训练的模型，模型族的选择对医疗成像任务的性能影响大于模型族的大小。第三，我们观察到ImageNet预训练在跨架构的性能上产生了统计上显著的提升，对于较小的架构具有更高的提升。第四，我们通过截断预训练模型的最终块来检查ImageNet架构是否对CheXpert来说不必要地大，并发现我们可以使模型的参数效率平均提高3.25倍，而不会在统计上显着降低性能。我们的工作为ImageNet与胸部X射线解释性能的关系提供了新的实验证据。
2021-02-21 cs.AI cs.CV cs.LG
Multi-view Video-Pose Pretraining for Operating Room Surgical Activity Recognition
University of Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）；INSERM（法国国家健康与医学研究院）；IHU Strasbourg（斯特拉斯堡大学医院研究所）；Intuitive Surgical Inc.（直觉外科公司）；University Hospital of Strasbourg（斯特拉斯堡大学医院）
本文提出无需标定的多视角视频-2D姿态预训练框架PreViPS，通过CLIP式双编码器、离散姿态表示及几何与掩码预训练目标提升手术活动识别效果。
2025-02-19 cs.CV
DIET-CP: Lightweight and Data Efficient Self Supervised Continued Pretraining
Fordham University（福特汉姆大学）；Rutgers University（罗格斯大学）；Pioneer Centre for AI（先锋人工智能中心）；Cold Spring Harbor Laboratory（冷泉港实验室）；Brown University（布朗大学）；University of Copenhagen（哥本哈根大学）
DIET-CP是一种轻量、数据高效的自我监督持续预训练方法，无需标签且超参数少，仅用1000张图像即可显著提升DINOv3等基础模型在新领域上的性能。
2025-09-02 cs.CV cs.LG
Improving out-of-distribution generalization via multi-task self-supervised pretraining
INRS-EMT, Université du Québec（魁北克大学国立科学研究院-能源、材料与电信）；Salesforce Research（赛富时研究院）
自监督特征表示已被证明对于监督分类、少样本学习和对抗鲁棒性是有用的。我们表明，使用自监督学习获得的功能是可比的，或优于，监督学习计算机视觉的领域泛化。我们引入了一个新的自我监督的借口任务预测响应的Gabor滤波器组，并证明了多任务学习兼容的借口任务提高领域泛化性能相比，单独训练的任务。当训练和测试分布之间存在较大的域偏移时，与其监督对应物相比，通过自监督学习的特征可以更好地泛化到不可见的域，甚至对感兴趣的对象显示出更好的定位能力。自监督特征表示还可以与其他领域泛化方法相结合，以进一步提高性能。
2020-03-30 cs.CV cs.LG
Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning
Texas A&M University（得克萨斯农工大学）；MIT-IBM Watson AI Lab, IBM Research（麻省理工学院-IBM沃森人工智能实验室，IBM研究院）；Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）
来自自我监督的预训练模型通常用于更快或更好地微调下游任务。然而，从预训练中获得鲁棒性尚未探索。我们将对抗训练引入自我监督，首次提供通用的鲁棒预训练模型。我们发现，这些鲁棒的预训练模型可以通过两种方式使后续的微调受益：i）提高最终模型的鲁棒性; ii）如果进行对抗性微调，则可以节省计算成本。我们进行了广泛的实验，以证明与传统的端到端对抗训练基线相比，所提出的框架实现了较大的性能裕度（例如，在CIFAR-10数据集上，鲁棒准确率为3.83%，标准准确率为1.3%）。此外，我们发现不同的自我监督预训练模型具有不同的对抗性脆弱性。它激励我们集成几个预训练任务，这可以进一步提高鲁棒性。我们的集成策略有助于进一步提高3.59%的鲁棒准确度，同时保持CIFAR-10略高的标准准确度。我们的代码可在https://github.com/TAMU-VITA/Adv-SS-Pretraining上获得。
2020-03-28 cs.CV cs.LG
Universal Pose Pretraining for Generalizable Vision-Language-Action Policies
Tencent Robotics X（腾讯机器人X）；Futian Laboratory（福田实验室）；The Hong Kong University of Science and Technology（香港科学与技术大学）；Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）
本文提出Pose-VLA，通过分离预训练和后训练阶段，解决视觉-语言-动作模型中的特征坍塌和训练效率问题，实现通用3D空间先验提取与机器人特定动作空间的高效对齐。
2026-09-29 cs.CV cs.LG cs.RO
OpenHands: Making Sign Language Recognition Accessible with Pose-based Pretrained Models across Languages
AI4Bharat；IIT-Madras（印度理工学院马德拉斯分校）；Microsoft Research（微软研究院）
自然语言的人工智能技术最近取得了巨大的进展。然而，在手语方面没有取得相应的进展，特别是在将手语识别为单个单词或完整句子方面。我们介绍了OpenHands，一个库，我们从NLP社区中为低资源语言提供了四个关键思想，并将其应用于手语的单词级识别。首先，我们建议使用通过预训练模型提取的姿势作为数据的标准模式，以减少训练时间并实现有效的推理，我们发布了6种不同手语的标准化姿势数据集-美国，阿根廷，中国，希腊，印度和土耳其。其次，我们训练并发布了所有6种语言的4个基于姿势的孤立手语识别模型的检查点，为部署提供基线和准备好的检查点。第三，为了解决缺乏标记数据的问题，我们提出了对未标记数据进行自我监督预训练。我们策划并发布了印度手语（Indian-SL）上最大的基于姿势的预训练数据集。第四，我们比较了不同的预训练策略，并首次建立了预训练是有效的手语识别证明（a）改善微调性能，特别是在低资源设置，和（b）高跨语言迁移从印度SL到其他几个手语。我们在OpenHands中开源了所有模型和数据集，希望它能使手语研究更容易获得，可在https://github.com/AI4Bharat/OpenHands上获得。
2021-10-12 cs.AI cs.CL cs.CV
A Unified Transformer-Based Framework with Pretraining For Whole Body Grasping Motion Generation
Institute of Science Tokyo（东京科学研究院）
本文提出一个统一Transformer框架，通过三阶段流程和广义预训练解决全身抓取中的姿态生成与动作填充问题，在GRAB数据集上优于现有方法。
2025-07-01 cs.CV
Feature Boosting Network For 3D Pose Estimation
Nanyang Technological University（南洋理工大学）；Chalmers University of Technology（查尔姆斯理工大学）；Peking University（北京大学）；Alibaba Group（阿里巴巴集团）
本文提出了一种特征提升网络，用于从单个RGB图像中估计3D手部姿势和3D身体姿势。在这种方法中，卷积层学习到的特征通过一个新的长短期依赖性感知（LSTD）模块得到提升，该模块使中间卷积特征映射能够使用设计的图形ConvLSTM感知不同手部（或身体）部位之间的图形长短期依赖性。由于3D姿态估计的实际应用中的模糊性、纹理和光照变化以及自遮挡，学习一组可靠且有区别地表示手（或身体）部分的姿态的特征是困难的。为了提高表示每个身体部位的特征的可靠性并增强LSTD模块，本文进一步引入上下文一致性门（CCG），根据其与上下文表示的一致性来调制卷积特征映射。我们评估所提出的方法具有挑战性的基准数据集的3D手部姿势估计和3D全身姿势估计。实验结果表明，我们的方法的有效性，实现国家的最先进的性能上的两个任务。
2019-05-15 cs.CV
Synthesizing Training Images for Boosting Human 3D Pose Estimation
Shandong University（山东大学）；Tel Aviv University（特拉维夫大学）；Stanford University（斯坦福大学）；Hebrew University（希伯来大学）
从单个图像估计人体3D姿态是一项具有挑战性的任务，具有许多应用。卷积神经网络（CNN）最近通过对具有由众包收集的2D注释的图像进行训练，在从单个图像进行2D姿态估计的任务上实现了优异的性能。这表明直接估计3D姿态可以取得类似的成功。然而，3D姿势更难注释，并且缺乏合适的注释训练图像阻碍了端到端解决方案的尝试。为了解决这个问题，我们选择自动合成训练图像与地面实况姿态注释。我们的工作就是沿着这条道路进行的系统研究。我们发现，姿态空间覆盖和纹理多样性的合成训练数据的有效性的关键成分。我们提出了一个全自动的，可扩展的方法，采样的人的姿势空间，指导合成过程中，并提取服装纹理从真实图像。此外，我们还探索了领域自适应，以弥合我们的合成训练图像和真实测试照片之间的差距。我们证明，用我们的合成图像训练的CNN在3D姿态估计任务中的表现优于用真实照片训练的CNN。
2017-01-05 cs.CV
Improving Adversarial Robustness of Masked Autoencoders via Test-time Frequency-domain Prompting
University of Science and Technology of China（中国科学技术大学）；Shanghai AI Lab（上海人工智能实验室）；Wormpex AI Research（沃朴斯人工智能研究院）
本文针对MAE对抗鲁棒性弱于其他BERT预训练方法的问题，分析原因是其像素重建目标使模型关注图像中高频，提出测试时通过频域聚类提示占据中高频缩小扰动空间，显著提升鲁棒性且保持干净性能。
2023-08-22 cs.CV
PanoSplatt3R: Leveraging Perspective Pretraining for Generalized Unposed Wide-Baseline Panorama Reconstruction
School of Electronics and Information, Northwestern Polytechnical University and Shaanxi Key Laboratory of Information Acquisition and Processing（电子工程学院、西北工业大学和陕西省信息获取与处理重点实验室）
针对现有宽基线全景重建方法依赖精确位姿的问题，提出PanoSplatt3R，通过将透视域预训练适配到全景域、引入RoPE rolling建模全景周期性，实现无位姿下更优的新视角生成与深度估计。
2025-07-29 cs.CV
Mocap-2-to-3: Multi-view Lifting for Monocular Motion Recovery with 2D Pretraining
Beijing Institute of Technology（北京理工大学）；State Key Laboratory of General Artificial Intelligence, BIGAI（国家一般人工智能重点实验室，BIGAI）；Deep Glint；Zhejiang University（浙江大学）；The University of Hong Kong（香港大学）；Shandong Agricultural University（山东农业大学）
本文提出Mocap-2-to-3框架，通过多视角合成过程和分阶段训练提升单目运动恢复的精度与泛化能力，实现更精确的物理空间定位。
2026-03-13 cs.CV
ArtiBoost: Boosting Articulated 3D Hand-Object Pose Estimation via Online Exploration and Synthesis
Shanghai Jiao Tong University（上海交通大学）；Shanghai Qi Zhi Institute（上海期智研究院）
从单个RGB图像估计关节式3D手部对象姿势是一个高度模糊且具有挑战性的问题，需要包含不同手部姿势、对象类型和相机视点的大规模数据集。大多数真实世界的数据集缺乏这些数据。相比之下，数据合成可以很容易地分别确保这些差异。然而，构建有效和多样的手-物体交互以及从大量的合成数据中有效地学习仍然是具有挑战性的。为了解决上述问题，我们提出了ArtiBoost，一个轻量级的在线数据增强方法。ArtiBoost通过在复合手对象配置和视点空间（CCV-space）中采样，可以覆盖不同的手对象姿态和摄像机视点，并通过损失反馈和样本重新加权，自适应地丰富当前难以识别的项。ArtiBoost在学习管道内交替执行数据探索和合成，这些合成数据被混合到真实世界的源数据中进行训练。我们在简单的学习基线网络上应用ArtiBoost，并在几个手部对象基准测试中见证了性能的提升。我们的模型和代码可以在https://github.com/lixiny/ArtiBoost上找到。
2022-03-25 cs.AI cs.CV
Boosting of Head Pose Estimation by Knowledge Distillation
Krasovskii Institute of Mathematics and Mechanics（克拉斯诺夫斯基数学与力学研究所）；Ural Federal University（乌拉尔联邦大学）
针对头部姿态估计问题，提出了一种基于响应的知识蒸馏（KD）方法。通过所提出的KD训练的学生模型比教师模型实现更好的结果，这对于基于响应的方法是不典型的。我们的方法包括两个阶段。在第一阶段，我们训练了基础神经网络（NN），它有一个回归头和四个回归通过分类（RvC）头。我们使用规则网格上的面部边界框的偏移量在基础NN上构建卷积集成。在第二阶段，我们从卷积集成到具有一个RvC头的最终NN中执行KD。与基本NN相比，KD将结果平均提高了7.7%。这个特性使得使用KD作为助推器并有效地训练更深的NN成为可能。通过我们的KD方法训练的NN部分改善了最先进的结果。KD-ResNet 152具有最好的结果，KD-ResNet 18在AFLW 2000数据集上的结果优于任何以前的方法。我们已经公开了300 W-LP，AFLW，AFLW 2000和BIWI数据集的训练NN和人脸边界框。我们的方法可能对其他回归问题有效。
2022-01-28 cs.CV
Interactive Hand Pose Estimation: Boosting accuracy in localizing extended finger joints
Tsinghua University（清华大学）
准确的三维手势估计在人机交互中起着重要的作用。在人机界面的实际应用中，手指的伸展关节，特别是相应的指尖，比其他关节重要得多。我们提出了一种新的方法来细化伸出手指关节位置后，获得粗略的手姿态估计。它首先检测哪些手指正在伸出，然后基于随机森林，某些联合的相邻像素投票为其新位置。该算法在两个公共数据集上进行了测试：MSRA15和ICVL。在伸出手指的细化阶段之后，预测的HMI手指关节位置的误差显著减小。所有指尖的平均误差减少约5mm（相对超过20%）。伸展指尖位置更加精确，在MSRA 15中减少了10.51mm（相对41.4%）。
2018-07-25 cs.CV cs.HC
WiSPER: Pose-Supervised Predictive and Residual Flow Refinement For Multi-Person 3D Pose Estimation With WiFi CSI
Singapore Institute of Technology（新加坡理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）；University of Toronto（多伦多大学）
WiSPER通过姿态感知预测预训练和条件残差流细化，利用WiFi CSI实现多人3D姿态估计，在PiW3D数据集上显著降低误差。
2026-10-07 cs.CV
PASS: An ImageNet replacement for self-supervised pretraining without humans
University of Oxford（牛津大学）
计算机视觉长期以来一直依赖ImageNet和其他从互联网上采样的大型图像数据集来进行预训练模型。然而，这些数据集存在道德和技术缺陷，例如包含未经同意获取的个人信息，许可使用不明确，偏见，甚至在某些情况下，有问题的图像内容。另一方面，目前最先进的预训练是通过无监督方法获得的，这意味着像ImageNet这样的标记数据集对于模型预训练来说可能不是必要的，甚至可能不是最佳的。因此，我们提出了一个无标签的数据集PASS：图片没有humAns的自我监督。PASS仅包含具有CC-BY许可证的图像和完整的归属元数据，解决了版权问题。最重要的是，它根本不包含人物图像，也避免了其他类型的图像，这些图像对数据保护或道德有问题。我们表明，PASS可以用于预训练的方法，如MoCo-v2，SwAV和DINO。在迁移学习设置中，即使在涉及人类的任务（例如人类姿势估计）上，它也会产生与ImageNet预训练相似的下游性能。PASS不会使现有的数据集过时，例如它不足以进行基准测试。然而，它表明，在使用更安全的数据时，模型预训练通常是可能的，并且它还为预训练方法的更鲁棒评估提供了基础。
2021-09-27 cs.CV cs.CY
RBP-Pose: Residual Bounding Box Projection for Category-Level Pose Estimation
Tsinghua University（清华大学）；Google（谷歌）；Technical University of Munich（慕尼黑工业大学）
类别级对象姿态估计的目的是从已知的类别集合中预测任意对象的6D姿态以及3D度量大小。最近的方法利用形状先验适应将观察到的点云映射到规范空间，并应用Umeyama算法来恢复姿态和大小。然而，它们的形状先验集成策略间接地提高了姿态估计，这导致不充分的姿态敏感的特征提取和缓慢的推理速度。为了解决这个问题，在本文中，我们提出了一种新的几何引导的残差对象限界框投影网络RBP-Pose，联合预测对象的姿态和残差向量描述的位移从形状事先指示的对象表面投影的限界框对真正的表面投影。残差向量的这种定义本质上是零均值的并且相对较小，并且明确地封装3D对象的空间线索以用于鲁棒且准确的姿态回归。我们强制执行几何感知一致性项来对齐预测的姿势和残差向量，以进一步提高性能。
2022-09-28 cs.CV
Enhancing Quantitative Image Synthesis through Pretraining and Resolution Scaling for Bone Mineral Density Estimation from a Plain X-ray Image
Nara Institute of Science and Technology（奈良科学技术研究所）；Osaka University Graduate School of Medicine（大阪大学医学院）；Ehime University Graduate School of Medicine（爱媛大学医学院）；CentraleSupélec（中央高等电力学院）；Université Paris-Saclay（巴黎-萨克雷大学）
本研究通过探索预训练和分辨率缩放改进定量图像合成（QIS），提出基于普通X射线图像估计骨密度（BMD）的基准，发现适当预训练和分辨率提升可显著提高BMD估计相关性至0.923。
2024-08-28 cs.CV eess.IV
KAN-FPN-Stem:A KAN-Enhanced Feature Pyramid Stem for Boosting ViT-based Pose Estimation
WuHan University of Technology（武汉理工大学）
KAN-FPN-Stem通过引入KAN操作符改进ViT前端的特征融合，显著提升姿态估计性能。
2025-12-23 cs.CV
VI-Net: Boosting Category-level 6D Object Pose Estimation via Learning Decoupled Rotations on the Spherical Representations
South China University of Technology（华南理工大学）；DexForce Technology Co. Ltd.（德擎科技有限公司）；Hong Kong Polytechnic University（香港理工大学）
针对6D姿态估计中SO(3)空间旋转学习难的问题，提出VI-Net将旋转解耦为视点与平面内旋转，基于SPA-SConv构建球面特征金字塔实现等变特征提取，在类别级6D姿态估计任务上精度大幅超越现有方法。
2023-08-19 cs.CV
Can We Scale Transformers to Predict Parameters of Diverse ImageNet Models?
Samsung Advanced Institute of Technology（三星先进技术研究院）；Université de Montreal（蒙特利尔大学）；Mila（米拉人工智能研究所）
本文提出训练一个单一 Transformer 网络来预测其他模型的 ImageNet 参数，以降低预训练门槛，实验表明该方法能加速多种模型训练并保持有竞争力的性能。
2023-05-31 cs.AI cs.CV cs.LG
DeVLBert: Learning Deconfounded Visio-Linguistic Representations
Zhejiang University（浙江大学）；University of Electronic Science and Technology of China（电子科技大学）；Alibaba Group（阿里巴巴集团）
在本文中，我们建议研究域外语言预训练的问题，其中预训练数据分布与预训练模型将被微调的下游数据的分布不同。现有的方法对于这个问题是纯粹的可能性为基础的，导致虚假的相关性和伤害的泛化能力时，转移到域外的下游任务。所谓虚假相关，我们的意思是一个标记（对象或单词）给定另一个标记的条件概率可能很高（由于数据集偏差），而它们之间没有鲁棒的（因果）关系。为了减轻这种数据集偏差，我们提出了一个Deconfounded Visio-Linguistic BERT框架，简称为DeVLBert，以执行基于干预的学习。我们借用了因果关系研究领域的后门调整的思想，并提出了几种基于神经网络的架构，用于伯特式的域外预训练。在三个下游任务，图像检索（IR），Zero-shot IR，和视觉问答的定量结果，通过提高泛化能力的DeVLBert的有效性。
2020-10-02 cs.CL cs.CV
Under the Cover Infant Pose Estimation using Multimodal Data
Carleton University（卡尔顿大学）；Children’s Hospital of Eastern Ontario（东安大略儿童医院）
睡眠期间的婴儿姿势监测在医疗保健和家庭环境中具有多种应用。在医疗保健环境中，姿势检测可以用于基于非接触的监测系统的感兴趣区域检测和移动检测。在家庭环境中，姿势检测可以用于检测睡眠位置，这已经显示出对多个健康因素具有强烈的影响。然而，由于毯子覆盖物和低照明的严重遮挡，睡眠期间的姿势监测具有挑战性。为了解决这个问题，我们提出了一种新的数据集，同时收集的多模态人体模型躺姿势（SMaL）数据集，在覆盖婴儿姿势估计。我们收集的深度和压力图像的婴儿人体模型在不同的姿势在各种覆盖条件下。我们通过训练最先进的姿势估计方法并利用现有的多模态成人姿势数据集进行迁移学习，成功地推断出覆盖下的全身姿势。我们为基于transformer的模型演示了一种分层预训练策略，以显着提高我们数据集的性能。我们表现最好的模型能够在25mm范围内检测到覆盖物下的关节，86%的时间的总体平均误差为16.9mm。数据、代码和模型可在https://github.com/DanielKyr/SMaL上公开获取
2023-02-15 cs.CV
MetricAnything: Scaling Metric Depth Pretraining with Noisy Heterogeneous Sources
Li Auto Inc（李自动公司）
研究针对度量深度估计扩展难题，提出MetricAnything框架，通过随机掩码创建稀疏度量提示解耦空间推理与偏差，用多样3D数据预训练，在多任务中表现出色，推动度量感知发展。
2026-07-07 cs.AI cs.CV
Efficient Annotation and Learning for 3D Hand Pose Estimation: A Survey
Institute of Industrial Science, The University of Tokyo（东京大学生产技术研究所）
本文系统综述3D手部姿态估计中的高效标注方法与标注稀缺场景下的学习策略，并总结现有局限与未来方向。
2023-04-26 cs.CV
