The People's Speech: A Large-Scale Diverse English Speech Recognition Dataset for Commercial Usage
NVIDIA（英伟达）；Landing AI；Factored；Intel（英特尔）；Oracle（甲骨文）；MLCommons；Harvard University（哈佛大学）
The People's Speech是一个可免费下载的30，000小时且不断增长的有监督英语会话语音识别数据集，根据CC-BY-SA（带有CC-BY子集）授权用于学术和商业用途。通过在互联网上搜索具有现有传输权限的适当许可的音频数据来收集数据。我们描述了我们的数据汇集方法，并在Apache 2.0许可证下发布了我们的数据汇集系统。我们表明，在此数据集上训练的模型在Libripeech的测试干净测试集上实现了9.98%的单词出错率。最后，我们讨论了围绕创建一个相当大的机器学习语料库的法律和道德问题，并计划在MLCommons的赞助下继续维护该项目。
2021-11-17 cs.LG stat.ML
MaskFusion: Real-Time Recognition, Tracking and Reconstruction of Multiple Moving Objects
University College London（伦敦大学学院）
我们提出了MaskFusion，一个实时的【形】，对象感知，语义和动态的RGB-D SLAM系统，超越了传统的系统，输出一个静态场景的纯几何地图。MaskFusion识别、分割并为场景中的不同对象分配语义类标签，同时跟踪和重建它们，即使它们独立于相机移动。当RGB-D相机扫描混乱的场景时，基于图像的实例级语义分割会创建语义对象掩模，从而实现实时的【形】识别并创建世界地图的对象级表示。与以前基于运动的SLAM系统不同，MaskFusion不需要它可以识别的对象的已知模型，并且可以处理多个独立的运动。MaskFusion充分利用了使用实例级语义分割来使语义标签能够融合到对象感知地图中，这与执行体素级语义分割的最近启用语义的SLAM系统不同。我们展示了增强现实应用程序，展示了MaskFusion输出的地图的独特功能：实例感知，语义和动态。
2018-10-22 cs.CV cs.RO
From Data to Insights: A Covariate Analysis of the IARPA BRIAR Dataset for Multimodal Biometric Recognition Algorithms at Altitude and Range
Oak Ridge National Laboratory（橡树岭国家实验室）
本文通过线性模型分析 IARPA BRIAR 数据集中协变量对无人机高空远距离全身生物特征识别性能的影响，发现分辨率和相机距离最能预测准确率，为相关系统研发提供指导。
2024-09-03 cs.AI cs.CV cs.LG
SIG: A Synthetic Identity Generation Pipeline for Generating Evaluation Datasets for Face Recognition
Southern Methodist University（南卫理公会大学）
针对人脸识别评估数据集伦理采集难、成本高的问题，提出可控制属性的合成身份生成流水线SIG，并发布均衡开源数据集ControlFace10k，验证了其用于算法评估与偏见分析的有效性。
2024-09-17 cs.CV cs.LG
Mitigating Dataset Harms Requires Stewardship: Lessons from 1000 Papers
Princeton University（普林斯顿大学）
机器学习数据集引发了对隐私、偏见和不道德应用的担忧，导致DukeMTMC、MS-Celeb-1 M和Tiny Images等知名数据集被撤回。作为回应，机器学习社区呼吁在数据集创建中制定更高的道德标准。为了帮助为这些工作提供信息，我们研究了三个有影响力但存在道德问题的人脸和人物识别数据集-- Labeled Faces in the Wild（LFW）、MS-Celeb-1 M和DukeMTM --通过分析近1000篇引用它们的论文。我们发现，衍生数据集和模型的创建、更广泛的技术和社会变革、许可证的不明确以及数据集管理实践可能会带来广泛的伦理问题。最后，我们提出了一个分布式的方法来减轻伤害，考虑整个生存周期的数据集。
2021-11-21 cs.CY cs.LG
Enabling ASR for Low-Resource Languages: A Comprehensive Dataset Creation Approach
American University of Armenia（亚美尼亚美国大学）；Nvidia（英伟达）
本研究提出一种从有声读物生成ASR训练数据集的新颖流水线，通过有效对齐和分割音频文本，解决了低资源语言数据稀缺问题并提升了模型性能。
2024-06-03 cs.CL cs.LG eess.AS
Challenges of the Creation of a Dataset for Vision Based Human Hand Action Recognition in Industrial Assembly
Bosch Rexroth AG（博世力士乐股份公司）；University of Applied Sciences Darmstadt（达姆施塔特应用科学大学）
这项工作介绍了工业手部动作数据集V1，这是一个工业装配数据集，由12个类组成，基本版本中有459，180张图像，空间增强后有2，295，900张图像。与其他免费提供的测试数据集相比，它具有高于平均水平的持续时间，并且符合工业装配线的技术和法律要求。此外，该数据集包含遮挡，手-物体交互，以及各种细粒度的人手动作，用于工业装配任务，这些任务在检查的数据集中没有发现。在广泛观察真实用例后，选择了记录的地面实况组装类。采用了门控Transformer网络，这是来自Transformer领域的最先进模型，并在通过18，269，959个可训练参数进行超参数调整之前以86.25%的测试准确度证明，可以使用该数据集训练顺序深度学习模型。
2023-03-07 cs.CV
Supermarket Product Detection and Recognition: Utilizing Deep Learning with Rectified Imagery
Indian Institute of Technology, Patna（印度理工学院巴特那分校）
针对超市货架密集图像因拍摄角度导致检测精度下降的问题，本文提出结合霍夫变换与单应性估计进行图像矫正，实验证明矫正能提升商品检测精度，但受角度和密度限制。
2026-10-07 cs.AI cs.CV
Annotation Methodologies for Vision and Language Dataset Creation
Brandeis University（布兰迪斯大学）
注释数据集通常用于训练和评估涉及自然语言和视觉的任务（图像描述生成，动作识别和视觉问答）。然而，许多现有的数据集反映了数据选择和注释过程中出现的问题。在这里，我们指出了在创建和验证带注释的视觉和语言数据集时遇到的一些困难和问题。
2016-07-10 cs.CL cs.CV
Facial Expressions Tracking and Recognition: Database Protocols for Systems Validation and Evaluation
每个人的脸都是独一无二的。它有自己的形状、拓扑结构和显著特征。因此，开发和测试面部跟踪系统是一项具有挑战性的任务。计算机视觉中现有的人脸识别和跟踪算法主要根据特定的目标和应用指定具体的情况，需要具有适合其目的的数据的验证方法。然而，目前还没有一个涵盖所有可能的外部因素变化的数据库，这就增加了研究人员获取自己的数据或汇编数据库的工作量。为了解决这个缺点，我们提出了一种方法，面部数据采集通过定义的基本变量，如主题的特点，采集硬件，和性能参数。根据这种方法，我们还提出了两个协议，允许在不受控制和现实生活中的情况下捕捉面部行为。作为验证，我们执行了两个协议，导致创建两个样本数据库：FdMiee（具有多输入，表情和环境的面部数据库）和FACIA（由情感诱导行为驱动的面部多模式数据库）。使用不同类型的硬件，FdMiee在环境和面部行为变化下捕获面部信息。FACIA是FdMiee的扩展，它引入了一个管道来使用情感行为方法获取额外的面部行为和语音。因此，这项工作简化了根据算法的要求和应用程序创建自适应数据库，从而简化了验证和测试过程。
2015-06-02 cs.CV
Visual Methods for Sign Language Recognition: A Modality-Based Review
Université de Sousse（苏塞大学）；Ecole Nationale d’Ingénieurs de Sousse（苏塞国立工程师学院）
连续多模态流中的手语视觉识别仍然是最具挑战性的领域之一。人类动作识别的最新进展正在利用基于GPU的学习从海量数据中的提升，并且越来越接近人类的表现。然后，他们倾向于为聋人和听障社区创造互动服务。预计在未来几年人口将大幅增长。本文以手势语视觉理解为研究范围，对人类动作识别的相关文献进行综述。所分析的方法将主要根据所利用的不同类型的单峰输入、其相对的多模态组合和流水线步骤来组织。在每一节中，我们将详细介绍和比较相关的数据集，方法，然后区分适合创建手语相关服务的仍然开放的贡献路径。将特别关注处理面部表情和连续签名的方法和商业解决方案。
2020-09-22 cs.AI cs.CV cs.HC
Benchmarking recognition results on word image datasets
Indian Institute of Science（印度科学学院）
我们已经基准的最大可获得的识别精度在各种文字图像数据集使用手动分割和目前可用的商业OCR。我们已经开发了一个Matlab程序，图形用户界面，半自动像素级分割的文字图像。我们讨论了像素级注释的优点。我们已经覆盖了五个数据库，总计超过3600字的图像。这些文字图像是从摄像机拍摄的场景、数字视频和街景图像中裁剪出来的。我们使用Nuance Omnipage OCR的试用版识别分割的单词图像。我们还讨论了如何在收购过程中引入的退化或不准确的文字图像的创建过程中引入的影响识别的图像中存在的字。文中还讨论了各种退化的字图像以及字的倾斜和弯曲性质的校正。在ICDAR 2003、Sign evaluation、Street view、Born-digital和ICDAR 2011数据集上获得的单词识别率分别为83.9%、89.3%、79.6%、88.5%和86.7%。
2012-08-30 cs.CV
Classification with Repulsion Tensors: A Case Study on Face Recognition
我们考虑在监督设置中的人脸识别的降维方法，使用图像作为矩阵表示。一个常见的过程是将图像矩阵投影到一个较小的空间中，在该空间中进行识别。这些方法在文献中通常被称为“二维”，并且存在使用图像作为矢量表示的对应物。当两个人脸图像在输入空间中彼此接近时，它们可以在投影后保持接近-但是这在这两个图像来自不同类别的情况下是不期望的，并且这经常影响识别性能。我们扩展了以前开发的“排斥拉普拉斯”技术的基础上添加条款的目标函数的目标或创建一个排斥能量之间的图像在投影空间。该方案依赖于排斥图，是通用的，可以被纳入各种二维方法。它可以被看作是Kokiopoulou和Saad [Pattern]的排斥策略的多线性推广，42（2009），pp. 2392- 2402]。实验结果表明，所提出的方法提供了显着的识别改善相对于底层的二维方法。
2016-03-15 cs.CV
What Should Be Balanced in a "Balanced" Face Recognition Dataset?
University of Notre Dame（圣母大学）
该研究指出当前平衡人口群体身份与图像数量的人脸识别数据集无法保证头部姿态、亮度等影响准确率的因素平衡，提出偏差感知工具包以构建更公平的跨人口评估数据集。
2023-08-23 cs.CV
Assessing Pattern Recognition Performance of Neuronal Cultures through Accurate Simulation
University of Pisa（比萨大学）；CNR Pisa（意大利国家研究委员会比萨分部）；University of Florence（佛罗伦萨大学）；Scuola Normale Superiore（比萨高等师范学校）
先前的工作已经表明，在多电极阵列（MEA）上训练神经元培养物识别非常简单的模式是可能的。然而，这项工作主要集中在证明有可能在文化中诱导可塑性，而不是对其模式识别性能进行严格的评估。在本文中，我们通过开发一种方法来解决这一差距，使我们能够评估神经元文化的学习任务的性能。具体来说，我们提出了一个数字模型的真正培养的神经元网络;我们确定生物学上合理的模拟参数，使我们能够可靠地再现真实文化的行为;我们使用模拟文化进行手写数字识别，并严格评估其性能;我们还表明，它是可能的，以找到改进的模拟参数的特定任务，这可以指导创建真正的文化。
2021-01-22 cs.CV
Fast Neuromimetic Object Recognition using FPGA Outperforms GPU Implementations
The Johns Hopkins University（约翰斯·霍普金斯大学）；Singapore Institute of Neurotechnology（新加坡神经技术研究所）；National University of Singapore（新加坡国立大学）；The Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
传统上，静止图像中的目标识别被认为是一个困难的计算问题。虽然现代视觉对象识别的自动化方法已经实现了稳步提高的识别精度，但即使是最先进的计算视觉方法也无法获得与人类相同的性能。这导致了许多受生物启发的视觉对象识别模型的创建，其中包括HMAX模型。传统上已知HMAX以显著的计算复杂性为代价在视觉对象识别任务中实现高精度。复杂性的增加反过来又会增加计算时间，减少单位时间内可以处理的图像数量。在本文中，我们描述了如何计算密集型，生物启发的HMAX模型的视觉对象识别可以修改实施的商业现场可编程门阵列，特别是Xilinx Virtex 6 ML605评估板与XC6VLX240 T FPGA。我们表明，通过对传统HMAX模型的微小修改，我们可以以每秒190张图像的速度对大小为128x128像素的图像进行识别，在二进制和多类视觉对象识别任务中的识别精度损失小于1%。
2015-10-31 cs.CV
Face Recognition in the age of CLIP & Billion image datasets
New York University（纽约大学）
OpenAI开发的CLIP（对比图像预训练）模型在各种图像识别和检索任务上取得了出色的成绩，显示出强大的zero-shot性能。这意味着他们能够有效地执行他们没有接受过明确培训的任务。受OpenAI CLIP成功的启发，我们收集了一个名为LAION-5 B的新的公开数据集，从而开发出了性能优于OpenAI L/14模型的开放式ViT-H/14、ViT-G/14模型。LAION-5 B数据集还发布了近似最近邻索引，并提供了用于搜索和子集创建的Web界面。在本文中，我们评估各种CLIP模型的性能作为zero-shot人脸识别器。我们的研究结果表明，CLIP模型在人脸识别任务中表现良好，但增加CLIP模型的大小并不一定会提高准确性。此外，我们研究了CLIP模型对数据投毒攻击的鲁棒性，通过测试他们对中毒数据的性能。通过这种分析，我们的目标是了解使用CLIP模型构建的搜索引擎的潜在后果和滥用，这些搜索引擎可能会无意中用作人脸识别引擎。
2023-01-18 cs.CV
ImageNet Large Scale Visual Recognition Challenge
Stanford University（斯坦福大学）；University of Michigan（密歇根大学）；Massachusetts Institute of Technology（麻省理工学院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
ImageNet大规模视觉识别挑战赛是对数百个对象类别和数百万张图像进行对象类别分类和检测的基准。从2010年至今，该挑战赛每年举办一次，吸引了50多个机构的参与。本文介绍了这个基准数据集的创建和对象识别的进展，已经成为可能。我们讨论了收集大规模地面实况注释的挑战，强调了分类对象识别的关键突破，详细分析了大规模图像分类和目标检测领域的现状，并将最先进的计算机视觉精度与人类精度进行了比较。最后，我们总结了在五年的挑战中吸取的经验教训，并提出了未来的方向和改进。
2015-01-30 cs.CV
On the Pitfalls of Learning with Limited Data: A Facial Expression Recognition Case Study
University of Campinas（坎皮纳斯大学）
深度学习模型需要大量数据进行训练。在视频识别和分类方面，随着新的大型数据库的引入，取得了重大进展。然而，在若干情况下，建立大型培训数据库是不可行的。因此，现有的或小的收集的数据库通常被连接和放大以训练这些模型。然而，在有限的数据上训练神经网络并不简单，而且会带来一系列问题。在本文中，我们探讨了在使用有限数据进行训练时，堆叠数据库、模型初始化和数据放大技术对深度学习模型性能的影响。本文主要研究视频中的人脸表情识别问题。我们对四个不同复杂度的数据库和九个深度学习架构进行了广泛的研究。我们发现：（i）当使用迁移学习和综合生成的数据进行训练时，复杂的训练集可以更好地转化为更稳定的测试集，但它们的性能会产生很高的方差;（ii）使用更详细的数据进行训练可以在新的场景中获得更稳定的性能（尽管业绩较低）; ㈢合并不同种类的数据并不是一种简单的改进，因为扩充和初始化的类型至关重要;（iv）传统的数据增强无法填补因连接大部分分离的数据集而产生的漏洞;（v）归纳偏差在与合成数据配对时有助于弥合差距，但在使用标准初始化技术时，这些数据是不够的。
2021-04-02 cs.CV cs.LG
eProduct: A Million-Scale Visual Search Benchmark to Address Product Recognition Challenges
eBay Inc（eBay公司）
大型商品识别是计算机视觉和机器学习在电子商务领域的主要应用之一。由于产品的数量通常远大于产品类别的数量，因此基于图像的产品识别通常被视为视觉搜索而不是分类问题。它也是超细粒度识别的实例之一，其中有许多产品具有轻微或微妙的视觉差异。创建一个基准数据集来训练和评估现实世界中的各种视觉搜索解决方案一直是一个挑战。这激发了eProduct的创建，eProduct是一个由250万个产品图像组成的数据集，旨在加速自监督学习、弱监督学习和多模式学习领域的发展，以实现细粒度识别。我们将eProduct作为训练集和评估集，其中训练集包含1.3M+带有标题和层次类别标签的列表图像，用于模型开发，评估集包括10，000个查询和110万个索引图像，用于视觉搜索评估。我们将介绍eProduct的构建步骤，提供有关其多样性的分析，并介绍在其上训练的基线模型的性能。
2021-07-13 cs.CV
Deep Learning For Face Recognition: A Critical Analysis
Charles Darwin University（查尔斯达尔文大学）
人脸识别是生物识别技术中发展迅速、应用广泛的一个方面。其应用范围广泛，从执法到消费者应用，以及行业效率和监控解决方案。最近出现的负担得起的，功能强大的GPU和巨大的人脸数据库的创建吸引了研究重点主要是越来越深的神经网络的开发，设计用于人脸识别任务的各个方面，从检测和预处理到验证和识别解决方案中的特征表示和分类。然而，尽管有这些改进，实时、准确的人脸识别仍然是一个挑战，主要是由于与使用深度卷积神经网络（DCNN）相关联的高计算成本，以及需要平衡精度要求与时间和资源约束。影响人脸识别的其他重要问题涉及遮挡、光照和姿态不变性，这导致传统手工解决方案和深度神经网络的准确性显著下降。这项调查将提供一个批判性的分析和比较的现代国家的最先进的方法，他们的好处，他们的局限性。它提供了一个全面的深度和浅层解决方案，因为他们站在今天，并强调需要未来的发展和改进的领域。这篇综述旨在促进科学家和工程师对新方法的研究，并进一步发展当前的方法，同时为工业、政府和消费者环境中的最终用户提供有关当前可用解决方案的信息和分析视角。
2019-07-12 cs.CV
GOTPR: General Outdoor Text-based Place Recognition Using Scene Graph Retrieval with OpenStreetMap
Seoul National University（首尔国立大学）
GOTPR利用场景图和OpenStreetMap替代点云实现户外地点识别，在保持精度的同时大幅降低存储需求，并可在数秒内完成城市级处理。
2025-05-22 cs.CV cs.RO
Adversarial Learning of Hard Positives for Place Recognition
Bar Ilan University（巴伊兰大学）
用于地点识别的图像检索方法学习全局图像描述符，该全局图像描述符用于在推理时获取地理标记的图像。最近的工作建议采用弱监督和自我监督来挖掘硬阳性和硬阴性，以提高定位精度和对可见性变化的鲁棒性（例如，在照明或视点中）。然而，生成硬阳性，这是获得鲁棒性所必需的，仍然限于硬编码或全局增强。在这项工作中，我们提出了一种对抗性的方法来指导创建用于训练图像检索网络的硬阳性。我们的方法学习局部和全局增强策略，这将增加训练损失，而图像检索网络被迫学习更强大的特征，以区分越来越困难的例子。这种方法允许图像检索网络超越数据中的硬示例进行概括，并学习对各种变化都具有鲁棒性的特征。我们的方法实现了最先进的召回在2012年250日和东京24/7基准，并优于最近的图像检索方法的rOxford和rParis数据集的一个显着的利润。
2022-05-08 cs.CV
Efficient IRIS Recognition through Improvement of Feature Extraction and subset Selection
Islamic Azad University Mashhad Branch（伊斯兰阿扎德大学马什哈德分校）；Ferdowsi University of Mashhad（马什哈德费尔多西大学）
最优特征子集的选择和分类已成为虹膜识别领域的一个重要问题。在本文中，我们提出了几种方法虹膜特征子集的选择和矢量创建。利用轮廓波变换技术从虹膜图像中提取确定性特征序列。Contourlet变换捕捉虹膜图像的内在几何结构。该方法将虹膜图像分解成一组方向子带，在不同尺度下捕获不同方向的纹理细节，从而降低特征向量的维数，我们使用该方法从归一化的虹膜图像中只提取有效位和信息。在这种方法中，我们忽略脆弱位。最后，我们使用支持向量机（支持向量机）分类器来近似我们所提出的系统中的人识别量。实验结果表明，大多数方法减少了处理时间，提高了分类精度，而且虹膜特征向量长度比其他方法要小得多。
2009-06-25 cs.CV
TetraLoss: Improving the Robustness of Face Recognition against Morphing Attacks
Hochschule Darmstadt（达姆施塔特应用科学大学）
本文提出TetraLoss损失函数，通过在人脸识别嵌入空间中分离变形图像与其来源主体，在保持高验证性能的同时显著提升系统对变形攻击的鲁棒性，并优于现有基线方法。
2024-12-29 cs.CV
A Generalized Probabilistic Framework for Compact Codebook Creation
The Australian National University（澳大利亚国立大学）；University of Wollongong（伍伦贡大学）；The University of Adelaide（阿德莱德大学）
在许多视觉识别任务中，紧凑且有区别的视觉码本是优选的。在文献中，许多作品已经采取了分层合并的初始大尺寸码本的视觉单词的方法，但实现这种方法与不同的合并标准。在这项工作中，我们提出了一个单一的概率框架来统一这些合并标准，通过确定两个关键因素：用于建模类条件分布的函数和用于估计分布参数的方法。更重要的是，通过采用新的分布函数和/或参数估计方法，我们的框架可以很容易地产生一系列新的合并标准。其中三个是专门针对这项工作。在第一个准则中，我们采用多项分布和贝叶斯方法;在第二个准则中，我们结合高斯分布和极大似然参数估计。在第三个准则中，表现出最好的合并性能，我们提出了一个最大间隔为基础的参数估计方法，并将其应用于多项分布。通过大量的实验研究，系统地分析了上述三个标准的性能，并与现有的标准进行了比较。如所示，在我们的框架中获得的最佳标准实现了整体最佳的合并性能之间的可比合并标准在文献中开发。
2014-01-30 cs.CV
Handshape recognition for Argentinian Sign Language using ProbSom
Instituto de Investigación en Informática LIDI, Facultad de Informática, Universidad Nacional de La Plata（拉普拉塔国立大学信息学院LIDI信息学研究所）
本文构建了包含16种阿根廷手语手形的800幅图像数据库，并提出基于ProbSom自组织映射监督自适应的手形识别方法，分类准确率超过90%。
2023-10-26 cs.AI cs.CV cs.LG
An Experimental Evaluation on Deepfake Detection using Deep Face Recognition
School of Computing, Wichita State University（威奇托州立大学计算机学院）
深度学习的重大进展已经为各种计算机视觉应用获得了标志性的准确率。然而，深度生成模型的进步也导致了非常逼真的虚假内容的产生，也被称为deepfakes，对隐私，民主和国家安全造成了威胁。目前的大多数deepfake检测方法被认为是使用两类卷积神经网络（CNN）区分真实图像或视频与虚假图像或视频的二进制分类问题。这些方法基于检测由深度生成模型产生的视觉伪影、时间或颜色不一致。然而，这些方法需要大量的真实和虚假数据进行模型训练，并且在使用高级deepfake生成技术生成的样本进行交叉数据集评估时，其性能显着下降。在本文中，我们使用不同的损失函数和deepfake生成技术，彻底评估了深度人脸识别在识别deepfake方面的有效性。对具有挑战性的Celeb-DF和FaceForensics++ deepfake数据集的实验研究表明，深度人脸识别在识别两类CNN和眼部模式的deepfake方面的有效性。报告的结果表明，在Celeb-DF数据集上使用人脸识别检测深度伪造时，最大曲线下面积（AUC）为0.98，相等出错率（EER）为7.1%。与两类CNN和Celeb-DF数据集上的眼模态获得的EER相比，该EER低16.6%。进一步在FaceForensics++数据集上，获得了0.99的AUC和2.04%的EER。使用生物特征面部识别技术的优点是绕过了对大量虚假数据进行模型训练的需要，并获得了更…
2021-10-04 cs.AI cs.CV cs.LG
Enhancing Spatio-Temporal Zero-shot Action Recognition with Language-driven Description Attributes
Department of Artificial Intelligence, Korea University（韩国大学人工智能系）
针对动作类别多义词导致零样本动作识别语义歧义的问题，提出利用大语言模型从网络描述中提取关键词作为属性，并设计时空交互模块聚焦动作单元以对齐视频内容，在多个基准数据集上取得高准确率。
2025-11-03 cs.CV
Video Recognition in Portrait Mode
Bytedance（字节跳动）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61所）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对竖屏视频识别，构建首个数据集PortraitMode-400，分析格式影响并探索关键因素，推动该新兴领域研究。
2023-12-21 cs.CV
Affect Analysis in-the-wild: Valence-Arousal, Expressions, Action Units and a Unified Framework
University of Greenwich（格林威治大学）；Imperial College London（伦敦帝国理工学院）
基于受试者面部表情的情感识别一直是一个主要的研究课题，试图产生能够理解受试者感觉、行为和反应方式的机器。过去，由于无法获得在现实生活中捕获的大量数据，研究主要集中在受控环境上。然而，最近，社交媒体和平台已经被广泛使用。此外，深度学习已经成为解决视觉分析和识别问题的一种手段。本文利用这些进展，并提出了显着的影响分析和识别在野外的贡献。情感分析和识别可以被视为一个双重知识生成问题，涉及：i）创建新的，大型和丰富的野外数据库，ii）设计和训练新型深度神经架构，这些架构能够分析这些数据库的影响，并成功地概括它们在其他数据集上的性能。本文重点关注大型野外数据库，即，Aff-Wild和Aff-Wild 2，并提出了两类使用这些数据库训练的深度神经网络的设计。第一类是指单任务的影响识别，侧重于预测的效价和唤醒维度变量。第二类是指所有主要行为任务的估计，即效价唤醒预测;七种基本面部表情的分类情感分类;面部动作单元检测。提出了一种新的多任务和整体框架，该框架能够在所有现有的野外数据库中联合学习并有效地推广和执行情感识别。大型实验研究表明，在现有的国家的最先进的影响识别所取得的性能改善。
2021-03-29 cs.AI cs.CV cs.LG
Diversify, Don't Fine-Tune: Scaling Up Visual Recognition Training with Synthetic Images
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Meta
本文提出一种无需生成式微调的新框架，利用现成生成模型、LLM和CLIP解决类别歧义、多样性和领域偏移，通过上下文与风格多样化方法，将合成数据扩展至ImageNet的6倍，持续提升识别性能并增强域外泛化。
2025-01-21 cs.AI cs.CV cs.LG
Sketch Input Method Editor: A Comprehensive Dataset and Methodology for Systematic Input Recognition
Xidian University（西安电子科技大学）；National University of Defense Technology（国防科技大学）
本文提出面向专业C4I系统的SketchIME草图输入法编辑器，构建含374类专业草图的数据集，并设计识别与分割多级监督联合架构，结合少样本领域自适应和类增量学习，在自建数据集和SPG数据集上取得更优性能。
2024-03-31 cs.AI cs.CV
Visualizing Celebrity Dynamics in Video Content: A Proposed Approach Using Face Recognition Timestamp Data
Digital Data Analytics, Department of New Media, TRT, İstanbul, Türkiye（数字数据分析师，新媒体系，TRT，伊斯坦布尔，土耳其）
本研究提出结合分布式多GPU推理与交互式可视化的混合框架，利用优化ONNX模型等高效处理视频生成名人出场时间戳，通过多维度可视化分析名人动态，为娱乐分析等领域提供新支持。
2025-09-29 cs.CV
On the Feasibility of Creating Iris Periocular Morphed Images
Hochschule Darmstadt（达姆施塔特应用技术大学）；Universidad de Santiago（圣地亚哥大学）；Universidad de Chile（智利大学）
本文提出一个端到端框架，在图像层面从眼周虹膜图像生成虹膜融合图像，包含配对主体选择、分割、融合创建和新虹膜识别系统，实验证明其生成的逼真图像能混淆传统虹膜识别系统。
2024-08-24 cs.CV
Database of handwritten Arabic mathematical formulas images
Research unit SAGE National Engineering School of Sousse (Eniso), University of Sousse（苏塞大学苏塞国家工程学院 SAGE 研究单元）
虽然公开可用，地面真实数据库已被证明是有用的训练，评估和比较识别系统在许多领域，这种数据库的可用性手写阿拉伯数学公式识别，特别是目前相当差。在本文中，我们提出了一个新的公共数据库，其中包含数学表达式可在其离线手写的形式。在这里，我们描述了不同的步骤，使我们能够获得这个数据库，从创建的数学表达式语料库的转录收集的数据。目前，该数据集包含4238离线手写数学表达式写的66个作家和20300手写孤立的符号图像。还为手写表达式提供了地面实况，作为具有符号数量和MATHML结构的XML文件。
2016-08-08 cs.CV
Indian Sign Language Recognition Using Mediapipe Holistic
Vellore Institute of Technology（韦洛尔理工学院）
本文研究基于 MediaPipe Holistic 的印度手语识别，比较 CNN 与 LSTM 在静态手语和手势手语上的表现，并提出文本到手语范式以提升聋人及听障人群的沟通能力。
2023-04-20 cs.CL cs.CV cs.LG
DeepFN: Towards Generalizable Facial Action Unit Recognition with Deep Face Normalization
Microsoft Research（微软研究院）；University of Houston（休斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）
针对面部动作单元识别对未见过的人脸和人群特征泛化能力有限的问题，提出基于自监督去噪自编码器的深度人脸归一化方法DeepFN，将表情迁移至通用模板，显著缩小了不同个体、性别、肤色和数据集间的泛化差距。
2021-03-03 cs.AI cs.CV cs.LG
A survey of facial recognition techniques
本文综述了面部识别技术，包括多种先进方法和数据库分析，旨在提供全面的文献回顾和实验结果。
2026-01-09 cs.CV cs.GR
Self-Supervised Learning to Guide Scientifically Relevant Categorization of Martian Terrain Images
UMass Amherst（马萨诸塞大学阿默斯特分校）；Brown University（布朗大学）
火星漫游者图像中的自动地形识别不仅对于导航来说是一个重要问题，而且对于有兴趣研究岩石类型的科学家来说也是一个重要问题，并且可以扩展到古代火星古气候和可居住性的条件。现有的标记火星地形的方法要么涉及使用非专家注释者产生有限粒度的分类（例如土壤，沙子，基岩，浮动岩石等），或者依赖于一般类发现方法，该方法倾向于产生与地质分析无关的感知类，诸如漫游器部件和景观。专家标记的数据集包含粒状地质/地貌地形类别是罕见的或无法访问的公众，有时需要提取相关的分类信息从复杂的注释。为了便于创建具有详细地形类别的数据集，我们提出了一种自我监督的方法，该方法可以将Currency漫游者（火星科学实验室）上的Mast相机捕获的图像中的沉积纹理聚类。然后，我们提出了一个定性分析，这些集群和描述其地质意义，通过创建一组颗粒状的地形类别。这些自动发现的集群的精度和地质验证表明，我们的方法是有希望的重要地质特征的快速分类，因此将有助于我们的长期目标，生产一个大的，颗粒状的，公开的数据集火星地形识别。
2022-04-21 cs.CV
Bangla Sign Language Translation: Dataset Creation Challenges, Benchmarking and Prospects
Islamic University of Technology（伊斯兰技术大学）
本文提出孟加拉手语翻译数据集IsharaKhobor，探讨数据集创建挑战，并通过基准测试和消融实验展示其改进版本。
2025-11-26 cs.CL cs.CV
Fine-tuning of sign language recognition models: a technical report
SBER AI（俄罗斯联邦储蓄银行人工智能部）
手语识别（SLR）是一项重要但具有挑战性的任务，因为手语是通过手势，身体姿势甚至面部表情的快速复杂运动来执行的。%Skeleton Aware Multi-modal Sign Language Recognition在这项工作中，我们重点研究了两个问题：如何对其他手语的数据集进行微调，以帮助提高手语识别质量，以及是否可以在不使用GPU的情况下进行实时手语识别。三种不同的语言数据集（美国手语WLASL、土耳其语- AUTSL、俄语- RSL）已用于验证模型。该系统的平均速度达到每秒3次预测，满足实时场景的要求。此模型（原型）将有利于语言或听力障碍的人与其他通过互联网交谈。我们还研究了在另一种手语中对模型进行额外训练如何影响识别质量。结果表明，在另一种手语的数据上进一步训练模型几乎总是会提高手势识别的质量。我们还提供了用于再现模型训练实验、将模型转换为ONNX格式以及用于实时手势识别的推理的代码。
2023-02-16 cs.CV
CLIP-Art: Contrastive Pre-training for Fine-Grained Art Classification
现有的艺术品计算机视觉研究与艺术品的细粒度属性识别和缺乏策划的注释数据集，由于其昂贵的创建斗争。据我们所知，我们是第一批使用CLIP（对比图像预训练）在各种艺术品图像和文本描述对上训练神经网络的方法之一。CLIP能够直接从自由形式的艺术描述中学习，或者，如果可用的话，策划细粒度的标签。模型的zero-shot功能允许预测给定图像的准确自然语言描述，而无需直接优化任务。我们的方法旨在解决2个挑战：实例检索和细粒度的艺术品属性识别。我们使用iMet数据集，我们认为它是最大的注释艺术品数据集。在这个基准测试中，我们仅使用自我监督就取得了有竞争力的结果。
2022-04-29 cs.CV
Bukva: Russian Sign Language Alphabet
SberDevices（斯ber设备公司）
本文针对俄罗斯手语dactyl识别的数据短缺问题，构建了首个包含3,757个视频的开源数据集Bukva，并利用TSM模块在仅CPU实时推理下实现83.6%的top-1准确率。
2026-11-03 cs.CV
Indian Sign Language Recognition Using Eigen Value Weighted Euclidean Distance Based Classification Technique
Assam Don Bosco University（阿萨姆唐博斯科大学）
手语识别是当今发展最快的研究领域之一。近年来，在这些领域中发展了许多新技术。在本文中，我们提出了一个系统，使用本征值加权欧氏距离作为一种分类技术，用于识别各种印度手语。该系统包括四个部分：皮肤过滤，裁剪，特征提取和分类。本文考虑了24个标志，每个标志有10个样本，因此总共考虑了240幅图像，获得的识别率为97%。
2013-03-04 cs.CV
American Sign Language fingerspelling recognition from video: Methods for unrestricted recognition and signer-independence
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文研究了美国手语中手指拼写字母视频序列的识别问题。手指拼写是美国手语中一个重要但相对研究不足的部分，识别它具有挑战性，原因有很多：它涉及快速，小动作，通常是高度共同表达的;它在签名者之间表现出显着的变化;并且缺乏连续的手指拼写数据收集。在这项工作中，我们提出了几种类型的识别方法，并探讨了签名者的变化问题。我们表现最好的模型是使用基于深度神经网络的特征的分段（半马尔可夫）条件随机场。在签名依赖的设置，我们的识别器实现了约8%的字母出错率。独立于签名者的设置更具挑战性，但通过神经网络自适应，我们实现了高达17%的字母出错率。
2016-08-30 cs.CL cs.CV
Slovo: Russian Sign Language Dataset
SaluteDevices
针对手语识别缺乏适配不同国家的数据集的问题，本文构建了含2万条全高清视频、1000类孤立手势的俄罗斯手语数据集Slovo，公开了构建流程与预训练模型，并验证了其教学应用价值。
2024-03-12 cs.CV
EventDance++: Language-guided Unsupervised Source-free Cross-modal Adaptation for Event-based Object Recognition
AI Thrust, HKUST(GZ)（香港科技大学（广州）AI方向）；AI/CMA Thrust, HKUST(GZ)（香港科技大学（广州）AI/CMA方向）；Dept. of CSE, HKUST（香港科技大学计算机科学与工程系）
提出EventDance++框架，通过语言引导的L-RMB模块重建图像并提取知识，结合MKA模块实现多表征知识迁移，有效解决无源跨模态事件识别问题。
2024-09-23 cs.CV
Future Aspects in Human Action Recognition: Exploring Emerging Techniques and Ethical Influences
Democritus University of Thrace（色雷斯德谟克利特大学）；University of Maryland（马里兰大学）
本文探讨了基于视觉的人类动作识别在时间分析上的挑战，提出利用下一代硬件传感器数据和合成视频结合强化学习技术解决数据集限制，并强调了相关伦理问题。
2024-12-20 cs.CV cs.ET cs.RO
Challenges for Linguistically-Driven Computer-Based Sign Recognition from Continuous Signing for American Sign Language
Boston University（波士顿大学）
本文基于大型带语言标注的ASL视频语料库，综述连续手语识别相较孤立手语识别面临的变异与结构难题，并指出可利用语言规律提升手形及手语识别。
2023-11-01 cs.CL cs.CV
Emotion Recognition in Signers
FIRST, Institute of Integrated Research Institute of Science Tokyo（FIRST研究所）
研究手语者情感识别面临的挑战，通过跨语言设置，利用eJSL和BOBSL数据集，实验证明口语文本情感识别、时间片段选择及手部动作对增强手语情感识别的作用，建立更强基线。
2026-07-14 cs.AI cs.CL cs.CV
