DenseNet approach to segmentation and classification of dermatoscopic skin lesions images
Tarbiat Modares University(塔比亚特莫达雷斯大学);Islamic Azad University Science and Research Branch(伊斯兰阿扎德大学科学与研究分校)
目前,癌症是世界上最重要的健康问题之一。由于癌症的早期发现和适当的治疗对患者的恢复和生存非常有效,因此图像处理作为一种诊断工具可以帮助医生在第一时间识别癌症进行诊断。皮肤病变诊断中最重要的步骤之一是自动检测皮肤图像的边界,因为接下来的步骤的准确性取决于它。如果这些细微之处被识别出来,它们会对疾病的诊断产生很大的影响。因此,有一个很好的机会来开发更准确的算法来分析这些图像。本文提出了一种改进的皮肤病变分割和分类方法,使用两种架构,用于图像分割的U-Net和用于图像分类的DenseNet 121,具有良好的准确性。我们在ISIC-2018数据集上测试了我们模型的分割架构,并在HAM 10000数据集上测试了分类。我们的研究结果表明,U-Net和DenseNet 121架构的组合提供了可接受的结果相比,以前的研究在皮肤镜图像分析。本研究中检查的另一种分类是癌性和非癌性样本。在该分类中,在DenseNet 121网络中检测到癌症和非癌症样本,准确率分别为79.49%和93.11%。
2021-10-09 cs.CV cs.LG eess.IV
Deep Temporal Sequence Classification and Mathematical Modeling for Cell Tracking in Dense 3D Microscopy Videos of Bacterial Biofilms
University of Virginia(弗吉尼亚大学)
本文提出DenseTrack算法,将细胞追踪建模为深度时序分类加约束一对一匹配优化问题,并结合特征分解检测细胞分裂,在密集细菌生物被膜三维视频中显著优于现有方法。
2024-07-04 cs.LG eess.IV
Leveraging Sparse and Dense Feature Combinations for Sentiment Classification
Columbia University(哥伦比亚大学)
神经网络是用于诸如情感分析的许多自然语言处理任务的最流行的方法之一。它们通常优于传统的机器学习模型,并在大多数任务上实现最先进的结果。然而,许多现有的深度学习模型是复杂的,难以训练,并且相对于更简单的方法提供有限的改进。我们提出了一个简单,强大和强大的情感分类模型。该模型优于许多深度学习模型,并在情感分析数据集上实现了与其他具有复杂架构的深度学习模型相当的结果。我们在网上发布代码。
2017-08-13 cs.CL cs.IR cs.LG
Model Calibration in Dense Classification with Adaptive Label Perturbation
The Australian National University(澳大利亚国立大学)
针对密集二分类模型过度自信的问题,提出自适应随机标签扰动(ASLP)和SC-BCE损失,通过最大化预测熵显著提升了模型在分布内外数据上的校准程度。
2023-08-03 cs.CV cs.LG
Dense Adaptive Cascade Forest: A Self Adaptive Deep Ensemble for Classification Problems
Southwest Jiaotong University(西南交通大学);University of Electronic Science and Technology of China(电子科技大学);Rutgers University(罗格斯大学)
最近的研究表明,与一般的集成学习方法相比,深度森林集成在分类精度上有了相当大的提高,特别是在训练集较小的情况下。在本文中,我们利用深森林集成,并介绍了密集自适应级联森林(daForest)。我们的模型有一个更好的性能比原来的级联森林有三个主要特点:首先,我们应用SAMME.R boosting算法来提高模型的性能。随着层数的增加,它保证了改进。其次,我们的模型以前馈方式将每一层连接到后续层,这增强了模型抵抗性能退化的能力。第三,我们在第一个分类层之前添加了一个超参数优化层,使我们的模型花费更少的时间来建立和找到最佳的超参数。实验结果表明,daForest的性能非常好,在某些情况下,甚至优于神经网络,并达到了最先进的结果。
2019-05-14 cs.LG stat.ML
Adversarial Learning with Contextual Embeddings for Zero-resource Cross-lingual Classification and NER
Amazon Inc.(亚马逊公司)
上下文词嵌入(例如GPT、BERT、ELMo等)在各种NLP任务上表现出最先进的性能。最近对多语言版本的BERT的研究表明,该模型在zero-shot和零资源跨语言设置中表现非常好,其中仅使用标记的英语数据来微调模型。我们通过对抗学习来改进多语言BERT的零资源跨语言性能。我们报告的多语言MLDoc文本分类和CoNLL 2002/2003命名实体识别任务的改进幅度。此外,我们表明,语言对抗训练鼓励BERT对齐英语文档及其翻译的嵌入,这可能是观察到的性能增益的原因。
2020-03-19 cs.CL cs.LG
Exploiting Cross-Lingual Subword Similarities in Low-Resource Document Classification
University of Maryland(马里兰大学);University of Colorado(科罗拉多大学);Google Research(谷歌研究院)
文本分类有时必须应用于没有标记训练数据的低资源语言。然而,训练数据可以以相关语言可用。我们调查是否字符级的知识转移相关的语言有助于文本分类。我们提出了一个跨语言的文档分类框架(CACO),利用跨语言的子词相似性,联合训练基于字符的嵌入器和基于词的分类器。嵌入器从输入单词的书面形式中导出输入单词的矢量表示,分类器基于单词矢量进行预测。我们使用一个联合字符表示的源语言和目标语言,这使得嵌入器概括知识的源语言的话,以目标语言的单词具有相似的形式。我们提出了一个多任务的目标,可以进一步改善模型,如果额外的跨语言或单语资源。实验证实,字符级的知识转移是更有效的数据比词级的相关语言之间的传输。
2020-04-28 cs.CL cs.LG
Dense Feature Memory Augmented Transformers for COVID-19 Vaccination Search Classification
Google Research(谷歌研究院)
随着COVID-19的毁灭性爆发,疫苗是抵御这场全球大流行中大规模感染的关键防线之一。鉴于疫苗提供的保护,在某些社会和专业环境中,疫苗正在成为强制性的。本文提出了一种用于检测COVID-19疫苗接种相关搜索查询的分类模型,这是一种用于生成COVID-19疫苗接种搜索见解的机器学习模型。所提出的方法结合并利用了现代最先进的(SOTA)自然语言理解(NLU)技术的进步,例如具有传统密集特征的预训练Transformers。我们提出了一种新的方法,考虑密集的功能作为记忆令牌的模型可以参加。我们表明,这种新的建模方法可以显着改善疫苗搜索洞察(VSI)任务,通过F1评分相对提高+15%和精度提高+14%来改善强大的成熟梯度提升基线。
2022-12-16 cs.AI cs.IR cs.LG
Out-of-Domain Detection for Low-Resource Text Classification Tasks
IBM Watson(IBM沃森);IBM Research(IBM研究院)
针对低资源文本分类的域外检测是一个现实但尚未充分研究的任务。我们的目标是用有限的域内(ID)训练数据来检测OOD案例,因为我们观察到在机器学习应用中训练数据往往不足。在这项工作中,我们提出了一个抗OOD的原型网络来解决这个zero-shot OOD检测和Few-Shot ID分类任务。在真实数据集上的测试表明,该方法在zero-shot OOD检测任务中的性能优于现有方法,同时在ID分类任务中保持了较好的性能。
2019-08-31 cs.CL cs.LG stat.ML
Enhancing Multiclass Malware Classification in Resource-Constrained Environments
BRAC University(BRAC大学)
针对资源受限环境中多类恶意软件分类准确率低且计算开销大的问题,提出结合LightGBM与随机森林的轻量级模型,通过SMOTE和SOM-US平衡数据、遗传算法选择特征,在家族和个体分类上分别达到91.2%和78.7%的准确率,优于现有方法。
2026-09-24 cs.CR cs.LG
DenseNet for Breast Tumor Classification in Mammographic Images
Universidad Técnica Particular de Loja(洛哈技术大学);Universitat Politécnica de Valencia(瓦伦西亚理工大学);University of Waterloo(滑铁卢大学)
乳腺癌是女性最常见的侵袭性癌症,也是第二大死亡原因。乳腺癌筛查是早期发现不确定乳腺病变的有效方法。女性筛查的常见方法是断层合成和乳房X射线摄影图像。然而,传统的人工诊断需要病理学家进行大量的工作,他们容易出现诊断错误。因此,本研究的目的是建立一种深度卷积神经网络方法,用于乳腺X射线摄影图像中乳腺病变的自动检测、分割和分类。基于深度学习的Mask-CNN(RoIAlign)方法被开发用于特征选择和提取;并通过DenseNet架构进行分类。最后通过交叉验证矩阵和AUC曲线对模型的精密度和准确度进行了评价。综上所述,本研究的结果可能有助于通过医学图像分类来提高肿瘤自动定位的诊断和效率。
2021-01-24 cs.CV cs.LG eess.IV
Res-Dense Net for 3D Covid Chest CT-scan classification
Ho Chi Minh University of Science(胡志明市科学大学)
医学图像预处理中最有争议的研究领域之一是3D CT扫描。随着COVID-19的迅速传播,CT扫描在正确和快速诊断疾病方面的作用变得至关重要。它对预防感染有积极的影响。通过CT扫描图像诊断疾病有许多任务,包括COVID-19。在本文中,我们提出了一种使用堆叠深度神经网络通过一系列3D CT扫描图像检测Covid 19的方法。在我们的方法中,我们使用两个主干进行实验,分别是DenseNet 121和ResNet 101。该方法在某些评价指标上取得了较好的效果
2022-08-09 cs.CV cs.LG eess.IV
Emotion Classification in Low and Moderate Resource Languages
提出跨语言情感分类器,用英语训练并迁移到低/中资源语言,对比两种迁移方法,在6种语言上优于随机基线,直接迁移效果更好,并为4种语言创建了标注资源。
2024-11-07 cs.AI cs.CL cs.LG
MatchXML: An Efficient Text-label Matching Framework for Extreme Multi-label Text Classification
Georgia State University(佐治亚州立大学)
针对极端多标签文本分类中稀疏标签嵌入的局限,提出MatchXML框架,通过label2vec生成稠密标签嵌入、构建分层标签树,结合多类特征训练线性排序器,在准确率和速度上均优于现有方法。
2024-03-11 cs.CL cs.LG
Boosting Transformers for Job Expression Extraction and Classification in a Low-Resource Setting
Bosch Center for Artificial Intelligence(博世人工智能中心);Saarland University(萨尔兰大学)
在本文中,我们探讨了在低资源环境下Transformer模型的可能改进。特别是,我们提出了解决MEDDOPROF竞赛三个子任务中的前两个子任务的方法,即,西班牙语临床文本中工作表达的提取和分类。作为既不是语言专家也不是领域专家,我们尝试使用多语言XLM-R Transformer模型,并将这些低资源信息抽取任务作为序列标记问题来处理。我们探索了领域和语言自适应预训练、迁移学习和战略性分裂,以提升Transformer模型。我们的研究结果表明,使用这些方法的强大的改进高达5.3 F1点相比,微调XLM-R模型。我们最好的模型在前两个任务中分别达到83.2和79.3 F1。
2021-09-17 cs.CL cs.LG
Resource-efficient medical image classification for edge devices
ECE University of Tehran(电子工程系,伊朗德黑兰大学);ECE Tehran University(电子工程系,伊朗德黑兰大学);Engineering University of St. Thomas, Minnesota(工程系,圣托马斯大学(明尼苏达));Technology Management University of Tehran(技术管理,伊朗德黑兰大学)
本研究提出了一种通过模型量化技术实现边缘设备上高效医疗图像分类的方法,有效降低计算和内存需求,同时保持诊断精度。
2025-12-29 cs.LG eess.IV
Evaluating the Effectiveness of Data Augmentation for Emotion Classification in Low-Resource Settings
Columbia University(哥伦比亚大学)
本研究在低资源多标签情感分类任务中评估数据增强技术,发现 Back Translation 优于自编码器方法,且生成多个样本能进一步提升性能,验证了其在资源受限场景中的有效性。
2024-06-07 cs.AI cs.CL cs.LG
Investigating an approach for low resource language dataset creation, curation and classification: Setswana and Sepedi
University of Pretoria(比勒陀利亚大学);CSIR(科学与工业研究理事会);University of Zululand(祖鲁兰大学);University of Cape Town(开普敦大学);University of Limpopo(林波波大学);North-West University(西北大学);University of the Witwatersrand(威特沃特斯兰德大学)
自然语言处理的最新进展在可用的策展数据和研究资源方面为代表性良好的语言带来了福音。低资源语言面临的挑战之一是为不同用例收集、管理和准备数据集的明确指导方针。在这项工作中,我们承担的任务是创建两个数据集,专注于新闻标题(即短文本)的Setupo和Sepedi和创建一个新闻主题分类任务。我们记录了我们的工作,并提出了分类基线。我们研究了一种更适合于低资源语言的数据增强方法,以提高分类器的性能
2020-02-18 cs.CL cs.LG stat.ML
A new perspective on classification: optimally allocating limited resources to uncertain tasks
KU Leuven(鲁汶大学);University of Antwerp(安特卫普大学);University of Southampton(南安普顿大学)
商业中的一个核心问题是如何将有限的资源最优地分配给一组可用的任务,而这些任务的回报本质上是不确定的。例如,在信用卡欺诈检测中,银行只能将一小部分交易分配给其欺诈调查团队。通常,这些问题是使用分类框架来解决的,其中重点是在给定一组特征的情况下预测任务结果。然后将资源分配给预测最有可能成功的任务。然而,我们认为,使用分类来解决任务的不确定性是固有的次优,因为它没有考虑到可用的容量。因此,我们首先将该问题框定为一类指派问题。然后,我们提出了一种新的解决方案,使用学习排序直接优化分配的预期利润有限,随机容量。这是通过优化净折扣累积增益的特定实例来实现的,净折扣累积增益是学习排序中常用的一类度量。经验上,我们证明,我们的新方法实现了更高的预期利润和预期精度相比,分类方法的各种应用领域和数据集。这说明了集成方法和在学习预测模型时明确考虑可用资源的好处。
2022-02-09 cs.LG stat.ML
Knowledge-Aware Meta-learning for Low-Resource Text Classification
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Stanford University(斯坦福大学);University of Science and Technology of China(中国科学技术大学);Carnegie Mellon University(卡内基梅隆大学)
元学习在利用历史学习知识促进新任务的学习过程方面取得了巨大的成功。然而,当前的Meta学习算法所采用的仅仅从历史任务中学习知识的方法,在没有得到训练任务很好支持的情况下,可能不能很好地推广到测试任务。本文研究了一个低资源的文本分类问题,并利用外部知识库来弥合元训练和元测试任务之间的差距。具体来说,我们建议KGML引入额外的表示从提取的特定于句子的知识图谱学习的每个句子。在三个数据集上的大量实验证明了KGML在监督自适应和无监督自适应环境下的有效性。
2021-09-10 cs.CL cs.LG
MAGE: Multi-Head Attention Guided Embeddings for Low Resource Sentiment Classification
School of Computer Science and Engineering, Vellore Institute of Technology(韦洛尔理工学院计算机科学与工程学院);University of Pretoria(比勒陀利亚大学)
针对低资源班图语言数据稀缺问题,提出结合语言无关数据增强与多头注意力加权嵌入的模型,以增强关键数据点,提升文本分类性能,为低资源语言处理奠定基础。
2025-02-25 cs.AI cs.CL cs.IR
Embedding Earth: Self-supervised contrastive pre-training for dense land cover classification
在训练用于土地覆盖语义分割的机器学习模型时,用作输入的卫星图像的可用性与支持监督学习的地面实况数据之间存在鲜明的对比。虽然每天都有数千张新的卫星图像免费提供,但获取地面实况数据仍然非常具有挑战性,耗时且成本高昂。在本文中,我们提出了嵌入地球的自我监督对比预训练方法,利用卫星图像的大量可用性,以提高下游密集土地覆盖分类任务的性能。在四个国家和两大洲进行了广泛的实验评估,我们使用我们提出的方法预训练的模型作为监督土地覆盖语义分割的初始化点,并观察到高达25%的绝对mIoU的显着改善。在测试的每一种情况下,我们都优于随机初始化,特别是当地面真实数据稀缺时。通过一系列的消融研究,我们探索了所提出的方法的质量,并发现学习功能可以在不同的区域之间推广,从而有可能使用所提出的预训练方案作为对地观测任务随机初始化的替代方案。代码将很快上传到https://github.com/michaeltrs/DeepSatModels。
2022-03-11 cs.CV cs.LG
Adaptive Discovery of Interpretable Audio Attributes with Multimodal LLMs for Low-Resource Classification
Kyoto University(京都大学)
本文提出利用多模态大语言模型自适应发现可解释音频属性,提升低资源音频分类的效率和准确性。
2026-03-07 cs.LG cs.SD
Enhancing Low-Resource LLMs Classification with PEFT and Synthetic Data
Amazon(亚马逊)
针对每类仅4个示例的低资源文本分类,提出结合合成数据生成、过滤与PEFT的单LLM流程,在保持零样本效率的同时达到媲美ICL的准确率。
2024-04-03 cs.CL cs.LG
Classification of Diabetic Retinopathy Severity in Fundus Images with DenseNet121 and ResNet50
Commack High School(康马克高中);Camp Illumina(Illumina 训练营);Glenda Dawson High School(格伦达·道森高中);Mira Loma High School(米拉洛马高中);Ward Melville High School(沃德·梅尔维尔高中)
在这项工作中,深度学习算法用于根据糖尿病视网膜病变的严重程度对眼底图像进行分类。测试了两种模型架构(密集卷积网络-121和残差神经网络-50)和三种图像类型(RGB、绿色和高对比度)的六种不同组合,以找到性能最高的组合。我们实现了0.17的平均验证损失和85%的最大验证准确率。通过测试多种组合,某些参数组合的表现优于其他组合,但总体上发现方差最小。绿色过滤被证明是执行最差的,而放大的对比度相比,RGB分析似乎有一个可以忽略不计的影响。ResNet 50被证明是一个不太强大的模型,而不是DenseNet 121。
2021-08-19 cs.CV cs.LG eess.IV
Lift Up and Act! Classifier Performance in Resource-Constrained Applications
Institute of Service Science(服务科学研究所);National Tsing Hua University(国立清华大学)
分类任务在许多领域和应用中是常见的,其中决策者的行动受到资源约束的限制。在直接营销中,只接触一小部分客户;稀缺的人力资源限制了最有前途的求职者的面试次数;有限的捐赠器官优先考虑那些最合适的人。在这种情况下,性能度量(如分类矩阵、ROC分析)甚至排名度量(如AUC)都会度量与感兴趣的操作不同的结果。与此同时,机器学习者很少使用增益和提升来衡量相关结果。在本文中,我们定义资源受限的分类器性能作为一个任务,区别于分类和排名。我们解释了增益和升降机如何导致不同的算法选择,并讨论了类分布的影响。
2019-06-20 cs.LG stat.ML
Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation
The Hong Kong University of Science and Technology(香港科技大学);Stanford University(斯坦福大学);Alibaba Group(阿里巴巴集团);Peking University(北京大学)
构建自然语言处理(NLP)模型在资源匮乏的情况下是一项挑战,因为只有有限的数据可用。基于优化的Meta学习算法通过适应良好的广义模型初始化来处理新任务,在低资源场景中取得了令人满意的结果。尽管如此,这些方法存在记忆过拟合问题,其中模型倾向于记住元训练任务,而在适应新任务时忽略支持集。为了解决这个问题,我们提出了一种记忆模仿元学习(MemIML)方法,增强了模型对任务适应支持集的依赖。具体来说,我们引入了一个特定于任务的记忆模块来存储支持集信息,并构造了一个模仿模块来迫使查询集模仿存储在记忆中的一些代表性的支持集样本的行为。理论分析证明了该方法的有效性,实验结果也表明,该方法在文本分类和生成任务上都优于竞争基线。
2022-07-14 cs.CL cs.LG
Evaluating the Utility of GAN Generated Synthetic Tabular Data for Class Balancing and Low Resource Settings
Liverpool John Moores University(利物浦约翰摩尔大学);UpGrad Education Private Limited(UpGrad教育私人有限公司);University of Arizona(亚利桑那大学)
本研究评估了SMOTE、ADASYN和GAN生成合成数据以解决分类任务中类别不平衡和低资源问题的效果,实验表明GAN生成的数据能显著提升GLM和RF模型的召回率。
2023-06-24 cs.AI cs.LG
Classification Benchmarks for Under-resourced Bengali Language based on Multichannel Convolutional-LSTM Network
Fraunhofer FIT(弗劳恩霍夫应用信息技术研究所);RWTH Aachen University(亚琛工业大学);Insight SFI Research Centre for Data Analytics(Insight SFI数据分析研究中心);Data Science Institute(数据科学研究所);National University of Ireland Galway(爱尔兰国立大学戈尔韦分校);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
社交媒体和微博网站的指数级增长不仅为增强表达自由和个人声音提供了平台,而且使人们能够表达反社会行为,如在线骚扰、网络欺凌和仇恨言论。已经提出了许多工作来利用这些数据进行社会和反社会行为分析,文档表征,和情感分析,主要是为高度资源丰富的语言,如英语预测的上下文。然而,有些语言资源不足,例如,南亚语言,如孟加拉语,泰米尔语,阿萨姆语,泰卢固语,缺乏NLP任务的计算资源。在本文中,我们提供了几个分类基准孟加拉语,资源不足的语言。我们准备了三个表达仇恨的数据集,常用的主题,和意见仇恨言论检测,文档分类,和情感分析,分别。我们基于2.5亿篇文章构建了迄今为止最大的孟加拉语词嵌入模型,我们称之为BengFastText。我们进行了三个不同的实验,包括文档分类,情感分析,仇恨言论检测。我们将词嵌入到多通道卷积LSTM(MCv-LSTM)网络中,用于预测不同类型的仇恨言论,文档分类和情感分析。实验结果表明,BengFastText能够准确地从上下文中提取出词语的语义。根据几个基线嵌入模型进行评估,例如,Word 2 Vec和GloVe在文档分类、情感分析和仇恨语音检测的情况下,在5倍交叉验证测试期间分别产生高达92.30%、82.25%和90.45%的F1分数。
2020-04-19 cs.CL cs.LG stat.ML
Decentralized Task Offloading and Load-Balancing for Mobile Edge Computing in Dense Networks
University of Tübingen(蒂宾根大学);Ruhr-University Bochum(鲁尔大学波鸿分校)
本文针对密集网络中信息未知、任务随机的去中心化卸载与负载均衡问题,提出结合平均场多智能体多臂老虎机博弈和奖励调整负载均衡技术的方法,实现目标负载分布收敛。
2024-06-24 cs.DC cs.LG cs.MA
ResOT: Resource-Efficient Oblique Trees for Neural Signal Classification
Cornell University(康奈尔大学);Google(谷歌);EPFL(洛桑联邦理工学院)
可以在芯片上以最少的计算和内存资源实现的分类器对于医疗和物联网设备等新兴应用中的边缘计算至关重要。本文介绍了一种基于斜决策树的机器学习模型,以实现神经植入物上的资源有效分类。通过将模型压缩与概率路由相结合并实现成本感知学习,与最先进的模型相比,我们提出的模型可以显着降低内存和硬件成本,同时保持分类精度。我们在三个神经分类任务上训练了具有功率高效正则化的资源高效斜树(ResOT-PE),以评估性能,内存和硬件要求。在癫痫发作检测任务中,我们能够使用来自10名癫痫患者的颅内EEG,与提升树的集合相比,将模型大小减少3.4倍,特征提取成本减少14.6倍。在第二个实验中,我们使用来自12名植入脑深部电刺激(DBS)设备的患者的局部场电位,测试了用于帕金森病震颤检测的ResOT-PE模型。我们实现了与最先进的提升树集成相当的分类性能,同时将模型大小和特征提取成本分别降低了10.6倍和6.8倍。我们还使用9名受试者的ECoG记录对6类手指运动检测任务进行了测试,将模型大小减少了17.6倍,特征计算成本减少了5.1倍。所提出的模型可以实现低功耗和内存效率的分类器的实时神经系统疾病检测和运动解码的实施。
2020-06-14 cs.LG eess.SP stat.ML
On evaluating CNN representations for low resource medical image classification
University of Southern California(南加州大学)
卷积神经网络(CNN)在图像分类、对象跟踪和关键字定位等几个机器学习任务中的性能发生了革命性的变化。然而,考虑到它们包含大量参数,它们对低资源任务的直接适用性并不简单。在这项工作中,我们实验了CNN模型的应用,只有几千个训练样本,通过迁移学习胃肠道标志分类。与标准的迁移学习方法一样,我们在大型外部语料库上训练CNN,然后对医学图像进行表示提取。最后,在这些CNN表示上训练分类器。然而,考虑到CNN的几个变体存在,选择CNN并不明显。为了解决这个问题,我们开发了一种新的度量,可以用来预测测试性能,给定训练集上的CNN表示。我们不仅证明了基于CNN的迁移学习方法对知识驱动特征集合的优越性,而且所提出的度量还与使用各种CNN表示获得的测试集性能具有87%的相关性。
2019-03-26 cs.LG eess.IV stat.ML
Concept Matching for Low-Resource Classification
University of Pisa(比萨大学);Facebook AI(Facebook人工智能研究院);University College London(伦敦大学学院)
我们提出了一个模型来处理分类任务的存在非常少的训练数据。为了这个目的,我们近似的概念,精确匹配的理论上健全的机制,计算在输入空间中的匹配的概率。重要的是,该模型学习关注与手头任务相关的输入元素;通过利用训练数据的突出显示部分,错误提升技术指导学习过程。在实践中,它增加了与输入的相关部分相关联的误差给定的因子。文本分类任务的显着结果证实了所提出的方法在平衡和不平衡的情况下的好处,从而在标记新的例子是昂贵的实际用途。此外,通过检查其权重,通常可以收集关于模型学习的见解。
2020-06-01 cs.IR cs.LG stat.ML
Environmental Sound Classification on the Edge: A Pipeline for Deep Acoustic Networks on Extremely Resource-Constrained Devices
Monash University(莫纳什大学)
我们正在投入大量精力,为具有极端资源限制(内存、速度和缺乏GPU支持)的边缘设备提供最先进的分类和识别。在这里,我们展示了第一个用于声学识别的深度网络,它体积小,灵活且压缩友好,但在原始音频分类方面达到了最先进的性能。我们不是手工制作一次性解决方案,而是提出一个通用管道,通过压缩和量化将大型深度卷积网络自动转换为资源贫乏的边缘设备网络。在引入ACDNet后,它在ESC-10上产生了高于最先进的精度(96.65%),ESC-50(87.10%),UrbanSound8K(84.45%)和AudioEvent(92.57%),我们描述了压缩管道,并表明它使我们能够实现97.22%的大小减少和97.28%的FLOP减少,同时保持接近的状态,ART准确率分别为96.25%、83.65%、78.27%和89.69%。我们描述了一个成功的实现标准的现成的微控制器,并超越实验室基准,报告成功的测试在现实世界的数据集。
2022-09-20 cs.CV cs.LG cs.SD
Multi-Label Classification of Thoracic Diseases using Dense Convolutional Network on Chest Radiographs
Institute of Engineering, Pulchowk Campus(工程学院,普尔乔克校区)
本文提出基于DenseNet的多标签胸部疾病预测模型,可同时检测多种病理,并通过热力图可视化决策依据,在心脏肥大等疾病上取得较高AUC和准确率。
2024-03-29 cs.AI cs.CV cs.LG
Low-Resource Music Genre Classification with Cross-Modal Neural Model Reprogramming
Georgia Institute of Technology(佐治亚理工学院);IBM Research(IBM研究院)
针对低资源音乐分类任务微调预训练模型资源消耗大的问题,提出依赖输入的神经模型重编程方法,可将大规模预训练模型适配至音乐流派分类,在小型数据集上性能优于基于微调的迁移学习方法。
2023-05-03 cs.AI cs.LG cs.NE
Semi-supervised and Transfer learning approaches for low resource sentiment classification
University of Maryland, College Park(马里兰大学帕克分校);University of Southern California(南加州大学)
情感分类涉及量化人类对文档、媒体项或事件的情感反应。尽管研究人员已经研究了几种方法来可靠地从词汇,语音和肢体语言线索中推断情感,但使用一小部分标记数据集训练模型仍然是一个挑战。例如,在将情感分析扩展到新的语言和文化时,可能并不总是能够获得全面的标记数据集。在本文中,我们研究了应用半监督和迁移学习方法来提高低资源情感分类任务的性能。我们尝试提取密集的特征表示,预训练和流形正则化,以提高情感分类系统的性能。我们的目标是一个连贯的实现这些方法,我们评估这些方法在匹配设置,包括训练和测试一个单一的语料库设置以及两个跨语料库设置所取得的收益。在这两种情况下,我们的实验表明,所提出的方法可以显着提高模型的性能对一个纯粹的监督方法,特别是在涉及少数训练数据的情况下。
2018-06-07 cs.CL cs.IR cs.LG
Multitask Learning for Low Resource Spoken Language Understanding
KU Leuven(鲁汶大学)
我们探讨了多任务学习提供语音处理的好处,因为我们训练模型的双目标自动语音识别和意图分类或情感分类。我们的模型虽然规模不大,但在意图分类方面比端到端训练的模型有所改进。我们比较不同的设置,以找到每个任务模块的最佳配置。最后,我们研究了模型在低资源情况下的性能,通过训练模型,每个类只有一个例子。我们表明,在这些场景中的多任务学习与在文本特征上训练的基线模型竞争,并且比管道模型表现得更好。在情感分类方面,我们将端到端模型的性能与十倍的参数相匹配。我们考虑4个任务和4个数据集在荷兰语和英语。
2022-11-24 cs.CL cs.LG cs.SD