Multitask Learning for Fine-Grained Twitter Sentiment Analysis
Univ. Grenoble Alps(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院)
传统的情感分析方法通过分别学习任务来解决三元(3类)和细粒度(5类)分类等问题。我们认为,这样的分类任务是相关的,我们提出了一个多任务的方法,基于一个循环神经网络,共同学习它们的好处。我们的研究展示了多任务模型在这类问题上的潜力,并改进了细粒度情感分类问题的最新结果。
2017-07-12 cs.CL cs.IR cs.LG
Internet of Things Fault Detection and Classification via Multitask Learning
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);University of Massachusetts Chan Medical School(马萨诸塞大学陈医学院)
本文针对真实工业物联网场景,提出SMTCNN多任务学习方法,通过三阶段数据收集模拟11类故障,在特异性、精确率、召回率和F1指标上优于现有技术。
2023-07-03 cs.AI cs.LG
Multitask Learning for Low Resource Spoken Language Understanding
KU Leuven(鲁汶大学)
我们探讨了多任务学习提供语音处理的好处,因为我们训练模型的双目标自动语音识别和意图分类或情感分类。我们的模型虽然规模不大,但在意图分类方面比端到端训练的模型有所改进。我们比较不同的设置,以找到每个任务模块的最佳配置。最后,我们研究了模型在低资源情况下的性能,通过训练模型,每个类只有一个例子。我们表明,在这些场景中的多任务学习与在文本特征上训练的基线模型竞争,并且比管道模型表现得更好。在情感分类方面,我们将端到端模型的性能与十倍的参数相匹配。我们考虑4个任务和4个数据集在荷兰语和英语。
2022-11-24 cs.CL cs.LG cs.SD
Multitask Hopfield Networks
Università degli Studi di Milano(米兰大学)
多任务算法通常使用任务相似性信息作为偏差来加速和提高学习过程的性能。任务是联合学习的,在它们之间共享信息,以便构建比单独学习单个任务更准确的模型。在这篇文章中,我们提出了第一个多任务模型,据我们所知,基于Hopfield网络(HN),命名为HoMTask。我们表明,通过适当地构建一个嵌入所有任务的唯一HN,可以学习到一个更强大和有效的分类模型。HoMTask是一个转换的半监督参数HN,它最小化扩展到所有节点和所有任务的能量函数。我们提供的理论证据表明,HoMTask自动估计的最佳参数使模型本身与先验知识(连接权重和节点标签)保持一致。保持了HN的收敛特性,并且网络动态达到的不动点引起了对未标记节点的预测。该模型提高了单任务HN的初步基准比较的分类能力,并实现了最先进的半监督基于图的算法的竞争力的性能。
2019-04-10 cs.LG cs.NE stat.ML
Generalization in multitask deep neural classifiers: a statistical physics approach
Intel AI Lab(英特尔人工智能实验室)
正确理解深度神经网络惊人的泛化能力是一个持久的难题。最近,越来越多的基于数值的理论工作为深度神经网络的学习理论提供了重要的见解。最近也有兴趣将这些分析扩展到理解多任务学习如何进一步提高深度神经网络的泛化能力。这些研究几乎只涉及回归任务,这些任务适用于现有的分析技术。我们开发了深度神经网络泛化的非线性动力学分析理论,该神经网络经过训练,使用softmax输出和交叉熵损失解决分类任务,解决单任务和多任务设置。我们通过调整无序系统的统计物理学技术来做到这一点,同时考虑到有限大小的数据集和由训练动态引起的相关输出。我们讨论了我们的理论结果相比,一套全面的数值实验的有效性。我们的分析提供了理论支持的直觉,多任务学习的性能是由任务的噪声和如何以及他们的输入功能相互对齐。高度相关的干净任务彼此受益,而不相关的干净任务可能对个人任务绩效有害。
2019-10-30 cs.LG stat.ML
Multitask learning and benchmarking with clinical time series data
USC Information Sciences Institute(南加州大学信息科学研究所);YerevaNN(耶烈万神经网络实验室);Yerevan State University(埃里温国立大学)
医疗保健是数据挖掘和机器学习中最令人兴奋的前沿领域之一。电子健康记录(EHR)的成功采用创造了可用于分析的数字临床数据的爆炸式增长,但由于缺乏公开的基准数据集,医疗保健研究的机器学习进展一直难以衡量。为了解决这个问题,我们提出了四个临床预测基准,使用来自公开的重症监护医学信息市场(MIMIC-III)数据库的数据。这些任务涵盖了一系列临床问题,包括建模死亡风险,预测住院时间,检测生理衰退和表型分类。我们为所有四个任务提出了强大的线性和神经基线,并评估了深度监督,多任务训练和数据特定架构修改对神经模型性能的影响。
2019-08-09 cs.LG stat.ML
Multitask Learning for Earth Observation Data Classification with Hybrid Quantum Network
Chair of Data Science in Earth Observation (SiPEO), Technical University of Munich (TUM)(地球观测数据科学教授职位(SiPEO),慕尼黑技术大学);School of Engineering and Design, TUM(工程与设计学院,慕尼黑技术大学);University of Vienna, Faculty of Physics, Vienna Center for Quantum Science and Technology (VCQ)(维也纳大学,物理系,维也纳量子科学与技术中心(VCQ));Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出一种结合多任务学习和量子卷积的混合模型,用于提升地球观测数据分类的效率与准确性。
2026-01-29 cs.AI cs.LG
Breast Ultrasound Tumor Classification Using a Hybrid Multitask CNN-Transformer Network
University of Idaho(爱达荷大学)
提出混合多任务网络Hybrid-MT-ESTAN,结合CNN与Swin Transformer进行乳腺超声肿瘤分类与分割,在3320张图像数据集上取得82.7%准确率等最优结果。
2023-08-04 cs.CV cs.LG eess.IV
Team Neuro at SemEval-2020 Task 8: Multi-Modal Fine Grain Emotion Classification of Memes using Multitask Learning
Jadavpur University(贾达普大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
在本文中,我们描述了我们用于记忆分析挑战的系统,即SemEval-2020的任务8。这个挑战有三个子任务,其中需要基于情感的情感分类以及强度。我们提出的系统通过将其表示为多标签分层分类问题将这三个任务合并为一个任务。在这里,多任务学习或联合学习过程用于训练我们的模型。我们使用双通道从单独的深度神经网络骨干中提取基于文本和图像的特征,并将它们聚合以创建任务特定的特征。然后,这些特定于任务的聚合特征向量被传递到具有密集层的较小网络,每个网络被分配用于预测一种类型的细粒度情感标签。我们提出的方法显示了该系统的优势,在一些任务,其他最好的模型从挑战。
2020-05-21 cs.CL cs.CV cs.LG
MultiMix: Sparingly Supervised, Extreme Multitask Learning From Medical Images
Saratoga High School(萨拉托加高中);Stanford University(斯坦福大学);University of California, Los Angeles(加州大学洛杉矶分校);VoxelCloud, Inc.(体云公司)
通过从有限数量的标记数据中学习的半监督学习已经被研究作为监督对应物的替代方案。从大量未标记数据中最大化知识收益有利于半监督学习设置。此外,在同一模型中学习多个任务进一步提高了模型的泛化能力。我们提出了一种新的多任务学习模型,即MultiMix,它以一种稀疏监督的方式联合学习疾病分类和解剖分割,同时通过两个任务之间的桥梁显着性来保持可解释性。我们对训练集中不同数量的标记数据进行了广泛的实验,证明了我们的多任务模型在肺炎分类和胸部X射线图像肺部分割方面的有效性。此外,跨任务的域内和跨域评估进一步展示了我们的模型适应具有挑战性的泛化场景的潜力。
2021-04-01 cs.CV cs.LG
Multitask GLocal OBIA-Mamba for Sentinel-2 Landcover Mapping
Department of Geomatics Engineering, University of Calgary(测绘工程系,卡尔加里大学);Department of Geography, Faculty of Arts, The University of Jordan(地理系,艺术学院,约旦大学)
针对Sentinel-2土地覆盖分类的数据挑战,提出多任务GLocal OBIA-Mamba模型,以超像素为标记设计OBIA-Mamba、构建全局-局部双分支架构并采用双损失函数,在加拿大阿尔伯塔省影像上实现更高分类精度与更细细节。
2025-11-13 cs.CV cs.LG
Exact and general decoupled solutions of the LMC Multitask Gaussian Process model
EDF(法国电力公司)
本文提出了一种基于噪声模型假设的LMC多任务高斯过程模型的高效精确解法,通过解耦潜在过程,提高了计算效率,并通过实验验证了其在多任务贝叶斯优化中的应用价值。
2026-08-24 cs.LG stat.ML
Multitask LSTM for Arboviral Outbreak Prediction Using Public Health Data
Universidade Católica de Pernambuco(帕尔默恩 Gabon 大学);Universidade Federal de Pernambuco(佩纳布科联邦大学);CESAR School(CESAR 学校);Universidade de Pernambuco(佩纳布科大学)
本文提出基于LSTM的多任务学习方法,利用DataSUS数据联合预测累西腓登革热、基孔肯雅热和寨卡病毒的暴发与病例数,验证了统一建模在数据有限场景下进行可扩展流行病预测的有效性。
2025-05-07 cs.LG
SoilNet: A Multimodal Multitask Model for Hierarchical Classification of Soil Horizons
Einstein Center Digital Future(数字未来爱因斯坦中心)
SoilNet通过多模态多任务模型解决土壤层次分类问题,结合图像数据和地理时间元数据,利用图结构表示实现复杂层次结构的准确分类。
2026-01-27 cs.AI cs.LG
Classification of Cognitive Load and Expertise for Adaptive Simulation using Deep Multitask Learning
Queen's University(女王大学)
模拟是一种教学手段,使医疗从业者能够以无风险的方式学习,保持或提高他们的知识和技能。这种模拟应该为学习者提供最佳的认知负荷,并根据他们的专业知识水平进行调整。然而,大多数当前的模拟是一种通用的工具,用于训练不同的学习者,而不管他们现有的技能,专业知识和处理认知负荷的能力。为了解决这个问题,我们提出了一个端到端的创伤模拟框架,积极分类参与者的认知负荷和专业知识的发展动态自适应模拟的水平。为了促进这一解决方案,创伤模拟被开发用于收集新手和专家从业者的心电图(ECG)信号。开发了一个多任务深度神经网络来利用这些数据,并对高认知负荷和低认知负荷以及专家和新手参与者进行分类。一个留一主题(LOSO)验证被用来评估我们的模型的有效性,实现了89.4%和96.6%的认知负荷和专业知识的分类,分别为。
2019-07-31 cs.HC cs.LG
Multimodal Sleep Stage and Sleep Apnea Classification Using Vision Transformer: A Multitask Explainable Learning Approach
University of Turku(图尔库大学);University of California, Irvine(加利福尼亚大学欧文分校);The UCI Comprehensive Sleep Center(加州大学欧文分校综合睡眠中心)
本文提出一种1D-Vision Transformer多任务学习方法,利用多模态传感数据同时进行睡眠分期和睡眠呼吸暂停分类,分别达到78%和74%的准确率,并通过注意力权重分析揭示呼吸波谷和波峰对分类的关键作用。
2025-02-18 cs.LG eess.SP
Classification of Keratitis from Eye Corneal Photographs using Deep Learning
University of Porto(波尔图大学);INESC TEC;MIT(麻省理工学院);Universidade Federal de São Paulo(圣保罗联邦大学)
本研究比较了三种深度学习方法诊断角膜炎感染源,发现带多头分类层的多任务模型(Multitask V2)效果最佳,并分析了患者年龄和性别对预测性能的影响。
2024-11-13 cs.CV cs.LG
Learning with Preserving for Continual Multitask Learning
Vanderbilt University(范德比大学)
针对持续多任务学习中现有方法易出现特征干扰、灾难性遗忘的问题,提出LwP框架通过DWDP损失维持共享表征空间几何结构,无需回放缓冲区即可实现更优性能与鲁棒性。
2025-11-11 cs.AI cs.CV cs.LG
HUMAID-NER: A Disaster Tweet Dataset for Joint Named Entity Recognition and Event Classification via Uncertainty-Weighted Multitask Learning
University of Sindh(信德大学);Mehran University of Engineering & Technology(迈赫兰工程技术大学)
该研究提出HUMAID-NER数据集及不确定性加权多任务学习框架,联合进行灾难推文命名实体识别与事件分类,在验证集上分别达到0.841和0.761的F1分数。
2026-09-16 cs.CL cs.LG
Aspect-based Opinion Summarization with Convolutional Neural Networks
Fudan University(复旦大学)
本文考虑了基于AOS的特定产品评论的意见摘要。为了实现真正的应用程序,AOS系统需要解决两个核心子任务,方面提取和情感分类。现有的大多数方面提取方法,使用语言分析或主题建模,是通用的不同的产品,但不够精确或适合于特定的产品。相反,我们采用了一种不太一般但更精确的方案,直接将每个评论句子映射到预定义的方面。为了解决方面映射和情感分类,我们提出了两种基于卷积神经网络(CNN)的方法,级联CNN和多任务CNN。级联CNN包含两级卷积网络。第1级的多个CNN处理方面映射任务,第2级的单个CNN处理情感分类。多任务CNN也包含多方面CNN和情感CNN,但不同的网络共享相同的词嵌入。实验结果表明,级联和多任务CNN都大大优于基于SVM的方法。多任务CNN通常比级联CNN性能更好。
2015-11-30 cs.CL cs.IR cs.LG
Sparse Multitask Learning for Efficient Neural Representation of Motor Imagery and Execution
Korea University(高丽大学)
本研究针对脑机接口中神经数据高效建模的需求,提出基于显著性剪枝的稀疏多任务学习框架用于运动想象与执行分类,可缓解过拟合并提升小数据下的性能,助力高效鲁棒BCI系统开发。
2023-12-10 cs.LG eess.SP
DPTM-DT: Dual-Pretrained Transformer Multitask Representation Learning for Drug-Target Prediction
Beihang University(北京航空航天大学)
提出DPTM-DT双预训练Transformer框架,融合分子图、蛋白质语言模型和理化特征,通过双向跨模态注意力实现多任务药物-靶点预测,在Davis和KIBA上取得最优性能。
2026-09-22 cs.AI cs.LG
Virtual Patients, Real Gains: Digital Twin-Based Simulated CT for Multitask Lung Nodule Analysis
Center for Virtual Imaging trials, Dept. of Radiology, Duke University Medical Center(虚拟成像中心,放射科,杜克大学医学中心);Dept. of Electrical and Computer Engineering, Pratt School of Engineering, Duke University(电气与计算机工程系,工程学院,杜克大学)
该研究基于Virtual Lung Screening Trial框架生成虚拟CT数据,训练相关模型提升肺结节检测、分割、分类性能,可解决医学AI的标注CT数据稀缺问题。
2026-08-05 cs.LG
Tri-MTL: A Triple Multitask Learning Approach for Respiratory Disease Diagnosis
Department of Psychiatry, Wonkwang University Hospital(精神医学科,Wonkwang大学医院);RSC LAB, MODULABS(RSC实验室,MODULABS);The State University of New York, Korea, Republic of Korea(纽约州立大学,韩国);Department of Pediatrics, Seoul National University Bundang Hospital(儿科,首尔国立大学医院 Bundang 分院);Department of Pediatrics, Seoul National University College of Medicine(儿科,首尔国立大学医学院)
本文提出 Tri-MTL 三重多任务学习框架,融合呼吸音、疾病表现与患者元数据,证明纳入听诊器信息可显著提升肺音分类和疾病诊断性能。
2025-05-06 cs.AI cs.LG cs.SD
Multitask-Informed Prior for In-Context Learning on Tabular Data: Application to Steel Property Prediction
Dep. of Electrical and Computer Engineering, McGill University(麦吉尔大学电气与计算机工程系);Mila – Québec AI Institute(魁北克AI研究所);Dep. of Mining and Materials Engineering, McGill University(麦吉尔大学采矿与材料工程系);Algoma Steel Inc.(阿尔戈马钢铁公司)
本文提出多任务学习框架,通过改进TabPFN模型的先验,提升钢材性能预测的准确性和效率。
2026-03-24 cs.LG
A Multitask Deep Learning Approach for User Depression Detection on Sina Weibo
College of Cybersecurity(网络空间安全学院);Sichuan University(四川大学)
近年来,由于抑郁症的精神负担,危及生命的人数正在迅速增加。在线社交网络(OSN)为研究人员提供了另一种检测抑郁症患者的视角。然而,基于机器学习的抑郁症检测的现有研究仍然留下相对较低的分类性能,这表明在其特征工程的改进方面存在显着的改进潜力。在本文中,我们在新浪微博(一个领先的OSN,在中国社区中拥有最多的活跃用户)上手动构建了一个大型数据集,即微博用户抑郁检测数据集(WU 3D)。其中包括2万多名正常用户和1万多名抑郁用户,这两种用户都是由专业人员手动标记并重新检查的。通过分析用户的文本、社交行为和发布的图片,总结并提出了十个统计特征。同时,使用流行的预训练模型XLNet提取基于文本的单词特征。此外,提出了一种新的深度神经网络分类模型,即FusionNet(FN),并同时使用上述提取的特征进行训练,这些特征被视为多个分类任务。实验结果表明,FusionNet在测试数据集上获得了最高的F1-Score,为0.9772。与现有的研究相比,我们提出的方法具有更好的分类性能和不平衡的训练样本的鲁棒性。我们的工作还提供了一种新的方法来检测其他OSN平台上的抑郁症。
2020-08-26 cs.CL cs.LG cs.SI
Decoding Insect Song: A Multitask Semisupervised Orthoptera Bioacoustic Classifier
University of Oxford(牛津大学)
提出PULSE半监督多任务框架,结合弱监督分类、自监督学习和知识蒸馏,在直翅目生物声学分类中优于通用模型,并通过主动学习进一步提升性能。
2026-06-12 cs.AI cs.LG cs.SD
A Natural Language-Inspired Multi-label Video Streaming Traffic Classification Method Based on Deep Neural Networks
Michigan State University(密歇根州立大学)
本文提出了一种基于深度学习的流量分类方法,用于在加密隧道内同时识别多个流式视频源。这项工作定义了一个受自然语言处理(NLP)启发的新功能,允许现有的NLP技术帮助流量分类。描述了特征提取方法,并创建了包含视频流和Web流量的大型数据集来验证其有效性。通过应用几种NLP方法获得的结果表明,所提出的方法在二进制和多标签流量分类问题上都表现良好。我们还展示了该方法实现zero-shot学习的能力。
2019-06-04 cs.CV cs.LG eess.SP
Short-term passenger flow prediction for multi-traffic modes: A Transformer and residual network based multi-task learning method
Beijing Jiaotong University(北京交通大学)
随着移动即服务(MaaS)的普及,多业务模式的协同管理变得越来越重要。多交通方式的短时客流预测作为城市交通服务的重要组成部分,也因此受到关注。由于多交通方式的时空特征非常复杂,因此这是一个具有挑战性的问题。此外,多种交通方式的客流分化和波动明显。为了解决这些问题,本文提出了一种基于多任务学习的模型,称为Res-Transformer,用于多交通方式(地铁,出租车和公共汽车)的短期流入预测。在模型中,每个交通模式被视为一个单一的任务。Res-Transformer由两部分组成:(1)多个改进的Transformer层,包括conv-Transformer层和多头注意力机制,有助于提取多业务模式的空间和时间特征;(2)利用剩余网络结构获得不同业务模式的相关性,防止梯度消失、梯度爆炸和过拟合。Res-Transformer模型在中国北京的两个大规模真实世界数据集上进行了评估。一个是交通枢纽区域,另一个是居住区区域。通过实验比较了该模型与几种基准模型的性能。实验结果证明了该方法的有效性和鲁棒性。本文可以提供关键的见解,短期流入预测的多交通方式。
2022-05-07 cs.LG
All Birds with One Stone: Multi-task Text Classification for Efficient Inference with One Forward Pass
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院)
多任务学习(MTL)模型已经显示出它们在跨任务传输学习知识方面的鲁棒性、有效性和效率。在实际的工业应用中,例如Web内容分类,多个分类任务是从相同的输入文本(例如Web文章)中预测的。然而,在服务时间,现有的多任务Transformer模型,如提示或适配器为基础的方法需要进行N个向前传递N个任务的O(N)的计算成本。为了解决这个问题,我们提出了一个可扩展的方法,可以通过一个向前传递,以接近O(1)的计算成本实现更强的性能。为了说明实际的应用程序使用情况,我们发布了一个关于新闻主题和风格分类的多任务数据集。我们的实验表明,我们提出的方法在GLUE基准和我们的新闻数据集上都优于强基线。我们的代码和数据集可在https://bit.ly/mtop-code上公开获取。
2022-05-22 cs.CL cs.LG
Multipath agents for modular multitask ML systems
Google Research(谷歌研究院)
一个标准的ML模型通常是由一个单一的方法,指定方面,如架构,初始化,训练数据和超参数配置生成。所提出的工作介绍了一种新的方法,允许定义多种方法作为不同的代理。代理可以协作和竞争,为给定的任务生成和改进ML模型。所提出的方法证明了一个动态模块化的多任务ML系统的生成和扩展,解决了一百多个图像分类任务。不同的代理可以通过重用由竞争代理引入系统的模块来竞争为任务产生最佳性能模型。所提出的工作集中在研究的代理能够:1)重用并发代理生成的模块,2)并行激活多个模块在冻结状态下通过连接它们与可训练的模块,3)条件的激活混合物的每个数据样本通过使用可训练的路由器模块。我们证明了这种简单的每样本并行路由方法可以通过训练一部分激活参数来提高组合解决方案的质量。
2023-02-06 cs.AI cs.LG
An Evolutionary Approach to Dynamic Introduction of Tasks in Large-scale Multitask Learning Systems
Google Research(谷歌研究院)
多任务学习假设能够从多个任务中学习的模型可以通过知识转移实现更好的质量和效率,这是人类学习的一个关键特征。然而,最先进的ML模型依赖于每个任务的高度定制,并利用大小和数据规模,而不是扩展任务的数量。此外,持续学习,增加了时间方面的多任务,往往集中在研究常见的陷阱,如灾难性遗忘,而不是在大规模的研究作为一个关键组成部分,以建立下一代人工智能。我们提出了一种进化的方法,能够生成大规模的多任务模型,支持动态添加新的任务。所产生的多任务模型是稀疏激活,并集成了基于任务的路由,保证有限的计算成本和更少的附加参数,每个任务的模型expands.The建议的方法依赖于知识划分技术,以实现免疫力对灾难性遗忘和其他常见的陷阱,如梯度干扰和负转移。我们的经验表明,所提出的方法可以共同解决69个公共图像分类任务,并取得有竞争力的结果,例如提高了竞争力的基准,如cifar10的最佳模型相比,实现了15%的相对误差减少最先进的公共数据训练。
2022-11-15 cs.AI cs.CV cs.LG
Coupling Deep Imputation with Multitask Learning for Downstream Tasks on Genomics Data
AstraZeneca(阿斯利康)
基因组学数据,如RNA基因表达、甲基化和微小RNA表达是各种临床预测任务的有价值的信息来源。例如,不仅可以使用临床数据,还可以使用分子数据来预测生存结果、癌症组织学类型和其他患者的相关信息。此外,一起使用这些数据源,例如在多任务学习中,可以提高性能。然而,在实践中,有许多缺失的数据点,这导致在分析完整病例时患者人数显着减少,在我们的设置中,这是指所有模式都存在。在本文中,我们研究了如何使用深度学习结合多任务学习来估算缺失值的数据,以帮助使用组合基因组学模式、RNA、microRNA和甲基化来达到最先进的性能结果。我们提出了一种广义的深度插补方法来插补值,其中一个病人有所有的方式,除了一个。有趣的是,对于大多数模态组合的分类和回归任务,单独的深度插补优于单独的多任务学习。相比之下,当使用所有模式进行生存预测时,我们观察到单独的多任务学习优于单独的深度插补,具有统计学显著性(调整后的p值0.03)。因此,在优化下游预测任务的性能时,这两种方法是互补的。
2022-05-25 cs.AI cs.CV cs.LG
Practical and Configurable Network Traffic Classification Using Probabilistic Machine Learning
本文提出一种基于似然估计的可配置机器学习流量分类方法,仅利用数据包序列统计信息区分已知与未知流量,并支持可调节的确定性水平和多种分类场景,在高性能计算网络真实流量上验证了有效性。
2021-07-10 cs.LG cs.NI
Classification of Traffic Using Neural Networks by Rejecting: a Novel Approach in Classifying VPN Traffic
School of ECE, College of Engineering, University of Tehran(德黑兰大学工程学院电气与计算机工程学院)
在本文中,我们介绍了一种新的端到端的流量分类方法来区分流量类,包括VPN流量在三层的开放系统互连(OSI)模型。由于其加密性质,使用传统分类方法对VPN流量进行分类并不简单。我们利用两个著名的神经网络,即多层感知器和递归神经网络创建我们的级联神经网络集中在两个指标:类分数和类的中心距离。这种方法将提取、选择和分类功能组合到单个端到端系统中,以系统地学习输入和预测性能之间的非线性关系。因此,我们可以通过拒绝VPN类的不相关特征来区分VPN流量和非VPN流量。此外,我们得到的应用类型的非VPN流量在同一时间。该方法是使用一般的流量数据集ISCX VPN-nonVPN,和所获得的数据集进行评估。结果表明,加密流量分类的框架方法的有效性,同时也实现了极高的准确性,$95$百分比,这是高于国家的最先进的模型的准确性,和强大的泛化能力。
2021-12-10 cs.LG cs.NI
A Deep Learning Model for Traffic Flow State Classification Based on Smart Phone Sensor Data
Southwest Jiaotong University(西南交通大学);University of Waterloo(滑铁卢大学);Southwestern University of Finance and Economics(西南财经大学)
提出了一种基于深度信度网络的交通流状态分类模型。该模型能够处理智能手机传感器生成的大量、高密度和噪声污染的数据集。分析了智能手机软件记录的车辆加速度、角加速度和GPS速度数据的统计特征,并将其作为交通流状态分类的输入。从五天的实验数据被用来训练和测试所提出的模型。共生成747,856组数据,用于交通流状态分类和输入变量的敏感性分析。实验结果表明,本文提出的深度信念网络模型在分类性能和计算效率上均优于传统的机器学习方法。
2017-09-26 cs.LG
Hephaestus: A large scale multitask dataset towards InSAR understanding
Harokopio University of Athens(雅典哈罗科皮奥大学)
合成孔径雷达(SAR)数据和干涉SAR(InSAR)产品是地球观测数据的最大来源之一。干涉合成孔径雷达提供了关于各种地球物理过程和地质以及人造结构的岩土特性的独特信息。然而,只有有限数量的应用程序,利用丰富的InSAR数据和深度学习方法来提取这些知识。主要的障碍是缺乏一个大型的有组织的和有注释的InSAR数据集,这将是昂贵的创建,并将需要一个跨学科的专家团队在InSAR数据解释方面的经验。在这项工作中,我们致力于创建并提供第一个手动注释的数据集,该数据集由全球44个不同火山采集的19,919个单独的Sentinel-1干涉图组成,这些干涉图分为216,106个InSAR补丁。注释数据集的目的是解决不同的计算机视觉问题,包括火山状态分类,地面变形的语义分割,检测和InSAR图像中的大气信号分类,干涉图字幕,文本到InSAR生成,和InSAR图像质量评估。
2022-04-20 astro-ph.IM cs.CV cs.LG
NetMamba+: A Framework of Pre-trained Models for Efficient and Accurate Network Traffic Classification
Institute for Network Sciences and Cyberspace, Tsinghua University(网络科学与网络空间研究院,清华大学);Department of Computer Science and Technology, Tsinghua University(计算机科学与技术系,清华大学);Zhongguancun Laboratory(中关村实验室);Central South University(中南大学)
NetMamba+通过高效架构、多模态表示和标签分布感知微调,实现高效准确的网络流量分类。
2026-01-29 cs.LG
Cellular Traffic Prediction and Classification: a comparative evaluation of LSTM and ARIMA
Stockholm University(斯德哥尔摩大学);Huawei(华为)
为了提高资源利用率,蜂窝网络中的用户流量预测引起了广泛的关注。在本文中,我们研究了网络流量的预测和分类问题,分别采用标准的机器学习和统计学习时间序列预测方法,包括长短期记忆(LSTM)和自回归积分移动平均(ARIMA)。我们提出了一个广泛的实验评估的设计工具在一个真正的网络流量数据集。在此分析中,我们探讨了不同参数对预测有效性的影响。我们进一步扩展我们的分析问题的网络流量分类和预测的流量突发。一方面,结果表明LSTM的性能一般优于ARIMA,特别是当训练时间序列的长度足够长时,并且通过明智选择的特征集进行增强。另一方面,结果揭示的情况下,ARIMA执行接近最优的复杂性较低。
2019-06-03 cs.LG cs.NI eess.SP
CGNN: Traffic Classification with Graph Neural Network
Harbin Institute of Technology(哈尔滨工业大学);National University of Defense Technology(国防科技大学)
流量分类将数据包流与已知的应用标签相关联,这对于网络安全和网络管理至关重要。随着NAT、端口动态和加密流量的兴起,获取统一的流量特征以进行准确分类越来越具有挑战性。许多最先进的流量分类器基于深度学习模型(例如卷积网络)自动从数据包流中提取特征。不幸的是,在这些深度学习模型中没有很好地提取数据包之间的组成和因果关系,这影响了不同流量类型的预测精度和泛化。在本文中,我们提出了一个链式图模型的数据包流,以保持链式组成序列。接下来,我们提出了CGNN,一个基于图神经网络的流量分类方法,它建立了一个图分类器自动提取的特征链图。对正常、加密和恶意流量数据集的广泛评估表明,CGNN对应用分类的预测准确率提高了23%~ 29%,对恶意流量分类的预测准确率提高了2%~ 37%,对加密流量分类的预测准确率达到了相同的水平。CGNN在查全率和查准率指标方面非常强大。我们已经广泛地评估了CGNN的参数敏感性,这产生了优化的参数,是非常有效的流量分类。
2021-10-19 cs.AI cs.LG
FlowletFormer: Network Behavioral Semantic Aware Pre-training Model for Traffic Classification
本文提出基于BERT的流量分类预训练模型FlowletFormer,通过行为感知流量表示、协议栈对齐嵌入及上下文感知预训练任务,显著提升流量表示、分类准确率与少样本学习能力。
2025-08-27 cs.LG
Multi-Modal Traffic Analysis: Integrating Time-Series Forecasting, Accident Prediction, and Image Classification
Department of Information Technology(信息科技系);Thiagarajar College of Engineering(提亚加拉尔工程学院)
提出集成机器学习框架,结合ARIMA、XGBoost和CNN实现交通预测、事故分类与图像识别,在多个数据集上优于基线模型,支持智慧城市部署。
2025-04-24 cs.LG
TDDM-Melatt: A Decoupled Memory and Diffusion Framework for Generalizable Encrypted Traffic Classification
National University of Defense Technology(国防科技大学)
针对加密流量分类的泛化性局限,研究提出TDDM-Melatt框架,结合解耦内存模型Melatt与流量去噪扩散模型TDDM,在4个公开数据集上的实验性能优于6种基础分类模型和6种SOTA表示学习模型。
2026-09-14 cs.LG
Automatic Incident Classification for Big Traffic Data by Adaptive Boosting SVM
Hong Kong Baptist University(香港浸会大学);The University of Hong Kong(香港大学)
现代城市经历了繁忙的交通流量和跨越空间和时间的定期碰撞。监控交通状况成为交通控制与监控系统(TCSS)的一个重要挑战。在先进的TCSS中,它有助于自动检测和分类不同的交通事件,如拥堵的严重程度,异常驾驶模式,突然或非法停车的道路等,虽然大多数TCSS配备了基本的事件检测算法,但他们是粗糙的,是真正有用的自动化工具,进一步分类。在文献中,缺乏对自动事件分类(AIC)的研究。因此,本文提出了一种新的AIC方法来应对这些挑战。在所提出的方法中,交通信号首先从捕获的视频中提取并转换为时空(ST)信号。根据ST信号的特点,生成一组真实的仿真数据,构建一个扩展的大交通数据库,以涵盖各种交通情况。接着,引入均值漂移滤波器来抑制噪声的影响,并从ST信号中提取重要特征。然后将提取的特征与各种类型的流量数据相关联:一种正常类型(内点)和多种异常类型(离群点)。对于分类,训练自适应boosting分类器以自动检测流量数据中的离群值。此外,支持向量机(SVM)为基础的方法采用训练模型识别类别的离群值。简而言之,这种混合方法被称为自适应提升支持向量机(AB-SVM)方法。实验结果表明,该方法取得了令人满意的结果,平均超过92%的分类准确率。
2015-12-28 cs.LG
Traffic Pattern Classification in Smart Cities Using Deep Recurrent Neural Network
Al-Kitab University(阿尔基塔布大学);Sahrdaya College of Engineering and Technology(Sahrdaya工程技术学院);Sri Shakthi Institute of Engineering and Technology(Sri Shakthi工程技术研究所);Northern Technical University(北方技术大学);University of Anbar(安巴尔大学)
本文提出结合卷积层、循环层与 SoftMax 层的深度循环神经网络,用于捕捉交通数据的动态序列特征并分类交通模式;在真实数据集上优于现有方法,精确率最高达95%。
2024-01-24 cs.LG
Hierarchical Sparse Bayesian Multitask Learning for Disease Prediction in Pooled Microbiome Studies
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);University of Michigan(密歇根大学)
本文提出一种分层贝叶斯多任务学习模型,通过共享稀疏结构和变分推断,在合并异质微生物组数据中实现稳健的疾病预测与不确定性量化。
2026-09-23 cs.LG q-bio.BM stat.AP
Flow-Packet Hybrid Traffic Classification for Class-Aware Network Routing
University of Toronto(多伦多大学);TELUS(泰勒斯公司)
使用机器学习技术的网络流量分类已经被广泛研究。大多数现有的计划分类整个交通流量,但有很大的局限性,其实用性。在网络路由器上,需要以最小的延迟处理数据包,因此分类器不能等到流结束才做出决定。此外,复杂的机器学习算法可能在计算上过于昂贵而无法在路由器内部实现。在本文中,我们引入流包混合流量分类(FPHTC),其中路由器作出决定,每个数据包的基础上的路由策略,设计通过转移学习的知识,从基于流的分类驻留在路由器之外。我们分析了FPHTC的推广界,并显示其优势,定期基于数据包的流量分类。我们目前的实验结果使用真实世界的流量数据集来说明FPHTC的分类性能。我们表明,它是强大的流量模式的变化,可以部署有限的计算资源。
2021-04-30 cs.LG cs.NI
CXR-Net: An Encoder-Decoder-Encoder Multitask Deep Neural Network for Explainable and Accurate Diagnosis of COVID-19 pneumonia with Chest X-ray Images
Manchester Metropolitan University(曼彻斯特城市大学);Brunel University(布鲁内尔大学);Whiston Hospital(惠斯顿医院);St Helens and Knowsley Teaching Hospitals NHS Trust(圣海伦斯和诺斯利教学医院国民保健服务信托);University of Sheffield(谢菲尔德大学)
准确和快速检测COVID-19肺炎对于患者的最佳治疗至关重要。胸部X光检查(CXR)是COVID-19肺炎诊断的一线成像测试,因为它快速,廉价且易于获得。受到深度学习(DL)在计算机视觉中的成功的启发,已经提出了许多DL模型来使用CXR图像检测COVID-19肺炎。不幸的是,这些深度分类器在解释发现时缺乏透明度,这可能会限制它们在临床实践中的应用。现有常用的视觉解释方法要么噪音太大,要么不精确,分辨率低,因此不适合诊断目的。在这项工作中,我们提出了一种新的可解释的深度学习框架(CXRNet),用于准确检测COVID-19肺炎,并从CXR图像中增强像素级视觉解释。建议的框架是基于一个新的编码器-解码器-编码器多任务架构,允许疾病分类和视觉解释。该方法已经在来自公共和私人数据源的真实世界CXR数据集上进行了评估,包括:健康,细菌性肺炎,病毒性肺炎和COVID-19肺炎病例。实验结果表明,所提出的方法可以达到令人满意的准确度,并提供精细分辨率的分类激活图,用于肺部疾病检测的视觉解释。COVID-19肺炎的平均准确率、精确率、召回率和F1得分分别达到0.879、0.985、0.992和0.989。我们还发现,使用肺部分割(CXR)图像可以帮助提高模型的性能。与目前最先进的视觉解释方法相比,所提出的方法可以为分类决策提供更详细的高分辨率视觉解释,并且具有很大的潜力可用于COVID-19肺炎诊…
2021-10-20 cs.CV cs.LG eess.IV
Building Transparency in Deep Learning-Powered Network Traffic Classification: A Traffic-Explainer Framework
University of Oregon(俄勒冈大学);University of Oregon, Link Oregon(俄勒冈大学,Link Oregon)
本文提出模型无关的流量解释框架Traffic-Explainer,通过最大化原始与掩码序列预测间的互信息揭示关键特征,在应用分类、流量定位和网络制图中提升深度学习流量分类的透明性,性能较现有方法提升约42%。
2025-09-22 cs.LG cs.NI
Federated Traffic Synthesizing and Classification Using Generative Adversarial Networks
Xidian University(西安电子科技大学);Pazhou Lab(琶洲实验室);University of South Florida(南佛罗里达大学)
随着对新业务和应用需求的快速增长以及人们对数据保护意识的提高,传统的集中式流量分类方法面临着前所未有的挑战。本文介绍了一种新的框架,联邦生成对抗网络和自动分类(FGAN-AC),它集成了分散的数据合成与流量分类。FGAN-AC能够从分散的本地数据集中合成和分类多种类型的服务数据流量,而不需要大量的手动标记数据集或导致任何数据泄漏。提出并比较了两种类型的数据合成方法:计算高效的FGAN(\uppercase \expandafter{\romannumeral1})和通信高效的FGAN(\uppercase \expandafter{\romannumeral2})。前者仅实现单个CNN模型来处理每个局部数据集,而后者仅需要协调中间模型训练参数。提出了一种自动数据分类和模型更新框架,用于从合成的数据样本中自动识别未知流量,并为模型训练创建新的伪标签。数值结果表明,我们提出的框架有能力合成高度混合的服务数据流量,可以显着提高流量分类性能相比,现有的解决方案。
2021-04-21 cs.AI cs.LG
M3H: Multimodal Multitask Machine Learning for Healthcare
本文提出M3H多模态多任务医疗机器学习框架,通过注意力机制平衡源任务学习与跨任务探索,并提出TIM分数提供可解释性,在40种疾病诊断等任务上平均比单任务模型提升11.6%。
2024-06-08 cs.AI cs.LG
TAO-Net: Two-stage Adaptive OOD Classification Network for Fine-grained Encrypted Traffic Classification
College of Artificial Intelligence and Automation, Hohai University, China(人工智能与自动化学院,河海大学,中国);Zhongguancun Laboratory, Beijing, China(中关村实验室,北京,中国);College of Information Science and Engineering, Hohai University, China(信息科学与工程学院,河海大学,中国)
TAO-Net通过两阶段自适应机制实现加密流量细粒度分类,有效识别新兴应用。
2025-12-11 cs.AI cs.LG
Deep Learning and Traffic Classification: Lessons learned from a commercial-grade dataset with hundreds of encrypted and zero-day applications
Huawei Technologies(华为技术有限公司)
机器学习(ML)和深度学习(DL)的日益成功最近重新引发了人们对流量分类的兴趣。虽然已知流量的分类是一个经过充分研究的主题,已知监督分类工具(如ML和DL模型)可以提供令人满意的性能,但未知(或零日)流量的检测更具挑战性,通常由无监督技术(如聚类算法)处理。在本文中,我们分享了我们在商业级DL流量分类引擎上的经验,该引擎能够(i)从加密流量中识别已知应用,以及(ii)处理未知的零日应用。特别是,我们对(i)的贡献是在商业级设置中对最先进的流量分类器进行全面评估,这些流量分类器包括数千个非常细粒度的应用程序标签,与学术评估中通常针对的几十个类别相反。此外,我们通过提出一种新的技术来解决(ii)零日应用程序的检测问题,该技术专为DL模型定制,比现有技术更准确,重量更轻。总结我们的主要发现,我们收集到(i)虽然ML和DL模型都同样能够为已知流量的分类提供令人满意的解决方案,然而(ii)DL主干的非线性特征提取过程为未知类别的检测提供了相当大的优势。
2021-09-27 cs.LG cs.NI
Multitask Learning for Time Series Data with 2D Convolution
Visa Research(Visa研究院);University of California, Riverside(加州大学河滨分校)
针对现有1D卷积时间序列分类模型结合多任务学习后性能下降的问题,提出基于2D卷积的多任务学习模型,提升表达能力,在UCR Archive和工业交易数据集上效果优于对比方法。
2023-10-10 cs.AI cs.LG