Mutual Information in Community Detection with Covariate Information and Correlated Networks
研究了当节点标签存在协变量信息且观测到多个相关网络时的社区发现问题。我们提供了一个渐近上界的每个节点的互信息,以及一个启发式分析的多元性能指标称为MMSE矩阵。这些结果表明,表面上非常不同类型的信息的组合效应可以明确地在公式中的特点,涉及低维估计问题的加性高斯噪声。我们的分析得到了数值模拟的支持。
2019-12-11 cs.IT cs.LG math.IT
Is Audio Spoof Detection Robust to Laundering Attacks?
University of Michigan-Dearborn(密歇根大学迪尔伯恩分校)
本文构建含1388.22小时音频的 ASVSpoof Laundering Database,评估七种 SOTA 方法,发现其在混响、加性噪声等洗白攻击下性能显著下降。
2024-08-27 cs.LG eess.AS eess.SP
Generalized Dilated CNN Models for Depression Detection Using Inverted Vocal Tract Variables
University of Maryland - College Park(马里兰大学帕克分校)
使用声音生物标志物检测抑郁症是一个高度研究的领域。发音协调功能(ACF)是基于神经运动协调的变化而发展起来的,神经运动协调是由于精神活动减慢,这是重度抑郁症的一个关键特征。然而,现有的研究结果大多是在一个单一的数据库,这限制了结果的普遍性。不同抑郁症数据库之间的变异性对跨语料库评估(CCE)的结果产生不利影响。我们建议开发一个通用的分类抑郁症检测使用扩张卷积神经网络,这是训练从两个抑郁症数据库中提取的ACF。我们表明,来自声道变量(电视)的ACF显示承诺作为一个强大的功能集抑郁症检测。与在单个数据库上训练的模型上执行的CCE相比,我们的模型实现了约10%的相对准确性提高。我们扩展的研究表明,融合电视和梅尔频率倒谱系数可以进一步提高这个分类器的性能。
2021-04-09 cs.LG eess.AS
PyODDS: An End-to-End Outlier Detection System
Texas A&M University(德州农工大学)
PyODDS是一个端到端的Python系统,用于数据库支持的离群值检测。PyODDS提供离群点检测算法,满足不同领域用户的需求,w/wo数据科学或机器学习背景。PyODDS提供了在数据库中执行机器学习算法的能力,而无需将数据移出数据库服务器或通过网络。它还提供了广泛的离群值检测算法,包括统计分析和最近的基于深度学习的方法。PyODDS是在MIT开源许可下发布的,目前可在(https://github.com/datamllab/pyodds)获得,官方文档在(https://pyodds.github.io/)。
2019-10-11 cs.DB cs.LG stat.ML
Leveraging large language models for SQL behavior-based database intrusion detection
Huawei Tel Aviv Research Center(华为特拉维夫研究中心);Huawei Technologies Co. LTD(华为技术有限公司);Tsinghua University(清华大学)
本文提出一种结合无监督和有监督机器学习的两层SQL异常检测方法,利用DistilBERT模型在最小化数据标注需求的同时,精准识别数据库异常操作和内部攻击,有效防范复杂威胁。
2025-08-14 cs.CR cs.DB cs.LG
The Fishnet Open Images Database: A Dataset for Fish Detection and Fine-Grained Categorization in Fisheries
The Nature Conservancy(大自然保护协会)
基于摄像机的电子监测(EM)系统越来越多地部署在商业渔船上,以收集渔业管理和监管的基本数据。这些系统产生大量的视频数据,这些数据必须在陆地上由人类专家进行审查。计算机视觉可以通过自动检测和分类鱼类来帮助这一过程,然而,该领域现有公共数据的缺乏阻碍了进展。为了解决这个问题,我们提出了渔网开放图像数据库,一个大型的EM图像数据集,用于商业渔船上的鱼类检测和细粒度分类。该数据集由86,029张图像组成,包含34个对象类别,使其成为迄今为止最大和最多样化的渔业EM图像公共数据集。它包括EM数据的许多特征挑战:物种之间的视觉相似性,倾斜的类分布,恶劣的天气条件和混乱的船员活动。我们评估现有的检测和分类算法的性能,并证明该数据集可以作为渔业计算机视觉算法的发展具有挑战性的基准。该数据集可在https://www.fishnet.ai/上获得。
2021-06-16 cs.CV cs.LG
Analyzing Fairness in Deepfake Detection With Massively Annotated Databases
NTNU(挪威科技大学)
本研究为5个主流Deepfake数据集添加47种属性的大规模标注,分析3种最优检测骨干模型的偏差成因,发现数据集多样性不足且模型受属性影响存在公平性问题,相关资源已公开以助力偏差缓解研究。
2024-03-11 cs.CV cs.CY cs.LG
Detection of Correlated Alarms Using Graph Embedding
Isfahan University of Technology(伊斯法罕理工大学)
工业报警系统最近在网络复杂性和报警数量方面取得了相当大的进展。报警的复杂性和数量的增加在这些系统中提出了挑战,这降低了系统效率并导致操作员的不信任,这可能导致广泛的损害。报警效率低下的一个影响因素是相关报警。这些警报不包含新信息,只会使操作员感到困惑。本文试图提出一种基于人工智能方法检测相关警报的新方法,以帮助操作员。该方法是基于图嵌入和报警聚类,从而检测相关的报警。为了评估所提出的方法,一个案例研究进行了著名的田纳西-伊士曼过程。
2022-01-17 cs.LG cs.SY eess.SY
On Improving Hotspot Detection Through Synthetic Pattern-Based Database Enhancement
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
集成电路(IC)制造中的持续技术缩放和先进技术节点的引入不断暴露新的可制造性问题。其中一个这样的问题,源于设计和过程之间的复杂的相互作用,是设计热点的问题。已知这些热点因设计而异,理想情况下,应在设计阶段本身早期预测并纠正,而不是依赖于铸造厂为每个热点开发工艺修复,这将是棘手的。过去,已经做出各种努力来通过使用已知的热点数据库作为信息源来解决这个问题。这些努力中的大多数使用机器学习(ML)或模式匹配(PM)技术来识别和预测新引入设计中的热点。然而,几乎所有这些都有很高的误报率,主要是因为它们没有注意到热点的根本原因。在这项工作中,我们试图通过使用一种新的数据库增强方法,通过精心制作的实验设计(DOE)的基础上合成模式生成来解决这一限制。所提出的方法对国家的最先进的有效性进行了评估的45纳米工艺使用行业标准的工具和设计。
2020-07-12 cs.LG stat.ML
Correlated Anomaly Detection from Large Streaming Data
Drexel University(德雷塞尔大学);Temple University(天普大学);Amazon Inc.(亚马逊公司)
流数据的相关异常检测(CAD)是一种群体异常检测,是僵尸网络检测、金融事件检测、工业过程监控等实时数据采掘应用中的一项重要任务。在以往的研究中,这类检测的主要方法是通过计算相关矩阵的顶部特征值,例如Lanczos算法。然而,本文提出了大数据集的主分数退化现象,然后从数学和实践上证明,即使相关异常的数量随着数据大小以合理的速度增长,当前基于PS的方法也可能在大规模流数据上失败;在现实中,异常往往是数据的少数,并且这个问题可能会更严重。我们提出了一个框架,两个新的随机算法rPS和gPS更好地检测相关的各种相关强度的大型流数据的异常。实验表明,高和平衡的召回率和估计的准确性,我们的框架异常检测从一个大型的服务器日志数据集和美国股票每日价格数据集相比,直接的主要得分评估和其他一些最近的群体异常检测算法。此外,我们的技术显着提高了计算效率和可扩展性的主要得分计算。
2019-01-14 cs.LG stat.ML
PyODDS: An End-to-end Outlier Detection System with Automated Machine Learning
Texas A&M University(得克萨斯农工大学)
离群点检测是各种数据采掘应用的重要任务。目前的异常值检测技术通常是针对特定领域手动设计的,需要大量的人工努力来设置数据库,选择算法和调整超参数。为了填补这一空白,我们提出了PyODDS,这是一个自动化的端到端Python系统,用于离群值检测和数据库支持,它可以自动优化手头新数据源的离群值检测管道。具体来说,我们在离群点检测流水线中定义搜索空间,并在给定的搜索空间内产生搜索策略。PyODDS支持基于Apache Spark后端服务器和轻量级数据库的端到端执行。它还为具有或不具有数据科学或机器学习背景的用户提供统一的界面和可视化。特别是,我们在几个真实世界的数据集上演示了PyODDS,并给出了量化分析和可视化结果。
2020-03-12 cs.AI cs.LG stat.ML
On the performance of sequential Bayesian update for database of diverse tsunami scenarios
International Research Insititute of Disaster Science, Tohoku University, 468-1, Aramaki Aza Aoba, Aoba-ku, Sendai, 980-8579 E-mail
本文利用包含1771个多样化海啸情景的数据库,评估序贯贝叶斯情景检测框架中情景叠加方法相对于最可能情景检测方法的性能,并引入DTW作为基准,分析不同观测时间窗口对精度的影响。
2024-07-04 cs.CE cs.LG physics.data-an
AI-MIA: COVID-19 Detection & Severity Analysis through Medical Imaging
Queen Mary University London(伦敦玛丽女王大学);National Technical University(国立技术大学)
本文介绍了在欧洲计算机视觉会议(ECCV 2022)AIMIA研讨会框架内举办的第二届Covid-19竞赛的基线方法。它介绍了COV 19-CT-DB数据库,该数据库为COVID-19 determination进行了注释,由约7,700个三维CT扫描组成。由Covid-19病例组成的部分数据库进一步注释了四种Covid-19严重程度。我们将数据库和数据库的后半部分划分为训练、验证和测试数据集。前两个数据集用于机器学习模型的训练和验证,而后者将用于评估开发的模型。基线方法包括基于CNN-RNN网络的深度学习方法,并报告其在COVID 19-CT-DB数据库上的性能。
2022-06-13 cs.CV cs.LG eess.IV
Outlying Property Detection with Numerical Attributes
University of Calabria(卡拉布里亚大学);ICAR-CNR(意大利国家研究委员会计算与高性能网络研究所)
离群属性检测问题是发现将数据库中预先已知为离群值的给定对象与其他数据库对象区分开的属性的问题。在本文中,我们分析的问题的上下文中,数值属性被考虑在内,这代表了一个相关的情况下,在文献中留下的开放。我们引入了一个措施来量化的程度离群的对象,这是与相对可能性的值,相比,在数据库中的其他对象的相对可能性。作为一个主要的贡献,我们提出了一个有效的算法来计算相对于数据的重要子集的离群值。后一个子集的特点是在一个“基于规则”的方式,因此,基础上的解释离群。
2013-06-15 cs.DB cs.LG stat.ML
Survey of Network Intrusion Detection Methods from the Perspective of the Knowledge Discovery in Databases Process
University of the Basque Country (UPV-EHU)(巴斯克大学(UPV-EHU))
多年来,识别针对信息和通信系统的网络攻击一直是研究界关注的焦点。网络入侵检测是一个复杂的问题,提出了各种各样的挑战。许多攻击目前仍未被发现,而由于连接设备的激增和通信技术的发展,新的攻击出现了。在这次调查中,我们审查的方法,已被应用到网络数据的目的是开发一个入侵检测器,但与以前的评论在该地区,我们分析他们的角度来看,知识发现数据库(KDD)的过程。因此,我们讨论了用于捕获,准备和转换的数据,以及,数据采掘和评估方法的技术。此外,我们还提出了这些技术的使用背后的特点和动机,并提出了更充分的和最新的分类法和定义的基础上,在该地区使用的术语的数据采掘和KDD的入侵检测器。特别重要的是评估程序,以评估不同的检测器,讨论其在当前的真实网络的适用性。最后,作为这一文献综述的结果,我们调查了一些开放的问题,这将需要考虑在网络安全领域的进一步研究。
2020-01-27 cs.CR cs.LG cs.NI
Feature selection in detection of adverse drug reactions from the Health Improvement Network (THIN) database
Qilu University of Technology(齐鲁工业大学);University of Nottingham(诺丁汉大学)
药品不良反应(Adverse Drug Reaction,ADR)是一个备受关注的公共卫生问题。药品不良反应是导致药品退出市场的最常见原因之一。处方事件监测是发现药品不良反应的重要手段。该方法的主要问题是如何从临床实践中收集的高通量医疗事件中自动提取医疗事件或副作用。在这项研究中,我们提出了一个新的概念的特征矩阵检测的ADR。从THIN数据库的大数据中提取特征矩阵,用于描述吸毒患者的医疗事件。特征矩阵为不规则、大规模的医学数据奠定了基础。然后对特征矩阵进行特征选择,检测出显著特征。最后,根据显著特征对不良反应进行定位。实验在三种药物上进行:阿托伐他汀、阿仑膦酸钠和甲氧氯普胺。每种药物的主要副作用被检测到,并且与其他计算机化方法相比,实现了更好的性能。检测到的不良反应是基于计算机方法,需要进一步调查。
2014-09-02 cs.CE cs.LG
Atrial Fibrillation Detection Using RR-Intervals for Application in Photoplethysmographs
The University of Virginia’s College at Wise(弗吉尼亚大学怀斯学院);The University of North Carolina at Wilmington(北卡罗来纳大学威尔明顿分校)
房颤是一种常见的心律不齐的形式,可能非常危险。我们的主要目标是分析ECG中的房颤数据,以开发仅基于RR间期或心跳之间的长度的模型,从而创建房颤的实时分类模型,以在当今市场上的常见心率监测器中实施。Physionet的MIT-BIH房颤数据库\cite{goldberger2000physiobank}和2017挑战数据库\cite{clifford2017af}用于识别房颤模式并测试分类模型。这两个数据集非常不同。MIT-BIH数据库包含使用医疗级器械采集的长样本,这对于模拟消费者器械没有用处,但对于房颤模式检测有用。2017年挑战数据库包括使用便携式设备采集的短($<60sec$)样本,并揭示了实时设备中房颤分类的许多挑战。我们开发了多个SVM模型,其中三组提取的特征作为预测变量,这给了我们适度高的精度,低计算强度。由于鲁棒滤波技术已经应用于许多基于光电体积描记器的消费者心率监测器中,该方法可以用于开发用于消费者级心率监测器中的心房颤动检测的可靠实时模型。
2023-02-13 cs.LG q-bio.QM
RankShift: In-Database Detection and Explanation of Categorical Shifts
Microsoft(微软)
RankShift是一种数据库内分类分布偏移检测方法,无需模型训练,在HDFS、BGL等数据集上检测性能接近或优于计数向量自编码器,可检测罕见类别偏移且误报率符合要求。
2026-09-01 cs.LG
RODD: Robust Outlier Detection in Data Cubes
TU Dortmund University(多特蒙德工业大学);Research Center Trustworthy Data Science and Security(可信数据科学与安全研究中心)
数据立方体是多维数据库,通常由几个独立的数据库构建,作为数据分析的灵活基础。令人惊讶的是,数据立方体上的离群值检测尚未得到广泛的处理。在这项工作中,我们提供了第一个框架,以评估强大的离群检测方法在数据立方体(RODD)。我们介绍了一种新的随机森林为基础的离群点检测方法(RODD-RF),并将其与更传统的方法的基础上强大的位置估计。我们提出了一个一般类型的测试数据,并在模拟研究中检查所有的方法。此外,我们将ROOD-RF应用于现实世界的数据。结果表明,RODD-RF可以导致改进的离群值检测。
2023-03-14 cs.DB cs.LG
MIA-COV19D: COVID-19 Detection through 3-D Chest CT Image Analysis
University of Greenwich(格林威治大学)
基于胸部三维CT扫描的早期可靠的COVID-19诊断可以在重要情况下为医疗专家提供帮助。深度学习方法是胸部CT扫描分析和疾病预测的主要方法。然而,大型注释数据库对于开发能够在不同国家的各种医疗环境中提供COVID-19诊断的深度学习模型是必要的。由于隐私问题,公开可用的COVID-19 CT数据集非常难以获得,这阻碍了基于CT扫描的COVID-19人工智能诊断方法的研究和开发。在本文中,我们介绍了COV 19-CT-DB数据库,该数据库针对COVID-19进行了注释,由大约5,000个三维CT扫描组成,我们将数据库分为训练,验证和测试数据集。前两个数据集可用于机器学习模型的训练和验证,而后者将用于评估开发的模型。我们还提出了一种基于CNN-RNN网络的深度学习方法,并报告了其在COVID 19-CT-DB数据库上的性能。
2021-06-21 cs.CV cs.LG eess.IV
Active Hypothesis Testing for Correlated Combinatorial Anomaly Detection
School of Mathematical Sciences, Tongji University, Shanghai, P.R. China(同济大学数学科学学院)
ECC-AHT通过主动噪声抵消技术,在相关噪声环境下实现高效的组合异常检测
2026-01-24 cs.LG