Testing pre-trained Transformer models for Lithuanian news clustering
Faculty of Informatics Kaunas University of Technology(考纳斯理工大学信息学院);Kaunas University of Technology(考纳斯理工大学)
最近推出的Transformer深度学习架构在各种自然语言处理任务中取得了突破。然而,非英语语言无法利用英语文本预训练模型的新机会。这种情况随着多语言模式的研究而改变,其中较少使用的语言是主要受益者。我们比较了预训练的多语言BERT,XLM-R和旧的学习文本表示方法作为立陶宛新闻聚类任务的编码。我们的研究结果表明,公开的预训练多语言Transformer模型可以进行微调,以超过单词向量,但仍然比专门训练的doc 2 vec嵌入得分低得多。
2020-04-03 cs.CL cs.IR cs.LG
An Incremental Clustering Method for Anomaly Detection in Flight Data
City University of Hong Kong(香港城市大学);Delft University of Technology(代尔夫特理工大学);Nanyang Technological University(南洋理工大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
安全是民航的头等大事。已经开发了新的异常检测方法,主要是聚类方法,以监测飞行员操作并从此类飞行数据中检测任何风险。然而,所有现有的异常检测方法都是离线学习-模型使用历史数据训练一次,并用于所有未来预测。实际上,航空公司每月都在不断积累和分析新的飞行数据。对这种动态增长的数据进行聚类对于离线方法来说是具有挑战性的,因为每次新数据进入时重新训练模型是内存和时间密集的。如果模型没有被重新训练,错误警报或遗漏检测可能会增加,因为模型不能反映数据模式的变化。为了解决这个问题,我们提出了一种新的增量异常检测方法的基础上高斯混合模型(GMM),以识别常见的模式和检测异常值的数字飞行数据的飞行操作。它是一种飞行操作的概率聚类模型,可以根据新数据逐步更新其聚类,而不是从头开始重新聚类所有数据。它基于历史离线数据训练初始GMM模型。然后,它通过期望最大化(EM)算法不断适应新的传入数据点。为了跟踪飞行操作模式的变化,仅需要保存模型参数。所提出的方法进行了测试的三组仿真数据和两组真实世界的飞行数据。与传统的离线GMM方法相比,该方法可以产生相似的聚类结果,并显著减少处理时间(测试集时间减少57%-99%)和内存使用(测试集内存使用减少91%-95%)。初步结果表明,增量学习方案是有效的,在处理动态增长的数据在飞行数据分析。
2021-10-06 cs.LG stat.ML
Kernel Spectral Clustering and applications
在本章中,我们回顾了与核谱聚类(KSC)相关的主要文献,KSC是一种在基于核的优化设置中进行聚类的方法。KSC表示基于最小二乘支持向量机的谱聚类公式,由加权核PCA目标描述。正如在分类器的情况下,二进制聚类模型是由一个核诱导的高维空间中的超平面表示。此外,多路聚类可以通过经由纠错输出码(ECOC)编码方案组合一组二元决策函数来获得。由于其基于模型的性质,KSC方法包括三个主要步骤:训练,验证,测试。在验证阶段,执行模型选择以获得调优参数,如数据中存在的聚类数。这是一个主要的优势相比,经典的谱聚类的聚类参数的确定是不清楚的,依赖于遗传学。一旦KSC模型在整个数据的一个小子集上进行训练,它就能够很好地推广到看不见的测试点。除了基本公式,稀疏KSC算法的基础上不完全Cholesky分解(ICD)和$L_0$,$L_1, L_0 + L_1$,组Lasso正则化。在这方面,我们展示了如何处理大规模数据。此外,两种可能的方式来执行层次聚类和软聚类方法。最后,考虑了实际应用,如图像分割,电力负荷时间序列聚类,文档聚类和大数据学习。
2015-05-03 cs.LG stat.ML
Optimal Testing for Properties of Distributions
MIT(麻省理工学院);Microsoft Research(微软研究院)
给定来自未知分布$p$的样本,是否有可能区分$p$是否属于某类分布$\mathcal{C}$,而$p$是否远离$\mathcal{C}$中的每个分布?这个基本问题在统计学中得到了极大的关注,主要集中在渐近分析上,最近在信息论和理论计算机科学中,重点是小样本量和计算复杂性。然而,即使对于分布的基本性质,如单调性、对数分布、单峰性、独立性和单调风险率,最佳样本复杂度也是未知的。我们提供了一个通用的方法,通过该方法,我们获得所有这些分布族的样本最佳和计算效率的测试。在我们的方法的核心是一个算法,它解决了以下问题:给定样本从一个未知的分布$p$,和一个已知的分布$q$,$p$和$q$接近$χ^2$ -距离,或远的总变化距离?我们的测试程序的最优性是通过提供与$n$和$\varepsilon$相匹配的下限来建立的。最后,我们的测试人员和我们的工作的一个重要副产品是第一个已知的计算有效的适当的学习离散对数凹和单调的风险率分布的一个必要的构建块。
2015-12-08 cs.DS cs.IT cs.LG
Exploring Semantic Clustering and Similarity Search for Heterogeneous Traffic Scenario Graph
KIT Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(信息技术研究所以)
本文提出异构时空图模型表示交通场景,并结合图神经网络与自监督对比学习及自举方法学习通用嵌入空间,在nuPlan数据集上验证了无需标签即可实现场景语义聚类与相似性检索,为自动驾驶仿真测试的高效场景选择奠定基础。
2025-07-07 cs.LG
Two-cluster test
School of Software, Dalian University of Technology(软件学院,大连理工大学)
针对聚类样本子集检验中经典双样本检验导致I型错误率膨胀的问题,提出基于边界点的双簇检验方法以推导解析p值,显著降低错误率并验证其实用性。
2025-07-14 cs.LG
Issues,Challenges and Tools of Clustering Algorithms
Jamia Hamdard(贾米亚·哈姆达德大学);Manav Rachna International University(马纳夫·拉赫纳国际大学)
聚类是数据采掘的一种无监督技术。这意味着将相似的对象分组在一起,并将不同的对象分开。在聚类过程中,使用距离度量为数据集中的每个对象分配一个类标签。本文抓住了在实现聚类算法时所面临的实际问题,并考虑了最广泛使用的工具,这些工具是现成的,支持的功能使编程变得容易。一旦算法被实现,它们还需要被测试其有效性。有几个验证指标来测试性能和准确性,这里也进行了讨论。
2011-10-12 cs.IR cs.LG
Discovering Boundary Values of Feature-based Machine Learning Classifiers through Exploratory Datamorphic Testing
Oxford Brookes University(牛津布鲁克斯大学)
测试被广泛认为是人工智能应用的难点。本文提出了一套测试策略测试机器学习应用程序的数据变形测试方法的框架。在这些策略中,测试旨在探索分类或聚类应用程序的数据空间,以发现机器学习应用程序定义的类之间的边界。这使测试人员能够准确地理解被测软件的行为和功能。在本文中,提出了三种不同的探索性策略的算法中实现的自动数据变形测试工具Morphy。这些算法的正确性得到了形式化的证明。他们的能力和成本发现类之间的边界进行评估,通过一组控制实验与手动设计的主题和一组案例研究与真正的机器学习模型。
2022-01-26 cs.LG cs.SE
Automatic Generation of Behavioral Test Cases For Natural Language Processing Using Clustering and Prompting
Wells Fargo(富国银行);H2O.ai;UNC Charlotte(北卡罗来纳大学夏洛特分校)
本文提出利用大型语言模型与聚类提示技术自动生成NLP行为测试用例,并在Amazon Reviews上分析四种分类算法的行为测试画像及优劣。
2024-08-08 cs.AI cs.CL cs.ET
Double-Bounded Optimal Transport for Advanced Clustering and Classification
Shanghai Jiao Tong University(上海交通大学)
本文提出双边界最优传输 DB-OT,通过熵正则化与缩放算法求解,并将其用于重心聚类和长尾分类的损失改进及测试推理。
2024-01-21 cs.AI cs.LG math.OC
Logic-based Clustering and Learning for Time-Series Data
University of California Berkeley(加州大学伯克利分校);Toyota Motors North America R&D(丰田汽车北美研发中心)
为了有效地分析和设计信息物理系统(CPS),设计人员今天必须解决数据泛滥问题,即,处理复杂模型和实验产生的大量数据的负担。在这项工作中,我们利用单调参数信号时序逻辑(PSTL)的设计功能的时间序列数据的无监督分类。这使得能够使用现成的机器学习工具来自动聚类关于给定PSTL公式的类似迹线。我们演示了这种技术如何产生可解释的公式,这些公式适合于分析和理解,使用一些有代表性的例子。我们用汽车发动机测试、高速公路交通分析和自动评分大规模开放在线课程相关的案例研究来说明这一点。
2017-05-15 cs.LG cs.LO
SDEC: Semantic Deep Embedded Clustering
University of Arizona(亚利桑那大学);Trustweb(Trustweb公司);New Mexico State University(新墨西哥州立大学)
本文提出SDEC无监督文本聚类框架,结合改进自编码器与Transformer嵌入,在多个基准数据集上取得领先聚类准确率。
2025-08-18 cs.CL cs.LG
Asymptotic nonparametric statistical analysis of stationary time series
平稳性是一个非常一般的定性假设,可以根据应用程序的具体情况进行评估。因此,这是一个相当有吸引力的假设基础上统计分析,特别是对问题的不太一般的定性假设,如独立性或有限的记忆,显然失败。然而,长期以来,人们一直认为它过于笼统,无法进行统计推断。其中一个原因是,收敛速度,甚至是频率到平均值的收敛速度,仅在这个假设下是不可用的。最近,它已经表明,虽然一些自然和简单的问题,如同质性,确实是证明不可能解决的,如果只假设数据是平稳的(或平稳遍历),许多其他可以解决使用相当简单和直观的算法。后者的问题包括聚类和变化点估计。在本卷中,我总结了这些结果。重点是渐近一致性,因为这是最强的属性可以单独假设平稳性。虽然对于大多数问题的解决方案是找到这种解决方案是算法实现的,在这一领域的研究,这是只有部分达到的目标的主要目标,是要了解什么是可能的,什么是不可能做的平稳时间序列。所考虑的问题包括同质性检验,聚类相对于分布,聚类相对于独立性,变化点估计,身份检验,和复合假设检验的一般问题。对于后一个问题,给出了一个相合检验存在的拓扑判据。此外,几个开放的问题进行了讨论。
2019-03-30 cs.IT cs.LG math.IT
Clustering-based Imputation for Dropout Buyers in Large-scale Online Experimentation
eBay China Center of Excellence(易贝中国卓越中心);eBay Inc.(易贝公司);Virginia Tech(弗吉尼亚理工学院)
针对在线实验中不完整指标问题,提出基于k-近邻聚类的填补方法,结合分层与聚类技术高效处理流失买家数据,在eBay实验中验证了其优于传统方法。
2023-04-07 cs.IR cs.LG