MUSS: Multilingual Unsupervised Sentence Simplification by Mining Paraphrases
Facebook AI Research(Facebook AI研究院);Inria(法国国家信息与自动化研究所);LORIA(洛林计算机科学实验室)
句子简化的进展一直受到缺乏标记的并行简化数据的阻碍,特别是在英语以外的语言中。我们介绍MUSS,一个多语言无监督句子简化系统,不需要标记的简化数据。MUSS使用了一种新的句子简化方法,该方法使用句子级别的释义数据而不是适当的简化数据来训练强大的模型。这些模型利用无监督预训练和可控生成机制,在推理时灵活调整长度和词汇复杂度等属性。我们进一步提出了一种方法来挖掘这样的释义数据,在任何语言的公共爬行使用语义句子嵌入,从而消除了对标记数据的需要。我们在英语,法语和西班牙语的简化基准上评估了我们的方法,并与之前的最佳监督结果密切匹配或优于之前的最佳监督结果,尽管没有使用任何标记的简化数据。我们通过合并标记的简化数据进一步推动了最先进的技术。
2021-04-16 cs.CL cs.LG
A Framework for Unsupervised Classificiation and Data Mining of Tweets about Cyber Vulnerabilities
MIT Lincoln Laboratory(麻省理工学院林肯实验室)
许多网络防御工具依赖于国家漏洞数据库(NVD),以提供有关给定网络上系统内存在的已知漏洞的及时信息。然而,最近的研究表明,NVD并不总是最新的,已知的漏洞在Twitter和Reddit等社交媒体平台上公开讨论,几个月后才发布到NVD。为此,我们提出了一个无监督分类框架,以过滤与网络安全相关的推文。我们考虑并评估了两种无监督机器学习技术,并将其纳入我们的框架中,并表明使用双向和自回归Transformers(BART)模型的zero-shot分类优于其他技术,准确率为83.52%,F1得分为83.88,允许在没有人为干预或标记数据的情况下准确过滤推文。此外,我们还讨论了可以从这些网络相关推文中获得的不同见解,例如推文的趋势主题和常见漏洞和暴露(CVE)的Twitter提及次数,这些见解可以用于警报或报告中,以增强当前基于NVD的风险评估工具。
2021-04-23 cs.LG
Topological Metric for Unsupervised Embedding Quality Evaluation
Sber AI Laboratory(Sber AI实验室)
本文提出了一种基于持续同调的拓扑度量,用于无监督评估嵌入质量,通过捕捉嵌入空间的全局和多尺度组织结构,提升了模型和超参数选择的可靠性。
2025-12-17 cs.IR cs.LG
Can Unsupervised Knowledge Transfer from Social Discussions Help Argument Mining?
Jadavpur University(贾达布尔大学);Delhi Technological University(德里理工大学);IIIT-Delhi(德里印度理工学院)
从非结构化文本中识别论元成分并预测它们之间的关系是论元挖掘的两个主要步骤。这些任务的内在复杂性需要强大的学习模型。虽然预训练的基于Transformer的语言模型(LM)已被证明可以在不同的NLP任务中提供最先进的结果,但手动注释数据的稀缺性和论证的高度领域依赖性限制了此类模型的能力。在这项工作中,我们提出了一种新的迁移学习策略来克服这些挑战。我们利用ChangeMyView subreddit中丰富的辩论社交讨论作为无监督的辩论话语感知知识的来源,通过在选择性掩蔽语言建模任务上微调预训练的LM。此外,我们引入了一种新的基于语义的组件间关系预测策略,该策略在利用话语上下文的同时补充了我们提出的微调方法。详尽的实验表明,我们的方法在域内和域外数据集上对这两个任务的泛化能力,优于几个现有的和采用的强基线。
2022-03-24 cs.CL cs.LG
Topic subject creation using unsupervised learning for topic modeling
Underwriters Laboratories, LLC(美国保险商实验室有限责任公司)
我们描述了使用非负矩阵分解(NMF)和潜在狄利克雷分配(LDA)算法进行主题挖掘和标签应用于零售客户通信,试图描述客户查询的主题。在本文中,我们比较了这两种算法的主题挖掘性能,并提出了方法来分配主题主题标签的自动化方式。
2019-12-18 cs.CL cs.CY cs.IR
Improving memory banks for unsupervised learning with large mini-batch, consistency and hard negative mining
Samsung AI Cambridge(三星AI剑桥)
通过基于实例的判别的无监督学习的一个重要组成部分是用于存储数据集中每个训练样本的特征表示的存储体。在本文中,我们介绍了3个改进的香草存储体为基础的配方,带来了巨大的准确性增益:(a)大的小批量:我们拉多个扩增的每个样本在同一批,并表明,这导致更好的模型和增强的存储体更新。(b)一致性:我们强制通过相同样本的不同扩增获得的logit接近,而不试图强制如先前方法所提出的关于负样本的区分。(c)硬负面挖矿:由于实例鉴别对于在视觉上太相似的样本没有意义,我们设计了一种新的最近邻方法,用于改进存储体,该方法逐渐合并先前由于实例级分类丢失而被迫分开的极其相似的数据样本。总的来说,我们的方法大大提高了香草内存银行为基础的实例歧视和优于所有现有的方法,可见和不可见的测试类别与余弦相似性。
2021-02-08 cs.CV cs.LG
Adversarial Style Mining for One-Shot Unsupervised Domain Adaptation
Huazhong University of Science & Technology(华中科技大学);University of Technology Sydney(悉尼科技大学);Farsee2 Tech. Co.(Farsee2科技公司);Baidu Research(百度研究院)
本文针对One-Shot无监督领域自适应问题进行研究。与传统的无监督领域自适应不同,它假设在学习自适应时只有一个未标记的目标样本可用。这种设置是现实的,但更具挑战性,在传统的适应方法很容易失败,由于缺乏未标记的目标数据。为此,我们提出了一种新的对抗性风格挖掘方法,它结合了风格转换模块和任务特定模块到一个对抗的方式。具体而言,风格转移模块根据当前学习状态迭代地在一次性目标样本周围搜索更难风格化的图像,引导任务模型探索几乎不可见的目标领域中难以解决的潜在风格,从而提高数据稀缺场景中的适应性能。对抗性学习框架使风格迁移模块和任务特定模块在竞争中相互受益。跨域分类和分割基准上的大量实验验证了ASM在具有挑战性的单次设置下实现了最先进的自适应性能。
2020-04-13 cs.CV cs.LG eess.IV
Scalable Unsupervised Multi-Criteria Trajectory Segmentation and Driving Preference Mining
Universität Stuttgart(斯图加特大学);Aalborg University(奥尔堡大学)
我们提出了大型轨迹数据集的分析技术,其目的是提供一个语义理解的轨迹达到超越他们在时间和空间上的点序列。所提出的技术使用驾驶偏好模型w.r.t.路段穿越成本,例如,旅行时间和距离,分析和解释轨迹。特别地,我们提出了轨迹挖掘技术,其可以(a)在轨迹内找到感兴趣的点,例如,经由点,以及(b)基于驾驶员所选择的轨迹恢复驾驶员的驾驶偏好。我们评估我们的技术上的任务,通过点识别和个性化的路由使用的数据集超过1万辆车的轨迹收集在整个丹麦在3年的时间。我们的技术可以有效地实现,并且是高度并行的,允许它们扩展到数百万或数十亿的轨迹。
2020-10-23 cs.DB cs.LG cs.RO
Unsupervised Frequent Pattern Mining for CEP
复杂事件处理(CEP)是一组使用复杂和高度描述性模式从海量数据流中高效提取知识的方法。在线金融、医疗保健监控和欺诈检测等众多应用都使用CEP技术来实时的捕获关键警报、潜在威胁或重要通知。到目前为止,在许多领域,模式是由人类专家手动定义的。然而,期望的模式通常包含人类难以检测的复杂关系,并且人类的专业知识在许多领域中是稀缺的。我们提出了REDEEMER(REINEMBaseD cEp pattErn MinER),一种新的强化和主动学习方法,旨在挖掘CEP模式,允许扩展提取的知识,同时减少所需的人力。这种方法包括一种新的策略梯度方法,用于广阔的多变量空间和一种新的方法,结合强化和主动学习的CEP规则学习,同时最大限度地减少训练所需的标签数量。REDEEMER的目标是在以前无法使用CEP的领域中实现CEP集成。据我们所知,REDEEMER是第一个提出事先没有观察到的新CEP规则的系统,也是第一个旨在增加专家不具备CEP工具所需足够信息的领域的模式知识的方法。我们在不同数据集上的实验表明,REDEEMER能够扩展模式知识,同时优于几种最先进的强化学习模式挖掘方法。
2022-07-28 cs.LG
Improved Embeddings with Easy Positive Triplet Mining
George Washington University(乔治·华盛顿大学)
深度度量学习试图定义一种嵌入,其中语义相似的图像被嵌入到附近的位置,而语义不相似的图像被嵌入到远处的位置。大量的工作集中在损失函数和策略上,通过将来自同一类的图像在嵌入空间中尽可能地靠近来学习这些嵌入。在本文中,我们提出了一种替代的,松散的嵌入策略,要求嵌入函数只将每个训练图像映射到同一类中最相似的示例,这种方法我们称之为“Easy Positive”挖掘。我们提供了一系列实验和可视化,强调这种Easy Positive挖掘导致嵌入更灵活,更好地推广到新的未知数据。这种简单的挖掘策略产生的召回性能超过了最先进的方法(包括那些复杂的损失函数和集成方法)的图像检索数据集,包括CUB,斯坦福在线产品,店内服装和酒店-50 K。
2020-03-18 cs.CV cs.LG
Exploring Urban Land Use Patterns by Pattern Mining and Unsupervised Learning
Department of Geoinformatics, Palacký University(帕拉茨基大学地理信息学院);The Kyoto College of Graduate Studies for Informatics(信息研究生学院)
本文提出利用频繁项集挖掘和无监督学习技术,基于Copernicus Urban Atlas数据挖掘相似城市,通过预处理、模式挖掘、后处理和知识提取可视化,实现城市土地利用模式分析。
2026-09-14 cs.DB cs.LG
Hierarchical Topic Mining via Joint Spherical Tree and Text Embedding
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Georgia Institute of Technology(佐治亚理工学院)
挖掘一组有意义的主题组织成一个层次结构是直观的吸引力,因为主题相关性是无处不在的海量文本语料库。为了考虑潜在的层次主题结构,层次主题模型通过将潜在的主题层次结构纳入其生成建模过程来概括平面主题模型。然而,由于其纯粹的无监督性质,学习的主题层次结构往往偏离用户的特定需求或兴趣。为了在最少用户监督的情况下指导分层主题发现过程,我们提出了一个新任务分层主题挖掘,该任务采用仅由类别名称描述的类别树,旨在从文本语料库中挖掘每个类别的一组代表性术语,以帮助用户理解他/她感兴趣的主题。我们开发了一种新型的联合树和文本嵌入方法以及一个有原则的优化过程,该过程允许在球形空间中同时对类别树结构和语料库生成过程进行建模,以有效地发现类别代表术语。我们的综合实验表明,我们的模型,命名为JoSH,挖掘一个高质量的层次主题集,效率高,有利于弱监督层次文本分类任务。
2020-07-18 cs.CL cs.IR cs.LG
Online Gaussian LDA for Unsupervised Pattern Mining from Utility Usage Data
Bournemouth University(伯恩茅斯大学)
非侵入式负载监测(NILM)旨在将整个家庭的能量信号分离到其电器组件中。这种方法可以用来提供各种服务,以更好地管理和控制能源消耗(最佳规划和节省)。NILM传统上是从信号处理和电气工程的角度来研究的。最近,机器学习开始在NILM中发挥重要作用。虽然大多数工作都集中在监督算法上,但无监督方法可能更有趣,并且在实际情况下更实用。具体而言,它们不需要从各个电器获取标记的训练数据,并且可以部署该算法以直接对测量的聚合数据进行操作。在本文中,我们提出了一个完全无监督的NILM框架的基础上贝叶斯分层混合模型。特别是,我们开发了一种新的方法,高斯潜在狄利克雷分配(GLDA)的基础上,以提取全球组件,总结的能量信号。这些组件提供了消费模式的表示。我们的算法旨在处理大数据,与现有的NILM算法不同,我们的算法不专注于设备识别。为了处理这些庞大的数据,GLDA在线工作。与现有的NILM相比,这项工作的另一个新颖之处在于,数据涉及不同的公用事业(例如,电力,水和天然气)以及一些传感器测量。最后,我们提出了不同的评估方法来分析结果表明,我们的算法发现有用的模式。
2019-10-25 cs.LG stat.ML
Mining the Web for Synonyms: PMI-IR versus LSA on TOEFL
本文提出了一种简单的无监督学习算法,用于识别同义词,通过查询Web搜索引擎获得的统计数据的基础上。该算法使用点态互信息(PMI)和信息检索(IR)来度量词对之间的相似性。PMI-IR使用80个同义词测试问题从英语作为外语(TOEFL)和50个同义词测试问题,从收集的测试英语作为第二语言(ESL)的学生进行实证评估。在这两个测试中,该算法获得了74%的分数。PMI-IR与潜在语义分析(LSA)进行了对比,后者在相同的80个托福问题上获得了64%的分数。本文讨论了新的无监督学习算法的潜在应用和LSA和潜在语义索引(LSI)的结果的一些影响。
2002-12-11 cs.CL cs.IR cs.LG
Transductive Data Augmentation with Relational Path Rule Mining for Knowledge Graph Embedding
Tokyo Institute of Technology(东京工业大学);Chiba Institute of Technology(千叶工业大学);Riken AIP(日本理化学研究所人工智能项目);Nara Institute of Science & Technology(奈良先端科学技术大学)
对于知识图谱的完备化,存在两种主要类型的预测模型:一种基于图嵌入,另一种基于关系路径规则归纳。它们有不同的优点和缺点。为了利用这两种类型,最近已经提出了混合模型。混合模型之一UniKER通过关系路径规则交替地增加训练数据并训练嵌入模型。尽管它的预测精度很高,但它并没有充分利用关系路径规则,因为它忽略了低置信度规则,以保持增强数据的质量。为了缓解这一限制,我们提出了通过关系路径规则和增强数据的基于置信度的权重的转换数据增强。结果和分析表明,我们提出的方法有效地提高了嵌入模型的性能,通过增加数据,包括真正的答案或类似的实体。
2021-11-01 cs.CL cs.IR cs.LG
Sequence Graph Transform (SGT): A Feature Embedding Function for Sequence Data Mining
Georgia Institute of Technology(佐治亚理工学院)
由于序列的非结构性,序列特征嵌入是一项具有挑战性的任务,即,任意长度的任意字符串。现有的方法在提取短期依赖关系方面是有效的,但通常遭受长期的计算问题。序列图变换(SGT),一个特征嵌入函数,可以提取不同数量的短期到长期的依赖关系,而不增加计算。SGT的属性分析证明解释下正常和均匀分布的假设。与现有方法(包括最先进的序列/字符串内核和LSTM)相比,SGT特征在序列聚类和分类方面具有更高的准确性和更低的计算量。
2021-10-05 cs.LG stat.ML
Symbolic Graph Embedding using Frequent Pattern Mining
Jožef Stefan International Postgraduate School(约热夫·斯特凡国际研究生院);Jožef Stefan Institute(约热夫·斯特凡研究所);University of Nova Gorica(新戈里察大学)
关系数据采掘在许多研究领域中正变得无处不在。它提供了对复杂的真实世界系统行为的深入了解,这些系统无法直接使用命题学习进行建模。我们提出了符号图嵌入(SGE),一种旨在学习符号节点表示的算法。基于归纳逻辑程序设计领域的思想,SGE首先对给定节点的邻域进行采样,并将其解释为事务数据库,该事务数据库用于频繁模式挖掘,以识别在给定上下文中频繁出现的项的逻辑合取。在这项工作中,这些模式被用作表示单个节点的特征,产生可解释的符号节点嵌入。在场地分类任务上提出的SGE方法优于DeepWalk等浅节点嵌入方法,并且与metapath2vec(一种黑盒表示学习器,可以利用给定图中的节点和边类型)的性能相似。当少量数据用于学习时,所提出的SGE方法表现得特别好,可以扩展到具有数百万个节点和边的图形,并且可以在现成的笔记本电脑上运行。
2019-10-29 cs.LG stat.ML
Automatically Redundant Features Removal for Unsupervised Feature Selection via Sparse Feature Graph
Stony Brook University(石溪大学);General Electric Global Research(通用电气全球研究中心)
高维数据中存在的冗余特征往往会影响学习和挖掘算法的性能。如何检测和去除它们是机器学习和数据采掘研究中的一个重要研究课题。在本文中,我们提出了一个基于图的方法来自动发现和删除这些冗余的功能,高维数据。在基于稀疏学习的无监督特征选择框架的基础上,引入稀疏特征图(SFG)来描述特征间的冗余,揭示特征组间的组冗余。利用SFG,我们可以将整个特征分成不同的组,并通过去除检测到的冗余特征来改善数据的内在结构。通过精确的数据结构,可以获得质量指标向量,从而提高现有无监督特征选择算法如多聚类特征选择(MCFS)的学习性能。我们在基准数据集上的实验结果表明,所提出的SFG和特征冗余去除算法可以提高无监督特征选择算法的性能一致。
2017-06-30 cs.LG
Dichotomic Pattern Mining with Applications to Intent Prediction from Semi-Structured Clickstream Datasets
AI Center of Excellence, Fidelity Investments(富达投资人工智能卓越中心)
我们引入了一个模式挖掘框架,该框架在半结构化数据集上运行,并利用结果之间的二分法。我们的方法利用约束推理,找到频繁发生的序列模式,并表现出所需的属性。这允许创建新颖的模式嵌入,这对知识提取和预测建模非常有用。最后,我们提出了一个应用程序的客户意图预测从数字点击流数据。总体而言,我们表明,模式嵌入在半结构化数据和机器学习模型之间起着集成者的作用,提高了下游任务的性能,并保持了可解释性。
2022-01-23 cs.AI cs.IR cs.LG
The Wilderness Area Data Set: Adapting the Covertype data set for unsupervised learning
Queen’s University(女王大学);Wrocław University of Science and Technology(弗罗茨瓦夫理工大学)
基准数据集在机器学习研究中至关重要,正如现有的公开数据库数量所表明的那样。虽然其中许多也可用于流挖掘上下文中,但哪些数据集可用于评估数据流聚类算法并不明显。我们注意到,经典的Covertype数据集的大小使其在流挖掘中具有吸引力,但不幸的是,它是专门为分类设计的。在这里,我们详细介绍了将Covertype数据集转换为适合无监督学习的数据集的过程,我们称之为Wilderness Area数据集。我们的定量分析使我们得出结论,荒野地区的数据集是更适合无监督学习比原来的覆盖型数据集。
2019-01-30 cs.LG stat.ML
On the Effectiveness of Knowledge Graph Embeddings: a Rule Mining Approach
Peoples' Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学(卢蒙巴大学));Joint Institute for Nuclear Research(联合核研究所);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Skövde(舍夫德大学);Comenius University in Bratislava(布拉迪斯拉发夸美纽斯大学);University of Bergen(卑尔根大学)
研究了知识图谱嵌入算法在规则挖掘的知识图谱完备化中的有效性。更具体地说,我们挖掘规则,从KG之前和之后,他们已经完成了KGE比较可能的差异,在提取的规则。我们将此方法应用于经典的KGE方法,特别是,transE,DistMult和complEx。我们的实验表明,提取的规则之间可能存在巨大的差异,这取决于KG完成的KGE方法。特别是,在TransE完成后,提取了几个虚假的规则。
2022-06-23 cs.AI cs.LG
Neighborhood-Adaptive Generalized Linear Graph Embedding with Latent Pattern Mining
School of Computer and Information, Anhui Normal University(安徽师范大学计算机与信息学院);Anhui Provincial Key Laboratory of Industrial Intelligent Data Security(安徽省工业智能数据安全重点实验室);Institute of Automation, State Key Laboratory of Multimodal Artificial Intelligence Systems, Chinese Academy of Sciences(自动化研究所,多模态人工智能系统国家重点实验室,中国科学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
针对现有图嵌入方法在邻域预设和模式挖掘单一上的局限,提出邻域自适应广义线性图嵌入模型NGLGE,结合自适应图学习、低秩表示和ℓ2,0约束,在多样数据集上超越现有方法。
2025-10-07 cs.CV cs.LG
MICE: Mining Idioms with Contextual Embeddings
University of Ljubljana(卢布尔雅那大学);Jožef Stefan Institute(约瑟夫·斯蒂芬研究所)
习惯表达对于自然语言处理应用来说可能是有问题的,因为它们的含义不能从它们的构成词中推断出来。缺乏成功的方法学方法和足够大的数据集阻碍了机器学习方法用于检测习语的发展,特别是对于训练集中没有出现的表达。我们提出了一种方法,称为MICE,使用上下文嵌入的目的。我们提出了一个新的数据集的多词表达的字面意义和习惯意义,并用它来训练分类器的基础上两个国家的最先进的上下文词嵌入:ELMo和BERT。我们发现,使用这两种嵌入的深度神经网络比现有方法表现得更好,并且能够检测惯用词的使用,即使是训练集中不存在的表达。我们展示了开发的模型的跨语言迁移,并分析了所需数据集的大小。
2021-11-10 cs.CL cs.LG
DS-Span: Single-Phase Discriminative Subgraph Mining for Efficient Graph Embeddings
University of Dhaka(达卡大学)
DS-Span通过单阶段判别子图挖掘方法,提升图嵌入效率和准确性,减少计算成本。
2025-12-03 cs.AI cs.LG
Unsupervised Topic Segmentation of Meetings with BERT Embeddings
Facebook, Inc.(脸书公司)
会议的主题分割是将多人会议记录分成主题块的任务。由于收集和准确注释大型数据集的困难,该问题的监督方法已被证明是棘手的。在本文中,我们展示了如何使用预先训练的神经架构来改进以前的无监督主题分割方法。我们引入了一种基于BERT嵌入的无监督方法,该方法比现有的无监督方法降低了15.5%的出错率,适用于两个流行的会议记录数据集。
2021-06-24 cs.CL cs.LG
Unsupervised Atomic Data Mining via Multi-Kernel Graph Autoencoders for Machine Learning Force Fields
提出无监督的 MEAGraph 模型,结合多线性核变换与注意力消息传递捕捉几何敏感性,高效聚类原子环境并实现数据集剪枝以消除采样偏差。
2025-09-15 cond-mat.mtrl-sci cs.LG
From structure mining to unsupervised exploration of atomic octahedral networks
Department of Engineering, University of Cambridge(剑桥大学工程系);Department of Chemical and Biological Engineering, University of Colorado Boulder(科罗拉多大学波尔得分校化学与生物工程系);The Institute of Chemistry, Casali Center for Applied Chemistry, and the Center for Nanoscience and Nanotechnology, The Hebrew University of Jerusalem(耶路撒冷希伯来大学化学系、应用化学Casali中心和纳米科学与技术中心);Department of Chemistry and Biochemistry, University of South Carolina(南卡罗来纳大学化学与生物化学系)
本文提出利用无监督机器学习自动化分析原子八面体网络的几何解析与分类,通过两个数据集验证了其在发现氧化态变化和揭示八面体连接规则中的有效性。
2026-03-17 cond-mat.mtrl-sci cs.CE cs.LG
Enriching Unsupervised User Embedding via Medical Concepts
University of Memphis(孟菲斯大学);Adobe Research(奥多比研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
电子健康记录(EHR)中的临床记录提供了丰富的患者记录信息,以推断疾病诊断的表型和研究队列选择的患者特征。无监督用户嵌入的目的是在没有人类监督的情况下将患者编码为固定长度的向量。从临床笔记中提取的医学概念包含患者与其临床类别之间的丰富联系。然而,现有的从临床笔记中嵌入用户的无监督方法没有明确地结合医学概念。在这项研究中,我们提出了一个概念感知的无监督用户嵌入,共同利用文本文档和医学概念,从两个临床语料库,MIMIC-III和糖尿病。我们评估用户嵌入的外在和内在的任务,包括表型分类,在医院死亡率预测,病人检索,和病人的相关性。在两个临床语料库上的实验表明,我们的方法超过了无监督的基线,并纳入医疗概念可以显着提高基线性能。
2022-03-29 cs.CL cs.LG
Margin-based Parallel Corpus Mining with Multilingual Sentence Embeddings
University of the Basque Country (UPV/EHU)(巴斯克大学);Facebook AI Research(Facebook人工智能研究院)
机器翻译对训练数据的大小和质量高度敏感,这使得人们对收集和过滤大型并行语料库的兴趣越来越大。在本文中,我们提出了一种新的方法,这一任务的基础上,多语言句子嵌入。与以前的方法相比,这些方法依赖于最近邻检索,在余弦相似性上具有硬阈值,我们所提出的方法考虑了这种测量的尺度不一致性,而是考虑给定句子对与其最接近的候选者之间的间隔。我们的实验表明,现有的方法有很大的改进。我们在BUCC采矿任务和联合国重建任务上的表现分别超过了10个F1和30个精度点。使用我们的方法过滤英语-德语ParaCrawl语料库,我们在newest 2014上获得31.2 BLEU点,比最好的官方过滤版本提高了一个多点。
2019-08-07 cs.AI cs.CL cs.LG
Tensor Embedding: A Supervised Framework for Human Behavioral Data Mining and Prediction
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所);University of Colorado Boulder(科罗拉多大学博尔德分校)
今天的密集仪器化的世界提供了巨大的机会,连续采集和分析的多模态传感器数据提供个人的行为的时间表征。是否有可能将如此丰富的传感器数据与预测建模技术有效地结合起来,以提供对个人表现和健康的上下文和有见地的评估?从这些嘈杂的、不完整的和异质的生物行为时间数据中预测人类行为的不同方面是一个具有挑战性的问题,超越了潜在结构的无监督发现。针对高维多模态数据,提出了一种基于输入变量和目标变量联合分解的监督张量嵌入算法。此外,我们表明,特征选择将有助于减少污染的预测和提高性能。通过两个不同的真实世界的数据集的方法的有效性进行了测试。
2018-08-31 cs.LG stat.ML
Runtime Anomaly Detection for Drones: An Integrated Rule-Mining and Unsupervised-Learning Approach
Singapore Management University(新加坡国立管理学院)
针对无人机运行时故障检测的泛化、可解释性和领域知识融合难题,本文提出RADD,结合44条规则与五个无监督模型,在六类故障上实现93.84%召回率和2.33%误报率,并优于LSTM方法。
2025-05-03 cs.LG cs.RO cs.SE
Unsupervised Story Discovery from Continuous News Streams via Scalable Thematic Embedding
UIUC(伊利诺伊大学厄巴纳-香槟分校);Yonsei University(延世大学)
针对现有无监督新闻故事发现方法难以应对复杂演化新闻流的问题,提出带主题嵌入的USTORY可扩展框架,经真实数据验证其性能更优且具鲁棒性与可扩展性。
2023-05-04 cs.CL cs.DB cs.IR
Unsupervised Domain Adaptation with Feature Embeddings
School of Interactive Computing(交互计算学院);Georgia Institute of Technology(佐治亚理工学院)
表示学习是无监督领域自适应的主要技术,但现有的方法往往需要规范的“枢轴功能”,概括跨域,这是由特定于任务的算法选择。我们表明,一种新颖但简单的特征嵌入方法提供了更好的性能,通过利用NLP问题中常见的特征模板结构。
2015-04-16 cs.CL cs.LG
Simplifying complex machine learning by linearly separable network embedding spaces
Barcelona Supercomputing Center(巴塞罗那超级计算中心);University College London(伦敦大学学院);ICREA(加泰罗尼亚研究与高级研究中心)
本文揭示了网络同质性越强则嵌入空间越线性可分的规律,并提出基于图元的新方法将网络嵌入到更线性可分的空间,从而简化并改善复杂网络的下游挖掘。
2024-10-02 cs.AI cs.LG cs.SI
Learning Meta Word Embeddings by Unsupervised Weighted Concatenation of Source Embeddings
University of Liverpool(利物浦大学);Amazon(亚马逊)
给定使用不同算法和词汇资源学习的多个源词嵌入,Meta词嵌入学习方法试图学习更准确和覆盖范围更广的词嵌入。先前关于元嵌入的工作一再发现,源嵌入的简单向量级联是一个有竞争力的基线。然而,目前还不清楚为什么以及何时简单的向量拼接可以产生准确的元嵌入。我们表明,加权级联可以看作是每个源嵌入和元嵌入之间的频谱匹配操作,最大限度地减少成对内积损失。在此理论分析之后,我们提出了两种\emph{unsupervised}方法来学习从给定的源嵌入集合创建元嵌入的最佳级联权重。在多个基准数据集上的实验结果表明,所提出的加权级联元嵌入方法优于先前提出的元嵌入学习方法。
2022-04-26 cs.AI cs.CL cs.LG
Extending Multi-Sense Word Embedding to Phrases and Sentences for Unsupervised Semantic Applications
CICS, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院)
大多数无监督NLP模型用语义空间中的单个点或单个区域表示每个词,而现有的多意义词嵌入不能表示更长的词序列,如短语或句子。我们提出了一种新的嵌入方法的文本序列(短语或句子),其中每个序列是由一组不同的多模式码本嵌入,以捕捉其含义的不同语义方面。码本嵌入可以被视为聚类中心,其总结了在预训练的词嵌入空间中可能共现的词的分布。我们引入了一个端到端的可训练神经模型,该模型在测试期间直接从输入文本序列预测聚类中心集。我们的实验表明,每句码本嵌入显着提高性能,在无监督的句子相似度和提取摘要基准。在短语相似性实验中,我们发现,多方面的嵌入提供了一个可解释的语义表示,但不优于单方面的基线。
2021-12-29 cs.CL cs.LG
Unsupervised Graph Embedding via Adaptive Graph Learning
Northwestern Polytechnical University(西北工业大学)
图自编码器(GAE)是用于图嵌入的表示学习中的强大工具。然而,GAE的性能非常依赖于图结构的质量,即,adjacency matrix的。换句话说,当邻接矩阵不完整或被干扰时,GAE将表现不佳。本文提出了两种新的无监督图嵌入方法:基于自适应图学习的无监督图嵌入(BAGE)和基于变分自适应图学习的无监督图嵌入(VBAGE)。该方法扩展了GAE在图嵌入上的应用范围,即在没有图结构的一般数据集上的应用。同时,自适应学习机制可以初始化邻接矩阵而不受参数的影响。此外,将潜在表示嵌入到拉普拉斯图结构中,以保持图在向量空间中的拓扑结构。此外,当原始图结构不完整时,邻接矩阵可以自学习以获得更好的嵌入性能。通过自适应学习,该方法对图结构具有更强的鲁棒性。在几个数据集上的实验研究验证了我们的设计,并证明我们的方法在节点聚类,节点分类和图形可视化任务中的性能远远优于基线。
2021-03-23 cs.LG stat.ML
A Simple Approach to Learning Unsupervised Multilingual Embeddings
Microsoft India(微软印度)
双语环境下跨语言嵌入的无监督学习的最新进展推动了在没有任何监督的情况下学习几种语言的共享嵌入空间。解决后一个问题的流行框架是联合解决以下两个子问题:1)学习几对语言之间的无监督单词对齐,以及2)学习如何将每种语言的单语嵌入映射到共享的多语言空间。相比之下,我们提出了一个简单的,两个阶段的框架,我们解耦上述两个子问题,并分别使用现有的技术解决它们。该方法在双语词典归纳、跨语言词相似度、多语言文档分类和多语言依存句法分析等任务中获得了令人惊讶的良好性能。当涉及远距离语言时,所提出的解决方案说明了鲁棒性,并且优于现有的无监督多语言词嵌入方法。总的来说,我们的实验结果鼓励开发多阶段模型,这样的挑战性问题。
2020-04-20 cs.CL cs.LG stat.ML
LAVA: Explainability for Unsupervised Latent Embeddings
Delft University of Technology, The Netherlands(代尔夫特理工大学,荷兰)
LAVA是一种无监督嵌入可解释性方法,通过输入数据特征共变揭示局部嵌入结构,发现领域相关模式。
2026-01-30 cs.AI cs.LG
Augment to Interpret: Unsupervised and Inherently Interpretable Graph Embeddings
Euranova(Euranova公司)
针对无监督图嵌入缺乏可解释性的问题,本文提出INGENIOUS框架,通过学习保持语义的数据增强生成本质可解释的嵌入,并引入评估指标,在图级与节点级任务上达到最先进性能。
2023-09-28 cs.AI cs.LG
Exploring the Semantic Content of Unsupervised Graph Embeddings: An Empirical Study
Durham University(杜伦大学);InlecomSystems;SUSTech(南方科技大学);Newcastle University(纽卡斯尔大学)
图嵌入已成为图挖掘领域中一项关键且广泛使用的技术,在社会、引文、交通和生物等广泛领域都取得了成功。图嵌入技术的目标是自动创建给定图的低维表示,该表示在所得到的嵌入空间中捕获关键结构元素。然而,到目前为止,很少有工作探索究竟是什么拓扑结构正在学习的嵌入过程。在本文中,我们调查,如果图嵌入近似的东西类似于传统的顶点级图的功能。如果能找到这样的关系,它可以用来提供一个理论上的洞察如何图嵌入方法的功能。我们通过预测已知的拓扑特征,使用监督和无监督的方法,直接从嵌入空间进行这项调查。如果可以找到嵌入和拓扑特征之间的映射,那么我们认为特征所封装的结构信息是在嵌入空间中表示的。为了探索这一点,我们提出了广泛的实验评估,从五个国家的最先进的无监督图嵌入技术,在一系列的经验图数据集,测量选择的拓扑特征。我们证明了几个拓扑特征确实是由嵌入空间近似的,这使得我们能够深入了解图嵌入如何创建良好的表示。
2018-06-19 cs.LG stat.ML
A Semi-Definite Programming approach to low dimensional embedding for unsupervised clustering
National Physical Laboratory(英国国家物理实验室);Université de Bourgogne Franche-Comté(勃艮第-弗朗什-孔泰大学);Digital Surf(Digital Surf公司)
本文提出了一个变形的Guédon和Verhynin的方法估计的聚类矩阵的混合高斯框架下通过半定规划。一个面向聚类的嵌入推导出这个估计。该过程适用于非常高维的数据,因为它只基于成对距离。理论guarantees提供和特征值优化方法,提出了计算嵌入。通过蒙特卡罗实验和与文献中其他嵌入的比较,说明了该方法的性能。
2016-06-29 cs.LG stat.ML
A Comprehensive Approach to Unsupervised Embedding Learning based on AND Algorithm
KAIST(韩国科学技术院);National Cheng Kung University(国立成功大学);Institute for Basic Science(基础科学研究所)
无监督嵌入学习旨在从数据中提取良好的表示,而不需要任何人工标签,这一直是许多监督学习任务的关键挑战。本文提出了一种新的无监督嵌入方法,称为Super-AND,它扩展了当前最先进的模型。Super-AND具有其独特的损失集,可以在低密度空间内收集附近的相似样本,同时保持不变的特征不受数据增强的影响。Super-AND优于所有现有的方法,并在CIFAR-10的图像分类任务上实现了89.2%的准确率。我们讨论了这种方法在协助半监督任务的实际意义。
2020-02-26 cs.CV cs.LG stat.ML
A Multi-purposed Unsupervised Framework for Comparing Embeddings of Undirected and Directed Graphs
SGH Warsaw School of Economics(华沙经济学院);Ryerson University(瑞尔森大学);Tutte Institute for Mathematics and Computing(塔特数学与计算研究所)
图嵌入是将网络的节点转换为一组向量。一个好的嵌入应该捕获底层图的拓扑和结构、节点到节点的关系,以及关于图、其子图和节点本身的其他相关信息。如果实现了这些目标,嵌入就是一个有意义的、可理解的、通常是压缩的网络表示。不幸的是,选择最佳嵌入是一项具有挑战性的任务,通常需要领域专家。在本文中,我们扩展了最近介绍的作者评价图嵌入的框架。现在,该框架为每个嵌入分配了两个分数,局部和全局,用于衡量评估嵌入的质量,这些嵌入需要分别良好地表示网络的局部和全局属性。如果需要,可以以无监督的方式选择最佳嵌入,或者框架可以识别一些值得进一步研究的嵌入。该框架是灵活的,可扩展的,可以处理无向/有向,加权/未加权图。
2021-11-30 cs.LG cs.SI
Unsupervised Learning from Video with Deep Neural Embeddings
Stanford University(斯坦福大学);MIT(麻省理工学院)
由于视频丰富的动态结构及其在日常生活中的普遍存在,视频数据可以作为一种强大的无监督学习信号,用于在深度神经网络中训练视觉表示,这是一个很自然的想法。然而,实例化这个想法,特别是在大规模上,仍然是人工智能的一个重大挑战。在这里,我们提出了视频实例嵌入(VIE)框架,该框架将最近用于学习深度非线性嵌入的强大无监督损失函数扩展到大规模视频数据集上的多流时间处理架构。我们表明,VIE-trained网络在视频数据流的无监督学习方面大大提高了最新技术水平,无论是Kinetics数据集中的动作识别,还是ImageNet数据集中的对象识别。我们表明,静态和动态处理途径的混合模型是最佳的两个转移任务,并提供分析表明如何不同的途径。从上下文来看,我们的研究结果表明,深度神经嵌入是一种很有前途的方法,可以在各种领域进行无监督视觉学习。
2020-03-10 cs.AI cs.CV cs.LG
Unsupervised Embedding of Hierarchical Structure in Euclidean Space
University of California, San Diego(加利福尼亚大学圣地亚哥分校)
深度嵌入方法影响了无监督学习的许多领域。然而,学习层次结构的最佳方法使用非欧几里得表示,而欧几里得几何是许多层次聚类算法背后的理论基础。为了弥合这两个领域之间的差距,我们考虑学习数据到欧几里得空间的非线性嵌入作为一种方法来提高凝聚算法产生的层次聚类。为了学习嵌入,我们重新使用一个变分自编码器与高斯混合先验,我们表明,重新调整潜在的空间嵌入,然后应用沃德的基于链接的算法导致改进的结果树状图纯度和Moseley-Wang成本函数。最后,我们补充我们的实证结果与这种方法的成功的理论解释。我们研究了一个嵌入向量的合成模型,证明了Ward的方法可以以很高的概率准确地恢复种植层次聚类。
2020-10-30 cs.LG stat.ML
Unsupervised Document Embedding With CNNs
layer6.ai(Layer6.ai(Layer6公司))
我们提出了一种新的无监督文档嵌入模型。现有的主要方法要么需要复杂的推理,要么使用难以并行化的递归神经网络(RNN)。我们采取不同的路线,开发了一个卷积神经网络(CNN)嵌入模型。我们的CNN架构是完全可并行的,从而使RNN模型的推理时间加速超过10倍。可扩展的体系结构使得能够训练更深的模型,其中每个连续层具有越来越大的感受域,并且对文档内的更长范围的语义结构进行建模。我们还提出了一个完全无监督学习算法训练这个模型的基础上随机前向预测。两个公共基准的实证结果表明,我们的方法产生的计算成本的一小部分,相当于国家的最先进的准确性。
2018-02-20 cs.CL cs.LG stat.ML
Metric Embedding Autoencoders for Unsupervised Cross-Dataset Transfer Learning
SingularityNET Foundation(SingularityNET基金会);ITMO University(ITMO大学);Novamente LLC(Novamente有限责任公司);Cisco(思科)
跨数据集迁移学习是人再识别中的一个重要问题。不幸的是,对于实际Re-ID系统的现实设置,没有太多的深度转移Re-ID模型存在。我们提出了一个纯深度传输Re-ID模型,由深度卷积神经网络和自动编码器组成。潜码分为度量嵌入和滋扰变量。然后,我们使用一种无监督训练方法,该方法不依赖于与非深度模型的协同训练。我们的实验显示了对基线和竞争对手的迁移学习模型的改进。
2018-07-18 cs.CV cs.LG
Beyond Node Embedding: A Direct Unsupervised Edge Representation Framework for Homogeneous Networks
IBM Research(IBM研究院);Indian Institute of Science(印度科学学院)
传统上,网络表示学习被用于寻找网络中节点的低维向量表示。然而,有非常重要的边缘驱动挖掘任务感兴趣的经典网络分析社区,其中大部分是未开发的网络嵌入空间。对于诸如同构网络中的链接预测的应用,矢量表示(即,嵌入)是通过使用边的端顶点的嵌入的简单聚合来解析地导出的。显然,这种导出边缘嵌入的方法是次优的,并且需要一种专用的无监督方法来通过利用网络的边缘属性来嵌入边缘。为此,我们提出了一种新的概念,将网络转换为其加权线图,它非常适合于找到原始网络的边缘嵌入。我们进一步推导出一种新的算法嵌入线图,通过引入集体同伦的概念。据我们所知,这是同构信息网络中第一个直接无监督的边嵌入方法,而不依赖于节点嵌入。我们验证了三个下游边缘挖掘任务的边缘嵌入。我们提出的边嵌入优化框架还生成了一组节点嵌入,而不仅仅是边的聚合。进一步的实验分析表明,我们的框架节点中心的概念的连接。
2019-12-11 cs.LG cs.SI
Unsupervised Cross-lingual Word Embedding by Multilingual Neural Language Models
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);NTT Communication Science Laboratories(NTT通信科学实验室)
我们提出了一种无监督的方法来获得跨语言嵌入,而无需任何并行数据或预训练的词嵌入。我们称之为多语言神经语言模型的模型以多种语言的句子作为输入。该模型包含双向LSTM,作为前向和后向语言模型,这些网络在所有语言之间共享。其他参数,即词嵌入和隐藏状态与输出之间的线性变换,是特定于每种语言的。共享的LSTM可以捕获所有语言之间的共同句子结构。因此,每种语言的词嵌入被映射到公共潜在空间中,使得可以跨多种语言测量词的相似性。我们评估跨语言的词嵌入的词对齐任务的质量。我们的实验表明,我们的模型可以获得比现有的无监督模型更高质量的跨语言嵌入时,只有少量的单语数据(即50k句子),或单语数据的域是不同的语言。
2018-09-07 cs.AI cs.CL cs.LG
Truly unsupervised acoustic word embeddings using weak top-down constraints in encoder-decoder models
Stellenbosch University(斯泰伦博斯大学)
我们调查的无监督模型,可以映射一个可变的持续时间的语音段到一个固定的维度表示。在未标记语音是唯一可用资源的设置中,这种声学词嵌入可以形成“零资源”语音搜索、发现和索引系统的基础。大多数现有的无监督嵌入方法仍然使用一些监督,如单词或音素边界。在这里,我们提出了编码器-解码器对应自动编码器(EncDec-CAE),它不是真正的单词段,而是使用自动发现的段:一个无监督的术语发现系统发现相同的未知类型的单词对,并训练EncDec-CAE以重建一个单词作为输入。我们将其与标准的编码器-解码器自动编码器(AE),具有潜在嵌入先验的变分AE和下采样进行比较。EncDec-CAE在两种语言的单词识别任务中的平均精度比其最接近的竞争对手高出24%。
2019-04-15 cs.CL cs.LG cs.SD
Refinement of Unsupervised Cross-Lingual Word Embeddings
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
跨语言词嵌入旨在通过允许学习多语言词表示,即使不使用任何直接的双语信号,来弥合高资源和低资源语言之间的差距。最大的方法是基于投影的方法,将预先训练的嵌入映射到共享的潜在空间中。这些方法大多基于正交变换,它假设语言向量空间是同构的。然而,这个标准并不一定成立,特别是对于形态丰富的语言。在本文中,我们提出了一种自监督的方法来改善无监督的双语词嵌入的对齐。所提出的模型将单词的向量及其相应的翻译移动得更接近彼此,并强制执行长度和中心不变性,从而允许更好地对齐跨语言嵌入。实验结果表明,我们的方法的有效性,因为在大多数情况下,它优于国家的最先进的方法在双语词汇归纳任务。
2020-02-21 cs.CL cs.LG
Improving Chinese Segmentation-free Word Embedding With Unsupervised Association Measure
University of Chinese Academy of Sciences(中国科学院大学);Chinese Academy of Sciences(中国科学院);Shanghai Advanced Research Institute(上海高等研究院);Shanghai Carbon Data Research Center(上海碳数据研究中心);Centre for Excellence in Brain Science and Intelligence Technology(脑科学与智能技术卓越创新中心)
最近关于无分割词嵌入(sembei)的工作为未分割的语言开发了一种新的词嵌入管道,同时避免了作为预处理步骤的分割。然而,在嵌入词汇表中存在太多的噪声n-gram,这些噪声n-gram在字符之间不具有强的关联强度,这将限制学习的词嵌入的质量。针对这一问题,提出了一种新的无分割词嵌入模型,该模型通过一种新的无监督关联测度--带时间信息的逐点关联(PATI)来收集n-gram词汇。与常用的n-gram过滤方法(如sembei中使用的频率和逐点互信息(PMI))相比,该方法利用了语料库中更多的潜在信息,从而能够在未分割的语言数据(如中文文本)中收集更多具有更强凝聚力的有效n-gram作为嵌入目标。在中文SNS数据上的进一步实验表明,该模型提高了下游任务中词嵌入的性能。
2020-07-05 cs.CL cs.LG
UNATE: UNsupervised ATomic Embedding for crystal structures property prediction
提出UNATE框架,通过无监督去噪自编码器和自监督对比学习从无标签晶体结构中学习鲁棒原子表示,用于下游性质预测,在有限标签数据下提升高达10%。
2026-05-25 cond-mat.mtrl-sci cs.LG physics.class-ph