Evaluating KGR10 Polish word embeddings in the recognition of temporal expressions using BiLSTM-CRF
Wroclaw University of Technology(弗罗茨瓦夫理工大学)
本文介绍了一组新的波兰语词嵌入,使用KGR 10语料库,其中包含超过40亿个单词。这些嵌入评估的时间表达式(时间)的波兰语言的识别问题。我们描述了KGR 10语料库的创建过程和一种新的识别方法,使用双向长短期记忆(BiLSTM)网络与额外的CRF层,其中特定的嵌入是必不可少的。我们介绍了实验和从中得出的结论。
2019-04-03 cs.CL cs.LG stat.ML
Evaluating the Effectiveness of Margin Parameter when Learning Knowledge Embedding Representation for Domain-specific Multi-relational Categorized Data
HDR-UK Institute of Health Informatics(HDR-UK健康信息学研究所);University College London(伦敦大学学院)
学习知识表示是支持各种机器学习相关应用的日益重要的技术。然而,超参数的选择很少是合理的,通常依赖于穷举搜索。了解超参数组合对嵌入质量的影响对于避免低效过程和增强矢量表示方法的实用性至关重要。我们评估了不同的边缘参数值的影响,专注于多关系分类数据的平移嵌入表示模型。我们通过对比传统的链接预测任务与分类任务的准确性来评估嵌入模型质量的边际影响。这些发现提供了证据,证明较低的边缘值不足以帮助学习过程,而较大的值会产生很多噪音,将实体推到超空间的表面,因此需要不断正则化。最后,链接预测与分类精度的相关性表明,传统的嵌入模型验证协议是一种弱度量,不能很好地表征嵌入模型的质量。
2019-12-21 cs.LG stat.ML
On Evaluating Embedding Models for Knowledge Base Completion
University of Mannheim(曼海姆大学);Mannheim(曼海姆)
知识库有助于许多网络搜索和挖掘任务,但它们往往是不完整的。为了将缺失的事实添加到给定的知识库中,在最近的文献中已经提出了各种嵌入模型。也许令人惊讶的是,相对简单的模型,有限的表达能力往往表现得非常好,在今天最常用的评估协议。在本文中,我们探讨了最近的模型是否能很好地完成知识库,并认为目前的评估协议更适合于问答,而不是知识库完成。我们表明,当专注于评估知识库完成的不同预测任务时,即使在以前被认为太容易的数据集上,当前嵌入模型的性能也不令人满意。当将嵌入模型与简单的基于规则的基线进行比较时,尤其如此。这项工作表明,需要更多的研究嵌入模型和评估协议的知识库完成。
2019-01-31 cs.AI cs.LG stat.ML
PyKEEN 1.0: A Python Library for Training and Evaluating Knowledge Graph Embeddings
Smart Data Analytics Group, University of Bonn & Fraunhofer IAIS(波恩大学智能数据分析组与弗劳恩霍夫智能分析与信息系统研究所);Ludwig-Maximilians-Universität München(慕尼黑大学);Enveda Therapeutics;Technical University of Denmark(丹麦技术大学);Ludwig-Maximilians-Universität München & Siemens AG(慕尼黑大学与西门子股份公司)
近年来,知识图谱嵌入(KGE)受到了广泛的关注,并开发了几个软件库用于训练和评估KGE。虽然每个库都满足特定的需求,但我们在社区的努力下重新设计和重新实现了PyKEEN,这是第一个KGE库之一。PyKEEN 1.0使用户能够基于广泛的交互模型、训练方法、损失函数来构建知识图谱嵌入模型(KGEM),并允许对逆关系进行显式建模。此外,还实现了自动内存优化,以最佳地利用所提供的硬件,并通过集成Optuna提供了广泛的超参数优化(HPO)功能。
2020-07-30 cs.AI cs.LG stat.ML
Evaluating the Underlying Gender Bias in Contextualized Word Embeddings
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
性别偏见严重影响着自然语言处理应用。词嵌入已被明确证明既保持又放大了当前数据源中存在的性别偏见。最近,上下文化的词嵌入通过计算依赖于它们出现在其中的句子的词向量表示来增强先前的词嵌入技术。在本文中,我们研究的影响,这种概念的变化,在词嵌入计算与性别偏见。我们的分析包括不同的措施,以前在文献中应用到标准的词嵌入。我们的研究结果表明,语境化的词嵌入是更少的偏见比标准的,即使后者是去偏见。
2019-04-18 cs.CL cs.LG
COSET: A Benchmark for Evaluating Neural Program Embeddings
Visa Research(Visa研究院)
神经程序嵌入可以帮助分析大型软件,由于其有限的可扩展性,这对于传统的基于逻辑的程序分析来说是一个挑战。最近机器学习在这一领域的进展的一个关键焦点是对程序语义建模,而不仅仅是语法。不幸的是,评估这些进步并不明显,因为程序语义并不适合直接的度量。在本文中,我们介绍了一个称为COSET的基准测试框架,用于标准化神经程序嵌入的评估。COSET由源代码格式的各种程序数据集组成,由人类专家根据感兴趣的程序属性进行标记。COSET中包含的一套程序转换是一个新颖之处。当应用于基础数据集时,这些转换可以模拟由于优化和重构而对程序代码的自然更改,并且可以用作分类错误的“调试”工具。我们对四个主要模型进行了初步研究:TreeLSTM,门控图神经网络(GGNN),AST-Path神经网络(APNN)和DYPRO。我们发现,COSET是有用的,在确定每个模型的优势和局限性,并在查明特定的语法和语义特征的程序,构成挑战。
2019-05-27 cs.LG cs.PL stat.ML
Twitch Gamers: a Dataset for Evaluating Proximity Preserving and Structural Role-based Node Embeddings
The University of Edinburgh(爱丁堡大学)
邻近保持和基于角色的结构化节点嵌入已经成为应用图挖掘的主要工作。新的节点嵌入技术通常在一组有限的基准数据集上进行测试。在本文中,我们提出了一个新的多样化的社交网络数据集,称为Twitch Gamers,具有多个潜在的目标属性。我们对社交网络和节点分类实验的分析表明,Twitch Gamers适用于评估新型邻近保持和基于结构角色的节点嵌入算法的预测性能。
2021-02-16 cs.AI cs.LG cs.SI
Better Together: Evaluating the Complementarity of Earth Embedding Models
Wageningen University(瓦赫宁根大学);University College London(伦敦大学学院);University of Bonn(波恩大学)
本文研究了地球嵌入模型的互补性,提出通过融合嵌入来提升性能,并评估了四种模型在不同任务中的表现,发现互补性在任务和位置上都具有依赖性。
2026-05-18 cs.CV cs.LG
Benchmarking Image Embeddings for E-Commerce: Evaluating Off-the Shelf Foundation Models, Fine-Tuning Strategies and Practical Trade-offs
Adevinta(阿德温塔公司)
本文系统评测了电子商务场景下多种基础模型图像嵌入在分类与检索任务中的表现,发现全量微调稳健但top-tuning能以更低计算成本达到相近性能,并为嵌入选择与微调策略提供了实用指南。
2025-04-10 cs.AI cs.CE cs.CV
Evaluating AlphaEarth Foundations Embeddings for Wildfire Susceptibility Mapping
UNSW Sydney(新南威尔士大学悉尼分校);ARC Centre of Excellence for the Weather of the 21st Century(21世纪天气ARC卓越中心);Climate Change Research Centre, University of New South Wales(新南威尔士大学气候变化研究中心);UNSW AI Institute(新南威尔士大学人工智能研究院);Wisconsin School of Business, University of Wisconsin–Madison(威斯康星大学麦迪逊分校威斯康星商学院)
本研究以澳大利亚维多利亚州为案例,评估AlphaEarth Foundations嵌入在野火易感性制图中的价值,发现其可高精度重建常用变量,模型ROC-AUC超0.92,近区域迁移性优于物理变量模型,为相关应用提供指导。
2026-08-14 cs.LG stat.AP stat.ML
Evaluating and Mitigating Gender Bias in Pre-trained Embeddings for ML-based Recruitment
AI Lab, Vrije Universiteit Brussel(人工智能实验室,布鲁塞尔自由大学)
研究基于机器学习的招聘中预训练嵌入的性别偏见问题,通过在合成数据集上评估模型、采用多任务对抗学习框架及多目标模型选择,发现清理性别可减少但未消除泄露,对抗学习能改善公平性,是补充策略。
2026-07-23 cs.LG
Training and Evaluating Multimodal Word Embeddings with Large-scale Web Annotated Images
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Pinterest Inc.(Pinterest公司);Johns Hopkins University(约翰斯·霍普金斯大学)
在本文中,我们专注于训练和评估有效的词嵌入与文本和视觉信息。更具体地说,我们引入了一个大规模的数据集,其中包含3亿个句子,描述了从Pinterest上公开可用的Pins(即用户上传的带有句子描述的图像)中抓取和下载的4000多万张图像。这个数据集比MS COCO大200倍以上,MS COCO是一个标准的大规模图像数据集,带有句子描述。此外,我们构建了一个评估数据集,直接评估词嵌入在查找语义相似或相关的单词和短语方面的有效性。该评价数据集中的词/短语对是从图像搜索系统中数百万用户的点击数据中收集的,因此包含了丰富的语义关系。基于这些数据集,我们提出并比较了几种基于递归神经网络(RNN)的多模态(文本和图像)模型。实验表明,我们的模型的好处,将视觉信息到词嵌入,和权重共享策略是至关重要的学习这样的多模态嵌入。项目页面:http://www.stat.ucla.edu/~junhua.mao/multimodal_embedding.html
2016-11-24 cs.CL cs.CV cs.LG
ZADU: A Python Library for Evaluating the Reliability of Dimensionality Reduction Embeddings
Seoul National University(首尔国立大学);KAIST(韩国科学技术院);Samsung Electronics(三星电子);Sungkyunkwan University(成均馆大学)
ZADU是一个用于评估降维嵌入可靠性的Python库,提供广泛失真度量、自动优化执行和逐点失真贡献分析,显著减少评估时间,并配套ZADUVis实现失真可视化。
2023-08-11 cs.LG
Evaluating Contextual Embeddings and their Extraction Layers for Depression Assessment
Stony Brook University(石溪大学)
最近的工作已经证明了从个人话语评估心理健康方面的能力。与此同时,预先训练的上下文词嵌入模型已经成为NLP的主导,但在如何最好地将其应用于心理健康评估方面,人们知之甚少。使用抑郁程度作为案例研究,我们做了一个实证分析,现成的语言模型,单独的层,层的组合似乎最有前途时,应用于人类水平的NLP任务。值得注意的是,我们发现RoBERTa最有效,尽管过去的标准建议倒数第二层或最后4层的级联,但我们发现第19层(倒数第六层)至少与使用1层时的第23层一样好。此外,当使用多个层时,将它们分布在24层中的第二半(即层12+)而不是最后4层上产生了最准确的结果。
2022-04-28 cs.CL cs.LG
Evaluating the reliability of acoustic speech embeddings
ENS-PSL(巴黎高等师范学院-巴黎文理研究大学);EHESS(法国高等社会科学研究院);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
语音嵌入是可变长度语音序列的固定大小的声学表示。它们越来越多地用于各种任务,从信息检索到无监督术语发现和语音分割。然而,目前还没有明确的方法来以任务中立的方式比较或优化这些嵌入的质量。在这里,我们系统地比较了两个流行的指标,ABX歧视和平均精度(MAP),在5种语言的17种嵌入方法,从监督到完全无监督,并使用不同的损失函数(自动编码器,对应自动编码器,连体)。然后,我们使用ABX和MAP来预测一个新的下游任务的性能:在给定的语料库中的语音段的频率的无监督估计。我们发现,总体而言,ABX和MAP相互关联,并与频率估计。然而,在语言和/或嵌入方法之间的细粒度区分中出现了实质性的差异。这使得目前提出一种独立于任务的银弹方法来计算语音嵌入的内在质量是不现实的。有必要对目前用于评估这种嵌入的指标进行更详细的分析。
2020-11-06 cs.CL cs.LG cs.SD
Unsupervised Framework for Evaluating and Explaining Structural Node Embeddings of Graphs
Toronto Metropolitan University(多伦多都会大学);SGH Warsaw School of Economics(华沙经济学院);Patagona Technologies(帕塔戈纳科技公司);Simons Institute for the Theory of Computing(西蒙斯计算理论研究所)
本文提出一种无监督框架,用于对图的结构化节点嵌入进行排序和解释,通过评估嵌入对预定义节点特征的学习效果及维度对应关系,提升黑盒算法的可解释性。
2023-06-19 cs.LG cs.SI
RiverText: A Python Library for Training and Evaluating Incremental Word Embeddings from Text Data Streams
Department of Computer Science, University of Chile(智利大学计算机科学系);National Center for Artificial Intelligence (CENIA)(人工智能国家中心);Millennium Institute for Foundational Research on Data (IMFD)(数据基础研究千年研究所)
针对传统静态词嵌入难以适应动态语言模式的问题,提出Python库RiverText,基于PyTorch实现Skip-gram等增量词嵌入算法,并提供流式评估模块,为流式场景下的词嵌入训练与评估提供标准化框架。
2025-06-29 cs.CL cs.LG
Evaluating Robustness in Latent Diffusion Models via Embedding Level Augmentation
American University of Armenia(亚美尼亚美国大学);NVIDIA(英伟达)
本文针对潜在扩散模型鲁棒性评估不足的问题,主张剥离文本编码器测量,并提出嵌入级数据增强与面向Dreambooth微调模型的专用评估流程。
2025-06-09 cs.LG
Pooling Attention: Evaluating Pretrained Transformer Embeddings for Deception Classification
Independent Researcher, USA(美国独立研究者);Independent Researcher, Japan(日本独立研究者)
本文通过评估预训练变换器嵌入在欺骗分类中的效果,发现BERT结合逻辑回归在LIAR数据集上表现最佳,证明了上下文自注意力编码的有效性。
2025-11-28 cs.AI cs.CL cs.LG
Does My Embedding Reflect That $A = B$? Evaluating Mathematical Equivalence in Embedding Models
University of Washington(华盛顿大学);Axiom Math;Pacific Northwest National Laboratory(太平洋西北国家实验室)
针对当前嵌入模型无法识别数学等价陈述的问题,提出MELD数据集和对比学习方法,使嵌入能对齐不同形式化的数学表述。
2026-06-29 cs.CL cs.LG
Evaluating Sparse Interpretable Word Embeddings for Biomedical Domain
Isfahan University of Technology(伊斯法罕理工大学);Isfahan University of Medical Sciences(伊斯法罕医科大学)
词嵌入已经在包括生物医学领域的自然语言处理任务中找到了它们的方式。虽然这些矢量表示成功地捕捉语义和句法词的关系,隐藏的模式和趋势的数据,他们无法提供可解释性。可解释性是论证的关键手段,而论证是生物医学应用中不可或缺的一部分。我们提出了一个包容性的研究在医学领域的词嵌入的可解释性,侧重于稀疏方法的作用。提供了词向量表示的可解释性的定性和定量测量和度量。对于定量评估,我们引入了一个广泛的分类数据集,可用于量化基于类别理论的可解释性。还提出了所研究的方法的内在和外在评价。至于后者,我们提出了数据集,可用于有效的外在评价的词向量在生物医学领域。基于我们的实验,可以看出,稀疏的词向量显示出更好的可解释性,同时保留了其原始向量在下游任务中的性能。
2020-05-11 cs.CL cs.LG
Evaluating Node Embeddings of Complex Networks
Toronto Metropolitan University(多伦多都会大学);SGH Warsaw School of Economics(华沙经济学院);Tutte Institute for Mathematics and Computing(塔特数学与计算研究所)
图嵌入是将图的节点转换为一组向量。一个好的嵌入应该捕获图的拓扑结构、节点到节点的关系,以及关于图、其子图和节点的其他相关信息。如果实现了这些目标,嵌入就是一个有意义的、可理解的、压缩的网络表示,可以用于其他机器学习工具,如节点分类、社区发现或链接预测。主要的挑战是需要确保嵌入很好地描述了图的属性。因此,选择最佳嵌入是一项具有挑战性的任务,通常需要领域专家。在本文中,我们对选定的图嵌入算法进行了一系列广泛的实验,无论是在真实世界的网络上还是人工生成的网络上。根据这些实验,我们得出两个一般性结论。首先,如果在运行实验之前需要选择一种嵌入算法,那么node2vec是最好的选择,因为它在我们的测试中表现最好。话虽如此,在所有测试中没有单一的赢家,此外,大多数嵌入算法都有应该调整和随机化的超参数。因此,我们对从业者的主要建议是,如果可能的话,为手头的问题生成几个嵌入,然后使用一个通用框架,为无监督图嵌入比较提供工具。这个框架(最近在文献中介绍,在GitHub存储库中很容易获得)为嵌入分配分歧分数,以帮助区分好的嵌入和坏的嵌入。
2022-06-17 cs.LG cs.SI physics.soc-ph
Evaluating the trustworthiness of the Fréchet Inception Distance with stochastic embedding representations
Department of Data Science and AI(数据科学与人工智能系);National Physical Laboratory(国家物理实验室);Dutch Expert Centre for Screening (LRCB)(荷兰筛查专家中心(LRCB))
本文通过蒙特卡洛dropout分析FID的预测方差,探讨其在医疗图像中的可信度评估效果。
2026-08-18 cs.LG
BioConceptVec: creating and evaluating literature-based biomedical concept embeddings on a large scale
National Center for Biotechnology Information (NCBI), National Library of Medicine (NLM), National Institutes of Health (NIH)(美国国立卫生研究院国立医学图书馆国家生物技术信息中心)
捕获相关生物学概念的语义,如基因和突变,对于计算生物学中的许多研究任务,如蛋白质-蛋白质相互作用检测,基因-药物关联预测和基于生物医学文献的发现具有重要意义。在这里,我们建议利用最先进的文本挖掘工具和机器学习模型,通过向量表示(又名。嵌入)的超过400,000生物学概念中提到的整个PubMed摘要。我们学习的嵌入,即BioConceptVec,可以根据文献中的周围上下文信息捕获相关概念,这超出了精确的术语匹配或基于共现的方法。BioConceptVec已在多个生物信息学任务中进行了全面评估,这些任务包括来自9个不同生物数据集的2500多万个实例。评估结果表明,BioConceptVec在所有任务中具有比现有方法更好的性能。最后,BioConceptVec通过https://github.com/ncbi-nlp/BioConceptVec免费提供给研究社区和公众。
2019-12-23 cs.CL cs.IR cs.LG
Evaluating Pretrained Music Embeddings for Cross-Performance Jazz Standard Recognition
研究利用预训练音乐嵌入进行跨演奏爵士标准曲识别,对比从头训练的谐波CNN基线,发现预训练嵌入在top-k结果上更优但对演奏者身份敏感,轻量对比投影可部分缓解。
2026-07-02 cs.LG cs.SD
Evaluating the Predictive Features of Person-Centric Knowledge Graph Embeddings: Unfolding Ablation Studies
KU Leuven(鲁汶大学);IBM Research Europe(IBM欧洲研究院)
本文提出一种系统方法,通过对MIMIC-III数据集的临床、人口统计和社会数据进行消融研究,评估以人为中心的知识图谱(PKGs)和图神经网络(GNNs)在再入院预测任务中的预测特征及鲁棒性。
2024-08-29 cs.AI cs.LG
Evaluating the Calibration of Knowledge Graph Embeddings for Trustworthy Link Prediction
University of Michigan(密歇根大学);Bloomberg(彭博(公司))
关于知识图谱嵌入(KGE)模型预测的可信度知之甚少。在本文中,我们朝着这个方向采取初步措施,通过调查KGE模型的校准,或在何种程度上,他们输出的信心分数,反映了预期的正确性预测知识图谱三元组。我们首先进行评估下的标准封闭世界假设(CWA),其中预测的三元组还没有在知识图谱被认为是假的,并表明现有的校准技术是有效的KGE在这个共同的,但狭窄的假设。接下来,我们介绍更现实但具有挑战性的开放世界假设(OWA),其中未观察到的预测在获得地面真实标签之前不被认为是真的或假的。在这里,我们表明,现有的校准技术是有效的OWA下比CWA,并提供这种差异的解释。最后,为了从从业者的角度激励KGE校准的实用性,我们进行了一个独特的人类-AI协作案例研究,表明校准的预测可以提高人类在知识图谱完成任务中的表现。
2020-10-06 cs.AI cs.CL cs.LG
IdBench: Evaluating Semantic Representations of Identifier Names in Source Code
TU Darmstadt(达姆施塔特工业大学);University of Stuttgart(斯图加特大学)
标识符名称传达有关代码预期语义的有用信息。基于名称的程序分析使用该信息,例如,检测错误,预测类型,提高代码的可读性。基于名称的分析的核心是标识符的语义表示,例如,以学习嵌入的形式。这种表示的高级目标是编码两个标识符,例如,Lens和Size在语义上相似。不幸的是,目前还不清楚语义表示在多大程度上与开发人员感知的语义相关性和相似性相匹配。本文介绍了IdBench,第一个基准评估语义表示对地面真相从数千个评级由500名软件开发人员。我们使用IdBench来研究为自然语言提出的最先进的嵌入技术,一种专门为源代码设计的嵌入技术,以及词汇字符串距离函数。我们的研究结果表明,语义表示的有效性差异显着,最好的嵌入成功地代表语义相关性。不利的是,没有现有技术提供语义相似性的令人满意的表示,除了其他原因之外,因为具有相反含义的标识符被错误地认为是相似的,这可能导致致命的错误,例如,一个重构工具。研究不同技术的优点和缺点表明,它们是相辅相成的。作为利用这种互补性的第一步,我们提出了一个集成模型,结合现有的技术,显然优于最好的语义表示。
2021-01-14 cs.LG cs.PL cs.SE
Clustering and novel class recognition: evaluating bioacoustic deep learning feature extractors
Tilburg University(蒂尔堡大学);Naturalis Biodiversity Center(自然is生物多样性中心)
本文通过聚类和kNN分类分析15个生物声学模型的特征提取器生成的嵌入,以评估模型在训练类别之外的适应性与泛化潜力。
2025-04-09 cs.LG
Learning and Evaluating Contextual Embedding of Source Code
Indian Institute of Science(印度科学理工学院);Google Brain(谷歌大脑)
最近的研究在理解和改进源代码方面取得了令人印象深刻的成果,这是通过建立在为自然语言开发的机器学习技术上来实现的。自然语言理解的一个重大进步是随着预先训练的上下文嵌入的发展,例如BERT,它可以针对具有较少标记数据和训练预算的下游任务进行微调,同时实现更好的准确性。然而,还没有尝试获得高质量的源代码的上下文嵌入,并同时在多个程序理解任务上对其进行评估;这就是本文旨在缩小的差距。具体来说,首先,我们从GitHub上整理了一个庞大的、经过重复数据删除的740万个Python文件的语料库,我们用它来预训练CuBERT,这是一个开源的代码理解BERT模型;其次,我们创建了一个开源的基准测试,其中包括五个分类任务和一个程序修复任务,类似于之前文献中提出的代码理解任务。我们在基准测试任务上对CuBERT进行了微调,并将生成的模型与Word 2 Vec令牌嵌入的不同变体、BiLSTM和Transformer模型以及已发布的最先进模型进行了比较,结果表明CuBERT的性能优于所有模型,即使训练时间较短,标记的示例也较少。未来关于源代码嵌入的工作可以从重用我们的基准测试中受益,并将CuBERT模型作为一个强大的基线进行比较。
2020-08-17 cs.CL cs.LG cs.PL
Evaluating Embedding Generalization: How LLMs, LoRA, and SLERP Shape Representational Geometry
Department of Computer Science University of Fort Hare(计算机科学系大学弗利特哈雷)
该研究探讨了LLM、LoRA和SLERP在嵌入泛化中的作用,发现SLERP融合能有效恢复基础模型结构并提升聚类性能。
2025-11-16 cs.AI cs.CL cs.LG
Evaluating the Effectiveness of Large Language Models in Representing Textual Descriptions of Geometry and Spatial Relations
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本研究通过GPT-2和BERT编码WKT几何文本并评估其嵌入,发现LLM可保留几何类型和部分空间关系但数值估计与空间检索仍不足,强调需融合领域知识以改进GeoAI基础模型。
2023-07-05 cs.AI cs.CL cs.LG
Evaluating Embedding Frameworks for Scientific Domain
University of Oxford(牛津大学);QunaSys
针对科学领域,本研究旨在寻找最优词表示与分词方法,并构建评估套件以测试多种算法,用于下游NLP任务。
2025-10-03 cs.AI cs.CL cs.LG
Beyond Architectures: Evaluating the Role of Contextual Embeddings in Detecting Bipolar Disorder on Social Media
Department of Computer Science Missouri State University Springfield, MO, USA(计算机科学系 摩西州立大学 斯普林菲尔德 MO 美国)
本文系统评估了Transformer和LSTM模型结合上下文与静态词嵌入在社交媒体双相情感障碍检测中的表现,发现RoBERTa和基于BERT嵌入的LSTM效果最佳,验证了上下文语言建模对早期筛查的重要价值。
2025-07-17 cs.AI cs.CL cs.LG
Evaluating Off-the-Shelf Machine Listening and Natural Language Models for Automated Audio Captioning
Huawei Technologies, Munich Research Center(华为技术有限公司慕尼黑研究中心);Music Technology Group, Universitat Pompeu Fabra(庞培法布拉大学音乐技术研究组);Audio Research Group, Tampere University(坦佩雷大学音频研究组)
自动音频字幕(AAC)是自动生成一般音频信号的文本描述的任务。字幕系统必须从输入信号中识别出各种信息,并用自然语言来表达。现有的工作主要集中在研究新的方法,并试图提高其性能测量现有的数据集。最近才引起人们的注意,很少有关于AAC的工作研究现有的预训练音频和自然语言处理资源的性能。在本文中,我们评估的性能现成的模型与基于变压器的字幕方法。我们利用免费提供的Clotho数据集来比较四种不同的预训练机器听力模型,四种词嵌入模型以及它们在许多不同设置中的组合。我们的评估表明,YAMNet结合BERT嵌入产生最好的字幕。此外,一般来说,微调预训练的词嵌入可以带来更好的性能。最后,我们表明,序列的音频嵌入可以使用Transformer编码器处理,以产生更高质量的字幕。
2021-10-14 cs.CL cs.LG cs.SD
Evaluating Gender Bias in Hindi-English Machine Translation
Manipal Institute of Technology(马尼帕尔理工学院);MAHE(马尼帕尔高等教育学院)
随着语言模型在现实世界中的部署越来越多,解决其输出的公平性问题至关重要。这些语言模型的词嵌入表示通常隐含地绘制不需要的关联,从而在模型内形成社会偏见。像印地语这样的性别语言的性质给量化和减轻偏见带来了另一个问题,因为句子中的单词形式会根据主语的性别发生变化。此外,在印度语的测量和去偏置系统领域也做了一些工作。在我们的工作中,我们试图评估和量化的印地语-英语机器翻译系统中的性别偏见。我们实现了一个修改后的版本,现有的TGBI指标的基础上,印地语的语法考虑。我们还比较和对比了预训练嵌入的多个指标和通过我们的机器翻译模型学习的多个指标的偏差测量。
2021-06-16 cs.AI cs.CL cs.CY
Evaluating Disentangled Representations for Controllable Music Generation
本文评估了音乐生成中解耦表示的有效性,发现现有方法在可控生成中存在语义不一致问题,需重新审视解耦策略。
2026-02-15 cs.LG cs.SD eess.AS
Evaluating the Effectiveness of Large Language Models in Representing and Understanding Movement Trajectories
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本研究通过GPT-J编码轨迹字符串并评估其嵌入表示,发现LLM虽能保留部分轨迹距离度量、理解时空依赖并较好完成位置预测,但在数值恢复和空间邻近检索上仍存在不足,需结合领域知识改进以支持GeoAI应用。
2024-08-31 cs.AI cs.CL cs.LG