Improving General Text Embedding Model: Tackling Task Conflict and Data Imbalance through Model Merging
Beihang University(北京航空航天大学)
本文针对多任务联合训练中的任务冲突和数据不平衡问题,提出自定位模型合并方法,在MTEB上提升0.7个点并降低计算成本。
2024-10-19 cs.CL
TSEmbed: Unlocking Task Scaling in Universal Multimodal Embeddings
State Key Laboratory of IOTSC, University of Macau(物联网科学与技术国家重点实验室,澳门大学);OPPO Research Institute(OPPO研究院)
TSEmbed通过融合MoE与LoRA,结合专家感知负采样策略,提升通用多模态嵌入的任务扩展能力,并在基准和工业数据集上取得最佳性能。
2026-03-05 cs.AI cs.CL
NV-Embed: Improved Techniques for Training LLMs as Generalist Embedding Models
NVIDIA(英伟达)
NV-Embed通过潜在注意力层、去除因果掩码和两阶段对比指令微调等技术,显著提升LLM作为通用嵌入模型的性能,在MTEB和AIR基准上取得领先成绩。
2025-02-25 cs.AI cs.CL cs.IR
HiNS: Hierarchical Negative Sampling for More Comprehensive Memory Retrieval Embedding Model
OPPO;Zhejiang University(浙江大学)
HiNS通过分层负采样方法提升记忆检索嵌入模型的检索保真度和泛化能力,在多个任务中取得显著性能提升。
2026-01-21 cs.CL
SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples
National University of Defense Technology(国防科技大学);SenseTime(商汤科技);The University of Hong Kong(香港大学)
无监督句子嵌入的目的是为句子获得最合适的嵌入,以反映其语义。对比学习正受到越来越多的关注。对于一个句子,当前的模型利用不同的数据增强方法来生成正样本,而将其他独立的句子视为负样本。然后,他们采用InfoNCE损失来拉动聚集的正对的嵌入,并推动分散的负对的嵌入。虽然这些模型在句子嵌入方面取得了很大的进展,但我们认为它们可能受到特征抑制。这些模型不能区分和解耦文本相似性和语义相似性。而且,他们可能高估任何具有相似文本的对的语义相似性,而不管它们之间的实际语义差异。这是因为无监督对比学习中的正对通过数据增强来获得相似甚至相同的文本。为了减轻特征抑制,我们提出了对比学习的无监督句子嵌入与软负样本(SNCSE)。软否定样本与原始样本具有高度相似的文本,但具有明显不同的语义。具体地说,我们将原句的否定作为软否定样本,提出双向边际损失(BML)将其引入传统的对比学习框架,只涉及正样本和负样本。实验结果表明,SNCSE在语义文本相似性(STS)任务上的平均Spearman相关系数在BERTbase上为78.97%,在RoBERTbase上为79.23%。此外,我们还采用基于秩的误差分析方法来发现SNCSE的不足之处,为后续的研究提供参考。
2022-03-02 cs.CL
Exploring the Impact of Negative Samples of Contrastive Learning: A Case Study of Sentence Embedding
Northwest University(西北大学);Shaanxi Normal University(陕西师范大学);University of Leeds(利兹大学)
对比学习是一种从未标记数据中提取知识的强大技术。该技术需要两种成分的平衡混合物:阳性(相似)和阴性(不相似)样本。这通常通过在训练期间维护阴性样本的队列来实现。该领域的先前工作通常使用固定长度的负样本队列,但负样本大小如何影响模型性能仍不清楚。在采用对比学习时,负样本数量对性能的不透明影响引起了我们的深入探讨。提出了一种用于句子嵌入的负样本队列动量对比学习模型MoCoSE。通过在在线分支上增加预测层,使模型具有非对称性,并结合目标分支的EMA更新机制,防止模型崩溃。定义了一个最大可追踪距离度量,通过该度量可以了解文本对比学习在多大程度上受益于负样本的历史信息。实验结果表明,当最大可追踪距离在一定范围内时,查询结果最好,证明了对于负样本队列,历史信息存在一个最优范围。我们评估建议的无监督MoCoSE的语义文本相似性(STS)的任务,并获得平均斯皮尔曼的相关性$77.27\%$。源代码可在https://github.com/xbdxwyh/mocose上获得。
2022-03-16 cs.CL
KDMCSE: Knowledge Distillation Multimodal Sentence Embeddings with Adaptive Angular margin Contrastive Learning
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
本文提出KDMCSE方法,通过教师模型知识蒸馏有效检测噪声负样本,并引入AdapACSE自适应角度裕度对比目标增强判别力,显著提升了多模态句子嵌入性能。
2024-03-26 cs.CL
Contrastive Learning with Prompt-derived Virtual Semantic Prototypes for Unsupervised Sentence Embedding
Tencent Cloud Xiaowei(腾讯云小微);Westlake University(西湖大学)
对比学习已经成为无监督句子嵌入的一种新的范式。以往的研究集中在实例方面的对比学习,试图构建积极的对文本数据增强。本文提出了一种新的基于虚拟语义原型的对比学习方法。具体而言,我们借助提示语,为每个实例构造虚拟语义原型,并利用提示语的否定形式推导出否定原型。利用原型对比损失,我们使锚句子嵌入靠近其对应的语义原型,远离否定原型以及其他句子的原型。语义文本相似性,转移和聚类任务的大量实验结果表明,我们提出的模型相比,强大的基线的有效性。代码可在https://github.com/lemon0830/promptCSE上获得。
2022-12-11 cs.CL
Word2rate: training and evaluating multiple word embeddings as statistical transitions
Singapore University of Technology and Design(新加坡科技设计大学)
使用预训练的词嵌入已被证明是提高自然语言处理任务性能的一种非常有效的方法。事实上,几乎所有可以想到的自然语言任务都已经通过这些预训练的嵌入得到了改进。这些任务包括情感分析、翻译、序列预测等。最成功的词嵌入之一是Mikolov提出的采用负采样技术训练的Word2vec CBOW模型。Mai等人修改了这一目标,训练CMOW嵌入对词序敏感。我们使用修改后的版本的负采样目标为我们的上下文单词,建模的上下文嵌入率矩阵的泰勒级数。我们表明,不同的模式的泰勒级数产生不同类型的嵌入。我们将这些嵌入与CBOW和CMOW等类似的嵌入进行了比较,并表明它们实现了相当的性能。我们还引入了一种新的左右上下文分割目标,提高了对词序敏感的任务的性能。我们的Word2rate模型基于使用率矩阵的统计基础,同时在各种语言任务中具有竞争力。
2021-04-16 cs.CL
Modality-Aware Negative Sampling for Multi-modal Knowledge Graph Embedding
Zhejiang University(浙江大学)
针对多模态知识图谱嵌入中现有负采样方法不适用且效率低的问题,提出轻量高效的MANS,通过对齐实体结构与视觉嵌入提升性能,并在两个基准上验证其优于现有方法。
2023-04-23 cs.AI cs.CL
Exploiting Entity BIO Tag Embeddings and Multi-task Learning for Relation Extraction with Imbalanced Data
National Engineering Research Center for Software Engineering, Peking University(北京大学软件工程国家工程研究中心);Beijing University of Posts and Telecommunications(北京邮电大学);School of Software and Microelectronics, Peking University(北京大学软件与微电子学院)
在实际应用中,关系抽取需要首先识别出具有关系的实体对,然后分配一个正确的关系类。然而,上下文中的非关系实体对(负实例)的数量通常远远超过其他实体对(正实例),这会对模型的性能产生负面影响。为了缓解这个问题,我们提出了一种多任务架构,它联合训练一个模型来执行具有交叉熵损失的关系识别和具有排名损失的关系分类。同时,我们观察到一个句子可能有多个实体和关系提及,实体在句子中出现的模式可能包含有用的语义信息,可以用来区分积极和消极的情况。因此,我们进一步将来自命名实体识别任务的按字符/按单词的BIO标签嵌入到字符/词嵌入中,以丰富输入表示。在ACE 2005中文和英文语料库上的实验结果表明,该方法可以显著提高基线模型的性能,F1值的绝对值提高超过10%,并且优于现有的模型。此外,BIO标签嵌入特别有效,也可用于改进其他模型。
2019-06-21 cs.CL
Neighborhood Contrastive Learning for Scientific Document Representations with Citation Embeddings
DFKI GmbH(德国人工智能研究中心);University of Göttingen(哥廷根大学);University of Copenhagen(哥本哈根大学)
通过对比学习目标,可以大大改善学习科学文档表示,其中的挑战在于创建编码所需相似性语义的正训练样本和负训练样本。先前的工作依赖于离散引用关系来生成对比样本。然而,离散引用强制执行硬截止相似性。这与基于相似性的学习是反直觉的,并且忽略了科学论文尽管缺乏直接引用也可以非常相似-这是寻找相关研究的核心问题。相反,我们使用受控的最近邻采样引用图嵌入对比学习。这种控制使我们能够学习连续的相似性,对难以学习的阴性和阳性样本进行采样,并通过控制它们之间的采样裕度来避免阴性和阳性样本之间的冲突。由此产生的方法SciNCL在Sciencore基准测试中优于最先进的方法。此外,我们证明,它可以训练(或调整)模型的样本效率,它可以与最近的训练效率的方法相结合。也许令人惊讶的是,即使是以这种方式训练通用领域的语言模型,其性能也优于在领域内预先训练的基线。
2022-10-19 cs.CL
HaSa: Hardness and Structure-Aware Contrastive Knowledge Graph Embedding
University of Hawaii at Manoa(夏威夷大学马诺阿分校)
针对知识图谱嵌入中负三元组生成带来的假负三元组偏差,提出硬度和结构感知的HaSa对比方法,在生成困难负三元组时缓解假负影响,提升InfoNCE-based KGE性能,在WN18RR上达到最先进结果。
2023-10-15 cs.AI cs.CL
Incremental Skip-gram Model with Negative Sampling
Yahoo Japan Corporation(雅虎日本公司)
本文从理论和实证两个方面探讨了负采样跳图模型的增量训练策略。现有的神经词嵌入方法,包括SGNS,是多遍算法,因此不能执行增量模型更新。为了解决这个问题,我们提出了一个简单的增量扩展SGNS,并提供了一个彻底的理论分析,以证明其有效性。实验证明了理论分析的正确性和增量算法的实用性。
2017-04-15 cs.CL
Unified Interpretation of Softmax Cross-Entropy and Negative Sampling: With Case Study for Knowledge Graph Embedding
Tokyo Institute of Technology(东京工业大学);Gunma University(群马大学);RIKEN AIP(理化学研究所先进智能项目中心)
在知识图谱嵌入中,softmax交叉熵与负采样损失函数之间的理论关系尚未得到研究。这使得很难公平地比较两个不同的损失函数的结果。我们试图通过使用Bregman散度来解决这个问题,以提供对softmax交叉熵和负采样损失函数的统一解释。在这种解释下,我们可以得出理论上的发现,以进行公平的比较。在FB 15 k-237和WN 18 RR数据集上的实验结果表明,理论研究结果在实际环境中是有效的。
2022-03-16 cs.CL cs.LG stat.ML
Improving Contrastive Learning of Sentence Embeddings with Focal-InfoNCE
University of Alberta(阿尔伯塔大学)
针对 SimCSE 未充分利用难负样本的问题,提出结合难负样本挖掘的无监督对比学习框架,通过在对比目标中引入自定步长调制项的 focal-InfoNCE 函数,使模型聚焦于难负样本,在 STS 基准上有效提升了句子嵌入质量。
2023-10-20 cs.CL cs.LG
VSE++: Improving Visual-Semantic Embeddings with Hard Negatives
University of Toronto(多伦多大学);Vector Institute(矢量研究院);Google Brain(谷歌大脑)
我们提出了一种新的技术,学习视觉语义嵌入的跨模态检索。受硬否定挖掘、硬否定在结构化预测中的使用以及排名损失函数的启发,我们对用于多模态嵌入的常见损失函数进行了简单的更改。这与微调和使用增强数据相结合,在检索性能方面产生了显着的收益。我们展示了我们的方法,VSE++,在MS-COCO和Flickr 30 K数据集上,使用消融研究和与现有方法的比较。在MS-COCO上,我们的方法在标题检索和图像检索方面分别比最先进的方法高出8.8%和11.3%(在R@1)。
2018-07-29 cs.CL cs.CV cs.LG
On SkipGram Word Embedding Models with Negative Sampling: Unified Framework and Impact of Noise Distributions
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院)
本文提出了一种统一的词嵌入框架WCC,研究了噪声分布对模型学习的影响,并发现了优于现有模型的新嵌入方法。
2025-12-02 cs.CL cs.LG stat.ML
NSCaching: Simple and Efficient Negative Sampling for Knowledge Graph Embedding
The Hong Kong University of Science and Technology(香港科技大学);Paradigm Inc.(第四范式有限公司);Beijing University of Posts and Telecommunications(北京邮电大学)
知识图谱(KG)嵌入是数据采掘研究中的一个基本问题,具有广泛的实际应用。它的目的是将图中的实体和关系编码到低维向量空间中,为后续算法提供依据。负采样是KG嵌入中的一个重要步骤,它从训练数据中未观测到的负三元组中抽取负三元组。最近,生成对抗网络(GAN),已被引入负采样。这些方法通过对大分数负三元组进行采样,避免了梯度消失的问题,从而获得了更好的性能。然而,使用GAN使得原始模型更加复杂和难以训练,其中必须使用强化学习。在本文中,动机的观察,负三元组与大分数是重要的,但罕见的,我们建议直接跟踪他们的缓存。然而,如何采样和更新缓存是两个重要的问题。我们精心设计的解决方案不仅高效,而且在探索和开发之间实现了良好的平衡。通过这种方式,我们的方法可以作为以前基于GA的方法的“蒸馏”版本,它不会浪费额外参数的训练时间来拟合负三元组的完整分布。大量实验表明,该方法在各种KG嵌入模型下都能取得显著的效果,优于现有的基于GAN的负采样方法。
2019-01-18 cs.AI cs.CL cs.LG
Optimal Embedding Guided Negative Sample Generation for Knowledge Graph Link Prediction
NEC Laboratories Europe(欧洲 NEC 实验室);University College London(伦敦大学学院);Coresystems AG(科系统公司)
本文研究知识图谱嵌入中高质量负样本的生成条件,提出EMU框架通过生成而非识别负样本以提升链接预测性能,实验证明其能与现有模型无缝集成并实现显著效果。
2025-04-04 cs.CL cs.IR cs.LG
GISTEmbed: Guided In-sample Selection of Training Negatives for Text Embedding Fine-tuning
The World Bank(世界银行)
GISTEmbed提出利用引导模型改进对比训练中的批内负样本选择,减少噪声并提升嵌入模型微调性能,在MTEB上取得领先结果,并借助大模型能力增强小模型。
2024-02-26 cs.CL cs.LG
KG-NSF: Knowledge Graph Completion with a Negative-Sample-Free Approach
International University of Rabat(拉巴特国际大学)
知识图谱(KG)的补全是一项重要的任务,它极大地有利于许多领域(例如生物医学研究)的知识发现。近年来,学习KG嵌入来执行这一任务受到了相当大的关注。尽管KG嵌入方法取得了成功,但它们主要使用负采样,导致计算复杂性增加以及由于封闭世界假设而导致的有偏预测。为了克服这些局限性,我们提出了\textbf{KG-NSF},一个负采样的框架学习KG嵌入的基础上嵌入向量的互相关矩阵。结果表明,该方法实现了可比的链接预测性能负采样为基础的方法,同时收敛速度更快。
2022-07-29 cs.AI cs.CL cs.LG
HNCSE: Advancing Sentence Embeddings via Hybrid Contrastive Learning with Hard Negatives
College of Cyberspace Security(网络空间安全学院);Jinan University(暨南大学);School of Cyberspace Security(网络空间安全学院);Beijing University of Posts and Telecommunications(北京邮电大学);Birmingham College(伯明翰学院);Beihang University(北京航空航天大学)
本文提出HNCSE框架,通过在SimCSE对比学习中引入困难负样本并混合增强正负样本学习,提升无监督句向量表示的语义理解能力,在语义相似度和迁移任务上表现更优。
2024-11-19 cs.AI cs.CL
word2vec Explained: deriving Mikolov et al.'s negative-sampling word-embedding method
Tomas Mikolov及其同事的word2vec软件(code.google.com/p/word2vec/)最近获得了很大的吸引力,并提供了最先进的词嵌入。该软件背后的学习模型在两篇研究论文中进行了描述。我们发现这些论文中对模型的描述有些晦涩难懂。虽然动机和演示对于神经网络语言建模人群来说可能是显而易见的,但我们不得不努力找出方程式背后的基本原理。本文试图解释Tomas Mikolov,Ilya Sutskever,Kai Chen,Greg Corrado和Jeffrey Dean的“Distributed Representations of Words and Phrases and their Compositionality”中的公式(4)(负采样)。
2014-02-15 cs.CL cs.LG stat.ML
A Method for Handling Negative Similarities in Explainable Graph Spectral Clustering of Text Documents -- Extended Version
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
本文提出了一种处理文本文档图谱谱聚类中负相似性问题的方法,通过实验验证了不同解决方案的优劣,并展示了GloVe嵌入在该问题上的应用改进。
2025-12-01 cs.AI cs.CL
KBGAN: Adversarial Learning for Knowledge Graph Embeddings
Tsinghua University(清华大学);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
我们引入了KBGAN,一个对抗性学习框架,以提高各种现有知识图谱嵌入模型的性能。由于知识图谱通常只包含正面事实,因此采样有用的负面训练样本是一项重要的任务。用均匀随机选择的实体替换事实的头部或尾部实体是用于生成负面事实的常规方法,但是大多数生成的负面事实可以容易地与正面事实区分开,并且对训练贡献很小。受生成对抗网络(GANs)的启发,我们使用一个知识图谱嵌入模型作为负样本生成器来辅助训练我们所需的模型,该模型作为GANs中的训练器。该框架不依赖于生成器和嵌入器的具体形式,因此可以利用各种各样的知识图谱嵌入模型作为其构建块。在实验中,我们对抗性地训练两个基于推理的模型,transE和transD,每个都有两个基于概率的模型之一的帮助,DistMult和ComplEx。我们评估的性能KBGAN的链接预测任务,使用三个知识库完成数据集:FB 15 k-237,WN 18和WN 18 RR。实验结果表明,对抗性训练大大提高了各种设置下的目标嵌入模型的性能。
2018-04-16 cs.AI cs.CL
Knowledge Graph Completion with Pre-trained Multimodal Transformer and Twins Negative Sampling
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);College of Software Technology, Zhejiang University(浙江大学软件学院)
将世界知识建模为结构三元组的知识图谱不可避免地是不完整的。多模态知识图谱(MMKG)仍然存在这样的问题。因此,知识图谱补全(KGC)对于预测现有知识图谱中缺失的三元组具有重要意义。对于现有的KGC方法,基于嵌入的方法依赖于人工设计来利用多模态信息,而基于细调的方法在链接预测方面并不优于基于嵌入的方法。针对这些问题,提出了一种基于VisualBERT的知识图谱补全模型(VBKGC)。VBKGC可以捕获实体的深度融合的多模态信息,并将其集成到KGC模型中。此外,通过设计一种新的负抽样策略--孪生负抽样,实现了KGC模型与负抽样的协同设计。双胞胎负采样适用于多模式场景,并且可以对齐实体的不同嵌入。通过大量的实验,验证了VBKGC在链接预测任务上的优异性能,并对VBKGC作了进一步的探索。
2022-09-15 cs.AI cs.CL
Apple of Sodom: Hidden Backdoors in Superior Sentence Embeddings via Contrastive Learning
Peking University(北京大学);Rutgers University(罗格斯大学)
本文发现,对比学习可以为预先训练的模型产生更好的句子嵌入,但也容易受到后门攻击。我们提出了第一个后门攻击框架BadCSE,用于监督和无监督学习设置下的最先进的句子嵌入。该攻击操纵正和负对的构造,使得后门样本具有与目标样本相似的嵌入(有针对性的攻击)或其干净版本的负嵌入(非有针对性的攻击)。通过在句子嵌入中注入后门,BadCSE抵抗下游微调。我们在STS任务和其他下游任务上评估BadCSE。有监督的非目标攻击获得了194.86%的性能下降,而目标攻击将后门样本映射到目标嵌入的成功率为97.70%,同时保持模型效用。
2022-10-20 cs.CL cs.CR
Unified Interpretation of Smoothing Methods for Negative Sampling Loss Functions in Knowledge Graph Embedding
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);The University of Tokyo(东京大学)
本文从理论上统一解释了知识图谱嵌入中负采样损失的平滑方法,并提出三元组自适应负采样(TANS),在多个模型和数据集上验证了其合理性与性能提升。
2024-07-05 cs.CL cs.LG
Regional Negative Bias in Word Embeddings Predicts Racial Animus--but only via Name Frequency
Stanford University(斯坦福大学);University of Pennsylvania(宾夕法尼亚大学)
词嵌入联想测试是在大文本语料库中测量对少数民族等社会群体的语言偏见的一种重要方法。它通过比较组的原型词的语义相关性(例如,对那些组唯一的名称)和属性字(例如,“令人愉快的”和“不愉快的”词)。我们表明,在大都市统计区层面,从地理标记的社交媒体数据中估计的反黑人WEAT与种族敌意的几个指标密切相关-即使在控制社会人口协变量时。然而,我们还表明,这些相关性的每一个解释的第三个变量:在底层语料库中的黑人的名字相对于白人的名字的频率。这是因为词嵌入倾向于在估计的语义空间中将肯定(否定)词和频繁(罕见)词分组在一起。由于社交媒体上黑人名字的频率与美国黑人在人口中的流行程度密切相关,这导致了在少数美国黑人居住的地方虚假的反黑人WEAT估计。这表明,使用WEAT来衡量偏见的研究应该考虑词频,并证明了使用黑盒模型(如词嵌入)来研究人类认知和行为的潜在后果。
2022-01-20 cs.AI cs.CL cs.LG
Adversarial Contrastive Estimation
Borealis AI;University of Toronto(多伦多大学)
正负样本对比学习是许多方法普遍采用的策略。用于词嵌入的噪声对比估计(NCE)和用于知识图谱的翻译嵌入是采用这种方法的NLP中的示例。在这项工作中,我们将对比学习视为所有此类方法的抽象,并将负采样器增加到包含逆向学习采样器的混合分布中。由此产生的自适应采样器会找到更难的负样本,这迫使主模型学习更好的数据表示。我们评估了我们关于学习词嵌入,顺序嵌入和知识图谱嵌入的建议,并观察到更快的收敛速度和多个指标的改进结果。
2018-08-02 cs.AI cs.CL cs.LG
Probability Calibration for Knowledge Graph Embedding Models
Accenture Labs(埃森哲实验室)
知识图谱嵌入研究忽视了概率校准问题。我们发现流行的嵌入模型确实是未校准的。这意味着与预测三元组相关的概率估计是不可靠的。我们提出了一种新的方法来校准模型时,地面真负不可用,这是在知识图谱中的常见情况。我们建议使用普拉特缩放和保序回归与我们的方法。在三个具有地面真实否定的数据集上进行的实验表明,与使用否定的黄金标准相比,我们的贡献导致了校准良好的模型。我们得到了显着更好的结果比未校准的模型从所有的校准方法。我们表明,等渗回归提供了最佳的整体性能,但并非没有权衡。我们还表明,校准模型达到国家的最先进的准确性,而不需要定义关系特定的决策阈值。
2020-02-13 cs.AI cs.CL cs.LG
Non-negative Elastic Net Decoding for Information Retrieval
NTT, Inc(NTT公司)
提出非负弹性网络(NNN)解码方法,将检索视为联合解码问题,通过稀疏非负线性组合重构查询嵌入,在理论上严格优于稠密检索,实验表明在多个基准上取得一致改进。
2026-06-17 cs.AI cs.CL cs.IR
Effect of Word Embedding Variable Parameters on Arabic Sentiment Analysis Performance
Gazi University(加齐大学);Southern Technical University(南方技术大学)
诸如Twitter、Facebook等社交媒体已经导致产生越来越多的包含用户意见的评论。情感分析研究处理这些评论,以提取意见是积极的或消极的。阿拉伯语是一种丰富的形态语言;因此,英语情感分析的经典技术不能用于阿拉伯语。词嵌入技术可以被认为是解决阿拉伯语词法问题的成功方法之一。基于词嵌入的阿拉伯语情感分析已经有很多研究,但还没有针对可变参数的研究。本研究将讨论使用DBOW和DMPV架构进行阿拉伯语情感分析的三个参数(窗口大小、向量维数和负样本)。以前的作品的大型语料库,用于学习单词表示和提取特征。四个二进制分类器(逻辑回归,决策树,支持向量机和朴素贝叶斯)被用来检测情感。分类器的性能基于精度,召回率和F1分数进行评估。
2021-01-08 cs.CL cs.LG
e5-omni: Explicit Cross-modal Alignment for Omni-modal Embeddings
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院);University of Würzburg(乌尔姆大学);Waseda University(早稻田大学)
e5-omni通过显式对齐方法改进多模态嵌入,解决相似性尺度不一致、负样本效果下降和跨模态统计不匹配问题。
2026-01-09 cs.AI cs.CL cs.CV
LLaVE: Large Language and Vision Embedding Models with Hardness-Weighted Contrastive Learning
School of Informatics, Xiamen University, China(厦门大学信息学院);Pattern Recognition Center, WeChat AI, Tencent Inc, China(腾讯人工智能研究院);Shanghai Artificial Intelligence Laboratory, China(上海人工智能实验室)
LLaVE通过基于难度加权的对比学习提升多模态嵌入模型性能,实现SOTA表现和强泛化能力。
2026-03-01 cs.AI cs.CL cs.CV
Rethinking Prompting Strategies for Multi-Label Recognition with Partial Annotations
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对带部分标注的多标签识别,研究发现VLM提示学习中负向提示会降低性能,仅学正向提示结合学习型负向嵌入的PositiveCoOp优于双提示方法,且低缺失标签比例下纯视觉基线性能可比双提示法,计算和参数成本更低。
2024-09-12 cs.AI cs.CL cs.CV