This paper describes our approach on Query Word Labeling as an attempt in the shared task on Mixed Script Information Retrieval at Forum for Information Retrieval Evaluation (FIRE) 2015. The query is written in Roman script and the words were in English or transliterated from Indian regional languages. A total of eight Indian languages were present in addition to English. We also identified the Named Entities and special symbols as part of our task. A CRF based machine learning framework was used for labeling the individual words with their corresponding language labels. We used a dictionary based approach for language identification. We also took into account the context of the word while identifying the language. Our system demonstrated an overall accuracy of 75.5% for token level language identification. The strict F-measure scores for the identification of token level language labels for Bengali, English and Hindi are 0.7486, 0.892 and 0.7972 respectively. The overall weighted F-measure of our system was 0.7498.
Multi-Task Learning of Query Intent and Named Entities using Transfer Learning
Target Corporation（塔吉特公司）；AI Sciences（AI科学部门）
命名实体识别（NER）已被广泛研究，早期的算法是基于序列标记的，如隐马尔可夫模型（HMM）和条件随机场（CRF）。随后是基于神经网络的深度学习模型。最近，BERT在序列标记任务（如NER）中显示了新的最新水平的准确性。在这篇简短的文章中，我们研究了不同的方法来特定于任务的NER。任务特定的NER有两个组成部分-识别一段文本的意图（如搜索查询），然后用任务特定的命名实体标记查询。例如，我们考虑在搜索查询中标记Target商店位置的任务（可以在搜索框中输入或在Alexa或Google Home等设备中说出）。商店的位置是非常模糊的，有时很难区分，比如说一个位置和一个非位置。例如，“pickup my order at orange store”将“orange”作为商店位置，而“buy orange at target”将“orange”作为水果。我们通过多任务学习来探索这个困难，我们称之为全球到本地的信息转移。我们共同学习查询意图（即存储查找）和命名实体，通过使用多个损失函数在我们的BERT为基础的模型，并找到有趣的结果。
An Empirical Study of Discriminative Sequence Labeling Models for Vietnamese Text Processing
College of Science, Vietnam National University（越南国立大学科学学院）；FPT Technology Research Institute, FPT University（FPT大学FPT技术研究院）；Alt Vietnam；FPT Technology Innovation, FPT Corp.（FPT集团FPT技术创新）
A Semantic Alignment System for Multilingual Query-Product Retrieval
本文主要介绍了我们在KDD CUP 2022的Amazon ESCI挑战赛中获胜的解决方案（团队名称：www），该解决方案在NDCG中获得了0.9043的分数，并在任务1（查询产品排名）中获得第一名。在这次比赛中，参赛者提供了一个真实世界的大规模多语言购物查询数据集，它包含查询产品对英语，日语和西班牙语。本次竞赛提出了三个不同的任务，包括对结果列表进行排名作为任务1，将查询/产品对分类为精确、替代、互补或不相关（ESCI）类别作为任务2，以及为给定查询识别替代产品作为任务3。我们主要集中在任务1，并提出了一个多语言查询产品检索的语义对齐系统。采用预先训练好的多语言语言模型（LM）来获得查询和产品的语义表示。我们的模型都是用交叉熵损失训练的，首先将查询-产品对分类到ESCI的4个类别中，然后我们使用4类概率的加权和来获得排名得分。为了进一步增强模型，我们还进行了精心的数据预处理，通过翻译进行数据增强，使用英语LM专门处理英语文本，使用AWP和FGM进行对抗训练，自蒸馏，伪标签，标签平滑和集成。最后，我们的解决方案在公共和私人排行榜上都优于其他人。
