Text Classification for Predicting Multi-level Product Categories
Ryerson University（瑞尔森大学）；Getir Perakende Lojistik A.S.（Getir零售物流公司）
在网上购物平台中，产品的详细分类便于用户导航。它还可以帮助在线零售商跟踪特定行业的价格波动或特定产品类别的特别折扣。此外，自动分类系统可有助于查明操作员建议的不正确或主观类别。在本研究中，我们专注于杂货产品的产品名称分类。我们对六种不同的文本分类模型进行了全面的比较，为这项任务建立了一个强大的基线，这涉及到测试传统和最近的机器学习方法。在我们的实验中，我们研究了训练模型对其他在线零售商产品的可推广性，对预训练语言模型的不可行子类别的动态掩蔽，以及将产品标题纳入多种语言的好处。我们的数值结果表明，动态掩蔽的子类别是有效的，在提高预测精度。此外，我们观察到使用双语产品标题通常是有益的，基于神经网络的模型的性能明显优于SVM和XGBoost模型。最后，我们调查了错误分类产品的原因，并提出了未来的研究方向，以进一步提高预测模型。
2021-09-02 cs.CL cs.IR cs.LG
Unsupervised cross-lingual matching of product classifications
RANEPA, Russian Presidential Academy of National Economy and Public Administration（俄罗斯总统国民经济与公共管理学院）
无监督跨语言嵌入映射为完全无监督翻译提供了一个独特的工具，即使是具有不同脚本的语言。在这项工作中，我们使用这种方法的产品分类的无监督跨语言匹配的任务。我们的工作还调查了无监督向量对齐的局限性，我们还提出了两种其他技术，根据其描述对齐产品分类：使用分层信息和翻译。
2018-09-19 cs.CL
Dual Memory Network Model for Biased Product Review Classification
The Hong Kong Polytechnic University（香港理工大学）
在产品评论的情感分析中，用户信息和产品信息都被证明是有用的。目前的任务是在一个统一的模型中处理用户简档和产品信息，这可能无法有效地学习用户和产品的显著特征。在这项工作中，我们提出了一个双用户和产品记忆网络（DUPMN）模型学习用户简档和产品评论使用单独的记忆网络。然后，将这两种表示联合用于情感预测。使用单独的模型旨在更有效地捕获用户简档和产品信息。与最先进的统一预测模型相比，在三个基准数据集IMDB，Yelp 13和Yelp 14上的评估表明，我们的双重学习模型分别提供了0.6%，1.2%和0.9%的性能增益。通过p值测量，这些改善也被认为非常显著。
2018-09-16 cs.AI cs.CL
AlleNoise: large-scale text classification benchmark dataset with real-world label noise
Machine Learning Research（机器学习研究机构）
本文提出AlleNoise大规模文本分类基准数据集，包含超50万样本和约5600个类别，噪声来自真实电商用户，并证明现有噪声标签学习方法难以应对此类真实噪声。
2024-10-23 cs.CL cs.LG
Improving Review Representations with User Attention and Product Attention for Sentiment Classification
Nanjing University（南京大学）
神经网络方法在评论情感分类中取得了巨大的成功。最近，一些作品取得了改进，通过将用户和产品信息，以产生一个评论表示。然而，在评论中，我们观察到一些词或句子表现出强烈的用户偏好，而另一些则倾向于指示产品的特性。这两种信息在确定评论的情感标签时起着不同的作用。因此，将用户和产品信息一起编码到一个表示中是不合理的。在本文中，我们提出了一个新的框架来编码用户和产品信息。首先，我们应用两个独立的分层神经网络来生成两个表示，用户注意力或产品注意力。然后，我们设计了一种组合策略，充分利用这两种表示进行训练和最终预测。实验结果表明，该模型在IMDB和Yelp数据集上的性能明显优于其他现有方法。通过对用户或产品相关词的注意力可视化，我们验证了上述观察结果。
2018-01-24 cs.CL cs.IR cs.LG
SECRET: Semantically Enhanced Classification of Real-world Tasks
Princeton University（普林斯顿大学）；Rutgers University（罗格斯大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
监督机器学习（ML）算法旨在在可用能量和存储约束下最大化分类性能。它们试图将训练数据映射到相应的标签，同时确保对不可见数据的泛化能力。然而，它们并没有在决策过程中整合标签之间基于意义的关系。另一方面，自然语言处理（NLP）算法强调语义信息的重要性。在本文中，我们将监督ML和NLP算法的互补优势综合到一种方法中，我们称之为SECRET（真实世界任务的语义增强分类）。SECRET通过将标签的语义信息与可用数据融合来执行分类：它将监督算法的特征空间与NLP算法的语义空间相结合，并基于此联合空间预测标签。实验结果表明，与传统的监督学习相比，SECRET实现了高达14.0%的准确率和13.1%的F1得分改善。此外，与集成方法相比，SECRET实现了高达12.7%的准确率和13.3%的F1得分改进。这为基于语义信息的监督分类提供了一个新的研究方向。
2020-04-17 cs.CL cs.LG stat.ML
Open World Classification with Adaptive Negative Samples
Duke University（杜克大学）；Amazon（亚马逊）；Zhejiang University（浙江大学）；KAUST（阿卜杜拉国王科技大学）
开放世界分类是自然语言处理中的一项任务，具有重要的实际意义和影响。由于开放或{ \em unknown}类别数据仅在推理阶段显现，因此找到具有适合于识别已知类别和区分开放类别的合适决策边界的模型是具有挑战性的。现有模型的性能受到训练阶段缺乏有效的开放类别数据或缺乏学习适当决策边界的良好机制的限制。我们提出了一种基于\underline{a}自适应\underline{n}负向\underline{s}样本（ANS）的方法，该方法旨在在训练阶段生成有效的合成开类样本，而不需要任何先验知识或外部数据集。经验上，我们发现一个显着的优势，在使用辅助一对休息的二进制分类器，有效地利用生成的负样本，避免了复杂的阈值寻求阶段在以前的作品。在三个基准数据集上进行的大量实验表明，ANS比最先进的方法取得了显着的改进。
2023-03-09 cs.AI cs.CL
Detecting Label Errors in Token Classification Data
Cleanlab；MIT（麻省理工学院）
错误标记的示例是真实世界数据中的常见问题，特别是对于像令牌分类这样的任务，其中必须在细粒度的基础上选择许多标签。在这里，我们考虑在标记分类数据集中找到包含标签错误的句子的任务。我们研究了11种不同的直接方法，这些方法基于（任何）令牌分类模型（通过任何程序训练）输出的预测类概率对令牌/句子进行评分。在精确召回评估的基础上，在现实世界中的标签错误的实体识别数据从CoNLL-2003，我们确定了一个简单而有效的方法，一贯检测这些句子时，应用不同的标记分类模型包含标签错误。
2022-10-08 cs.CL cs.LG
Topics and Label Propagation: Best of Both Worlds for Weakly Supervised Text Classification
TCS Research, Tata Consultancy Services（塔塔咨询服务公司研究部）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
提出了一种基于标签传播的弱监督文本分类算法。我们构建了一个图，其中每个文档由一个节点表示，边权重表示文档之间的相似性。此外，我们发现潜在的主题使用潜在狄利克雷分配（LDA）和丰富的文档图，包括额外的节点的形式的主题。主题和文本文档之间的边权重表示它们之间的“亲和力”水平。我们的方法不需要文档级别的标签，相反，它只需要手动标签的主题节点。这大大减少了所需的监督水平，因为只有少数几个主题被观察到足以达到足够高的准确性。标签传播算法在这个丰富的图上被用来在节点之间传播标签。我们的方法结合了标签传播（通过文档-文档相似性）和主题建模（用于最小但智能的监督）的优点。我们证明了我们的方法在各种数据集上的有效性，并与最先进的弱监督文本分类方法进行了比较。
2017-12-04 cs.CL cs.LG
Classification-based Quality Estimation: Small and Efficient Models for Real-world Applications
Johns Hopkins University（约翰斯·霍普金斯大学）；Twitter Cortex（推特皮层）；Facebook AI（脸书人工智能研究院）；Imperial College London（伦敦帝国理工学院）
机器翻译的句子级质量估计（QE）传统上被表述为回归任务，并且QE模型的性能通常通过与人类标签的Pearson相关性来测量。最近的QE模型已经实现了与人类判断的前所未有的相关性，但它们依赖于大型多语言上下文语言模型，这些模型在计算上是昂贵的，并且对于现实世界的应用来说是不可行的。在这项工作中，我们评估了几个模型压缩技术的量化宽松，并发现，尽管他们在其他NLP任务的普及，他们导致在这个回归设置的性能不佳。我们观察到，在回归任务中需要完整的模型参数化来实现SoTA结果。然而，我们认为，在一个连续的范围内的模型的表现力水平是不必要的下游应用的QE，并表明，重新定义QE作为一个分类问题和评估QE模型使用分类指标将更好地反映其在现实世界中的应用的实际表现。
2021-09-17 cs.CL
AE-smnsMLC: Multi-Label Classification with Semantic Matching and Negative Label Sampling for Product Attribute Value Extraction
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Rakuten Institute of Technology（乐天技术研究所）；Rakuten Group Inc.（乐天集团株式会社）
针对电子商务中仅弱标注属性值而无位置信息的场景，本文提出一种结合语义匹配与负标签采样的多标签分类模型，在真实数据集上验证了其有效性与优越性。
2023-10-11 cs.CL cs.IR cs.LG
On the Robustness of Intent Classification and Slot Labeling in Goal-oriented Dialog Systems to Real-world Noise
构成对话系统基础的意图分类（IC）和槽标记（SL）模型在真实世界环境中经常遇到噪声数据。在这项工作中，我们研究了IC/SL模型对噪声数据的鲁棒性。我们收集并公开发布了一个测试套件，用于测试生产中人与机器人对话中发现的七种常见噪音类型（缩写、大小写、拼写错误、形态变体、释义、标点符号和同义词）。在这个测试套件中，我们发现，常见的噪声类型大大降低了IC的精度和SL F1性能的最先进的基于BERT的IC/SL模型。通过利用交叉噪声鲁棒性转移（在一种噪声类型上进行训练以提高对另一种噪声类型的鲁棒性），我们设计了聚合数据增强方法，使所有七种噪声类型的模型性能平均提高了10.8%（IC精度）和15个点（SL F1）。据我们所知，这是第一次提出一个单一的IC/SL模型，是强大的广泛的噪声现象的工作。
2021-11-01 cs.AI cs.CL
The Open-World Lottery Ticket Hypothesis for OOD Intent Classification
School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；Shanghai AI Laboratory（上海人工智能实验室）
本研究揭示了OOD意图分类中模型过度自信的根本原因，提出通过对过参数化模型剪枝获取校准子网络以更好区分域内外意图，并将彩票票假设扩展至开放世界场景，在四个数据集上取得显著提升。
2024-04-24 cs.CL
WOT-Class: Weakly Supervised Open-world Text Classification
Shanghai Jiao Tong University（上海交通大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
提出弱监督开放世界文本分类框架WOT-Class，仅需少量已知类样本监督，通过迭代聚类、指示词挖掘排序和冗余类合并处理未知类，在7个数据集上平均绝对macro-F1比现有方法高23.33%。
2023-11-22 cs.CL
Is a picture worth a thousand words? A Deep Multi-Modal Fusion Architecture for Product Classification in e-commerce
The Technion - Israel Institute of Technology（以色列理工学院）；Walmart Labs（沃尔玛实验室）
准确有效地将产品分类是现代电子商业的主要挑战。每天上传的新产品的高流量和类别的动态性质提高了对机器学习模型的需求，这些模型可以减少人工编辑的成本和时间。在本文中，我们提出了一种决策级融合方法，多模态产品分类，使用文本和图像输入。我们为每个输入源训练特定的最先进的深度神经网络，展示将它们锻造成多模态架构的潜力，并训练一个新的策略网络，学习在它们之间进行选择。最后，我们证明了我们的多模态网络在我们从Walmart.com收集的真实世界大规模产品分类数据集上提高了两个网络的前1准确率%。虽然我们专注于电子商业领域的特征图像-文本融合，我们的算法可以很容易地应用到其他形式，如音频，视频，物理传感器等。
2016-11-29 cs.CL cs.CV
DOC: Deep Open Classification of Text Documents
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
传统的监督学习假设在测试数据中出现的类在训练中一定出现过。这也适用于文本学习或文本分类。随着学习越来越多地用于动态开放环境中，其中一些新的/测试文档可能不属于任何训练类，在分类过程中识别这些新文档提出了一个重要的问题。这个问题被称为开放世界分类或开放分类。本文提出了一种新的基于深度学习的方法。它大大优于现有的最先进的技术。
2017-09-25 cs.CL
DECAF: Deep Extreme Classification with Label Features
IIT Delhi（德里印度理工学院）；Microsoft Research（微软研究院）；IIT Kanpur（坎普尔印度理工学院）
极端多标签分类（XML）涉及使用来自极大标签集的最相关标签子集来标记数据点，具有若干应用，例如具有数百万产品的产品到产品推荐。虽然领先的XML算法可以扩展到数百万个标签，但它们在很大程度上忽略了标签元数据，如标签的文本描述。另一方面，可以通过使用深度网络的表示学习来利用标签元数据的经典技术在极端环境中挣扎。本文开发了DECAF算法，通过学习由标签元数据丰富的模型来解决这些挑战，这些标签元数据使用深度网络联合学习模型参数和特征表示，并在数百万标签的规模上提供准确的分类。DECAF对模型架构设计、初始化和训练做出了具体贡献，使其能够在公开可用的基准产品到产品推荐数据集（如LF-AmazonTitles-1.3M）上提供比领先的极端分类器高出2-6%的准确预测。与此同时，DECAF的推理速度比领先的深度极端分类器快22倍，这使得它适用于需要在几毫秒内进行预测的实时应用。DECAF的代码可在以下URL https://github.com/Extreme-classification/DECAF上获得。
2021-08-01 cs.CL cs.IR cs.LG
Dynamically Acquiring Text Content to Enable the Classification of Lesser-known Entities for Real-world Tasks
本文提出通过动态获取实体描述文本，利用网络和大语言模型构建任务特定分类器，解决现实任务中对较少见实体分类的问题，实验在组织和医疗提供者分类任务中取得较高F1分数。
2026-04-24 cs.CL
Language-Specific Sentiment Polarity Biases in Encoder and Large Language Model Classification of Product Reviews
John P. Stevens High School（约翰·皮·斯蒂文斯高中）；Ford Foundation（福特基金会）；NC State University（北卡罗来纳州立大学）
研究AI模型跨语言和架构对正负评论分类准确率的差异，发现大语言模型在法语中有负向偏差，编码器模型在日语中有正向偏差。
2026-06-23 cs.CL
Small Language Models in the Real World: Insights from Industrial Text Classification
University of Luxembourg（卢森堡大学）；Foyer S.A.（foyer 公司）
本文全面评估了提示工程与监督微调方法在基于Transformer的工业文本分类任务中的表现，重点考察了较小模型在性能和VRAM利用效率上的优势与局限，为其本地部署提供了实用见解。
2025-06-23 cs.CL
Unveiling Comparative Sentiments in Vietnamese Product Reviews: A Sequential Classification Framework
Fulbright University Vietnam（富布赖特越南大学）；Athena Studio；VNG Corporation（VNG公司）
针对越南语产品评论中的比较意见挖掘任务，提出包含比较句识别、比较元素提取和比较类型分类三个序列子任务的框架，在VLSP 2023 ComOM挑战赛中排名第五。
2024-01-02 cs.CL
Information Extraction from Documents: Question Answering vs Token Classification in real-world setups
BNP Paribas（法国巴黎银行）
本文系统比较 DocKIE 中的问答与令牌分类方法，通过五类实验表明前者更适合噪声和长实体场景，后者在干净短实体上表现更优。
2023-04-21 cs.CL
Open-world Multi-label Text Classification with Extremely Weak Supervision
University of California San Diego（加州大学圣地亚哥分校）；Cisco（思科）
针对极弱监督下的开放世界多标签文本分类任务，提出X-MLClass方法，通过迭代挖掘文档主导关键词发现长尾标签、构建完整标签空间，显著提升了标签覆盖率与分类准确率。
2024-07-08 cs.CL
NoisyAG-News: A Benchmark for Addressing Instance-Dependent Noise in Text Classification
Hangzhou Dianzi University（杭州电子科技大学）
针对文本分类领域真实实例依赖噪声标签研究匮乏的问题，本文构建了人工标注的基准数据集NoisyAG-News，验证了真实噪声的实例依赖特性，并通过实验发现预训练模型对该类噪声鲁棒性不足，为相关方法研发提供支撑。
2024-07-09 cs.CL
Cold-Start Aware User and Product Attention for Sentiment Classification
Yonsei University（延世大学）
在情感分析中使用用户/产品信息是很重要的，特别是对于冷启动用户/产品，其评论数量非常有限。然而，目前的模型不处理冷启动问题，这是典型的评论网站。在本文中，我们提出了混合上下文情感分类器（HCSC），它包含两个模块：（1）快速词编码器，返回嵌入了短程和长程依赖特征的词向量;和（2）冷启动感知注意力（CSAA），一种注意力机制，在集中编码的词向量时考虑冷启动问题的存在。HCSC引入了由类似用户/产品构建的共享向量，并在原始不同向量没有足够信息时使用（即冷启动）。这由频率引导的选择性门矢量决定。我们的实验表明，在RMSE方面，HCSC与著名的数据集相比表现得更好，尽管复杂度较低，因此可以更快地训练。更重要的是，当训练数据稀疏且存在冷启动问题时，我们的模型的性能明显优于以前的模型。
2018-06-14 cs.CL
