Adaptive Domain Generalization via Online Disagreement Minimization
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong University of Science and Technology（香港科技大学）
本文提出 AdaODM 框架，通过在测试时利用多个领域特定分类器间的预测分歧自适应微调源模型，从而提升现有领域泛化算法的跨域泛化性能，并在多个基准上取得最优结果。
2023-07-09 cs.CV cs.LG
What Can We Learn from Collective Human Opinions on Natural Language Inference Data?
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
尽管许多NLP任务具有主观性，但大多数NLU评估都集中在使用大多数标签作为基础事实。很少有人注意到人类意见的分布。我们收集了ChaosNLI，一个总共有464，500个注释的数据集，以研究常用NLI评估集中的集体HumAn OpinionS。该数据集是通过收集SNLI和MNLI中3，113个示例和外展NLI中1，532个示例的每个示例100个注释创建的。分析表明：（1）在这些数据集中，大量的例子中存在高度的人类不一致;（2）最先进的模型缺乏恢复人类标签上的分布的能力;（3）模型在具有高水平人类一致性的数据子集上实现了近乎完美的准确性，而在具有低水平人类一致性的数据上，它们几乎无法击败随机猜测，这构成了最先进的模型在评估集上产生的大多数常见错误。这就质疑了在评估数据集的低一致性部分的旧指标上提高模型性能的有效性。因此，我们主张在未来的数据汇集工作中对人类协议进行详细检查，并根据人类集体意见的分布评估模型输出。ChaosNLI数据集和实验脚本可在https://github.com/easonnie/ChaosNLI上获得
2020-10-08 cs.AI cs.CL cs.LG
Effect of Word Embedding Variable Parameters on Arabic Sentiment Analysis Performance
Gazi University（加齐大学）；Southern Technical University（南方技术大学）
诸如Twitter、Facebook等社交媒体已经导致产生越来越多的包含用户意见的评论。情感分析研究处理这些评论，以提取意见是积极的或消极的。阿拉伯语是一种丰富的形态语言;因此，英语情感分析的经典技术不能用于阿拉伯语。词嵌入技术可以被认为是解决阿拉伯语词法问题的成功方法之一。基于词嵌入的阿拉伯语情感分析已经有很多研究，但还没有针对可变参数的研究。本研究将讨论使用DBOW和DMPV架构进行阿拉伯语情感分析的三个参数（窗口大小、向量维数和负样本）。以前的作品的大型语料库，用于学习单词表示和提取特征。四个二进制分类器（逻辑回归，决策树，支持向量机和朴素贝叶斯）被用来检测情感。分类器的性能基于精度，召回率和F1分数进行评估。
2021-01-08 cs.CL cs.LG
Opinion mining of text documents written in Macedonian language
Macedonian Academy of Sciences and Arts（马其顿科学与艺术学院）；Ss. Cyril and Methodius University（圣基里尔与美多德大学）；University of California at San Diego（加州大学圣地亚哥分校）
从审查网站、社交网络和博客等门户网站提取公众意见的能力将使公司和个人能够形成一种观点、一种态度并作出决定，而不必进行冗长和昂贵的研究和调查。在本文中，机器学习技术用于确定的极性kajgana这是写在马其顿语的论坛帖子。这些职位分为积极、消极或中立三类。我们测试了不同的特征度量和分类器，并对它们在提高手动生成的数据集的整体性能方面的参与进行了详细的评估。通过达到92%的准确率，我们表明，自动化意见挖掘系统的性能与人类评估人员相当，从而使其成为文本数据分析的可行选择。最后，我们提出了一些统计数据来自使用开发的系统的论坛帖子。
2014-11-17 cs.CL
Deep Learning versus Traditional Classifiers on Vietnamese Students' Feedback Corpus
学生反馈是收集学生意见、提高培训活动质量的重要来源。对学生反馈数据实施情感分析，我们可以确定表达机构中所有问题的情感极性，因为将应用必要的改变来提高教学质量。本研究以一所大学的越南学生反馈语料库为研究对象，采用机器学习和自然语言处理技术（朴素贝叶斯、最大熵、长短期记忆、双向长短期记忆）对学生的反馈进行研究。最后根据不同的评价标准对模型进行了比较和评价，以找出最有效的模型。实验结果表明，双向长短期记忆算法优于其他三种算法的F1分数测量92.0%的情感分类任务和89.6%的主题分类任务。此外，我们开发了一个情感分析应用程序分析学生的反馈。该应用程序将帮助该机构认识到学生对一个问题的意见，并确定仍然存在的缺点。通过使用该应用程序，机构可以提出适当的方法，以提高未来培训活动的质量。
2019-11-17 cs.CL cs.CY cs.LG
ASTE Transformer Modelling Dependencies in Aspect-Sentiment Triplet Extraction
Poznan University of Technology（波兹南理工大学）；Charles University（查理大学）
本文提出一种由三个Transformer启发层组成的ASTE方法，通过建模短语之间及分类器决策之间的依赖关系，在常用基准上取得更高F1性能，并验证了简单预训练技术的进一步提升效果。
2024-10-04 cs.AI cs.CL cs.LG
Domain Adaptation of Majority Votes via Perturbed Variation-based Label Transfer
Institute of Science and Technology Austria（奥地利科学技术研究所）
我们解决PAC-Bayesian Domain Adaptation（DA）问题。当人们希望从源分布中学习不同目标分布上的良好加权多数投票（在一组分类器上）时，就会出现这种情况。在这种情况下，分类器之间的分歧是已知的控制至关重要。在非DA监督设置中，理论界-C界-涉及这种分歧，并导致多数投票学习算法：MinCq。在这项工作中，我们扩展MinCq DA利用一个优雅的发散分布称为扰动变差（PV）。首先，证明了一个新的配方的C界限，我们提供给MinCq的目标样本标记感谢基于PV的自标记集中在区域的源和目标边缘分布更接近。其次，我们提出了一个调整超参数的原始过程。我们的框架在玩具问题上显示出非常有希望的结果。
2013-11-19 cs.LG stat.ML
Faithful Summarisation under Disagreement via Belief-Level Aggregation
University of Sheffield, UK（谢菲尔德大学）
本文提出一种通过信念层面聚合实现分歧意识的总结方法，结合结构化信念集和大语言模型生成，提升观点密集场景下的摘要忠实性。
2026-01-08 cs.CL
Improving the Explainability of Neural Sentiment Classifiers via Data Augmentation
University of Virginia（弗吉尼亚大学）
情感分析已被企业广泛用于社交媒体意见挖掘，特别是在金融服务行业，客户的反馈对公司至关重要。近年来神经网络模型在情感分类方面取得了令人瞩目的成绩，但由于缺乏分类解释，在实际应用中可能会出现可信度等问题。在这项工作中，我们研究的问题，提高现有的情感分类器的可解释性。我们提出了两种数据增强方法，创建额外的训练样本，以帮助提高模型的可解释性：一种方法与一个预定义的情感词列表作为外部知识和其他对抗性的例子。我们用三个基准情感数据集在CNN和RNN分类器上测试了所提出的方法。该模型的可解释性是由人类评估和一个简单的自动评估测量。实验表明，所提出的数据增强方法显着提高了两个神经分类器的可解释性。
2020-05-25 cs.CL
Hierarchical Narrative Analysis: Unraveling Perceptions of Generative AI
The University of Tokyo（东京大学）；The Canon Institute for Global Studies（佳能全球研究所）
提出利用大型语言模型提取并组织层级叙事结构的方法，通过分析日本公众对生成式AI的意见，比较支持者与批评者叙事，以可视化影响观点分歧的因素。
2024-11-11 cs.CL
Thesis Proposal: Toward a Human-Centered and Perspective-Aware Framework for Reproducible ML Evaluation and AI Alignment
Rochester Institute of Technology（罗切斯特理工学院）
针对当前LLM评估掩盖少数视角、加剧AI可复现性危机的问题，论文提出一种以人为中心且视角感知的框架，用于可复现的机器学习评估与AI对齐。
2026-09-01 cs.CL
Dynamic Top-k Estimation Consolidates Disagreement between Feature Attribution Methods
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Eindhoven University of Technology（埃因霍温理工大学）
提出一种依据归因分数序列性质动态确定 Top-k 的方法，实验表明其可消除静态 k 下方法间优势差异并提升 Integrated Gradient 等方法的人类解释一致性。
2023-11-03 cs.AI cs.CL
When the Majority is Wrong: Modeling Annotator Disagreement for Subjective Tasks
UC Berkeley（加州大学伯克利分校）；Harvard University（哈佛大学）
针对主观任务中标注者分歧，提出模型结合个体评分预测与目标群体识别，提升评分预测22%及方差预测33%，并支持隐私友好的非侵入式调查。
2024-03-17 cs.AI cs.CL
Vicarious Offense and Noise Audit of Offensive Speech Classifiers: Unifying Human and Machine Disagreement on What is Offensive
Rochester Institute of Technology（罗切斯特理工学院）；Aston University（阿斯顿大学）；George Mason University（乔治梅森大学）
本文通过噪声审计和新数据集，揭示了人类和机器对攻击性言论的分歧，并发现政治倾向和敏感问题影响攻击性判断。
2026-02-03 cs.CL cs.CY cs.LG
Exploring the Influence of Label Aggregation on Minority Voices: Implications for Dataset Bias and Model Training
University of Sheffield（谢菲尔德大学）
本文研究性别歧视检测任务中标准标签聚合策略对少数群体意见代表性的影响，分析其对黄金标签类别分布及模型行为的作用，探讨各方法引入的潜在偏差及模型对偏差的放大效应。
2024-12-05 cs.CL
Topic Independent Identification of Agreement and Disagreement in Social Media Dialogue
University of California, Santa Cruz（加州大学圣克鲁兹分校）
对话结构的研究多年来一直受到阻碍，因为大型的对话语料库还没有。这影响了对话研究社区开发更好的理论以及对话处理的现成工具的能力。令人高兴的是，越来越多的信息和意见交流发生在在线论坛的自然对话中，人们在那里分享他们对广泛主题的看法。特别是，我们感兴趣的拒绝对话，也被称为分歧和否认，其中可用的对话语料库的大小，第一次，提供了一个机会，以实证检验理论帐户的表达和推理拒绝对话。在本文中，我们测试是否主题无关的功能动机的理论预测可以用来识别拒绝在一个主题无关的方式在网上论坛。我们的研究结果表明，我们的理论动机的功能达到66%的准确性，绝对6%的一元基线的改进。
2017-09-03 cs.AI cs.CL
Natural Language Understanding for Argumentative Dialogue Systems in the Opinion Building Domain
Southeast University（东南大学）；Ulm University（乌尔姆大学）；Mercedes-Benz Research & Development（梅赛德斯-奔驰研发中心）
本文介绍了一个自然语言理解（NLU）框架，在信息寻求和意见建设领域的辩论对话系统。该框架包括两个子模型，即意图分类器和论点相似度。意图分类器模型将BiLSTM与注意力机制堆叠在预训练的BERT模型之上，并微调模型以识别用户意图，而论点相似性模型使用BERT + BiLSTM来识别用户在他或她的自然语言话语中引用的系统论点。我们的模型是在一个争论性的对话系统，从事用户通知他/她自己的一个有争议的话题，通过探索赞成和反对的论点，并建立他/她对这个话题的意见。为了评估所提出的方法，我们收集用户话语的互动与各自的系统标签的意图和参考参数在一个广泛的在线研究。数据汇集包括多个主题和两种不同的用户类型（来自英国的英语母语者和来自中国的非英语母语者）。此外，我们分别在公开的Banking77和STS基准数据集上评估了所提出的意图分类器和参数相似性模型。评估表明，在几个数据集的基线方法，以及对新的主题和不同的语言能力，以及用户的文化背景所提出的方法的鲁棒性所使用的技术的明显优势。此外，结果表明，我们的意图分类器模型在Few-Shot设置中优于DIET、DistillBERT和BERT微调模型（即，每个意图具有10、20或30个标记的示例）和完整的数据设置。
2022-02-19 cs.CL cs.LG
SafeWebUH at SemEval-2023 Task 11: Learning Annotator Disagreement in Derogatory Text: Comparison of Direct Training vs Aggregation
University of Houston（休斯顿大学）
针对贬损文本标注中的意见分歧问题，本研究基于SemEval-2023 Task 11的四个数据集微调BERT模型，对比直接训练与聚合方法，验证了个体标注者建模、聚合及标注者元数据对降低交叉熵得分的作用。
2023-05-01 cs.CL cs.LG cs.SI
iLab at SemEval-2023 Task 11 Le-Wi-Di: Modelling Disagreement or Modelling Perspectives?
Heriot-Watt University（赫瑞-瓦特大学）；Alana AI（Alana人工智能）
本文对比了建模标注者分歧的两种方法，提出结合多任务架构预测个体视角以预测分歧，发现其在异质数据集上表现不佳，但能更细致理解个体视角，并主张视角主义方法以放大少数派观点。
2023-05-10 cs.CL cs.LG
Improving Opinion Spam Detection by Cumulative Relative Frequency Distribution
Istituto di Informatica e Telematica, Consiglio Nazionale delle Ricerche（国家研究委员会信息与电信研究所）；Università Mediterranea di Reggio Calabria（雷焦卡拉布里亚地中海大学）
在过去的几年里，在线评论变得非常重要，因为它们可以影响消费者的购买决定和企业的声誉，因此，撰写虚假评论的做法可能会对客户和服务提供商造成严重后果。已经提出了各种方法来检测在线评论中的意见垃圾，特别是基于监督分类器。在这篇文章中，我们从一组用于分类意见垃圾邮件的有效功能开始，通过考虑每个功能的累积相对频率分布，我们重新设计了它们。通过对来自Yelp.com的真实数据进行的实验评估，我们表明使用分布特征能够提高分类器的性能。
2020-12-27 cs.CL cs.LG cs.SI
Don't Waste a Single Annotation: Improving Single-Label Classifiers Through Soft Labels
The University of Sheffield（谢菲尔德大学）
针对单标签分类任务传统标注训练方法浪费标注分歧等信息的问题，提出利用标注者置信度、次选标签及分歧生成软标签的方法，可提升分类器在硬标签测试集上的性能与校准效果。
2023-11-09 cs.AI cs.CL cs.LG
Exposing Paid Opinion Manipulation Trolls
FMI（索菲亚大学数学与信息学院）；Sofia University（索菲亚大学）；Ontotext AD（Ontotext股份公司）；Qatar Computing Research Institute（卡塔尔计算研究所）；HBKU（哈马德·本·哈利法大学）
最近，网络论坛已经被意见操纵巨魔入侵。一些巨魔试图通过自己的信念来影响其他用户，而在其他情况下，他们可以组织和支付，例如，由政党或公关机构给他们具体的指示写什么。使用机器学习自动发现付费巨魔是一项艰巨的任务，因为没有足够的训练数据来训练分类器;但可以获得一些测试数据，因为这些巨魔有时会被捕获并广泛暴露。在本文中，我们解决了训练数据的问题，假设一个用户被称为巨魔几个不同的人很可能是这样的，一个谁从来没有被称为巨魔是不太可能的。我们比较了（i）付费巨魔与（ii）“提到”巨魔与（iii）非巨魔的配置文件，我们进一步表明，经过训练以区分（ii）和（iii）的分类器在区分（i）和（iii）方面也做得很好。
2021-09-26 cs.CL cs.IR cs.LG
A Variational Approach to Weakly Supervised Document-Level Multi-Aspect Sentiment Classification
Hong Kong University of Science and Technology（香港科技大学）；University of Southern California（南加州大学）
在本文中，我们提出了一个变分方法弱监督的文档级多方面的情感分类。我们不使用用户生成的评级或领域专家提供的注释，而是使用目标意见词对作为“监督”。“这些词对可以通过使用依赖分析器和简单的规则来提取。我们的目标是预测一个目标词的意见词，而我们的最终目标是学习一个情感极性分类器来预测给定文档的每个方面的情感极性。通过引入潜在变量，即，情感极性，对于目标函数，我们可以通过变分下界将情感极性分类器注入目标。我们可以通过优化下界来学习情感极性分类器。我们表明，我们的方法可以在TripAdvisor和BeerAdvocate数据集上优于弱监督基线，并且可以与每个方面具有数百个标签的最先进的监督方法相媲美。
2019-04-10 cs.CL
Curating corpora with classifiers: A case study of clean energy sentiment online
University of Vermont（佛蒙特大学）；MassMutual Center of Excellence for Complex Systems and Data Science（MassMutual复杂系统与数据科学卓越中心）
针对传统调查成本高、反馈滞后的问题，本文提出用微调Transformer模型筛选无关推文的语料库构建方法，F1达0.95，为社交媒体公众意见分析提供低成本、高性能的预处理方案。
2025-02-12 cs.CL cs.CY
