Assessing In-context Learning and Fine-tuning for Topic Classification of German Web Data
University of Konstanz（康斯坦茨大学）；Cluster of Excellence “The Politics of Inequality”（卓越集群“不平等政治”）
本文将德语网页主题检测建模为二元分类任务，比较微调预训练编码器与上下文学习策略，发现少量标注数据即可训练有效分类器，微调效果优于上下文学习，结合URL与内容特征表现最佳。
2024-07-23 cs.CL
Sebastian, Basti, Wastl?! Recognizing Named Entities in Bavarian Dialectal Data
MaiNLP, Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心MaiNLP项目）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出首个德语方言NER数据集BarNER，含161K标注令牌，通过多任务学习等方法在巴伐利亚语料上取得SOTA，证实低资源方言数据及多样性对模型性能提升的重要性。
2024-03-19 cs.CL
Combining Deep Learning and String Kernels for the Localization of Swiss German Tweets
University of Bucharest（布加勒斯特大学）；Romanian Young Academy（罗马尼亚青年科学院）
在这项工作中，我们介绍了UnibucKernel团队在解决2020年VarDial评估活动中的社交媒体多样性地理定位任务时提出的方法。我们只处理第二个子任务，它的目标是由近3万瑞士德语约德尔组成的数据集。方言识别任务是准确预测测试样本的纬度和经度。我们将该任务视为一个双重回归问题，采用各种机器学习方法来预测纬度和经度。从简单的回归模型（如支持向量回归）到深度神经网络（如长短期记忆网络和字符级卷积神经网络），最后到基于元学习器的集成模型（如XGBoost），我们的兴趣集中在从几个不同的角度来处理问题，试图最大限度地减少预测误差。考虑到同样的目标，我们还考虑了许多类型的特征，从高级特征（如BERT嵌入）到低级特征（如字符n-gram），这些特征在方言识别中具有良好的效果。我们的实证结果表明，基于字符串内核的手工模型优于深度学习方法。尽管如此，我们最好的性能是由集成模型提供的，该模型结合了手工制作和深度学习模型。
2020-10-07 cs.CL
Ideology Prediction of German Political Texts
Bundestag（议会）；Wahl-O-Mat（选举工具）；German Media Datasets（德国媒体数据集）
本文提出基于transformer的模型，用于在连续左到右光谱上预测文本的政治倾向，通过不同语料库训练，验证了模型在不同领域中的表现，展示了transformer在识别德国新闻政治偏见方面的有效性。
2026-05-14 cs.CL
Two-Stage Stance Labeling: User-Hashtag Heuristics with Graph Neural Networks
UNC-Charlotte（北卡罗来纳大学夏洛特分校）
针对社交媒体内容体量庞大、演变迅速导致的用户立场研究难题，提出结合用户-话题标签二分图启发式标注与用户交互图半监督GNN的两阶段方法，在气候变化、枪支管制推文数据集上性能优于文本分类器与GPT4零样本分类。
2024-05-17 cs.CL cs.LG cs.SI
Multi Class Depression Detection Through Tweets using Artificial Intelligence
National University of Computer and Emerging Science（国家计算机与新兴科学大学）；University of Salzburg（萨尔茨堡大学）
本研究针对现有推文抑郁症检测仅关注严重程度及数据集标注不准确的问题，基于词汇标注预测五种抑郁症类型，并使用BERT和可解释AI进行特征提取、模型训练与推理，最终BERT模型达到0.96的总体准确率。
2024-04-19 cs.AI cs.CL
Changes in Policy Preferences in German Tweets during the COVID Pandemic
Berlin University of Applied Sciences（柏林应用科学大学）；Einstein Center Digital Future（爱因斯坦数字未来中心）
本文构建细粒度政策偏好推文数据集并训练分类模型，分析 2019-2022 年德国 Twitter 语料，发现 COVID 疫情期间政策偏好表达增加，且主要由亲福利、亲教育和亲政府行政效率类别驱动。
2023-07-31 cs.CL cs.CY cs.IR
Improving Sentiment Analysis over non-English Tweets using Multilingual Transformers and Automatic Translation for Data-Augmentation
European Commission – DG-JRC（欧盟委员会联合研究中心）
与一般文本相比，推文是特定的文本数据。尽管在过去的十年中，对英语的tweets进行情感分析已经变得非常流行，但是仍然很难找到针对非英语语言的大型注释语料库。自然语言处理中最近兴起的Transformer模型允许在许多任务中实现无与伦比的性能，但这些模型需要相应的文本量来适应tweet域。我们建议使用多语言Transformer模型，我们对英语推文进行预训练，并使用自动翻译应用数据增强，以使模型适应非英语语言。我们在法语，西班牙语，德语和意大利语的实验表明，所提出的技术是一种有效的方法来提高结果的Transformers在非英语语言的小语料库的推文。
2020-10-07 cs.CL
Sequence Labeling: A Practical Approach
Technical University of Munich（慕尼黑工业大学）
我们采取一种实用的方法来解决序列标签问题，假设领域的专业知识和稀缺的信息和计算资源。为此，我们利用了一个通用的端到端的基于Bi-LSTM的神经序列标记模型，适用于各种NLP任务和语言。该模型结合了从数据中提取的形态、语义和结构线索，以得出明智的预测。该模型的性能在八个基准数据集上进行了评估（涵盖三个任务：POS标记，NER和组块，以及四种语言：英语，德语，荷兰语和西班牙语）。我们观察了其中四个的最先进的结果：CoNLL-2012（英语NER），CoNLL-2002（荷兰NER），GermEval 2014（德语NER），Tiger Corpus（德语POS标记），以及其余的竞争性表现。
2018-08-12 cs.CL cs.LG
Automated Labeling of German Chest X-Ray Radiology Reports using Deep Learning
Munich Institute of Biomedical Engineering, Technical University of Munich（慕尼黑工业大学慕尼黑生物医学工程研究所）；School of Computation, Information and Technology, Technical University of Munich（慕尼黑工业大学计算、信息与技术学院）；University Hospital, LMU Munich（慕尼黑大学附属医院）；Institute of Neuroradiology, University Hospital, LMU Munich（慕尼黑大学附属医院神经放射学研究所）
本文针对放射学报告标注成本高的问题，提出先用规则德语CheXpert模型弱监督预训练深度学习标签预测模型，再在少量人工标注数据上微调，实验表明其在三项任务上均显著优于规则模型。
2023-07-07 cs.CL
Churn Intent Detection in Multilingual Chatbot Conversations and Social Media
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Swisscom AG（瑞士电信股份公司）
我们提出了一种新的方法来检测用户何时表达离开服务的意图，也称为流失。虽然以前的工作只关注社交媒体，但我们表明，这种意图可以在聊天机器人对话中检测到。随着公司越来越依赖聊天机器人，他们需要对潜在的流失用户进行概述。为此，我们众包并发布了德语和英语聊天机器人交互中的流失意图表达数据集。我们发现，在社交媒体数据上训练的分类器可以在聊天机器人的上下文中检测到相同的意图。我们引入了一个分类架构，优于现有的工作在社交媒体中的流失意图检测。此外，我们表明，使用双语词嵌入，在英语和德语相结合的数据上训练的系统优于单语方法。由于现有的唯一数据集是英语的，我们众包并发布了一个新的德国推文数据集。因此，我们强调了这个问题的普遍性，因为英语中的流失意图的例子可以帮助我们识别德国推文和聊天机器人对话中的流失。
2018-08-25 cs.CL
Synthetically generated text for supervised text analysis
Michigan State University（密歇根州立大学）
针对监督文本模型应用中人工标注成本高、稀有样本难获取及版权隐私问题，提出用大语言模型可控生成合成文本的方案，给出技术选择指导、伦理讨论及质量提升方法，并通过三个应用验证其实用性。
2023-03-28 cs.CL
Antisemitic Messages? A Guide to High-Quality Annotation and a Labeled Dataset of Tweets
Indiana University Bloomington（印第安纳大学布卢明顿分校）；Technical University Berlin（柏林工业大学）
针对自动仇恨言论检测缺乏标注一致的数据集的问题，本研究提出严格遵循IHRA反犹定义的标注流程，构建了含6941条英文推文的反犹言论标注数据集，助力降低反犹言论自动检测的假阳性率。
2023-04-28 cs.CL cs.CY
When a Tweet is Actually Sexist. A more Comprehensive Classification of Different Online Harassment Categories and The Challenges in NLP
Dalhousie University（达尔豪斯大学）
性别歧视在社交媒体中非常普遍，这使得女权主义者和女性用户的自由边界变得更紧。目前还没有一个吸引自然语言处理技术的性别歧视的综合分类。将社交媒体中的性别歧视归类为敌意或善意的性别歧视是如此普遍，以至于忽略了这些媒体中发生的其他类型的性别歧视。本文提出了一个更全面和深入的类别，在社会媒体，如Twitter的在线骚扰分为以下类别，“间接骚扰”，“信息威胁”，“性骚扰”，“身体骚扰”和“非性别歧视”，并解决了标签的挑战，并提出了分类结果。这是应用机器学习来学习性别歧视概念的初步工作，并通过查看社交媒体中更精确的性别歧视类别来区分自己。
2019-02-27 cs.CL
A Semi-Supervised Approach to Detecting Stance in Tweets
University of California, Santa Cruz（加州大学圣克鲁兹分校）
立场分类的目的是确定，对于一个特定的问题正在讨论中，无论是发言者或作者的会话轮有赞成（赞成）或反对（反对）的立场。检测推文中的立场是SemEval-2016 Task 6提出的一项新任务，涉及预测关于堕胎，无神论，气候变化，女权主义和希拉里克林顿主题的推文数据集的立场。鉴于数据集的规模很小，我们的团队通过为用于查询twitter API的每个主题开发一组高精度hashtag来创建我们自己的特定主题训练语料库，目的是开发一个大型训练语料库，而无需额外的人工标记tweet立场。为每个主题选择的主题标签预计将独立存在。实验结果表明，我们的意见，目标对的基础上概括依赖功能，使用情感词典的功能表现良好。
2017-09-03 cs.CL
Leveraging Transformers for Hate Speech Detection in Conversational Code-Mixed Tweets
Indraprastha Institute of Information Technology Delhi（德里英德拉普拉斯塔信息技术学院）
在当今的互联网时代，每个人都可以轻松访问社交媒体平台，人们往往不得不应对威胁，身份攻击，仇恨和欺凌，因为他们与演员，信仰，性别，宗教，甚至接受或拒绝一个概念。现有的仇恨言论检测工作主要集中在个人评论分类作为一个序列标签的任务，往往没有考虑到会话的上下文。在确定作者的意图和推文背后的情绪时，对话的上下文通常起着重要的作用。本文描述了MIDAS-IIITD团队为HASOC 2021子任务2提出的系统，该子任务是第一批共享任务之一，专注于从Twitter上的印地语-英语代码混合对话中检测仇恨言论。我们使用神经网络来解决这个问题，利用Transformer的跨语言嵌入，并进一步对它们进行微调，以用于在音译印地语文本中进行低资源仇恨语音分类。我们表现最好的系统是由Indic-BERT、XLM-RoBERTa和多语言BERT组成的硬投票组合，取得了0.7253的宏观F1分数，使我们在整体排行榜上排名第一。
2021-12-18 cs.AI cs.CL cs.LG
UCE-FID: Using Large Unlabeled, Medium Crowdsourced-Labeled, and Small Expert-Labeled Tweets for Foodborne Illness Detection
Worcester Polytechnic Institute（伍斯特理工学院）；Tsinghua University（清华大学）；ByteDance（字节跳动）；North Carolina A&T State University（北卡罗来纳农工州立大学）
本文提出EGAL框架，利用少量专家标注、中等众包标注和海量无标签推文，通过奖励机制为零权重抑制错误标签并平衡类别分布，在TWEET-FID数据上实现优于基线的食源性疾病检测。
2023-12-02 cs.CL
Semi-supervised Stance Detection of Tweets Via Distant Network Supervision
Jadavpur University（贾达普大学）；IIIT-Delhi（印度德里信息技术学院）；IIT Bombay（印度理工学院孟买分校）
在社交媒体文本中检测和标记立场的强烈动机是仇恨言论检测，民意调查预测，参与预测和协调宣传检测。当今最好的神经立场检测器需要大量的训练数据，考虑到社交媒体文本和用户意见的快速变化，这是很难策划的。社交网络上的同质属性提供了粗粒度用户级立场的强烈信号。但是，用于tweet-level立场检测的半监督方法未能正确利用同质性。有鉴于此，我们提出了SANDS，一种新的半监督立场检测器。SANDS从很少的标签推文开始。它构建了tweets的多个深度特征视图。它还使用来自社交网络的远程监督信号来向组件学习器提供替代丢失信号。我们准备了两个新的推文数据集，包括来自两个人口统计数据（美国和印度）的超过87，000名用户发布的236，000条带有政治色彩的推文，他们的追随者-追随者图，以及语言学家注释的8，000多条推文。在基于美国（印度）的数据集上，SANDS的宏观F1得分为0.55（0.49），大大优于17个基线（包括SANDS的变体），特别是对于少数立场标签和嘈杂文本。在SANDS上进行的大量消融实验解开了文本和网络传播的立场信号的动态。
2022-01-05 cs.CL cs.LG cs.SI
Detecting and Reasoning of Deleted Tweets before they are Posted
Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
本研究针对阿拉伯语推文，识别被删除内容并标注细粒度虚假信息类别，开发预测删除可能性及原因的模型，以支持发布前的内容审核。
2023-05-05 cs.AI cs.CL cs.CY
Zero-shot Cross-lingual Conversational Semantic Role Labeling
City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；City University of Hong Kong（香港城市大学）；Huawei（华为）；Northwestern Polytechnical University（西北工业大学）
虽然会话语义角色标注（CSRL）在汉语会话任务中显示出了其有用性，但由于缺乏用于句法分析器训练的多语种CSRL注释，它在非汉语语言中的应用仍然不足。为了避免昂贵的数据汇集和错误传播的预防为基础的方法，我们提出了一个简单而有效的方法来执行zero-shot跨语言CSRL。我们的模型隐式地学习语言不可知论，会话结构感知和语义丰富的表示与分层编码器和精心设计的预训练目标。实验结果表明，我们的模型在两个新收集的英语CSRL测试集上的性能大大优于所有基线。更重要的是，我们证实了有用的CSRL的非中文会话任务，如问题在上下文改写任务的英语和多轮对话响应生成任务的英语，德语和日语的CSRL信息纳入下游会话为基础的模型。我们相信这一发现对于研究存在省略和回指问题的非汉语对话任务具有重要意义。
2022-04-11 cs.AI cs.CL
Assessing the Reliability of LLMs Annotations in the Context of Demographic Bias and Model Explanation
Department of Methodology and Statistics, Utrecht University, The Netherlands（方法论与统计学系，乌特列支大学，荷兰）；Department of Information and Computing Sciences, Utrecht University, The Netherlands（信息与计算科学系，乌特列支大学，荷兰）；Queen Mary University of London, London, United Kingdom（伦敦女王玛丽大学，伦敦，英国）
该研究用广义线性混合模型分析性别歧视检测标注，发现人口统计因素仅解释8%方差，并证明简单角色提示难以提升 GenAI 标注可靠性，内容驱动解释与稳健协议更有利于公平性。
2025-07-26 cs.CL
PolitiSky24: U.S. Political Bluesky Dataset with User Stance Labels
University of Tehran（德黑兰大学）；Institute for Research in Fundamental Sciences (IPM)（基础科学研究研究所）
本文发布 PolitiSky24，一个来自 Bluesky、围绕2024年美国大选候选人的用户级立场数据集，并结合信息检索与 LLM 实现81%准确率的可扩展标注。
2025-06-09 cs.AI cs.CL cs.IR
Extending a Parliamentary Corpus with MPs' Tweets: Automatic Annotation and Evaluation Using MultiParTweet
本文提出MultiParTweet，通过自动标注和人工验证，整合了多语言推文及媒体内容，展示了模型间互为预测性及多模态注释的优越性。
2025-12-12 cs.CL cs.MM
NAT: Noise-Aware Training for Robust Neural Sequence Labeling
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；University of Bonn（波恩大学）
序列标记系统不仅应该在理想条件下可靠地执行，而且还应该在输入损坏的情况下可靠地执行-因为这些系统通常处理用户生成的文本或遵循易于出错的上游组件。为此，我们制定了噪声序列标记问题，其中输入可能会经历一个未知的噪声过程，并提出了两个噪声感知训练（NAT）目标，提高了对扰动输入进行序列标记的鲁棒性：我们的数据增强方法使用干净和噪声样本的混合物训练神经模型，而我们的稳定性训练算法鼓励模型创建一个噪声不变的潜在表示。我们在训练时使用香草噪声模型。为了进行评估，我们使用原始数据及其受真实OCR错误和拼写错误干扰的变体。在英语和德语命名实体识别基准测试上进行的大量实验证实，NAT始终提高了流行序列标记模型的鲁棒性，保持了原始输入的准确性。我们将我们的代码和数据公开提供给研究社区。
2020-05-14 cs.CL
German CheXpert Chest X-ray Radiology Report Labeler
Munich Institute of Biomedical Engineering, Technical University of Munich（慕尼黑工业大学慕尼黑生物医学工程研究所）；School of Computation, Information and Technology, Technical University of Munich（慕尼黑工业大学计算、信息与技术学院）；University Hospital, LMU Munich（慕尼黑大学附属医院）；Institute of Neuroradiology, University Hospital, LMU Munich（慕尼黑大学附属医院神经放射学研究所）
提出基于 CheXpert 架构的德语胸部放射学报告自动标签提取模型，并借助网页标注界面迭代优化，在降低人工标注成本的同时取得优于公开数据训练模型的性能。
2023-06-05 cs.CL
DADIT: A Dataset for Demographic Classification of Italian Twitter Users and a Comparison of Prediction Methods
Bocconi University（博科尼大学）
本研究构建并发布了含2万意大利Twitter用户3000万条推文及人口统计标签的DADIT数据集，对比多种前沿人口属性预测模型，发现基于XLM的分类器纳入推文特征后性能远超M3，且该结论在德语测试集上得到验证。
2024-03-08 cs.CL
Contextualized Prompting For Stance Detection On Social Media
Institute of Intensive Care, University Hospital of Zurich and University of Zurich（重症医学研究所，苏黎世大学医院和苏黎世大学）；Institute of Computer Science, University of Goettingen（计算机科学研究所，哥廷根大学）；GESIS Leibniz Institute for the Social Sciences（社会科学研究莱比锡研究所）；Institut für Publizistik, Johannes Gutenberg-University Mainz（主笔研究所，美因茨约翰· Gutenberg 大学）；Ubiquitous Knowledge Processing Lab, Technical University of Darmstadt（无处不在知识处理实验室，达姆施塔特技术大学）
通过系统实验，研究在零样本提示中融入真实世界、推导和LLM生成的上下文特征对Twitter立场检测的影响，发现LLM生成的目标描述能持续提升准确率，而其他用户元数据效果不一。
2026-06-04 cs.CL
Fearful Falcons and Angry Llamas: Emotion Category Annotations of Arguments by Humans and LLMs
University of Bamberg（班贝格大学）
本研究通过众包标注德语论证语料库中的离散情感类别，并评估三种提示策略在三个LLM上的自动标注效果，发现情感类别能提升情感性预测，但自动预测对负面情感存在偏见。
2025-04-22 cs.CL
Prompt-based Pseudo-labeling Strategy for Sample-Efficient Semi-Supervised Extractive Summarization
David R. Cheriton School of Computer Science（大卫·R·切里顿计算机科学学院）；University of Waterloo（滑铁卢大学）；ServiceNow Research（ServiceNow研究院）；University of British Columbia（不列颠哥伦比亚大学）
针对抽取式摘要中分类器置信度难以评估伪标签质量的问题，提出结合LLM的提示式伪标签与重标注策略，在多个数据集上提升ROUGE及L-Eval表现。
2024-07-02 cs.AI cs.CL
OneLove beyond the field -- A few-shot pipeline for topic and sentiment analysis during the FIFA World Cup in Qatar
Technische Universität Berlin（柏林工业大学）；University of Wuppertal（伍珀塔尔大学）；KU Leuven（鲁汶大学）
本文利用大语言模型上下文学习对卡塔尔世界杯期间的德语推文进行主题与情感分析，揭示了 OneLove 臂章争议前后舆论从 LGBT 权利与政治转向体育政治并趋于中立，为体育激进主义研究提供了少样本分析框架。
2024-08-05 cs.CL
CO-Fun: A German Dataset on Company Outsourcing in Fund Prospectuses for Named Entity Recognition and Relation Extraction
DFKI GmbH（德国人工智能研究中心）；Smart Data & Knowledge Services（智能数据与知识服务）
本文提出CO-Fun数据集，针对德国基金招股说明书中的公司外包实践，由专家标注948个句子以支持命名实体识别与关系抽取任务，并训练深度学习模型取得初步成效。
2024-03-22 cs.CL
A Deep Learning Approach to Language-independent Gender Prediction on Twitter
University of Essex（埃塞克斯大学）；IT University of Copenhagen（哥本哈根信息技术大学）
本研究利用语言无关特征，在六种语言的TwiSty数据集上通过逻辑回归和前馈神经网络在跨语言内、跨语言两种设置下预测Twitter用户性别，揭示了训练集规模对模型性能的影响及性别写作风格差异的语言无关性。
2024-11-29 cs.CL
Learning Sexism Detection Using Multi-Agent Perspectivist Preference Optimization
Utrecht University（乌得勒支大学）；Wageningen University & Research（瓦赫宁根大学及研究中心）
本研究针对性别歧视检测中标注分歧问题，提出MAP-PO框架，通过聚类标注者并训练对应智能体，结合个体与团队奖励协调智能体，实验验证了聚类训练及团队信号的必要性。
2026-08-06 cs.CL cs.CY cs.LG
Changes in European Solidarity Before and During COVID-19: Evidence from a Large Crowd- and Expert-Annotated Twitter Dataset
Goethe University Frankfurt am Main（法兰克福大学）；Technische Universität Darmstadt（达姆施塔特工业大学）
我们引入了社会团结的社会科学概念及其定义，反团结，作为NLP中有监督机器学习的一个新问题设置，以评估欧洲团结话语在COVID-19爆发被宣布为全球大流行之前和之后的变化。为此，我们利用多个人工注释器和两种注释方法（专家与\人群）。我们使用这些注释来训练一个具有多种数据增强策略的BERT模型。我们的增强BERT模型结合了专家和人群注释，仅比用专家注释训练的基线BERT分类器高出25个点，从58%的宏F1到近85%。我们使用这个高质量的模型来自动标记2019年9月至2020年12月之间的超过27万条推文。然后，我们评估了自动标记的数据，以了解在COVID-19危机之前和期间，与欧洲（反）团结话语相关的声明如何随着时间的推移以及彼此之间的关系而发展。我们的结果表明，危机期间，团结变得越来越突出和受到质疑。虽然声援推文的数量保持在较高水平，并在仔细审查的时间框架内占据主导地位，但反团结推文最初飙升，然后下降到（几乎）COVID-19前的值，然后上升到稳定的较高水平，直到2020年底。
2021-08-02 cs.CL cs.SI
Active Learning for Identifying Disaster-Related Tweets: A Comparison with Keyword Filtering and Generic Fine-Tuning
University of Salzburg（萨尔茨堡大学）；Harvard University（哈佛大学）
本研究针对社交媒体灾害相关推文识别难题，对比主动学习、关键词过滤、通用微调等方法，发现通用微调结合10轮主动学习效果最优，可低标注成本训练出通用的灾害推文识别模型。
2024-08-19 cs.CL cs.LG
Unsupervised and Interpretable Domain Adaptation to Rapidly Filter Tweets for Emergency Services
George Mason University（乔治梅森大学）
在灾害事件发生期间，从社交网络数据中过滤相关信息是具有挑战性的，这是由于其稀疏的可用性和在标记持续危机的数据集方面的实际限制。在本文中，我们假设，通过多任务学习的无监督领域自适应可以是一个有用的框架，利用过去的危机事件的数据，在突发的新危机中训练有效的信息过滤模型。我们提出了一种新的方法来分类相关的推文在一个持续的危机，没有看到任何新的例子，使用公开的TREC事件流的数据集。具体来说，我们构建了一个定制的多任务架构与危机分析的多领域的网络：多任务领域的对抗性注意力网络。该模型由每个任务的专用注意力层组成，以提供模型可解释性;这对实际应用至关重要。当深度网络与稀疏数据集斗争时，我们证明了这可以通过共享多任务学习和领域对抗训练的基础层来改善。危机事件的领域自适应评估是通过选择一个目标事件作为测试集，并对其余事件进行训练来进行的。我们的研究结果表明，多任务模型优于其单任务对应。对于可解释性的定性评估，我们表明，注意力层可以作为一个指南来解释模型的预测和授权应急服务探索模型的问责制，通过展示在分类过程中被认为是重要的推文中的话。最后，我们通过提供COVID-19大流行的用例，展示了我们工作的实际意义。
2020-10-20 cs.CL cs.LG cs.SI
X-SRL: A Parallel Cross-Lingual Semantic Role Labeling Dataset
Leibniz ScienceCampus “Empirical Linguistics and Computational Language Modeling”（莱布尼茨科学园区“经验语言学与计算语言建模”）；Heidelberg University（海德堡大学）；Institut für Deutsche Sprache Mannheim（曼海姆德语研究所）
尽管SRL针对许多语言进行了研究，但主要的改进主要是针对英语，因为英语有更多的资源。事实上，现有的多语言SRL数据集包含不同的注释风格或来自不同的领域，阻碍了多语言学习的泛化。在这项工作中，我们提出了一种方法来自动构建一个SRL语料库，这是平行的四种语言：英语，法语，德语，西班牙语，具有统一的谓词和角色注释，是完全可比的跨语言。我们将高质量的机器翻译应用于英语CoNLL-09数据集，并使用多语言BERT将其高质量的注释投射到目标语言。我们包括人类验证的测试集，我们用来衡量投影质量，并表明投影比强基线更密集，更精确。最后，我们训练不同的SOTA模型，我们的新语料库单语言和多语言SRL，表明多语言注释提高性能，特别是对较弱的语言。
2020-10-05 cs.CL
Detecting potentially harmful and protective suicide-related content on twitter: A machine learning approach
Medical University of Vienna（维也纳医科大学）；Complexity Science Hub Vienna（维也纳复杂性科学中心）；Graz University of Technology（格拉茨工业大学）；Institute of Globally Distributed Open Research and Education（全球分布式开放研究与教育研究所）；Vienna University of Technology（维也纳工业大学）
研究表明，接触与自杀有关的新闻媒体内容与自杀率有关，其中一些内容特征可能具有有害作用，而另一些则具有潜在的保护作用。虽然有很好的证据证明了一些选定的特征，但总体上缺乏系统的大规模调查，特别是社交媒体数据。我们应用机器学习方法来分类大量的Twitter数据，根据一种新的注释方案，区分12类自杀相关的推文。然后，我们训练了一个机器学习模型的基准，包括一个多数分类器，一种基于词频的方法（带有线性SVM的TF-IDF）和两个最先进的深度学习模型（BERT，XLNet）。这两个深度学习模型在两个分类任务中表现最好：在第一个任务中，我们将六个主要内容类别分类，包括关于自杀意念和企图或应对的个人故事，旨在传播问题意识或预防相关信息的行动呼吁，自杀案例的报告，以及与这些类别无关的其他推文。深度学习模型在六个类别中的平均准确率达到73%以上，除了自杀意念和企图类别（0.51-0.55）之外，所有类别的F1分数都在0.70 - 0.85之间。在第二个任务中，将涉及实际自杀的推文与偏离主题的推文分开，他们正确地标记了大约88%的推文，BERT在这两个类别中分别获得了0.93和0.74的F1分数。这些分类性能与类似任务的最新技术相当。通过提高数据标签的效率，这项工作使人们能够对社交媒体内容与自杀率和求助行为之间的有害和保护性联系进行大规模调查。
2022-06-28 cs.CL cs.LG
Cross-Domain Learning for Classifying Propaganda in Online Contents
Shandong University（山东大学）；Hasso Plattner Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）
随着新闻和社交媒体呈现出越来越多的操纵性极化内容，检测此类宣传作为内容分析的新任务受到关注。以前的工作集中在监督学习与训练数据从同一领域。然而，由于宣传可能是微妙的，并不断发展，人工识别和适当的标签是非常苛刻的。因此，训练数据是主要瓶颈。在本文中，我们解决了这一瓶颈，并提出了一种利用跨领域学习的方法，该方法基于来自新闻和推文的标记文档和句子，以及政治演讲，其宣传程度有明显差异。我们设计信息功能，并建立各种分类器的宣传标签，使用跨域学习。我们的实验证明了这种方法的实用性，并确定在各种配置的源和目标的转移步骤的困难和限制。我们进一步分析了各种特征的影响，并描述了宣传的突出指标。
2020-11-22 cs.CL
Optimal strategies to perform multilingual analysis of social content for a novel dataset in the tourism domain
本文构建了首个旅游领域英法西三语推文数据集，并通过实验证明现代少样本技术在情感分析、地点命名实体识别和细粒度主题概念抽取三项任务上能以极少标注数据取得有竞争力结果，从而降低NLP领域应用对人工标注的依赖。
2025-07-03 cs.CL cs.LG
Twitter-Network Topic Model: A Full Bayesian Treatment for Social Network and Text Modeling
ANU（澳大利亚国立大学）；NICTA（澳大利亚国家信息通信技术研究院）
Twitter的数据非常嘈杂--每条推文都很短，没有结构，语言也不正式，这对当前的主题建模来说是一个挑战。另一方面，推文伴随着额外的信息，如作者，标签和用户追随者网络。利用这些额外的信息，我们提出了Twitter网络（TN）的主题模型，共同建模的文本和社会网络在一个完整的贝叶斯非参数的方式。TN主题模型采用分层泊松-狄利克雷过程（PDP）的文本建模和高斯过程随机函数模型的社会网络建模。我们表明，TN主题模型显着优于现有的几个非参数模型，由于其灵活性。此外，TN主题模型能够实现额外的信息推理，例如作者的兴趣，主题标签分析，以及导致进一步的应用，例如作者推荐，自动主题标签和主题标签建议。注意，我们的一般推理框架可以很容易地应用到其他主题模型嵌入PDP节点。
2016-09-22 cs.CL cs.IR cs.SI
Temporal Simultaneity Predicts Annotation Quality in Sentiment Corpora
Data Science for Social Impact, University of Pretoria（社会影响力数据科学，南非普里特里亚大学）；Instituto Politécnico Nacional（技术学院国家）；Department of African Languages, University of Pretoria（非洲语言系，南非普里特里亚大学）；Imperial College London（伦敦帝国理工学院）
通过分析Setswana情感数据集，发现标注者间一致性随时间下降的主要原因是时间同步性，即同时标注的样本一致性高，而间隔较长的标注一致性低。
2026-05-26 cs.CL
Unsupervised ASR via Cross-Lingual Pseudo-Labeling
Apple（苹果公司）
提出跨语言伪标签方法，利用其他语言的字符级声学模型和目标语言模型约束，在无目标语言标注音频下实现高效无监督ASR。
2024-02-16 cs.CL cs.LG cs.SD
Unsupervised Sentiment Analysis of Plastic Surgery Social Media Posts
本研究利用TF-IDF、t-SNE、k均值聚类和LDA对Reddit与Twitter整形外科帖子进行无监督分析，并用简单深度学习模型以近90%准确率预测用户情感，证明无监督学习可用于社交媒体NLP标注。
2023-07-05 cs.CL
Dominant Set-based Active Learning for Text Classification and its Application to Online Social Media
University of Central Florida（中佛罗里达大学）
在线社交媒体中自然语言处理（NLP）的最新进展显然归功于大规模数据集。然而，标记、存储和处理大量文本数据点，例如，推特仍然具有挑战性。最重要的是，在仇恨言论检测等应用中，标记包含攻击性内容的足够大的数据集可能会对人类注释者造成精神和情感上的负担。因此，能够最好地利用显著较少标记的数据点的NLP方法引起了极大的兴趣。在本文中，我们提出了一种新的基于池的主动学习方法，可以用于训练的大型未标记语料库的最小注释成本。为此，我们建议在特征空间中找到局部聚类的主导集合。这些集合表示数据中最大的内聚结构。然后，选择不属于任何主导集合的样本用于训练模型，因为它们表示局部聚类的边界并且分类更具挑战性。我们所提出的方法没有任何参数可调，使其独立于样本集，它可以达到与完整训练数据大致相同的分类精度，数据点显着减少。此外，我们的方法实现了更高的性能相比，最先进的主动学习策略。此外，我们提出的算法是能够将传统的主动学习分数，如不确定性为基础的分数，到其选择标准。我们证明了我们的方法在不同的数据集上使用不同的神经网络架构的有效性。
2022-01-28 cs.CL
When a Language Question Is at Stake. A Revisited Approach to Label Sensitive Content
NASK National Research Institute（NASK国家研究院）
本文重新审视伪标签方法，用于标注涉及俄乌战争的乌克兰语敏感推文，通过三阶段实验分析机器标注障碍，提供统计分析和模型评估，以指导无标注者参与的数据扩展。
2023-11-17 cs.CL
Zero Resource Cross-Lingual Part Of Speech Tagging
Saarland University（萨尔大学）
本文研究零资源跨语言词性标注，提出利用现成对齐模块将英语标签投影到法语、德语和西班牙语，并训练隐马尔可夫模型进行预测，证明投影对齐数据对零资源词性标注有效。
2024-01-11 cs.CL
Short text classification with machine learning in the social sciences: The case of climate change on Twitter
Stockholm University（斯德哥尔摩大学）
本文针对社会科学研究中小规模标注、类别低频的短文本分类难题，以气候变化相关Twitter推文分类为案例，对比多种文本分类器性能，发现传统机器学习方法效果媲美深度学习且资源需求更低。
2023-10-03 cs.CL cs.LG stat.ME
EcoVerse: An Annotated Twitter Dataset for Eco-Relevance Classification, Environmental Impact Analysis, and Stance Detection
针对NLP领域对气候变化外环境主题研究不足、环境影响分析空白的问题，本文构建了含3023条推文的EcoVerse标注数据集，设计三级标注方案，用BERT类模型实验验证了数据质量，指出需定制环境文本专用模型，数据集已开放。
2024-04-08 cs.CL
FewTopNER: Integrating Few-Shot Learning with Topic Modeling and Named Entity Recognition in a Multilingual Framework
High School of Technology Salé（萨莱高等技术学院）；Mohammed V University in Rabat（拉巴特穆罕默德五世大学）
FewTopNER 提出一种融合少样本 NER 与主题建模的多语言框架，通过共享编码器和跨任务双向注意力机制增强实体消歧，在五种语言基准上显著提升 F1 分数与主题连贯性。
2025-02-04 cs.AI cs.CL
MARMOT: A Deep Learning Framework for Constructing Multimodal Representations for Vision-and-Language Tasks
University of Michigan（密歇根大学）
社交媒体上的政治活动提供了一个了解政治行为的数据丰富的窗口，但大量的数据意味着几乎所有的社交媒体内容分析都需要一个数据标签步骤。然而，大多数自动机器分类方法忽略了发布内容的多模态性，专注于文本或图像。最先进的视觉和语言模型不适用于大多数政治学研究：它们要求所有观察都具有图像和文本，并且需要计算昂贵的预训练。本文提出了一种新的视觉和语言框架称为多模态表示使用模态翻译（MARMOT）。MARMOT提出了两个方法上的贡献：它可以为缺少图像或文本的观察构建表示，并且它用模态翻译代替了计算昂贵的预训练。MARMOT在2016年美国大选期间报告选举事件的推文的多标签分类中，在20个类别中的19个类别中优于集成纯文本分类器。此外，MARMOT在Hateful Memes数据集上的基准多模态模型的结果中显示出显着的改进，将VisualBERT的最佳结果集的准确度从0.6473提高到0.6760，并将受试者工作特征曲线下面积（AUC）从0.7141提高到0.7530。
2021-09-23 cs.CL cs.CV cs.CY
A Comparison of Approaches for Imbalanced Classification Problems in the Context of Retrieving Relevant Documents for an Analysis
Ludwig-Maximilians-University Munich（慕尼黑路德维希-马克西米利安大学）
许多基于文本的社会科学研究的第一步是从大量的不相关文档中检索与分析相关的文档。在社会科学中，解决这一检索任务的传统方法是应用一组关键字，并认为这些文档是相关的，至少包含一个关键字。但是，应用不完整的关键字列表有可能得出有偏见的推论。更复杂和昂贵的方法，如查询扩展技术，基于主题模型的分类规则，以及主动和被动的监督学习可能有潜力更准确地分离相关的不相关的文件，从而减少潜在的偏见的大小。然而，应用这些更昂贵的方法是否会增加检索性能相比，关键字列表在所有，如果是这样的话，有多少，是不清楚的，因为这些方法的比较是缺乏的。这项研究通过比较这些方法在与德国推文数据集（Linder，2017），社会偏见推理语料库（SBIC）（Sap等人，2020）和Reuters-21578语料库（Lewis，1997）。结果表明，查询扩展技术和主题模型为基础的分类规则，在大多数研究设置往往会降低，而不是提高检索性能。然而，主动监督学习如果应用于不太小的标记训练实例集（例如，1,000个文档），则达到比关键字列表高得多的检索性能。
2022-05-03 cs.CL cs.IR stat.AP
Leveraging ChatGPT As Text Annotation Tool For Sentiment Analysis
College of Science and Engineering, Hamad Bin Khalifa University（哈马德·本·哈利法大学科学与工程学院）；Department of Electronic and Computer Engineering, HKUST（香港科技大学电子与计算机工程系）
本研究提出利用ChatGPT作为情感分析的数据标注工具，实验表明其在推文和亚马逊评论数据集上的准确率分别比最佳词典算法提升20%和25%，显著优于现有无监督方法。
2023-06-18 cs.CL
RosettaSpeech: Zero-Shot Speech-to-Speech Translation without Parallel Speech
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）
RosettaSpeech通过单语语音-文本数据和机器翻译监督，实现无需平行语音数据的零样本语音到语音翻译，取得领先的ASR-BLEU得分并保留说话人声音。
2026-02-15 cs.CL cs.LG eess.AS
