Knowledge Distillation for BERT Unsupervised Domain Adaptation
Hanyang University（汉阳大学）；Vision AI Labs（视觉人工智能实验室）；SK Telecom（SK电讯）
预先训练的语言模型BERT在一系列自然语言处理任务中带来了显着的性能提升。由于该模型是在不同主题的大型语料库上训练的，因此它在训练（源数据）和测试（目标数据）的数据分布不同但具有相似性的域转移问题上表现出了强大的性能。尽管与以前的模型相比，它有很大的改进，但由于域转移，它仍然遭受性能下降。为了缓解这些问题，我们提出了一个简单而有效的无监督领域自适应方法，对抗适应蒸馏（AAD），它结合了对抗歧视性领域自适应（ADDA）框架与知识蒸馏。我们评估了我们的方法在30个域对的跨域情感分类任务，推进了文本情感分类中无监督领域自适应的最新性能。
2020-10-23 cs.CL
Enhancing TinyBERT for Financial Sentiment Analysis Using GPT-Augmented FinBERT Distillation
本文提出利用GPT-4 Omni生成领域数据增强FinBERT，并通过两层知识蒸馏策略训练紧凑模型TinyFinBERT，在金融情感分析中实现与FinBERT相当的性能且效率更高。
2024-09-19 cs.CL cs.LG
Modality-Invariant Bidirectional Temporal Representation Distillation Network for Missing Multimodal Sentiment Analysis
School of Computer Science；Technology , Xinjiang University, Urumqi, China Email
针对模态随机缺失与多模态异构性问题，提出MITR-DNet，通过完整模态教师向缺失模态学生蒸馏双向时间表征，并引入MIB-TRL学习模态不变表示以提升鲁棒性。
2025-01-07 cs.AI cs.CL cs.LG
Enhancing Multimodal Sentiment Analysis for Missing Modality through Self-Distillation and Unified Modality Cross-Attention
University of Science and Technology of China (USTC)（中国科学技术大学）；iFlytek Research（讯飞研究院）
针对多模态情感分析中文本模态易缺失的问题，提出含UMCA和MIA的双流自蒸馏框架，结合RNC损失对齐模拟与真实文本表示，在文本缺失场景下的CMU-MOSEI数据集MAE指标上显著优于现有模型。
2025-03-24 cs.AI cs.CL
Revisiting the Importance of Encoding Logic Rules in Sentiment Classification
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们分析了不同的情感分类模型在句法复杂的输入（如A-but-B句子）上的性能。这项分析的第一个贡献是解决可重复的研究：为了有意义地比较不同的模型，它们的准确性必须在比传统上报告的随机种子多得多的随机种子上进行平均。通过适当的平均，我们注意到arXiv：1603.06318v4 [cs.LG]中描述的蒸馏模型，它包含了情感分类的显式逻辑规则，是无效的。相比之下，使用上下文化的ELMo嵌入（arXiv：1802.05365v2 [cs.CL]）而不是逻辑规则会产生更好的性能。此外，我们还提供了分析和可视化，展示了ELMo隐式学习逻辑规则的能力。最后，众包分析揭示了ELMo如何在具有模糊情感标签的句子上优于基线模型。
2018-08-23 cs.CL
Audio Sentiment Analysis via Distillation and Cross-Modal Integration of Generated Multilingual Transcripts
University of Bucharest（布加勒斯特大学）；PPC Romania（罗马尼亚PPC）
研究语音情感分析难题，提出通过跨模态变压器集成音频与文本信息的多模态方案，经自动语音识别生成转录本并翻译为多语言文本，还进行知识蒸馏，实验证明该方法能提升多模态情感分类性能及增强单模态音频模型。
2026-07-09 cs.AI cs.CL cs.LG
STAR-OPD: Structured Aspect-Cascade-Aware On-Policy Reward Distillation for ABSA Quadruple Extraction
Alibaba International Digital Commerce Group（阿里巴巴国际数字商业集团）
该研究针对ABSA四元组抽取中蒸馏模型的结构错误问题，提出STAR-OPD方法，通过在线策略蒸馏结合级联感知集结构奖励，在多个数据集上优于基线，缩小了学生-教师差距并提升了推理效率。
2026-08-24 cs.AI cs.CL
Learning to Share by Masking the Non-shared for Multi-domain Sentiment Classification
Harbin Institute of Technology（哈尔滨工业大学）
多领域情感分类处理的情况下，标记的数据存在多个领域，但不足以训练有效的情感分类器，跨域工作。因此，充分利用跨领域共享的情感知识对于现实世界的应用至关重要。虽然许多现有的工作试图在高维空间中提取域不变的特征，这些模型未能明确区分共享和私有的文本级别的功能，这在一定程度上缺乏可解释性。基于从文本中删除领域相关的标记将有助于提高其领域不变性的假设，我们首先将原始句子转换为领域不可知的。为此，我们提出了BertMasker网络，它明确地从文本中屏蔽领域相关的词，从这些领域不可知的文本中学习领域不变的情感特征，并使用这些被屏蔽的词来形成领域感知的句子表示。在一个广泛采用的多领域情感分类数据集上的实证实验表明，我们提出的模型在多领域情感分类和跨领域设置上都是有效的，准确率分别提高了0.94%和1.8%。进一步的分析表明，去除那些与领域相关和情感无关的标记会降低文本的领域区分度，导致基于BERT的领域分类器性能下降12%以上。
2021-04-17 cs.CL
Weighed Domain-Invariant Representation Learning for Cross-domain Sentiment Analysis
Fudan University（复旦大学）
跨领域情感分析是当前研究和工程领域的一个热点。领域不变表示学习（DIRL）范式是该领域最流行的框架之一，它旨在学习跨领域的分布不变特征表示。然而，在这项工作中，我们发现，应用DIRL可能会损害领域自适应时，标签分布$\rm{P}(\rm{Y})$跨域的变化。为了解决这个问题，我们提出了一个修改DIRL，获得一个新的加权域不变表示学习（WDIRL）框架。我们表明，它是很容易将现有的SOTA DIRL模型WDIRL。大量跨领域情感分析任务的实证研究验证了我们的陈述，并显示了我们提出的解决方案的有效性。
2019-09-18 cs.CL cs.LG stat.ML
Enhance-then-Balance Modality Collaboration for Robust Multimodal Sentiment Analysis
Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education, School of Cyber Science and Engineering, Wuhan University（航天信息安全部门与可信计算教育部重点实验室，网络安全科学与工程学院，武汉大学）
本文提出EBMC框架，通过语义解耦和跨模态增强提升表示质量，结合能量引导模态协调机制和实例感知模态信任蒸馏，解决多模态情感分析中的模态不平衡问题，实验显示其在缺失模态情况下表现优异。
2026-04-19 cs.CL
Distilled ChatGPT Topic & Sentiment Modeling with Applications in Finance
TD Asset Management（道明资产管理公司）；Layer 6 AI
本研究利用ChatGPT构建融合知识蒸馏与迁移学习的轻量级主题情感分类模型，生成可解释特征，经专家标注数据集验证准确率无显著损失，可应用于财报电话会议财务评估及量化投资场景。
2024-03-04 cs.CE cs.CL cs.LG
Domain Generalization via Causal Adjustment for Cross-Domain Sentiment Analysis
Fudan University（复旦大学）；East China Normal University（华东师范大学）；Institute of Modern Languages and Linguistics, Fudan University（复旦大学现代语言学研究院）
本文提出基于后门调整的因果模型，通过解耦领域特定与领域不变表示来消除领域混杂因素影响，从而提升跨领域情感分析在未知目标领域上的泛化性能。
2024-02-22 cs.CL
Adversarial Deep Averaging Networks for Cross-Lingual Sentiment Classification
Cornell University（康奈尔大学）
近年来，英语情感分类取得了很大的成功，部分原因是大量的注释资源。不幸的是，大多数语言都没有如此丰富的标记数据。为了解决没有足够注释数据的低资源语言中的情感分类问题，我们提出了一个对抗性深度平均网络（ADAN），将从资源丰富的源语言上的标记数据中学习到的知识转移到资源丰富的语言中。只有未标记数据存在的低资源语言。ADAN有两个区分分支：情感分类器和对抗语言分类器。这两个分支都从共享的特征提取器获取输入，以学习同时指示分类任务和跨语言不变的隐藏表示。中文和阿拉伯文的情感分类实验表明，ADAN显着优于国家的最先进的系统。
2018-08-18 cs.CL
Boosting Large Language Models with Continual Learning for Aspect-based Sentiment Analysis
East China Normal University（华东师范大学）；Xiao-i Research（小-i研究院）
针对ABSA持续学习中的跨域知识保持问题，提出LLM-CL，通过知识解耦、正交约束、预热对齐与领域定位实现免域ID适配，并在19个数据集上达到SOTA。
2024-05-09 cs.CL
MISA: Modality-Invariant and -Specific Representations for Multimodal Sentiment Analysis
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
多模态情感分析是一个活跃的研究领域，它利用多模态信号对用户生成的视频进行情感理解。解决这一问题的主要方法是发展先进的核聚变技术。然而，信号的异质性造成了分布模式的差距，构成了重大挑战。在本文中，我们的目标是学习有效的模态表示，以帮助融合的过程。我们提出了一个新的框架，MISA，它的项目每一个模态到两个不同的子空间。第一个子空间是模态不变的，其中跨模态的表示学习它们的共性并减少模态间隙。第二子空间是模态特定的，其对于每个模态是私有的，并且捕获它们的特征。这些表示提供了多模态数据的整体视图，该视图用于导致任务预测的融合。我们在流行的情感分析基准测试MOSI和MOSEI上的实验表明，与最先进的模型相比，它有显著的优势。我们还考虑了多模态幽默检测的任务，并在最近提出的UR_FUNNY数据集上进行了实验。在这里，我们的模型也比强基线更好，建立MISA作为一个有用的多式联运框架。
2020-10-19 cs.CL cs.LG
KinGDOM: Knowledge-Guided DOMain adaptation for sentiment analysis
Singapore University of Technology and Design（新加坡科技设计大学）；National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）；University of Michigan（密歇根大学）
跨域情感分析近年来受到了极大的关注，这是由于需要克服利用情感分析的不同应用之间的域差距。在本文中，我们采取了一个新的角度对这一任务，探索外部常识知识的作用。我们引入了一个新的框架，KinGDOM，它利用ConceptNet知识图谱丰富的文档的语义，提供特定领域和领域一般的背景概念。这些概念是通过训练图卷积自动编码器来学习的，该图卷积自动编码器以域不变的方式利用域间概念。用这些学到的概念来调节流行的领域对抗基线方法有助于提高其性能，从而证明我们提出的框架的有效性。
2020-05-11 cs.CL
Improving Domain-Adapted Sentiment Classification by Deep Adversarial Mutual Learning
East China Normal University（华东师范大学）；Georgia Institute of Technology（佐治亚理工学院）
领域自适应情感分类是指在标记的源域上进行训练，以很好地推断未标记的目标域上的文档级情感。大多数现有的相关模型涉及特征提取器和情感分类器，其中特征提取器致力于从两个域学习域不变特征，并且情感分类器仅在源域上训练以指导特征提取器。因此，它们缺乏使用位于目标域中的情感极性的机制。为了通过从目标领域学习情感来改进领域适应的情感分类，我们设计了一种新的深度对抗性相互学习方法，涉及两组特征提取器，领域判别器，情感分类器和标签探测器。域鉴别器使得特征提取器能够获得域不变特征。同时，各组标签探测器通过同级组分类器生成的情感预测，探索目标领域的文档情感极性，指导同组特征提取器的学习。所提出的方法实现了两个组在端到端的方式相互学习。在多个公开数据集上的实验表明，该方法获得了最佳性能，验证了标签探测器相互学习的有效性。
2020-02-01 cs.CL cs.LG
Weakly-Supervised Deep Learning for Domain Invariant Sentiment Classification
Indian Institute of Technology Gandhinagar（甘地纳加尔印度理工学院）；Indian Institute of Technology Kharagpur（克勒格布尔印度理工学院）
学习一个能够很好地适应任何目标域（不同于源域）的情感分类模型的任务是一个具有挑战性的问题。大多数现有的方法都集中在通过在训练期间利用源数据和目标数据来学习公共表示。在本文中，我们介绍了一个两阶段的训练过程，该过程利用弱监督数据集来开发简单的基于提升和移位的预测模型，而无需在训练阶段暴露于目标域。实验结果表明，从源域到各种目标域的弱监督转移提供的性能非常接近于通过目标域本身的监督训练获得的性能。
2019-11-23 cs.CL cs.IR cs.LG
Confidence Preservation Property in Knowledge Distillation Abstractions
Boise State University（博伊西州立大学）
本文研究知识蒸馏得到的TinyBERT模型是否保留原始BERT模型的置信度值，并探讨利用置信度保持性质指导蒸馏超参数调优。
2024-01-21 cs.CL cs.LG
CLASSIC: Continual and Contrastive Learning of Aspect Sentiment Classification Tasks
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Facebook AI Research（Facebook人工智能研究院）；Amazon AWS AI（亚马逊云科技人工智能）
本文研究了领域增量学习（DIL）中的一系列方面情感分类（ASC）任务的持续学习（CL）。每个任务都来自不同的领域或产品。DIL设置特别适合ASC，因为在测试中，系统不需要知道测试数据所属的任务/域。据我们所知，这种设置之前没有研究过ASC。本文提出了一种新的模型CLASSIC。关键的新颖性是一个对比的持续学习方法，使跨任务的知识转移和知识蒸馏从旧的任务到新的任务，这消除了测试中的任务ID的需要。实验结果表明了CLASSIC算法的有效性。
2021-12-05 cs.AI cs.CL cs.LG
InhibiDistilbert: Knowledge Distillation for a ReLU and Addition-based Transformer
本研究提出结合模型压缩与抑制注意力的优化方法，改进基于ReLU和加法的Transformer训练效率，经知识蒸馏在DistilBERT架构上验证，在GLUE等NLP基准上取得有竞争力的性能。
2025-03-20 cs.AI cs.CL cs.LG
DSIPA: Detecting LLM-Generated Texts via Sentiment-Invariant Patterns Divergence Analysis
School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院）；Shanghai Key Laboratory of Integrated Administration Technologies for Information Security（上海信息安全集成管理技术重点实验室）；State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院）
DSIPA是一种无需训练的框架，通过量化在受控风格变化下的情感分布稳定性，检测大语言模型生成的文本，其在多个领域和对抗条件下均表现出更高的检测准确率和鲁棒性。
2026-04-29 cs.AI cs.CL
Feature Alignment and Representation Transfer in Knowledge Distillation for Large Language Models
Pingtan Research Institute of Xiamen University（厦门大学滨海研究院）；Imperial College London（伦敦帝国理工学院）；University of Sussex（苏塞克斯大学）；Purdue University（普渡大学）；University of Liverpool（利物浦大学）；JTB Technology Corp.（JTB技术公司）；Emory University（埃默里大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Kyoto University（京都大学）；AppCubic；Georgia Institute of Technology（佐治亚理工学院）；AI Agent Lab（AI代理实验室）
本综述聚焦大语言模型知识蒸馏，综合了特征对齐、表示迁移等最新技术（如注意力方法、分块logit蒸馏）的进展，分析其在提升学生模型性能、压缩大模型效率方面的作用，并指明未来研究方向。
2025-04-18 cs.CL cs.LG
Graph Adaptive Semantic Transfer for Cross-domain Sentiment Classification
University of S&T of China（中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）；Hefei University of Technology（合肥工业大学）；Meituan（美团）
跨领域情感分类（CDSC）的目的是利用从源领域中学习到的可传递语义来预测未标记目标领域中评论的情感。现有的研究在这项任务中更多地关注句子的序列建模，而在很大程度上忽略了图结构中嵌入的丰富的域不变语义（即，词性标签和依赖关系）。自适应图表征作为探索语言理解特征的一个重要方面，近年来在语言理解研究中发挥了重要作用。为此，在本文中，我们的目标是探索学习不变的语义特征的可能性，从图状结构的CDSC。具体来说，我们提出了图自适应语义转移（GAST）模型，自适应语法图嵌入方法，能够学习领域不变的语义从单词序列和语法图。更具体地说，我们首先提出了一个POS-Transformer模块，从单词序列以及词性标签中提取序列语义特征。然后，我们设计了一个混合图注意力（HGAT）模块，通过考虑可转移的依赖关系来生成基于语法的语义特征。最后，我们设计了一个整合的适应性策略（IDS）来指导两个模块的联合学习过程。在四个公共数据集上的广泛实验表明，GAST实现了与一系列最先进的模型相当的有效性。
2022-05-18 cs.AI cs.CL cs.IR
Adversarial Training Based Multi-Source Unsupervised Domain Adaptation for Sentiment Analysis
University of Electronic Science and Technology of China（电子科技大学）；Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
用于情感分析的多源无监督领域自适应（MS-UDA）旨在利用多个源领域中的有用信息来帮助在没有监督信息的未标记目标领域中进行情感分析。MS-UDA的现有算法或者仅利用共享特征，即，域不变信息，或者基于NLP中的一些弱假设，例如，平滑假设为了避免这些问题，我们提出了两个迁移学习框架的基础上的多源领域自适应方法SA结合源假设，以获得一个良好的目标假设。第一个框架的主要特点是一个新的基于加权方案的无监督领域自适应框架（WS-UDA），它结合源分类器直接获取目标实例的伪标签。而第二个框架是基于两阶段训练的无监督领域自适应框架（2ST-UDA），其进一步利用这些伪标签来训练目标私有提取器。重要的是，分配给每个源分类器的权重是基于目标实例和源域之间的关系，这是通过对抗训练来测量的。此外，通过相同的封装，我们还实现了共享功能和私有功能的分离。在两个SA数据集上的实验结果表明，我们的框架具有良好的性能，优于无监督的最先进的竞争对手。
2020-06-10 cs.CL
Cross-Domain Sentiment Classification with In-Domain Contrastive Learning
Peking University（北京大学）；UC Berkeley（加州大学伯克利分校）
对比学习（CL）作为一种强大的表示学习方法已经取得了成功。在本文中，我们提出了一个跨领域的情感分类的对比学习框架。我们的目标是诱导域不变的最优分类器，而不是分布匹配。为此，我们引入域内对比学习和熵最小化。此外，我们通过消融研究发现，这两种技术的行为不同的情况下，大的标签分布偏移，并得出结论，最好的做法是选择其中一个自适应标签分布偏移。我们的模型在标准基准上取得的新的最先进的结果显示了所提出的方法的有效性。
2020-12-05 cs.CL cs.LG
General Cross-Architecture Distillation of Pretrained Language Models into Matrix Embeddings
Max Planck Institute for Psycholinguistics（马克斯·普朗克心理语言学研究所）；University of Ulm（乌尔姆大学）
大型预训练语言模型（PreLM）正在所有基准测试中彻底改变自然语言处理。然而，它们的庞大规模对于小型实验室或在移动设备上的部署来说是令人望而却步的。修剪和蒸馏等方法可以减小模型大小，但通常保留相同的模型架构。相比之下，我们探索将PreLM提取到一个不同的，更有效的架构中，即连续字乘法（CMOW），它将每个字嵌入为矩阵，并使用矩阵乘法来编码序列。我们扩展了CMOW架构及其CMOW/CBOW-Hybrid变体，其中包含双向组件以获得更强的表达能力，预训练期间用于一般（任务不可知）蒸馏的每个令牌表示，以及促进句子对下游任务的双序列编码方案，例如句子相似性和自然语言推理。我们的基于矩阵的双向CMOW/CBOW-Hybrid模型在问题相似度和识别文本蕴涵方面与DistilBERT具有竞争力，但仅使用一半的参数，并且在推理速度方面快三倍。除了情感分析任务SST-2和语言可接受性任务CoLA之外，我们匹配或超过了GLUE基准的所有任务的ELMo分数。然而，与以前的跨架构蒸馏方法相比，我们在检测语言可接受性方面的得分增加了一倍。这表明基于矩阵的嵌入可以用于将大型PreLM提取为竞争模型，并激励在此方向上进行进一步的研究。
2022-07-28 cs.CL cs.LG
Emo Pillars: Knowledge Distillation to Support Fine-Grained Context-Aware and Context-Less Emotion Classification
NLP Group, Pompeu Fabra University, Barcelona, Spain（自然语言处理组，庞培法布拉大学，巴塞罗那，西班牙）；Language Technologies Unit, Barcelona Supercomputing Center, Spain（语言技术单元，巴塞罗那超级计算中心，西班牙）
针对情感数据集缺乏上下文和类别有限的问题，利用LLM数据合成和知识蒸馏，生成覆盖28类情感的大规模数据集，微调BERT型模型，在多个基准上达到SOTA性能。
2025-04-23 cs.CL
When Distributions Shifts: Causal Generalization for Low-Resource Languages
ML Collective（机器学习集体）
本研究针对低资源语言，通过因果数据增强和不变因果表示学习提升领域泛化能力，实验显示在多语言任务中提升了模型鲁棒性和分布外性能。
2026-02-20 cs.CL
Domain Adaptation for Sentiment Analysis Using Increased Intraclass Separation
USC Information Sciences Institute（南加州大学信息科学研究所）
情感分析是企业研究顾客意见以改进产品和确定最佳营销策略的一项昂贵而必要的任务。由于跨不同产品和服务的广泛领域的存在，跨领域情感分析方法受到了极大的关注。这些方法通过训练跨域可推广分类器来缓解不同应用之间的域差距，这有助于放松对每个域的数据注释的需求。大多数现有的方法集中在学习领域无关的表示，相对于源和目标域不变。因此，使用源域注释数据训练的分类器将在相关目标域中很好地泛化。我们介绍了一种新的领域自适应方法，它在嵌入空间中的不同类之间引入了较大的间隔。通过匹配跨域的数据分布，将该嵌入空间训练为域不可知的。在源域中的大的类内裕度有助于减少“域移位”对目标域中的分类器性能的影响。理论和实证分析表明，所提出的方法是有效的。
2021-07-04 cs.CL cs.LG
Does the Geometry of Word Embeddings Help Document Classification? A Case Study on Persistent Homology Based Representations
Carnegie Mellon University（卡内基梅隆大学）
本文研究了代数拓扑学方法在文本数据分析中的相关性。这些方法使得能够发展从一组向量到文档嵌入的等距不变映射，这相对于所选择的度量空间中的文档的几何形状是稳定的。在这项工作中，我们评估了这些基于拓扑的文档表示在传统NLP任务中的实用性，特别是文档聚类和情感分类。我们发现，嵌入不利于文本分析。事实上，性能比像$\textit{tf-idf}$这样的简单技术更差，这表明文档的几何形状没有为基于所选数据集中的主题或情感的分类提供足够的可变性。
2017-05-31 cs.CL
Multimodal Representations Learning Based on Mutual Information Maximization and Minimization and Identity Embedding for Multimodal Sentiment Analysis
Huazhong University of Science and Technology（华中科技大学）
多模态情感分析（MSA）是一个基础性的复杂研究问题，这是由于不同模态之间的异质性和人类情感表达的模糊性造成的。虽然已经有许多成功的尝试来构建多模态表示的MSA，仍然有两个挑战需要解决：1）一个更强大的多模态表示需要构建，以弥合异质性的差距，并应付复杂的多模态交互，和2）上下文动态必须有效地建模整个信息流。在这项工作中，我们提出了一个多模态表示模型的基础上互信息最大化和最小化和身份嵌入（MMMIE）。我们结合模态对之间的互信息最大化和输入数据与相应特征之间的互信息最小化来挖掘模态不变和任务相关的信息。此外，身份嵌入被提出来促使下游网络感知上下文信息。在两个公开数据集上的实验结果证明了该模型的有效性。
2022-07-04 cs.CL cs.CV cs.LG
Larger models yield better results? Streamlined severity classification of ADHD-related concerns using BERT-based knowledge distillation
BRAC University（BRAC大学）；North South University（北南大学）
本研究通过知识蒸馏构建轻量BERT模型LastBERT，在参数量大减的情况下保持ADHD社交媒体文本严重程度分类性能，为资源受限场景的心理健康评估提供高效工具。
2024-10-30 cs.AI cs.CL
Soft Prompt Guided Joint Learning for Cross-Domain Sentiment Analysis
Auckland University of Technology（奥克兰理工大学）；University of Tasmania（塔斯马尼亚大学）；Hefei University of Technology（合肥工业大学）；Jilin University of Finance and Economics（吉林财经大学）
特征词提取是细粒度情感分析的一项基本任务，其目的是从对产品或服务的评论中发现客户的意见目标。传统的监督模型在标注数据集上可以取得很好的效果，但是当它们被应用于跨领域的体词提取任务时，性能会显着下降。现有的跨领域迁移学习方法要么直接将语言特征注入到语言模型中，难以将语言知识迁移到目标领域;要么依赖于固定的预定义提示，在所有潜在的方面术语跨度上构造提示是耗时的。针对这一局限性，本文提出了一种基于软学习的跨领域方位词联合提取方法。具体而言，通过结合外部语言特征，所提出的方法通过多个目标来学习源域和目标域之间的域不变表示，从而弥合了具有不同方面术语分布的域之间的差距。此外，所提出的方法插入一组可转移的软提示组成的多个可学习的向量，这是有益的检测方面的条款在目标领域。在基准数据集上进行了大量的实验，实验结果证明了该方法在跨领域体词提取中的有效性。
2023-03-01 cs.AI cs.CL
Temporal-Spatial Decouple before Act: Disentangled Representation Learning for Multimodal Sentiment Analysis
Fudan University（复旦大学）；Shantou University（汕尾大学）；University College London（伦敦大学学院）；University of South Australia（澳大利亚南澳大学）
本文提出TSDA方法，在动作前解耦时序与空间信息，通过因子一致对齐和门控重联模块提升多模态情感分析性能。
2026-01-20 cs.AI cs.CL cs.MM
WIDER & CLOSER: Mixture of Short-channel Distillers for Zero-shot Cross-lingual Named Entity Recognition
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research（讯飞研究院）；Jilin Kexun Information Technology Co., Ltd.（吉林科讯信息技术有限公司）
Zero-shot跨语言命名实体识别（NER）旨在将知识从源语言的带注释和丰富资源的数据转移到目标语言的未标记和贫乏资源的数据。现有的基于师生蒸馏框架的主流方法忽略了预先训练好的语言模型中间层中丰富的互补信息，并且在迁移过程中容易丢失领域不变信息。在这项研究中，混合短通道蒸馏器（MSD）的方法，提出了充分互动的教师模型中丰富的层次信息，并充分和有效地转移知识的学生模型。具体而言，多通道蒸馏框架被设计为通过将多个蒸馏器聚合为混合物来进行充分的信息传递。此外，提出了一种采用并行领域自适应的无监督方法来缩短教师和学生模型之间的通道，以保持领域不变的特征。在4个跨9种语言的数据集上的实验表明，该方法在zero-shot跨语言NER上取得了新的性能，具有很好的泛化能力和跨语言跨领域的兼容性。
2022-12-07 cs.CL
WAND: Windowed Attention and Knowledge Distillation for Efficient Autoregressive Text-to-Speech Models
Korea Advanced Institute of Science and Technology, Republic of Korea（韩国科学技术院）；Sungkyunkwan University, Republic of Korea（成均馆大学）
提出WAND框架，通过分离注意力为全局持久注意力和局部滑动窗口注意力，结合课程学习与知识蒸馏，在保持合成质量的同时将AR-TTS模型的计算和内存复杂度降至常数，KV缓存减少66.2%。
2026-06-24 cs.AI cs.CL
NYCU-TWO at Memotion 3: Good Foundation, Good Teacher, then you have Good Meme Analysis
National Yang Ming Chiao Tung University（国立阳明交通大学）
本文提出了一个健壮的解决方案Memotion 3.0共享任务。这项任务的目标是对模因表达的情感和相应的强度进行分类，模因通常以社交媒体上带有简短标题的图像形式出现。理解特定模因的多模态特征将是解决这一问题的关键。在这项工作中，我们使用CLIP提取对齐的图像-文本特征，并提出了一个新的模因情感分析框架，包括任务A的合作教学模型（CTM）和任务B和C的级联情感分类器（CEC）。CTM基于知识蒸馏的思想，能够更好地预测任务A中特定模因的情感; CEC能够利用任务C中预测的情感强度建议，对任务B中的情感进行更精确的分类。实验表明，我们实现了任务A和任务B的第二位排名和任务C的第四位排名，加权F1分数分别为0.342，0.784和0.535。结果表明，我们的框架的鲁棒性和有效性。我们的代码在Github上发布。
2023-02-14 cs.CL cs.CV
Unified Instance and Knowledge Alignment Pretraining for Aspect-based Sentiment Analysis
Wuhan University（武汉大学）；JD Explore Academy（京东探索研究院）；Kunming University of Science and Technology（昆明理工大学）；The University of Sydney（悉尼大学）
针对ABSA预训练与下游任务间的领域偏移问题，提出统一实例与知识对齐预训练框架，通过从粗到细检索采样对齐实例，并利用师生联合微调转移领域不变知识，显著提升了下游任务表现。
2023-06-26 cs.AI cs.CL
A Two-Stage Framework with Self-Supervised Distillation For Cross-Domain Text Classification
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
针对跨领域文本分类中目标领域无标注且领域感知特征被忽视的问题，提出MLM源域微调与SSD目标域自训练相结合的两阶段框架，在单源和多源适应基准上均刷新最优成绩。
2024-04-10 cs.AI cs.CL
