TNCSE: Tensor's Norm Constraints for Unsupervised Contrastive Learning of Sentence Embeddings
School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
针对无监督句嵌入只约束表示方向、忽略范数的问题，提出张量范数约束训练目标并结合集成学习构建 TNCSE，在语义文本相似度和零样本任务上取得最优表现。
2025-03-17 cs.AI cs.CL
LLM2IR: simple unsupervised contrastive learning makes long-context LLM great retriever
Computer Science（计算机科学）
LLM2IR通过简单无监督对比学习将长上下文LLM转化为高效检索器，验证了上下文长度与检索能力的关系。
2025-10-31 cs.AI cs.CL cs.IR
Unsupervised Dense Information Retrieval with Contrastive Learning
Meta AI Research（Meta人工智能研究院）；Ecole normale supérieure, PSL University（巴黎文理研究大学高等师范学院）；Inria（法国国家信息与自动化研究所）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；University College London（伦敦大学学院）
最近，信息检索已经看到了使用神经网络的密集检索器的出现，作为基于词频的经典稀疏方法的替代。这些模型在有大型训练集的数据集和任务上获得了最先进的结果。然而，它们不能很好地转移到没有训练数据的新应用中，并且被诸如BM 25的无监督词频方法优于。在这项工作中，我们探讨了对比学习的局限性，作为一种训练无监督的密集检索器，并表明它导致在各种检索设置的强大性能。在BEIR基准测试中，我们的无监督模型在Recall@100的15个数据集中的11个数据集上优于BM 25。当在微调之前用作预训练时，无论是在几千个域内示例上还是在大型MS~MARCO数据集上，我们的对比模型都会导致BEIR基准的改进。最后，我们评估了我们的方法多语言检索，其中训练数据甚至比英语更稀缺，并表明我们的方法导致强大的无监督性能。我们的模型也表现出强大的跨语言迁移时，微调监督英语数据和低资源的语言，如斯瓦希里语进行评估。我们表明，我们的无监督模型可以在不同的脚本之间进行跨语言检索，例如从阿拉伯语查询中检索英语文档，这是术语匹配方法无法实现的。
2022-08-29 cs.AI cs.CL cs.IR
CIC: Contrastive Intrinsic Control for Unsupervised Skill Discovery
UC Berkeley（加州大学伯克利分校）；NYU（纽约大学）；MetaAI（元人工智能）；Covariant（协变公司）
我们介绍了对比内在控制（CIC），无监督的技能发现算法，最大限度地提高状态转换和潜在技能向量之间的互信息。CIC利用状态转换和技能之间的对比学习来学习行为嵌入，并将这些嵌入的熵最大化作为鼓励行为多样性的内在奖励。我们在无监督强化学习基准测试中评估了我们的算法，该测试包括一个长时间的无奖励预训练阶段，然后是一个短时间的适应阶段，以适应具有外部奖励的下游任务。CIC在适应效率方面大大提高了现有方法，比现有的无监督技能发现方法高出1.79倍，比下一个领先的整体探索算法高出1.18倍。
2022-03-30 cs.AI cs.LG
Capsule Network based Contrastive Learning of Unsupervised Visual Representations
Queen Mary, University of London（伦敦大学玛丽女王学院）
胶囊网络在过去的十年中取得了巨大的进步，由于其等变特性，在各种任务中表现优于传统的CNN。通过使用向量I/O提供对象或其部分的大小和方向的信息，在无监督学习环境中使用胶囊网络进行视觉表示任务（如多类图像分类）具有巨大的可能性。在本文中，我们提出了对比胶囊（CoCa）模型，这是一个暹罗风格的胶囊网络使用对比损失与我们的新架构，训练和测试算法。我们在无监督图像分类CIFAR-10数据集上对该模型进行了评估，并达到了70.50%的前1测试准确率和98.10%的前5测试准确率。由于我们的高效架构，我们的模型在监督和无监督学习中的参数和FLOP都比当前的SOTA少31倍。
2022-09-22 cs.AI cs.CV
Indiscriminate Poisoning Attacks on Unsupervised Contrastive Learning
Massachusetts Institute of Technology（麻省理工学院）
不分青红皂白的数据投毒攻击对监督学习是非常有效的。然而，关于它们对无监督对比学习（CL）的影响知之甚少。本文是第一个考虑对比学习的无差别中毒攻击。我们提出了对比中毒（CP），第一个有效的这种攻击CL。我们的经验表明，对比中毒，不仅大大降低了CL算法的性能，但也攻击监督学习模型，使其成为最普遍的无差别中毒攻击。我们还表明，CL算法与动量编码器是更强大的不分青红皂白中毒，并提出了一个新的对策的基础上矩阵完成。代码可在：https://github.com/kaiwenzha/contrastive-poisoning.
2023-03-09 cs.AI cs.CR cs.CV
Contrastive Quantization with Code Memory for Unsupervised Image Retrieval
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学清华-深圳国际研究生院）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Shenzhen University（深圳大学）；Peng Cheng Laboratory（鹏城实验室）
散列（包括二进制散列和量化）在计算和存储方面的高效率使得它成为大规模检索系统中的常用策略。为了减轻对昂贵注释的依赖，无监督深度哈希成为一个重要的研究问题。本文提出了一种新的无监督深度量化解决方案，即具有代码记忆的对比量化（MeCoQ）。与现有的基于重构的策略不同，我们通过对比学习来学习无监督的二进制描述符，这可以更好地捕获有区别的视觉语义。此外，我们发现码字多样性正则化是关键，以防止对比学习为基础的量化模型退化。此外，我们引入了一种新的量化代码存储器模块，该模块比传统的特征存储器具有更低的特征漂移，从而提高了对比学习。在基准数据集上的大量实验表明，MeCoQ优于最先进的方法。代码和配置可在https://github.com/gimpong/AAAI22-MeCoQ上公开获取。
2022-03-08 cs.AI cs.CV cs.IR
DU-Net based Unsupervised Contrastive Learning for Cancer Segmentation in Histology Images
Queen Mary University of London（伦敦玛丽女王大学）；Communication University of Zhejiang（浙江传媒学院）；University of Leicester（莱斯特大学）；Hangzhou Dianzi University（杭州电子科技大学）
在本文中，我们介绍了一个无监督的癌症分割框架的组织学图像。该框架涉及一个有效的对比学习方案，用于提取不同的视觉表示分割。编码器是一个深度U-Net（DU-Net）结构，与普通U-Net相比，它包含一个额外的全卷积层。一个对比学习计划的开发，以解决缺乏训练集与高质量的肿瘤边界上的注释的问题。采用一组特定的数据增强技术来提高从对比学习中学习到的颜色特征的可辨别性。平滑和噪声消除使用卷积条件随机场进行。实验表明，在分割方面的竞争力甚至优于一些流行的监督网络。
2022-06-17 cs.AI cs.CV
Unsupervised Text Style Transfer with Padded Masked Language Models
Google Research（谷歌研究院）
我们提出了Masker，一种用于风格转移的无监督文本编辑方法。为了解决没有并行源-目标对可用的情况，我们为源和目标域都训练训练掩蔽的语言模型（MLM）。然后，我们找到两个模型在可能性方面最不一致的文本跨度。这使我们能够识别要删除的源标记，以转换源文本，使其与目标域的样式相匹配。删除的令牌被替换为目标MLM，并且通过使用填充的MLM变体，我们避免了必须预先确定插入令牌的数量。我们对句子融合和情感转移的实验表明，Masker在完全无监督的环境中表现出竞争力。此外，在低资源环境中，当在Masker生成的银训练数据上进行预训练时，它将监督方法的准确性提高了10个百分点以上。
2020-10-02 cs.CL
FontDiffuser: One-Shot Font Generation via Denoising Diffusion with Multi-Scale Content Aggregation and Style Contrastive Learning
South China University of Technology（华南理工大学）；SCUT-Zhuhai Institute of Modern Industrial Innovation（华南理工大学珠海现代产业创新研究院）；Alibaba Group（阿里巴巴集团）
针对现有字体生成方法在复杂字符和大幅风格变化下的不足，提出基于扩散模型的FontDiffuser，通过多尺度内容聚合模块与风格对比精炼模块提升效果，达到当前最优性能且代码已开源。
2023-12-19 cs.AI cs.CV
About contrastive unsupervised representation learning for classification and its convergence
Université de Paris（巴黎大学）；Université Paris-Dauphine（巴黎多芬纳大学）；Ecole normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）
对比表示学习最近被证明是非常有效的自我监督训练。这些方法已成功地用于训练编码器，该编码器对下游分类任务执行监督训练。一些工作已经开始围绕对比学习建立一个理论框架，其中可以证明其性能的保证。我们将这些结果扩展到多个阴性样本的训练和多路分类。此外，我们提供了收敛保证，以最小化过参数化深度神经编码器的梯度下降的对比训练误差，并提供了一些数值实验，以补充我们的理论发现
2020-12-02 cs.AI cs.LG stat.ML
UBoCo : Unsupervised Boundary Contrastive Learning for Generic Event Boundary Detection
Yonsei University（延世大学）
通用事件边界检测（GEBD）是一个新提出的视频理解任务，旨在发现事件的一个更深层次的语义边界。它弥补了人类自然感知和视频理解之间的差距，具有各种潜在的应用，包括可解释和语义有效的视频解析。仍然处于早期开发阶段，现有的GEBD求解器是相关视频理解任务的简单扩展，而忽略了GEBD的独特特征。在本文中，我们提出了一种新的框架，无监督/监督GEBD，通过使用时间自相似矩阵（TSM）作为视频表示。新的递归TSM解析（RTP）算法利用TSM中的局部对角模式来检测边界，并结合边界对比（BoCo）损失来训练我们的编码器，以生成信息量更大的TSM。我们的框架可以应用于无监督和有监督的环境，在GEBD基准测试中，两者都实现了最先进的性能。特别是，我们的无监督方法优于以前的最先进的“监督”模型，这意味着其特殊的功效。
2021-11-30 cs.AI cs.CV
OmicsCL: Unsupervised Contrastive Learning for Cancer Subtype Discovery and Survival Stratification
Department of Computer Science University of Basel（计算机科学系 巴塞尔大学）
提出OmicsCL框架，通过生存感知对比损失将异构多组学数据嵌入统一潜在空间，无需标签即可发现癌症亚型并实现生存分层，在TCGA BRCA数据集上表现出强无监督一致性和鲁棒性。
2025-05-01 cs.AI cs.LG q-bio.GN
Feature-Aware Noise Contrastive Learning for Unsupervised Red Panda Re-Identification
College of Computer Science, Sichuan University（四川大学计算机学院）
针对无监督动物再识别中标注数据稀缺的问题，提出特征感知噪声对比学习（FANCL），通过噪声添加与双对比模块提取深层表征，在室内外小熊猫数据集上性能优于现有无监督方法并接近监督方法。
2024-07-18 cs.AI cs.CV
Contrastive Learning for Unsupervised Domain Adaptation of Time Series
ETH Zürich（苏黎世联邦理工学院）；LMU Munich（慕尼黑大学）
无监督领域自适应（UDA）旨在使用在相似但不同的未标记目标域上表现良好的标记源域来学习机器学习模型。UDA在许多应用中很重要，例如医学，它用于调整不同患者队列的风险评分。在本文中，我们开发了一个新的框架UDA的时间序列数据，称为CLUDA。具体来说，我们提出了一个对比学习框架来学习多变量时间序列中的上下文表示，以便这些保留标签信息的预测任务。在我们的框架中，我们进一步捕获的变化，通过自定义最近邻对比学习的上下文表示之间的源和目标域。据我们所知，我们是第一个学习时间序列数据的UDA的域不变，上下文表示的框架。我们使用广泛的时间序列数据集来评估我们的框架，以证明其有效性，并表明它实现了时间序列UDA的最先进性能。
2023-02-07 cs.AI cs.LG
CL-MVSNet: Unsupervised Multi-view Stereo with Dual-level Contrastive Learning
School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院）；Peng Cheng Laboratory（鹏城实验室）；Migu Culture Technology Co., Ltd（咪咕文化科技有限公司）；School of Computer Science, University of Birmingham（伯明翰大学计算机学院）；School of Arts, Peking University（北京大学艺术学院）
本文提出CL-MVSNet，通过图像级和场景级双层对比学习为无监督MVS构建额外监督信号，并引入L0.5光度一致性损失，在DTU和Tanks&Temples上取得了超越有监督方法的性能。
2025-03-11 cs.AI cs.CV
Unsupervised Social Event Detection via Hybrid Graph Contrastive Learning and Reinforced Incremental Clustering
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；National Defense University（国防大学）
针对现有无监督社交事件检测方法存在的GCL信息学习不充分、依赖先验知识的问题，提出融合混合图对比学习与强化增量聚类的HCRC方法，在多个数据集和设置下实现显著性能提升。
2023-12-15 cs.AI cs.SI
Camera-Tracklet-Aware Contrastive Learning for Unsupervised Vehicle Re-Identification
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
近年来，基于深度学习的车辆再识别方法取得了显著的成就。然而，这一成就需要大规模和注释良好的数据集。在构建数据集时，为从大量相机捕获的车辆分配全局可用身份（Id）是劳动密集型的，因为它需要考虑它们细微的外观差异或视点变化。在本文中，我们提出了摄像机跟踪感知对比学习（CTACL）使用的多摄像机跟踪信息，没有车辆身份标签。所提出的CTACL划分未标记的域，即，整个车辆图像，进入多个相机级子域，并在子域内和子域外进行对比学习。用于对比学习的正样本和负样本使用每个相机的轨迹片段Id来定义。此外，跨摄像机网络的领域自适应被引入，以提高学习表示的泛化性能，并减轻由子域之间的域间隙导致的性能下降。我们证明了我们的方法对基于视频和基于图像的车辆Re-ID数据集的有效性。实验结果表明，该方法优于最近的国家的最先进的无监督车辆Re-ID方法。本文的源代码可在`https：//github.com/andreYoo/CTAM-CTACL-VVReID.git '上公开获取。
2021-09-14 cs.AI cs.CV
Discrete Contrastive Learning for Diffusion Policies in Autonomous Driving
Aalto University（阿尔托大学）；Finnish Center for Artificial Intelligence (FCAI)（芬兰人工智能中心）
本文提出利用对比学习从人类驾驶数据中提取并量化驾驶风格字典，进而学习条件扩散策略来模拟人类驾驶行为，实验表明其生成的行为比基线方法更安全且更像人类。
2025-03-07 cs.AI cs.RO
Difficult Examples Hurt Unsupervised Contrastive Learning: A Theoretical Perspective
State Key Lab of General AI, School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院人工智能国家重点实验室）；School of Engineering, Hong Kong University of Science and Technology（香港科技大学工程学院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
本文从理论角度探讨了困难示例对无监督对比学习的影响，发现移除困难示例可提升下游分类性能，并通过理论分析和实验证明了其有效性。
2026-03-04 cs.AI cs.LG
A Low Rank Promoting Prior for Unsupervised Contrastive Learning
JD AI Research（京东人工智能研究院）；SUN YAT-SEN UNIVERSITY（中山大学）；University of Science and Technology of China（中国科学技术大学）
无监督学习正处于一个临界点，它可能会真正起飞。在这些方法中，对比学习已经取得了巨大的进展，并导致了国家的最先进的性能。在本文中，我们构建了一个新的概率图模型，有效地将低秩提升先验的对比学习的框架，简称为LORAC。与现有的传统的自监督方法只考虑独立学习相比，我们的假设明确要求属于同一实例类的所有样本都位于同一个小维度的子空间上。这种启发式提出了特定的联合学习约束，以减少在搜索最佳网络参数化的问题的自由度。最重要的是，我们认为，这里采用的低秩先验是不唯一的，和许多不同的先验可以调用类似的概率方式，对应于不同的假设背后的对比功能的基本真理。实验结果表明，该算法在图像分类、目标检测、实例分割和关键点检测等多个方面都明显优于现有的方法。
2021-08-05 cs.AI cs.CV cs.LG
Few-Max: Few-Shot Domain Adaptation for Unsupervised Contrastive Representation Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
对比自监督学习方法学习将诸如图像的数据点映射到非参数表示空间而不需要标签。虽然非常成功，但目前的方法在训练阶段需要大量的数据。在目标训练集大小有限的情况下，泛化能力较差。在Few-Shot模式下，在大的源数据集上进行预训练并对目标样本进行微调，很容易出现过拟合，因为只有少量的目标样本可用。出于这一动机，我们提出了一种自监督对比学习的域自适应方法，称为Few-Max，以解决适应少样本学习下的目标分布的问题。为了量化表示质量，我们在一系列源和目标数据集上评估了Few-Max，包括ImageNet，VisDA和fastMRI，Few-Max始终优于其他方法。
2022-06-22 cs.AI cs.CV cs.LG
Contrastive Unsupervised Learning of World Model with Invariant Causal Features
Cambridge Research Laboratory（剑桥研究实验室）；Toshiba Europe Limited（东芝欧洲有限公司）；University of Cambridge（剑桥大学）
在本文中，我们提出了一个世界模型，学习因果关系的特点，使用不变性原则。特别是，我们使用对比无监督学习来学习不变的因果特征，这使得不相关部分或观察风格的增强具有不变性。基于世界模型的强化学习方法独立地优化表示学习和策略。因此，由于缺乏对表示学习模块的监督信号，天真的对比损失实现崩溃。我们提出了一个干预不变的辅助任务，以减轻这个问题。具体来说，我们利用深度预测来明确地执行不变性，并使用数据增强作为对RGB观察空间的样式干预。我们的设计利用无监督表示学习来学习具有不变因果特征的世界模型。我们提出的方法在iGibson数据集上的分布点导航任务上显着优于当前最先进的基于模型和无模型强化学习方法。此外，我们提出的模型擅长于我们的感知学习模块的仿真到现实迁移。最后，我们在DeepMind控制套件上评估了我们的方法，并且由于深度不可用，因此只能隐式地执行不变性。尽管如此，我们提出的模型与最先进的对应模型表现相当。
2022-09-29 cs.AI cs.CV cs.LG
A Hierarchical Reinforced Sequence Operation Method for Unsupervised Text Style Transfer
Tsinghua University（清华大学）；Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
无监督文本样式传输旨在更改文本样式，同时保留内容，而无需对齐数据进行监督。现有的seq2seq方法面临三个挑战：1）传输是弱可解释的，2）生成的输出在内容保存方面很困难，3）内容和风格之间的权衡是棘手的。为了解决这些挑战，我们提出了一个层次化的增强序列操作方法，命名为点然后操作（PTO），它由一个高层次的代理，提出操作位置和一个低层次的代理，改变句子。我们提供全面的训练目标来控制输出的流畅性，风格和内容，以及基于掩码的推理算法，该算法允许基于单步训练的代理进行多步修改。在两个文本样式传输数据集上的实验结果表明，我们的方法显着优于最近的方法，并有效地解决了上述挑战。
2019-06-05 cs.AI cs.CL
Style-Aware Contrastive Learning for Multi-Style Image Captioning
Australian AI Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）
现有的多风格图像描述方法在生成具有准确视觉内容和期望语言风格的字幕方面显示出有希望的结果。然而，现有的方法忽略了语言风格和视觉内容之间的关系。为了克服这个缺点，我们提出了风格感知的对比学习多风格的图像描述。首先，我们提出了一个风格感知的视觉编码器与对比学习挖掘潜在的视觉内容相关的风格。此外，我们提出了一个风格感知的三重对比度目标来区分图像，风格和标题是否匹配。为了给对比学习提供正样本和负样本，本文提出了三种检索方案：基于对象的检索、基于RoI的检索和基于三元组的检索，并设计了一个动态的权衡函数来计算检索得分。实验结果表明，我们的方法达到了最先进的性能。此外，我们进行了广泛的分析，以验证我们的方法的有效性。
2023-01-26 cs.CL cs.CV
Prefix-Tuning Based Unsupervised Text Style Transfer
Peking University（北京大学）；Guangming Laboratory（光明实验室）；Tencent（腾讯）
本文提出一种基于Prefix-Tuning的无监督文本风格迁移方法，通过构建共享、风格和内容三种前缀并结合递归策略，有效提升了模型性能并超越了现有基线。
2023-10-23 cs.AI cs.CL
UNSEE: Unsupervised Non-contrastive Sentence Embeddings
Koç University（科克大学）
针对非对比目标下的句子表征崩塌问题，研究提出带目标网络的UNSEE无监督非对比式句子嵌入方法，经微调优化在Massive Text Embedding基准上超越SimCSE，达非对比句子嵌入最优性能。
2024-02-02 cs.CL
PCL: Peer-Contrastive Learning with Diverse Augmentations for Unsupervised Sentence Embeddings
The University of Tokyo（东京大学）；Microsoft Corporation（微软公司）
在自然语言处理中，以无监督的方式学习句子嵌入是基本的。最近的常见做法是将预训练的语言模型与无监督的对比学习相结合，其成功依赖于用语义上接近的正实例来增强句子以构建对比对。然而，现有的方法通常依赖于一个单一的增强策略，这导致学习捷径的增强偏见，从而损坏的句子嵌入的质量。一个简单的解决方案是从多增强策略中诉诸更多样化的积极因素，而一个悬而未决的问题仍然是如何在无监督的情况下从不同的积极因素中学习，但在文本字段中具有不均匀的增强质量。作为一个答案，我们提出了一种新的同行对比学习（PCL）与不同的增强。PCL在群体水平上为无监督的句子嵌入构建了不同的对比肯定和否定。PCL执行对等积极对比以及对等网络合作，这提供了固有的抗偏见能力和从不同增强中学习的有效方法。STS基准测试的实验验证了PCL在无监督句子嵌入中的有效性。
2022-10-19 cs.CL
MSSRNet: Manipulating Sequential Style Representation for Unsupervised Text Style Transfer
The University of Hong Kong（香港大学）；Zhejiang University（浙江大学）
针对无监督文本风格迁移中传统固定向量风格调控粒度不足的问题，提出为每个词元分配独立风格向量的MSSRNet，结合融合师生学习的对抗训练框架，在双风格和多风格迁移任务中均提升了迁移准确率与内容保留度。
2023-06-12 cs.AI cs.CL cs.LG
StyleBART: Decorate Pretrained Model with Style Adapters for Unsupervised Stylistic Headline Generation
Shanghai University of Finance and Economics（上海财经大学）；Southern University of Science and Technology（南方科技大学）
StyleBART通过为预训练BART模型添加可切换的风格适配器，将风格学习与标题生成分离，并引入反向释义任务，在无监督风格化标题生成中达到新最优性能。
2023-11-13 cs.CL
Contrastive Learning with Prompt-derived Virtual Semantic Prototypes for Unsupervised Sentence Embedding
Tencent Cloud Xiaowei（腾讯云小微）；Westlake University（西湖大学）
对比学习已经成为无监督句子嵌入的一种新的范式。以往的研究集中在实例方面的对比学习，试图构建积极的对文本数据增强。本文提出了一种新的基于虚拟语义原型的对比学习方法。具体而言，我们借助提示语，为每个实例构造虚拟语义原型，并利用提示语的否定形式推导出否定原型。利用原型对比损失，我们使锚句子嵌入靠近其对应的语义原型，远离否定原型以及其他句子的原型。语义文本相似性，转移和聚类任务的大量实验结果表明，我们提出的模型相比，强大的基线的有效性。代码可在https://github.com/lemon0830/promptCSE上获得。
2022-12-11 cs.CL
StyleFlow: Disentangle Latent Representations via Normalizing Flow for Unsupervised Text Style Transfer
National University of Defense Technology（国防科技大学）
语篇风格转换的目的是在保持句子内容的同时改变句子的风格。由于缺乏平行语料库，最近的工作主要集中在无监督的方法，通常使用循环构造来训练模型。由于循环构造通过将转换后的句子重建回原始风格句子来提高模型的风格转换能力，因此在无监督的文本风格转换任务中会导致内容丢失。在本文中，我们提出了一种新的基于解纠缠的风格传输模型StyleFlow，以提高内容保存。与传统的编码器-解码器方案不同，StyleFlow不仅可以进行前向处理以获得输出，还可以通过输出推断输入。我们设计了一个注意力感知的耦合层来理清句子的内容表示和风格表示。此外，本文还提出了一种基于归一化流的数据增强方法来提高模型的鲁棒性。实验结果表明，我们的模型有效地保留了内容，并在大多数指标上达到了最先进的性能。
2022-12-19 cs.CL
Contrastive Learning enhanced Author-Style Headline Generation
Tencent（腾讯）；Wenzhou University（温州大学）
标题生成是为给定的文章生成合适的标题的任务，该标题可以进一步用于机器辅助写作或提高点击率。现有的著作在生成时只使用了文章本身，而没有考虑标题的写作风格。在本文中，我们提出了一种新的Seq2Seq模型称为CLH3G（对比学习增强的基于历史标题的标题生成），它可以使用作者在过去写的文章的历史标题，以改善当前文章的标题生成。通过考虑历史标题，我们可以将作者的文体特征整合到我们的模型中，生成一个既适合文章，又符合作者风格的标题。为了有效地学习作者的文体特征，我们进一步为我们模型的编码器引入了一个基于对比学习的辅助任务。此外，我们提出了两种方法来使用学习的风格特征，以指导指针和解码器在生成过程中。实验结果表明，同一用户的历史标题可以显著提高标题生成的效率，而对比学习模块和两种风格特征融合方法都可以进一步提高标题生成的性能。
2022-11-07 cs.CL
Unsupervised Document Embedding via Contrastive Augmentation
The Pennsylvania State University（宾夕法尼亚州立大学）；NEC Labs America（美国 NEC 实验室）；University of Connecticut（康涅狄格大学）
我们提出了一种对比学习方法与数据增强技术，学习文档表示在无监督的方式。受最近用于图像和NLP预训练的对比自监督学习算法的启发，我们假设高质量的文档嵌入应该对保留原始文档语义的各种释义保持不变。通过不同的主干和对比学习框架，我们的研究揭示了对比增强对文档表示学习的巨大好处，并提供了两个额外的见解：1）以对比的方式包括数据增强可以显著地提高无监督文档表示学习中的嵌入质量，以及2）通常，由简单的单词级操作生成的随机增强比文档级和文档级操作好得多。我们将我们的方法插入分类器，并将其与六个基准数据集上的各种基线方法进行比较。我们的方法可以降低分类出错率高达6.4%，SOTA方法的文件分类任务，匹配，甚至超过完全监督的方法。
2021-03-26 cs.CL
Cone: Unsupervised Contrastive Opinion Extraction
University of Warwick（华威大学）；The Alan Turing Institute（艾伦·图灵研究所）
提出无监督对比观点抽取模型Cone，结合对比学习与迭代聚类细化，无需标签即可抽取对比观点并量化方面流行度，在酒店和疫苗推特数据集上优于基线。
2023-05-08 cs.CL
LEWIS: Levenshtein Editing for Unsupervised Text Style Transfer
The University of Tokyo（东京大学）；University of Washington（华盛顿大学）
许多类型的文本风格转换可以通过小而精确的编辑来实现（例如，从我度过了一段可怕的时光......我有一个伟大的时间……）。我们提出了一个粗略到精细的编辑器的风格转换，转换文本使用Levenshtein编辑操作（例如插入，替换，删除）。与以前的单跨度编辑方法不同，我们的方法同时编辑源文本中的多个跨度。为了训练没有并行风格的文本对（例如+/-情感语句对），我们提出了一个无监督的数据合成过程。我们首先使用样式分类器attention将文本转换为样式无关的模板（例如，我有一个SLOT时间...），然后使用微调的预训练语言模型来填充这些模板中的槽。我们的方法优于现有的生成和编辑风格的情感（Yelp，亚马逊）和礼貌（礼貌）转移方法。特别是，多跨度编辑比单跨度编辑实现了更高的性能和更多样化的输出。此外，与以前的无监督数据合成方法相比，我们的方法产生了更高质量的并行样式对，提高了模型性能。
2021-05-18 cs.CL
Reformulating Unsupervised Style Transfer as Paraphrase Generation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Carnegie Mellon University（卡内基梅隆大学）
现代NLP将风格转换的任务定义为修改给定句子的风格而不明显改变其语义，这意味着风格转换系统的输出应该是其输入的释义。然而，许多现有的系统据称是为风格转换而设计的，它们通过属性转换固有地扭曲了输入的含义，这改变了语义属性，例如情感。在本文中，我们将无监督的风格转换重新表述为释义生成问题，并提出了一种简单的方法，该方法基于自动生成的释义数据微调预训练的语言模型。尽管它的简单性，我们的方法显着优于国家的最先进的风格转让系统对人类和自动评估。我们还调查了23种风格的转让文件，并发现现有的自动指标可以很容易地进行游戏，并提出固定的变种。最后，我们通过收集11种不同风格的1500万个句子的大型数据集，转向更真实的风格转换设置，我们使用这些数据集对我们的系统进行深入分析。
2020-10-12 cs.CL
Contrastive Unsupervised Word Alignment with Non-Local Features
Tsinghua University（清华大学）
词对齐是一项重要的自然语言处理任务，它反映了自然语言之间的对应关系。近年来，基于对数线性模型的词对齐的无监督学习由于结合了生成式和判别式方法的优点而受到广泛关注。然而，一个主要的挑战仍然存在：它是难以计算的非本地功能，这是至关重要的捕捉自然语言之间的分歧的期望。我们提出了一种对比的方法，旨在区分观察到的训练样本从噪音。它不仅引入了先验知识来指导无监督学习，而且取消了分区函数。基于观察到的概率质量的对数线性模型的字对齐通常是高度集中的，我们建议使用前n对齐来近似的期望后验分布。这允许有效且准确地计算非局部特征的期望。实验表明，我们的方法取得了显着的改进，国家的最先进的无监督字对齐方法。
2014-10-10 cs.CL
SE-DAE: Style-Enhanced Denoising Auto-Encoder for Unsupervised Text Style Transfer
University of Chinese Academy of Sciences（中国科学院大学）
语篇风格转换是指在保持句子语义的同时改变句子的风格。由于缺乏并行数据，去噪自动编码器（DAE）被广泛用于此任务中，以模拟不同句子风格的分布。然而，由于传统的去噪过程的目标和风格转换任务的目标之间的冲突，香草DAE不能产生令人满意的结果。为了提高模型的可移植性，现有的研究大多将DAE与各种复杂的无监督网络相结合，使得整个系统变得过于复杂。在这项工作中，我们设计了一个新的DAE模型命名为样式增强DAE（SE-DAE），这是专门设计的文本样式传输任务。与以往复杂的风格迁移模型相比，该模型不包含任何复杂的无监督网络，而仅依赖于一种新的数据精化机制生成的高质量伪并行数据。此外，为了缓解传统的去噪过程和风格转移任务的目标之间的冲突，我们提出了另一种新的风格去噪机制，这是更兼容的风格转移任务的目标。我们验证了我们的模型在两个风格的基准数据集的有效性。自动评估和人工评估表明，我们提出的模型是非常有竞争力的，与以前强大的最先进的（SOTA）的方法相比，大大优于香草DAE。
2021-04-27 cs.CL
Domain Confused Contrastive Learning for Unsupervised Domain Adaptation
Nanyang Technological University（南洋理工大学）
在这项工作中，我们研究了无监督领域自适应（UDA）在一个具有挑战性的自我监督的方法。其中一个难点是如何在没有目标标签的情况下学习任务区分。与以往文献中直接对齐跨域分布或利用反向梯度不同，我们提出了域混淆对比学习（DCCL），通过域拼图来桥接源域和目标域，并在适应后保留区分性表示。从技术上讲，DCCL搜索最具领域挑战性的方向，并将领域混淆的增强作为正对进行精细加工，然后对比鼓励模型将表示拉向另一个领域，从而学习更稳定和有效的领域不变性。我们还研究了在进行其他数据增强时，对比学习是否一定有助于UDA。大量的实验表明，DCCL显着优于基线。
2022-07-10 cs.CL cs.LG
Neural Contrastive Clustering: Fully Unsupervised Bias Reduction for Sentiment Classification
工作背景：神经网络由于相关性偏差而产生有偏差的分类结果（它们学习输入和输出之间的相关性以分类样本，即使这些相关性不代表因果关系）。目的：这项研究引入了一种完全无监督的方法来减轻相关性偏差，并在COVID-19社交媒体数据上进行了情感分类。方法：情感分类中的相关偏差经常出现在关于有争议话题的对话中。因此，本研究使用对抗性学习来对比基于情感分类标签的聚类，以及由无监督主题建模产生的聚类。这阻碍了神经网络学习产生有偏见的分类结果的主题相关特征。结果如下：与基线分类器相比，神经对比聚类对人类标记的COVID-19社交媒体数据的倾向于偏见的句子的准确性大约增加了一倍，而不会对分类器的整体F1得分产生不利影响。尽管是一种完全无监督的方法，但神经对比聚类在倾向于偏见的句子上的准确性比监督掩蔽方法有更大的提高。结论：神经对比聚类减少了情感文本分类中的相关性偏差。需要进一步的研究来探索将这种技术推广到其他神经网络架构和应用领域。
2022-04-22 cs.CL cs.LG
Style Transfer as Unsupervised Machine Translation
University of Science and Technology of China（中国科学技术大学）；Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Research and AI Group（微软研究与人工智能集团）
语言风格转移是指在保留原有的与属性无关的内容的同时，重新表达具有特定风格属性的文本。学习风格转换系统的一个主要挑战是缺乏平行数据，其中源句子是一种风格，目标句子是另一种风格。有了这个限制，在本文中，我们适应无监督的机器翻译方法的任务，自动风格转换。我们首先利用风格偏好信息和词嵌入相似性来产生伪并行数据与统计机器翻译（SMT）框架。然后采用迭代反向翻译方法联合训练两个基于神经机器翻译（NMT）的转换系统。为了控制联合训练过程中产生的噪声，引入了风格分类器，以保证风格转移的准确性，并惩罚生成的伪数据中的不良候选。在基准数据集上的实验表明，我们提出的方法在风格转换的准确性和输入输出对应的质量方面都优于以前的最先进的模型。
2018-08-23 cs.CL
Unsupervised Reference-Free Summary Quality Evaluation via Contrastive Learning
Zhejiang University（浙江大学）；IBM Research（IBM研究院）
摘要对文档摘要系统的评价一直是影响摘要工作成功与否的一个关键因素。以前的方法，如ROUGE，主要考虑评估摘要的信息量，并要求每个测试摘要都有人工生成的参考。在这项工作中，我们提出了评估摘要质量无参考摘要无监督对比学习。具体来说，我们设计了一个新的度量，它涵盖了语言质量和语义信息的基础上BERT。为了学习度量，对于每个摘要，我们针对摘要质量的不同方面构建不同类型的负样本，并使用排名损失训练我们的模型。在Newsroom和CNN/Daily Mail上的实验表明，即使没有参考摘要，我们的新评估方法也优于其他指标。此外，我们证明了我们的方法是通用的，可跨数据集转移。
2020-10-05 cs.CL
Unsupervised Learning of Style-sensitive Word Vectors
Tohoku University（东北大学）；National Institute of Advanced Industrial Science and Technology (AIST)（国立研究开发法人产业技术综合研究所（AIST））；Preferred Networks, Inc.（优选网络公司）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文提出了第一个研究，旨在捕捉文体相似的词在无监督的方式。我们建议扩展连续词袋（CBOW）模型（Mikolov等人，2013）来在假设话语中所有单词的风格一致的情况下使用更宽的上下文窗口来学习风格敏感的单词向量。此外，我们还引入了一个新的任务来预测词汇风格相似性，并为这个任务创建了一个基准数据集。我们的实验与此数据集支持我们的假设，并表明，所提出的扩展有助于收购风格敏感的词嵌入。
2018-05-15 cs.CL
Exploring Contextual Word-level Style Relevance for Unsupervised Style Transfer
Xiamen University（厦门大学）；Baidu Inc.（百度公司）
无监督的风格转换旨在改变输入句子的风格，同时保留其原始内容，而不使用并行训练数据。在目前的主流方法中，由于缺乏对目标风格的影响的细粒度控制，它们无法产生令人满意的输出句子。在本文中，我们提出了一种新的注意序列到序列（Seq2seq）模型，动态地利用每个输出单词的相关性，以目标风格的无监督风格转移。具体来说，我们首先预训练一个风格分类器，其中每个输入单词与原始风格的相关性可以通过逐层相关传播来量化。在去噪自动编码的方式，我们训练注意力Seq2seq模型重建输入的句子，并重新预测词级先前量化的风格相关性的同时。通过这种方式，该模型被赋予了自动预测每个输出词的风格相关性的能力。然后，我们为该模型的解码器配备了一个神经风格组件，以利用预测的词级风格相关性来实现更好的风格传递。特别是，我们微调这个模型使用精心设计的目标函数，涉及风格转移，风格相关性的一致性，内容保存和流畅性建模损失条款。实验结果表明，我们提出的模型达到了最先进的性能，在传输精度和内容保存。
2022-03-11 cs.CL cs.LG
SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples
National University of Defense Technology（国防科技大学）；SenseTime（商汤科技）；The University of Hong Kong（香港大学）
无监督句子嵌入的目的是为句子获得最合适的嵌入，以反映其语义。对比学习正受到越来越多的关注。对于一个句子，当前的模型利用不同的数据增强方法来生成正样本，而将其他独立的句子视为负样本。然后，他们采用InfoNCE损失来拉动聚集的正对的嵌入，并推动分散的负对的嵌入。虽然这些模型在句子嵌入方面取得了很大的进展，但我们认为它们可能受到特征抑制。这些模型不能区分和解耦文本相似性和语义相似性。而且，他们可能高估任何具有相似文本的对的语义相似性，而不管它们之间的实际语义差异。这是因为无监督对比学习中的正对通过数据增强来获得相似甚至相同的文本。为了减轻特征抑制，我们提出了对比学习的无监督句子嵌入与软负样本（SNCSE）。软否定样本与原始样本具有高度相似的文本，但具有明显不同的语义。具体地说，我们将原句的否定作为软否定样本，提出双向边际损失（BML）将其引入传统的对比学习框架，只涉及正样本和负样本。实验结果表明，SNCSE在语义文本相似性（STS）任务上的平均Spearman相关系数在BERTbase上为78.97%，在RoBERTbase上为79.23%。此外，我们还采用基于秩的误差分析方法来发现SNCSE的不足之处，为后续的研究提供参考。
2022-03-02 cs.CL
Transductive Learning for Unsupervised Text Style Transfer
Data Intelligence System Research Center（数据智能系统研究中心）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent AI Lab（腾讯AI实验室）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）；CAS Key Lab of Network Data Science Technology（中国科学院网络数据科学与技术重点实验室）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
无监督风格迁移模型主要基于归纳学习方法，该方法将风格表示为嵌入、解码器参数或解码器参数，并将这些一般规则直接应用于测试用例。然而，平行语料库的缺乏阻碍了这些归纳学习方法在这一任务上的能力。因此，它很可能会导致严重的不一致的风格表达，如'沙拉是粗鲁的'。为了解决这个问题，我们提出了一种新的转导学习方法，在本文中，基于检索的上下文感知的风格表示。具体地，利用具有检索器框架的注意编码器-解码器。在迁移过程中涉及到目标语体中的top-K相关句子。通过这种方式，我们可以学习上下文感知风格嵌入来缓解上述不一致问题。在本文中，稀疏（BM 25）和稠密检索功能（MIPS）的使用，并设计了两个目标函数，以促进联合学习。实验结果表明，我们的方法优于几个强基线。本文提出的直推学习方法对于无监督风格迁移具有普遍性和有效性，我们将把它应用到其他两种典型的方法中。
2021-09-16 cs.CL
Unsupervised Distractor Generation via Large Language Model Distilling and Counterfactual Contrastive Decoding
Peking University（北京大学）
提出一种无监督干扰项生成框架，利用大语言模型蒸馏和反事实对比解码增强小模型能力，在无需人工标注下以极少参数超越GPT-3.5-turbo。
2024-06-03 cs.CL
Fighting Offensive Language on Social Media with Unsupervised Text Style Transfer
IBM Research（IBM研究院）；T.J. Watson Research Center（T.J.沃森研究中心）；IBM Watson（IBM沃森）
我们引入了一种新的方法来解决在线社交媒体中的冒犯性语言问题。我们的方法使用无监督的文本风格转换将冒犯性句子翻译成非冒犯性句子。我们提出了一种新的方法来训练编码器-解码器使用非并行数据，结合了协作分类器，注意力和周期一致性损失。Twitter和Reddit数据的实验结果表明，我们的方法在三个定量指标中的两个方面优于最先进的文本风格传输系统，并产生可靠的非攻击性传输句子。
2018-05-20 cs.CL cs.LG
Unsupervised hard Negative Augmentation for contrastive learning
University College London（伦敦大学学院）
提出无监督困难负样本增强方法UNA，利用TF-IDF分数替换重要词汇生成合成负样本，有效提升了对比学习模型在语义文本相似度任务上的性能，且兼容不同骨干模型并可与复述增强结合。
2024-01-05 cs.CL
On Systematic Style Differences between Unsupervised and Supervised MT and an Application for High-Resource Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）
现代无监督机器翻译（MT）系统在干净和受控的数据条件下达到合理的翻译质量。随着有监督和无监督机器翻译之间的性能差距缩小，有趣的是，不同的训练方法是否会导致系统性的不同输出，而不是通过适当性或BLEU等质量指标可见的输出。我们比较了来自类似质量的监督和无监督MT系统的翻译，发现无监督输出比监督MT更流畅，与人工翻译相比结构上更不同。然后，我们展示了一种将这两种方法的优点结合到单个系统中的方法，从而提高了人类评估人员评估的充分性和流畅性。我们的研究结果为有趣的讨论打开了大门，讨论监督和无监督的MT如何不同但互利。
2022-04-13 cs.CL
Contrastive Representation Learning for Exemplar-Guided Paraphrase Generation
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）
范例引导的释义生成（Exemplar-Guided Paraphrase Generation，EGPG）旨在生成一个符合给定范例风格的目标句子，同时封装源句子的内容信息。在本文中，我们提出了一种新的方法，其目标是学习更好地表示风格和内容。这种方法的主要动机是最近成功的对比学习，它已经证明了它的权力，在无监督的特征提取任务。我们的想法是设计两个对比损失方面的内容和风格，考虑到两个问题的特点，在培训。第一个特点是目标句与源句共享相同的内容，第二个特点是目标句与范例共享相同的风格。这两个对比损失被纳入一般的编码器-解码器范例。在QQP-Pos和ParaNMT两个数据集上的实验证明了我们提出的补偿损失的有效性。
2021-09-03 cs.CL cs.LG
NAST: A Non-Autoregressive Generator with Word Alignment for Unsupervised Text Style Transfer
Tsinghua University（清华大学）；Institute for Artificial Intelligence（人工智能研究院）；State Key Lab of Intelligent Technology and Systems（智能技术与系统国家重点实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
自回归模型在无监督文本风格转换中得到了广泛的应用。尽管这些模型取得了成功，但它们仍然存在内容保存问题，即它们通常会忽略源句子的一部分，并生成一些具有强烈风格的无关词。在本文中，我们提出了一个非自回归生成器的无监督文本风格转移（NAST），它从两个方面来说明这个问题。首先，我们观察到，大多数单词在转移的句子可以与源句子中的相关词对齐，所以我们显式地建模词对齐，以抑制不相关的词。其次，使用循环损失训练的现有模型在两个风格文本空间中对齐句子，这在单词级别缺乏细粒度控制。所提出的非自回归生成器专注于对齐的单词之间的连接，学习风格之间的单词级迁移。对于实验，我们将建议的生成器集成到两个基本模型，并在两个风格转换任务上对其进行评估。结果表明，NAST可以显着提高整体性能，并提供可解释的词对齐。此外，非自回归生成器在推理时实现了超过10倍的加速。我们的代码可在https://github.com/thu-coai/NAST上获得。
2021-06-04 cs.CL
Cycle-Consistent Adversarial Autoencoders for Unsupervised Text Style Transfer
Lenovo Research AI Lab（联想研究院人工智能实验室）；Kwai Inc.（快手公司）；Tianjin University（天津大学）；Cornell University（康奈尔大学）
由于缺乏并行数据和内容保存困难，无监督文本风格转换充满了挑战。在本文中，我们提出了一种新的神经方法来进行无监督的文本风格传输，我们称之为从非并行数据中训练的周期一致性对抗自动编码器（CAE）。CAE由三个基本组成部分组成：（1）LSTM自动编码器，将一种风格的文本编码为其潜在表示，并将编码表示解码为其原始文本或将转换表示解码为风格转换文本，（2）对抗性风格转换网络，使用对抗性训练的生成器将一种风格的潜在表示转换为另一种风格的表示，以及（3）增强对抗风格传输网络在内容保存中的能力的循环一致性约束。包含这三个组件的整个CAE可以进行端到端的培训。在两个广泛使用的公共数据集上进行的广泛实验和深入分析一致地验证了所提出的CAE在风格转换和内容保存方面的有效性，并与四个自动评估指标和人类评估方面的几个强基线进行了比较。
2020-10-02 cs.CL cs.CV cs.LG
