A Context-Aware Approach for Enhancing Data Imputation with Pre-trained Language Models
University of Nebraska-Lincoln(内布拉斯加大学林肯分校);Electrical and Computer Engineering(电气与计算机工程学院)
提出CRILM方法,利用预训练语言模型为表格缺失值生成上下文描述符,提升下游任务性能,在多种缺失机制下最高提升10%。
2025-03-27 cs.CL cs.LG
FlowEdit: Inversion-Free Text-Based Editing Using Pre-Trained Flow Models
Technion – Israel Institute of Technology(技术学院 – 以色列理工学院)
FlowEdit提出一种免反演、免优化且模型无关的文本图像编辑方法,通过构建直接连接源与目标分布的ODE实现高效编辑,在Stable Diffusion 3和FLUX上取得最优结果。
2025-07-22 cs.CV cs.LG
LORA-CRAFT: Cross-layer Rank Adaptation via Frozen Tucker Decomposition of Pre-trained Attention Weights
University of Central Florida(中央佛罗里达大学)
LORA-CRAFT通过冻结预训练注意力权重的Tucker分解实现跨层秩适应,以轻量级可训练变换调整模型,在GLUE基准测试中达到与现有方法相当的性能,仅需41K参数。
2026-09-24 cs.AI cs.LG
Multimodal Open-Vocabulary Video Classification via Pre-Trained Vision and Language Models
Google Research(谷歌研究院);Cornell University(康奈尔大学);University of Copenhagen(哥本哈根大学)
利用在大规模图像-文本对上预训练的视觉和语言模型(VLM)正在成为开放词汇视觉识别的一个有前途的范例。在这项工作中,我们扩展了这种模式,利用运动和音频,自然存在于视频。我们提出了\textbf{MOV},一个简单而有效的方法\textbf{M}多模态\textbf{O}笔- \textbf{V}枕视频分类。在MOV中,我们直接使用来自预训练VLM的视觉编码器,只需进行最小的修改即可对视频,光流和音频频谱图进行编码。我们设计了一个跨模态融合机制来聚合互补的多模态信息。在Kinetics-700和VGGSound上的实验表明,与预先训练的VLM和现有方法相比,引入流或音频模态会带来很大的性能提升。具体来说,MOV大大提高了基类的准确性,同时更好地推广了新类。MOV在UCF和HMDB zero-shot视频分类基准测试中取得了最先进的结果,显著优于传统的zero-shot方法和基于VLM的最新方法。代码和模型将被释放。
2022-07-15 cs.CV cs.LG
Memory-Efficient Training for Text-Dependent SV with Independent Pre-trained Models
本文提出了一种基于独立预训练模型的文本依赖性说话验证方法,通过目标领域适应预训练模型以降低计算成本并提高性能。
2026-01-10 cs.CL cs.LG eess.AS
Adaptive Knowledge Distillation between Text and Speech Pre-trained Models
Alibaba Group(阿里巴巴集团);Nanyang Technological University(南洋理工大学)
在大量语音语料库上学习导致了许多自监督语音模型最近的成功。通过知识蒸馏,这些模型还可以受益于由语言模型编码的知识,这些语言模型是在丰富的文本源上预先训练的。然而,由于文本和语音嵌入空间之间的模态差异,蒸馏过程具有挑战性。本文研究了基于度量的提取方法,在不改变模型结构的情况下,利用少量数据对齐文本和语音的嵌入空间。由于文献中忽略了文本和语音之间的语义和粒度差距,这损害了蒸馏,我们提出了先验信息自适应知识蒸馏(PAD),自适应地利用可变粒度和先验分布的文本/语音单元,以实现文本和语音预训练模型之间更好的全局和局部对齐。我们对三个口语语言理解基准进行了评估,结果表明,PAD在传递语言知识方面比其他基于度量的蒸馏方法更有效。
2023-03-07 cs.CL cs.LG cs.SD
An Analysis of Abstractive Text Summarization Using Pre-trained Models
Jadavpur University(贾达布尔大学);Indian Association for the Cultivation of Science(印度科学促进会);Institute for Advancing Intelligence (IAI), TCG CREST(TCG CREST 智能推进研究所(IAI))
人们现在使用搜索引擎,如谷歌,雅虎和必应在互联网上查找信息。由于数据爆炸,如果为用户提供搜索结果的相关摘要而不仅仅是网页链接,这对用户是有帮助的。文本摘要已经成为帮助消费者快速掌握大量信息的重要方法,本文在不同的数据集上评估了不同的文本摘要预训练模型。具体来说,我们使用了三种不同的预训练模型,即google/pegasus-cnn-dailymail,T5-base,facebook/bart-large-CNN。我们考虑了三个不同的数据集,即CNN-dailymail,SAMSum和BillSum,以获得上述三个模型的输出。预训练的模型在这些不同的数据集上进行比较,每个数据集有2000个例子,通过BLEU和EQUIPMENT指标。
2023-02-25 cs.AI cs.CL cs.LG
Text Detoxification using Large Pre-trained Neural Models
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);Mobile TeleSystems (MTS)(移动电信系统(MTS))
我们提出了两种新的无监督的方法来消除文本中的毒性。我们的第一种方法结合了两个最新的想法:(1)指导的生成过程与小风格条件语言模型和(2)使用释义模型来执行风格转移。我们使用一个由经过风格训练的语言模型指导的性能良好的释义器来保持文本内容并去除毒性。我们的第二种方法使用BERT将有毒单词替换为它们的非攻击性同义词。我们使该方法更加灵活,使BERT,以取代一个可变数量的单词掩码令牌。最后,我们提出了第一个大规模的比较研究的风格转移模型的毒性去除的任务。我们比较了我们的模型与一些方法的风格转移。使用无监督风格转移度量的组合以无参考的方式对模型进行评估。我们建议这两种方法产生新的SOTA结果。
2021-11-03 cs.CL cs.LG
JDI-T: Jointly trained Duration Informed Transformer for Text-To-Speech without Explicit Alignment
Kakao Corp.(卡考公司);Kakao Enterprise Corp.(卡考企业公司)
我们提出了联合训练的持续时间通知Transformer(JDI-T),前馈Transformer与持续时间预测器联合训练,没有明确的对齐,以产生一个声学特征序列从输入文本。在这项工作中,受FastSpeech和Durian等持续时间通知网络最近成功的启发,我们进一步将其顺序的两阶段训练管道简化为单阶段训练。具体来说,我们在联合训练期间从自回归Transformer中实时提取音素持续时间,而不是预先训练自回归模型并将其用作音素持续时间提取器。据我们所知,这是第一个联合训练前馈Transformer而不依赖于单个训练管道中的预训练音素持续时间提取器的实现。我们评估所提出的模型的有效性公开可用的韩国单说话人语音(KSS)数据集相比,基线文本转语音(TTS)模型训练ESPnet-TTS。
2020-10-05 cs.CL cs.LG cs.SD
Adversarially-Trained Normalized Noisy-Feature Auto-Encoder for Text Generation
Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所);Element AI(Element AI公司);Center for Data Science, New York University(纽约大学数据科学中心);Facebook AI Research, Facebook Inc.(Facebook公司Facebook人工智能研究院)
本文提出了用于字节级文本生成的逆向训练的归一化噪声特征自动编码器(ATNNFAE)。ATNNFAE由一个自动编码器组成,其中内部代码在单位球上进行归一化,并被加性噪声破坏。同时,解码器的复制品(与AE解码器共享相同的参数)用作生成器并被馈送随机潜在向量。训练对抗性递归以区分从AE重构的训练样本与通过随机输入生成器产生的样本,使得整个生成器递归路径对于类似文本的离散数据是可微分的。代码中的噪声注入以及解码器和生成器之间的共享权重的组合效果可以防止GANs中常见的模式崩溃现象。由于困惑不能适用于非顺序文本生成,我们提出了一种新的评估方法,使用总方差的哈希编码的字节级n-gram(NGTVD)的频率之间的距离。NGTVD是一个单一的基准,可以表征生成的文本的质量和多样性。在阿拉伯语、汉语和英语的6个大规模数据集上进行了实验,并与n-gram基线和递归神经网络(RNNs)进行了比较。对噪声水平和噪声进行了消融研究。我们发现RNN在与n-gram基线竞争时遇到了麻烦,而ATNNFAE的结果通常具有竞争力。
2018-11-10 cs.CL cs.LG
Can you text what is happening? Integrating pre-trained language encoders into trajectory prediction models for autonomous driving
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Tübingen(图宾根大学)
研究提出基于文本的交通场景表示,结合栅格化图像与预训练语言编码器生成场景嵌入,在nuScenes数据集上显著优于基线,证实联合编码器的互补优势。
2023-09-13 cs.AI cs.CV cs.LG
Beyond Prompting: Making Pre-trained Language Models Better Zero-shot Learners by Clustering Representations
ETH Zurich(苏黎世联邦理工学院);Peking University(北京大学)
最近的研究表明,预训练语言模型(PLM)是zero-shot学习器。然而,大多数现有的zero-shot方法涉及繁重的人体工程学或复杂的自我训练管道,阻碍了它们在新情况下的应用。在这项工作中,我们表明,zero-shot文本分类可以提高简单的聚类文本中的嵌入空间的PLM。具体来说,我们适合未标记的文本与贝叶斯高斯混合模型初始化后,使用类名称的聚类位置和形状。尽管它很简单,但这种方法在主题和情感分类数据集上都取得了优异或相当的性能,并且在不平衡数据集上显著优于先前的工作。我们进一步探索我们的聚类方法的适用性,通过评估它在14个数据集更多样化的主题,文本长度和类的数量。我们的方法实现了平均20%的绝对改善基于神经网络的零样本学习。最后,我们比较了不同的PLM嵌入空间,发现即使PLM没有显式地预先训练以生成有意义的句子嵌入,文本也能很好地按主题聚类。这项工作表明,PLM嵌入可以分类文本没有特定的任务微调,从而提供了一种新的方式来分析和利用他们的知识和零样本学习能力。
2022-11-23 cs.CL cs.LG
LAFITE: Towards Language-Free Training for Text-to-Image Generation
State University of New York at Buffalo(纽约州立大学布法罗分校);Adobe Research(Adobe研究院);Microsoft Research(微软研究院)
训练文本到图像生成模型的主要挑战之一是需要大量高质量的图像-文本对。虽然图像样本通常很容易访问,但相关的文本描述通常需要仔细的人工字幕,这特别耗时和成本。在本文中,我们提出了第一个工作,训练文本到图像生成模型,没有任何文本数据。我们的方法利用了强大的预训练CLIP模型的良好对齐的多模态语义空间:通过从图像特征生成文本特征,无缝地减轻了文本条件的要求。大量的实验表明了该方法的有效性。我们在标准的文本到图像生成任务中获得了最先进的结果。重要的是,所提出的无语言模型优于大多数使用完整图像-文本对训练的现有模型。此外,我们的方法可以应用于微调预训练模型,这节省了训练时间和训练文本到图像生成模型的成本。我们的预训练模型在MS-COCO数据集上的zero-shot文本到图像生成中获得了有竞争力的结果,但相对于最近提出的大型DALL-E模型,模型大小和训练数据大小仅为1%左右。
2022-03-24 cs.CV cs.LG
MathOptAI.jl: Embed trained machine learning predictors into JuMP models
Dowson Farms(多森农场);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
提出开源Julia库MathOptAI.jl,将多种训练好的机器学习模型(神经网络、决策树、高斯过程)嵌入JuMP优化模型,并支持PyTorch模型的GPU加速。
2026-05-25 cs.LG math.OC
Backdoor Attacks against Transfer Learning with Pre-trained Deep Learning Models
Monash University(莫纳什大学);CSIRO Data61(澳大利亚联邦科学与工业研究组织 Data61);University of Melbourne(墨尔本大学)
迁移学习通过微调将预先训练好的\textit{Teacher}模型的学习知识迁移到大数据集上,为可行且快速地定制精确的\textit{Student}模型提供了一种有效的解决方案。迁移学习中使用的许多预先训练的教师模型都是公开的,并由公共平台维护,这增加了它们对后门攻击的脆弱性。在本文中,我们利用可公开访问的教师模型的知识,在图像和时间序列数据上展示了对迁移学习任务的后门威胁,旨在击败三种常见的防御:\textit{pruning-based},\textit{retraining-based}和\textit{input pre-processing-based defenses}。具体地,(A)基于排名的选择机制,用于在击败\textit{pruning-based}和/或\textit{retraining-based defenses}的同时加速后门触发器生成和扰动过程。(B)提出了自动编码器供电的触发生成,以产生能够击败\textit{input pre-processing-based defense}的鲁棒触发,同时保证所选神经元能够被显著激活。(C)防御感知再训练,以使用反向工程模型输入来生成所述操纵模型。我们对真实世界图像、大脑磁共振成像(MRI)数据和心电图(ECG)学习系统上的学生模型发起有效的错误分类攻击。实验表明,我们的增强攻击可以保持$98.4\%$和$…
2020-03-12 cs.CR cs.LG
FewshotQA: A simple framework for few-shot learning of question answering tasks using pre-trained text-to-text models
Amazon Alexa AI(亚马逊Alexa人工智能部门)
仅从几个示例(称为Few-Shot设置)学习的任务对于现实世界的设置至关重要和相关。对于问答(QA),当前最先进的预训练模型通常需要对数万个示例进行微调才能获得良好的结果。在Few-Shot设置中(< 100个示例),它们的性能显着下降。为了解决这个问题,我们提出了一个简单的微调框架,该框架利用预训练的文本到文本模型,并直接与其预训练框架保持一致。具体来说,我们将输入构造为问题、表示答案跨度的掩码令牌和上下文的串联。给定此输入,使用与其预训练目标相同的目标对模型进行微调。通过对各种Few-Shot配置的实验研究,我们表明该公式在多个QA基准测试中带来了显着的收益(当只有16个训练样本时,平均绝对收益为34.2个F1点)。当使用更大的模型时,收益进一步扩大(例如:在SQuAD上使用BART-large只有32个示例的-72.3 F1),并且可以很好地转换为多语言设置。在多语言TydiQA基准测试中,我们的模型在Few-Shot设置(<= 64个训练样本)中的绝对优势高达40个F1点,平均33个F1点。我们进行详细的消融研究,以分析促成这些收益的因素。
2021-10-12 cs.AI cs.CL cs.LG
Domain Adaptation with Pre-trained Transformers for Query Focused Abstractive Text Summarization
Dialpad Canada Inc.(Dialpad加拿大公司);Information Retrieval & Knowledge Management Research Lab, York University(约克大学信息检索与知识管理研究实验室);School of Information Technology, York University(约克大学信息技术学院)
以查询为中心的文本摘要(QFTS)任务旨在构建基于给定查询生成文本文档摘要的系统。解决此任务的一个关键挑战是缺乏用于训练摘要模型的大型标记数据。在本文中,我们通过探索一系列领域自适应技术来应对这一挑战。鉴于最近成功的预训练的Transformer模型在广泛的自然语言处理任务,我们利用这样的模型生成抽象摘要的QFTS任务的单文档和多文档的情况。对于领域自适应,我们使用预先训练的基于transformer的摘要模型应用各种技术,包括迁移学习,弱监督学习和远程监督。在六个数据集上进行的大量实验表明,我们提出的方法在为QFTS任务生成抽象摘要方面非常有效,同时在一组自动和人工评估指标的多个数据集中设置了一个新的最先进的结果。
2021-12-22 cs.AI cs.CL cs.LG
Towards a text-based quantitative and explainable histopathology image analysis
School of Electrical Engineering, Korea University(高丽大学电气工程学院)
针对计算病理学中组织病理图像定量分析需求,提出基于文本的TQx方法,借助预训练视觉语言模型检索词池实现可解释的图像量化,在四类数据集上性能比肩主流视觉模型。
2024-07-10 cs.CV cs.LG
Technical Report: Auxiliary Tuning and its Application to Conditional Text Generation
AI21 Labs(AI21实验室)
我们介绍了一种简单而有效的方法,称为辅助调整,适应一个预先训练的语言模型一个新的任务,我们证明了这种方法的任务条件文本生成。我们的方法用一个辅助模型补充了原始的预训练模型,该模型根据目标任务改变输出分布。通过将其logits添加到预训练的模型logits并最大化目标任务输出的可能性来训练辅助模型。我们的方法对辅助架构没有任何限制。特别地,辅助模型可以独立于预训练模型的输入摄取与目标任务相关的附加输入。此外,在logits水平上混合模型提供了该方法的自然概率解释。我们的方法实现了类似的结果,从零开始训练几个不同的任务,同时使用显着更少的资源进行训练;我们分享一个特定的例子,文本生成条件的关键字。
2020-06-30 cs.CL cs.LG cs.NE
Towards Weakly-Supervised Text Spotting using a Multi-Task Transformer
AWS AI Labs(亚马逊云科技人工智能实验室)
由于联合优化文本检测和识别组件的好处,文本定位端到端方法最近在文献中获得了关注。现有的方法通常在检测和识别分支之间有明显的分离,这两个任务需要精确的注释。我们介绍TextTranSpotter(TTS),一种基于transformer的文本识别方法和第一个文本识别框架,它可以用完全和弱监督设置进行训练。通过学习每个单词检测的单个潜在表示,并使用基于匈牙利损失的新型损失函数,我们的方法消除了对昂贵的本地化注释的需求。在真实数据上仅使用文本转录注释进行训练,我们的弱监督方法与以前最先进的全监督方法相比具有竞争力的性能。当以完全监督的方式进行训练时,TextTranSpotter在多个基准测试中显示了最先进的结果。
2022-02-14 cs.CL cs.CV cs.LG
Supporting Undotted Arabic with Pre-trained Language Models
Reichman University(赖希曼大学)
我们观察到社交媒体上最近的一种行为,用户故意从阿拉伯字母中删除辅音点,以绕过内容分类算法。内容分类通常通过微调预训练的语言模型来完成,这些模型最近已被许多自然语言处理应用程序所采用。在这项工作中,我们研究了应用预先训练的阿拉伯语语言模型对“未点”阿拉伯语文本的影响。我们提出了几种方法来支持undotted文本与预先训练的模型,没有额外的培训,并衡量他们的表现在两个阿拉伯语自然语言处理下游任务。结果令人鼓舞;在其中一个任务中,我们的方法显示出近乎完美的性能。
2021-11-18 cs.CL cs.LG
Pre-trained Language Models for the Legal Domain: A Case Study on Indian Law
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
本研究针对印度法律领域,通过继续预训练LegalBERT和CaseLawBERT及从头训练模型,在三个法律NLP任务上提升印度及欧洲、英国文本的性能,并进行了可解释性比较。
2023-05-15 cs.AI cs.CL cs.LG
Logit-Conditioned Diffusion Decoding for Frozen Discrete-Token VLMs
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Microsoft Research Asia (MSRA)(微软亚洲研究院)
本文提出一种基于扩散解码的框架,通过训练仅需扩散解码器即可提升图像保真度,利用分布加权代码向量增强视觉质量,仅需ImageNet-1K短训练即可改进VQ-VAE重建和文本到图像生成。
2026-11-10 cs.CV cs.LG
The Origins and Prevalence of Texture Bias in Convolutional Neural Networks
Stanford University(斯坦福大学);Google Research(谷歌研究院)
最近的研究表明,与人类不同,ImageNet训练的CNN倾向于根据纹理而不是形状对图像进行分类。这种偏见有多普遍,它来自哪里?我们发现,当在具有冲突形状和纹理的图像数据集上进行训练时,CNN学习按形状分类至少和按纹理分类一样容易。那么,是什么因素在ImageNet上训练的CNN中产生了纹理偏差呢?不同的无监督训练目标和不同的架构对纹理偏差水平有很小但很大程度上独立的影响。然而,所有的目标和架构仍然导致模型,使基于纹理的分类决策的大部分时间,即使形状信息是从他们的隐藏表示解码。数据增强的效果要大得多。通过在训练时采取不那么激进的随机裁剪,并应用简单、自然的增强(颜色失真、噪声和模糊),我们训练了在大多数情况下通过形状对模糊图像进行分类的模型,并在分布外测试集上优于基线。我们的研究结果表明,人类和经过ImageNet训练的CNN处理图像的方式存在明显差异,这可能主要不是因为它们内部工作方式的差异,而是因为它们所看到的数据的差异。
2020-11-03 cs.CV cs.LG q-bio.NC
Pre-trained Text-to-Image Diffusion Models Are Versatile Representation Learners for Control
University of Oxford(牛津大学);Georgia Institute of Technology(佐治亚理工学院);New York University(纽约大学)
针对CLIP等视觉-语言表示难以支撑细粒度控制的问题,本文利用预训练文本到图像扩散模型构建Stable Control Representations,并在操作、导航及OVMM基准上取得优异性能。
2024-05-09 cs.AI cs.CL cs.CV
Scalable Educational Question Generation with Pre-trained Language Models
University College London(伦敦大学学院)
提出EduQG模型,通过预训练和微调大型语言模型,在科学文本和问题数据上生成高质量教育问题,支持大规模在线教育自我评估。
2023-05-13 cs.AI cs.CY cs.IR
Classifying Textual Data with Pre-trained Vision Models through Transfer Learning and Data Transformations
University of Electronics Science and Technology of China(电子科技大学)
知识是人类通过经验获得的,我们可以在同一时间完成不同任务的知识或技能水平之间没有界限。当涉及到神经网络时,情况并非如此。该领域的突破是非常具体的任务和领域。视觉和语言以不同的方式处理,使用不同的方法和不同的数据集。目前的文本分类方法大多依赖于获取输入文本样本的上下文嵌入,然后在嵌入的数据集上训练分类器。一般来说,在与存储相关的任务中的迁移学习被大量用于获得输入样本的上下文文本嵌入。在这项工作中,我们建议使用在ImageNet上训练的基准视觉模型获得的知识来帮助更小的架构学习分类文本。使用数据变换技术来创建新的图像数据集,其中每个图像表示使用基于t-SNE的方法投影在2D平面上的来自BERT的最后六层的句子嵌入。我们训练了五个模型,这些模型包含从ImageNet上预训练的视觉模型中切片的早期层,这些模型是在为嵌入了BERT最后六层的IMDB数据集创建的图像数据集上训练的。尽管不同的数据集带来了挑战,但这种方法在语言和视觉上连接大型预训练模型的实验结果非常有希望,而无需使用计算资源。具体而言,情感分析是通过五个不同的模型在同一图像数据集后得到的BERT嵌入转换成灰度图像。索引术语:BERT,卷积神经网络,领域自适应,图像分类,自然语言处理,t-SNE,文本分类,迁移学习
2022-02-07 cs.AI cs.CL cs.LG
Fine-grained Text Style Transfer with Diffusion-Based Language Models
University of Michigan(密歇根大学)
针对细粒度文本风格迁移任务,本文提出在StylePTB数据集上训练无外部知识的扩散语言模型,在单风格及组合风格迁移上均取得SOTA,证明了扩散语言模型在低资源场景下的潜力。
2023-06-12 cs.AI cs.CL cs.LG
ImageNet-trained CNNs are not biased towards texture: Revisiting feature reliance through controlled suppression
BIFOLD;TU Berlin(柏林工业大学);University of Trento(特伦托大学)
研究发现训练于ImageNet的CNN并非天生偏向纹理,但主要依赖局部形状特征,且可通过现代训练策略减少这种依赖。
2026-01-09 cs.AI cs.CV cs.LG
Significantly improving zero-shot X-ray pathology classification via fine-tuning pre-trained image-text encoders
LG AI Research(LG人工智能研究院);KAIST(韩国科学技术院)
本文提出包含正对损失松弛和随机句子采样的新微调策略,解决了医学图像-报告对的多标签性质被忽略的问题,无需外部知识即可在多个数据集上显著提升零样本X光病理分类性能,并超越放射科医生。
2024-10-11 cs.CV cs.LG eess.IV
Benchmarking pre-trained text embedding models in aligning built asset information
École de technologie supérieure(特可诺高等学院)
本研究通过构建源自两个建筑资产分类词典的六个数据集,对最先进文本嵌入模型在聚类、检索和重排序任务上进行基准测试,评估其对齐建筑资产信息与领域技术概念的能力,并开源相关资源以支持未来研究。
2024-11-18 cs.AI cs.CL cs.IR
Interpreting convolutional networks trained on textual data
Oklahoma State University(俄克拉荷马州立大学)
由于深度学习的出现,人工智能领域取得了许多进展。在几乎所有的子领域,人工神经网络都达到或超过了人类水平的性能。然而,大多数模型是不可解释的。因此,很难相信他们的决定,特别是在生死场景中。近年来,出现了一种创建可解释的人工智能的运动,但迄今为止大多数工作都集中在图像处理模型上,因为人类更容易感知视觉模式。在其他领域,如自然语言处理,几乎没有什么工作。在本文中,我们训练一个卷积模型的文本数据和分析的全局逻辑模型,通过研究其过滤值。最后,我们找到语料库中对我们的模型逻辑最重要的词,并删除其余的词(95%)。仅使用5%最重要的单词训练的新模型可以实现与原始模型相同的性能,同时将训练时间减少一半以上。这样的方法将帮助我们理解NLP模型,根据他们的单词选择解释他们的决定,并通过发现盲点和偏见来改进它们。
2020-10-20 cs.AI cs.CL cs.LG
Duration-aware pause insertion using pre-trained language model for multi-speaker text-to-speech
The University of Tokyo(东京大学);CyberAgent, Inc.(赛博艾坚特公司)
插入停顿,也称为短语中断预测和短语化,是TTS系统的重要组成部分,因为具有自然持续时间的适当停顿显著增强合成语音的节奏和可懂度。然而,传统的短语模型忽略了不同说话人插入无声停顿的不同风格,这会降低在多说话人语音语料库上训练的模型的性能。为此,我们提出了基于预训练语言模型的更强大的暂停插入框架。我们的方法使用双向编码器表示从Transformers(BERT)预先训练的大规模文本语料库,注入扬声器嵌入捕捉各种扬声器的特点。我们还利用持续时间感知的暂停插入来实现更自然的多扬声器TTS。我们开发和评估两种类型的模型。第一个改进了关于呼吸暂停(RP)的位置预测的常规措辞模型,即,在没有标点符号的词转换处无声停顿。它执行说话人条件RP预测考虑上下文信息,并用于演示说话人信息对预测的影响。第二个模型进一步设计为基于音素的TTS模型,并执行持续时间感知的停顿插入,预测RP和标点指示的停顿(PIP),按持续时间分类。实验结果表明,该模型提高了停顿插入的准确率和召回率,并改善了合成语音的节奏感。
2023-02-27 cs.CL cs.LG cs.SD
cushLEPOR: customising hLEPOR metric using Optuna for higher agreement with human judgments or pre-trained language model LaBSE
ADAPT Research Centre, DCU(ADAPT研究中心,都柏林城市大学);Logrus Global
人工评估一直是昂贵的,而研究人员努力相信自动指标。为了解决这个问题,我们建议通过利用预训练的语言模型(PLM)和有限的可用人类标记分数来定制传统指标。我们首先重新引入hLEPOR度量因子,然后是我们开发的Python版本(移植),它实现了hLEPOR度量中加权参数的自动调整。然后,我们提出了定制的hLEPOR(cushLEPOR),它使用Optuna超参数优化框架来微调hLEPOR加权参数,以更好地与预先训练的语言模型(使用LaBSE)就cushLEPOR部署到的确切MT语言对达成一致。我们还基于MQM和pSQM框架优化了cushLEPOR,以获得针对英德和中英语言对的专业人类评估数据。实验研究表明,cushLEPOR以更低的成本提高了hLEPOR性能,使其与LaBSE等PLM更好地一致,与包括MQM和pSQM评分在内的人类评估更好地一致,并且产生比BLEU更好的性能(数据可在\url{https://github.com/poethan/cushLEPOR}获得)。官方结果显示,我们的提交赢得了三个语言对,包括通过cushLEPOR(LM)在\textit{News}域上的\textbf{English-German}和\textbf{Chinese-English},以及通过hLEPOR在\textit{TED}域上的\textbf{English-Russian}。
2021-11-15 cs.AI cs.CL cs.LG
Testing pre-trained Transformer models for Lithuanian news clustering
Faculty of Informatics Kaunas University of Technology(考纳斯理工大学信息学院);Kaunas University of Technology(考纳斯理工大学)
最近推出的Transformer深度学习架构在各种自然语言处理任务中取得了突破。然而,非英语语言无法利用英语文本预训练模型的新机会。这种情况随着多语言模式的研究而改变,其中较少使用的语言是主要受益者。我们比较了预训练的多语言BERT,XLM-R和旧的学习文本表示方法作为立陶宛新闻聚类任务的编码。我们的研究结果表明,公开的预训练多语言Transformer模型可以进行微调,以超过单词向量,但仍然比专门训练的doc 2 vec嵌入得分低得多。
2020-04-03 cs.CL cs.IR cs.LG
Can LLMs Deceive CLIP? Benchmarking Adversarial Compositionality of Pre-trained Multimodal Representation via Text Updates
Seoul National University(首尔国立大学)
提出 MAC 基准,利用 LLM 生成欺骗文本以揭示 CLIP 等多模态表示的组合性漏洞,并通过拒绝采样微调的自训练方法显著提升攻击成功率与样本多样性。
2025-05-28 cs.AI cs.CL cs.CV