Fine-tuning of Pre-trained Transformers for Hate, Offensive, and Profane Content Detection in English and Marathi
University of Tyumen(秋明大学);Thales Canada(泰雷兹加拿大公司)
本文描述了为英语和印度-雅利安语言共享任务2021中的仇恨语音和攻击性内容识别开发的神经模型。我们的团队neuro-utmn-thales参与了两项任务,对包含仇恨,攻击和亵渎内容的英语推文进行二进制和细粒度分类(英语子任务A和B),以及一项关于识别马拉地语中有问题的内容的任务(马拉地语子任务A)。对于英语子任务,我们研究了用于仇恨言论检测的额外语料库对微调Transformer模型的影响。我们还采用了基于Twitter-RoberTa的一对多的方法来区分仇恨,亵渎和攻击性帖子。我们的模型在英语子任务A中排名第三,F1得分为81.99%,在英语子任务B中排名第二,F1得分为65.77%。对于马拉地语的任务,我们提出了一个系统的基础上,不可知的BERT句子嵌入(LaBSE)。该模型在马拉地语子任务A中获得了第二个结果,获得了88.08%的F1。
2021-10-25 cs.AI cs.CL cs.LG
Genie: Achieving Human Parity in Content-Grounded Datasets Generation
IBM Israel Research Lab(IBM以色列研究院);Hebrew University of Jerusalem(耶路撒冷希伯来大学);MIT(麻省理工学院)
本文提出三阶段数据生成方法 Genie,通过内容准备、任务示例生成与质量过滤,为 LFQA、摘要和信息抽取构建高质量合成数据,并证明其训练效果达到或超过人工数据。
2024-01-25 cs.AI cs.CL cs.LG
Semi-Supervised Fine-Tuning of Vision Foundation Models with Content-Style Decomposition
University of Geneva(日内瓦大学)
本文提出一种基于内容-风格分解的半监督微调方法,在信息论框架下增强视觉基础模型的潜在表示,以应对标注数据有限和分布偏移问题,并在多个数据集上验证了其在低标注场景下优于有监督微调基线。
2024-10-04 cs.CV cs.LG
Supporting Undotted Arabic with Pre-trained Language Models
Reichman University(赖希曼大学)
我们观察到社交媒体上最近的一种行为,用户故意从阿拉伯字母中删除辅音点,以绕过内容分类算法。内容分类通常通过微调预训练的语言模型来完成,这些模型最近已被许多自然语言处理应用程序所采用。在这项工作中,我们研究了应用预先训练的阿拉伯语语言模型对“未点”阿拉伯语文本的影响。我们提出了几种方法来支持undotted文本与预先训练的模型,没有额外的培训,并衡量他们的表现在两个阿拉伯语自然语言处理下游任务。结果令人鼓舞;在其中一个任务中,我们的方法显示出近乎完美的性能。
2021-11-18 cs.CL cs.LG
High-performance real-world optical computing trained by in situ gradient-based model-free optimization
the Chinese University of Hong Kong(香港中文大学)
本文提出梯度无模型优化方法G-MFO,将光学计算系统视为黑箱直接原位训练权重概率分布,在MNIST和FMNIST上优于混合训练,并实现无标记相位图的细胞高速分类,推动光学计算走向实际应用。
2024-11-21 cs.CV cs.ET cs.LG
CloudSVM : Training an SVM Classifier in Cloud Computing Systems
Isik University(伊希克大学)
在传统的方法中,分布式支持向量机(SVM)算法在预先配置的内联网/互联网环境上训练以找出最优分类器。这些方法对于大型数据集来说非常复杂和昂贵。因此,我们提出了一种方法,被称为云SVM的训练机制(CloudSVM)在云计算环境与MapReduce技术的分布式机器学习应用。因此,(i)在并行工作的分布式云存储服务器中训练SVM算法;(ii)合并每个训练的云节点中的所有支持向量;以及(iii)重复这两个步骤,直到SVM收敛到最佳分类器函数。大规模的数据集是不可能的训练使用SVM算法在一台计算机上。本研究的结果对于机器学习应用中大规模数据集的训练具有重要意义。提出了在云计算环境下使用支持向量机对分裂数据集进行迭代训练,在有限的迭代次数内收敛到全局最优分类器。
2013-01-01 cs.DC cs.LG
Dynamic Language Models for Continuously Evolving Content
Google Research(谷歌研究院)
网络上的内容处于不断变化的状态。新的实体、问题和想法不断出现,而现有会话主题的语义逐渐发生变化。近年来,像BERT这样的预训练语言模型大大提高了大范围内容理解任务的最新水平。因此,在本文中,我们的目标是研究如何这些语言模型可以适应,以更好地处理不断发展的Web内容。在我们的研究中,我们首先分析了2013 - 2019年Twitter数据的演变,并明确证实,在过去的推文上训练的BERT模型在直接应用于以后几年的数据时会严重恶化。然后,我们调查了两个可能的恶化来源:现有令牌的语义转移和新令牌的次优或失败的理解。为此,我们探索了两种不同的词汇组合方法,并提出了三种采样方法,这些方法有助于BERT类模型的有效增量训练。与离线从头开始训练的新模型相比,我们的增量训练(a)降低了训练成本,(b)在不断变化的内容上实现了更好的性能,(c)适合在线部署。使用两个下游任务验证了我们的方法的优越性。当从特定的基准年逐步发展模型时,我们在国家主题标签预测任务以及OffensEval 2019任务上表现出显着的改进。
2021-06-11 cs.CL cs.LG
Content-based Music Similarity with Triplet Networks
Ithaca College(伊萨卡学院);Cornell University(康奈尔大学)
我们探讨了使用三元组神经网络嵌入基于内容的音乐相似性的歌曲的可行性。我们的网络使用三首歌曲进行训练,使得同一艺术家的两首歌曲比不同艺术家的第三首歌曲更接近彼此。我们比较了两个模型,它们是使用不同的方式来挑选第三首歌的:随机与基于共享的流派标签。我们的实验是使用免费音乐档案中的歌曲进行的,并使用标准的音频功能。初步结果表明,浅层暹罗网络可以用于嵌入音乐的一个简单的艺术家检索任务。
2022-12-07 cs.LG cs.SD eess.AS
Pattern Detection in the Activation Space for Identifying Synthesized Content
IBM Research(IBM研究院);University of Minnesota(明尼苏达大学)
生成对抗网络(GANs)最近在从低维随机噪声合成照片级逼真图像方面取得了前所未有的成功。大规模合成高质量内容的能力带来了潜在的风险,因为生成的样本可能导致错误信息,从而造成严重的社会、政治、健康和商业危害。我们提出了SubsetGAN,通过检测预训练神经网络内层的异常节点激活子集来识别生成的内容。这些节点作为一个组,最大化偏离从真实数据创建的激活的预期分布的非参数度量。这使我们能够识别合成图像,而无需事先知道它们的分布。SubsetGAN有效地对节点的子集进行评分,并返回预训练分类器中有助于获得最大分数的节点组。分类器可以是在来自多个源的样本上训练的通用伪分类器,或者是来自不同GANs的神经网络。我们的方法在几种最先进的GANs(PGGAN,StarGAN和CycleGAN)和不同比例的生成内容中显示出比现有检测方法更高的检测能力。
2021-05-27 cs.CR cs.CV cs.LG
The Dark Room in the Reward Channel: Dense Prediction Rewards Collapse GRPO-Trained LLM Agents -- and The Channel, Not the Content, Decides What Works
研究发现密集预测奖励在GRPO训练下会使大语言模型智能体崩溃,通过单因素消融定位原因,提出方差分布标准,还通过受控信号传递矩阵对比奖励通道和辅助损失通道,表明奖励通道至多中性,辅助损失通道有优势。
2026-08-05 cs.LG
SafeR-CLIP: Mitigating NSFW Content in Vision-Language Models While Preserving Pre-Trained Knowledge
SafeR-CLIP通过最小化干预策略,在保留预训练知识的同时提升视觉-语言模型的安全性,实现性能与安全性的平衡。
2025-11-20 cs.AI cs.CV cs.LG
Zero-Shot Recommendations with Pre-Trained Large Language Models for Multimodal Nudging
Lirio, LLC(Lirio有限责任公司);Skoltech(斯科尔科沃科学技术研究院)
提出一种零样本多模态推荐方法,将各模态输入转为文本描述并用预训练LLM生成语义嵌入,通过相似度计算完成推荐,无需额外训练。
2023-10-01 cs.AI cs.CL cs.IR
A Quantum Machine Learning Approach to Content-Based Media Recommendation
University College London(伦敦大学学院);Quantinuum;Relational Intelligence;British Broadcasting Corporation(英国广播公司)
该研究开发了基于QNLP的内容型媒体推荐系统,其参数远少于经典BiLSTM,在量子硬件上可稳定运行,为推荐任务提供了高效的量子方案。
2026-10-16 cs.LG
PECAN: A Product-Quantized Content Addressable Memory Network
The University of Hong Kong(香港大学)
提出了一种新的深度神经网络(DNN)架构,其中仅用乘积量化(PQ)来实现滤波和线性变换。这导致通过内容可寻址存储器(CAM)的自然实现,其超越常规DNN层操作并且仅需要简单的查表。开发了两种用于端到端PQ原型训练的方案,即通过基于角度和基于距离的相似性,其乘法和加法性质不同,具有不同的复杂度-准确度权衡。更重要的是,基于距离的方案构成了真正的无乘数DNN解决方案。实验证实了这种产品量化的内容可寻址存储器网络(PECAN)的可行性,这对硬件有效的部署,特别是存内计算有很强的影响。
2022-08-13 cs.AI cs.LG
Quantum ensemble of trained classifiers
Universidade Federal Rural de Pernambuco(伯南布哥联邦农村大学);Universidade Federal de Pernambuco(伯南布哥联邦大学)
通过叠加,量子计算机能够根据可用的量子比特数量来表示指数级大的状态集。量子机器学习是量子计算的一个子领域,它探索了量子计算增强机器学习算法的潜力。一种称为量子分类器的量子集成的量子机器学习方法包括使用叠加来构建指数级大的分类器集成,以使用无优化学习算法进行训练。在这项工作中,我们研究了量子系综如何与优化方法一起工作。使用基准数据集的实验表明,优化步骤的增加所获得的改进。
2020-07-18 cs.LG quant-ph stat.ML
StarWM: Self-Supervised Trained Attention Routing for Robust World Models
German Aerospace Center (DLR)(德国航空航天中心(DLR));Ulm University(乌尔姆大学)
StarWM通过自监督训练的交叉注意力路由决定重建区域,结合双流解码器与停止梯度,在动态视频干扰下实现鲁棒世界模型,兼顾动态保真与干扰剔除。
2026-11-10 cs.CV cs.LG
Revealing Secrets From Pre-trained Models
University of California, Merced(加州大学默塞德分校)
随着大数据集训练深度学习模型的负担越来越重,迁移学习已被许多新兴的深度学习算法广泛采用。诸如BERT之类的Transformer模型是自然语言处理中的主要参与者,并且使用迁移学习作为事实标准训练方法。一些大数据公司发布了预先训练的模型,这些模型是用一些流行的数据集训练的,最终用户和研究人员可以用自己的数据集对模型进行微调。迁移学习大大减少了训练模型的时间和精力。然而,这是以安全问题为代价的。在本文中,我们展示了一个新的观察结果,即预训练模型和微调模型在权重值方面具有显着的高相似性。此外,我们证明了存在特定于供应商的计算模式,即使是相同的模型。基于这些新发现,我们提出了一种新的模型窃取攻击,该攻击揭示了黑盒受害者模型使用的模型架构和预训练模型,并具有特定于供应商的计算模式,然后根据微调模型和预训练模型之间的权重值相似性来估计整个模型的权重。我们还表明,权重相似性可以利用增加模型提取的可行性,通过一种新的权重提取修剪。
2022-07-19 cs.CR cs.LG
NewsEmbed: Modeling News through Pre-trained Document Representations
Google Research(谷歌研究院)
在文档级有效地对诸如新闻文章之类的文本丰富的新鲜内容进行建模是一个具有挑战性的问题。为了确保基于内容的模型能够很好地推广到广泛的应用程序,关键是要有一个训练数据集,它的规模要超过人类标签的规模,同时要达到所需的质量。在这项工作中,我们解决了这两个挑战,提出了一种新的方法来挖掘语义相关的新鲜文件,和他们的主题标签,很少有人监督。同时,我们设计了一个名为NewsEmbed的多任务模型,该模型交替训练对比学习和多标签分类,以获得通用的文档编码器。我们表明,所提出的方法可以提供数十亿的高质量的有机训练样本,并可以自然地扩展到多语言设置,不同语言的文本在相同的语义空间编码。我们通过实验证明了NewsEmbed在多个自然语言理解任务(监督和非监督)中的竞争性能。
2021-06-05 cs.CL cs.IR cs.LG
Robust Image Sentiment Analysis Using Progressively Trained and Domain Transferred Deep Networks
University of Rochester(罗切斯特大学);Adobe Research(奥多比研究院)
在线用户生成的内容的情感分析对于许多社交媒体分析任务是重要的。研究人员在很大程度上依赖于文本情感分析来开发预测政治选举、衡量经济指标等的系统。最近,社交媒体用户越来越多地使用图像和视频来表达他们的观点并分享他们的经验。这种大规模视觉内容的情感分析可以帮助更好地提取用户对事件或主题(诸如图像推文中的事件或主题)的情感,使得从视觉内容预测情感与文本情感分析互补。由于需要利用大规模但有噪声的训练数据来解决极具挑战性的图像情感分析问题,我们采用卷积神经网络(CNN)。我们首先设计一个合适的CNN架构的图像情感分析。我们通过使用基线情感算法来标记Flickr图像,获得了50万个训练样本。为了利用这种嘈杂的机器标记数据,我们采用渐进策略来微调深度网络。此外,我们提高了Twitter图像的性能,诱导域转移与少量的手动标记的Twitter图像。我们对手动标记的Twitter图像进行了广泛的实验。实验结果表明,与同类算法相比,本文提出的CNN在图像情感分析中具有更好的性能。
2015-09-20 cs.CV cs.IR cs.LG
Midwifery Learning and Forecasting: Predicting Content Demand with User-Generated Logs
Maternity Foundation(母婴基金会)
每天有800名妇女和6 700名新生儿死于与怀孕或分娩有关的并发症。训练有素的助产士可以防止大多数产妇和新生儿死亡。数据科学模型以及助产士在线学习应用程序用户生成的日志可以帮助提高他们的学习能力。我们的目标是利用这些丰富的行为数据将数字学习推向个性化内容,并提供自适应的学习旅程。在这项工作中,我们评估了各种预测方法,以确定未来用户对应用程序中不同类型内容的兴趣,并按专业和地区进行细分。
2021-08-17 cs.CY cs.LG stat.ML
On the Information Content of Predictions in Word Analogy Tests
Federal University of Sergipe(塞尔希培联邦大学)
提出了一种方法来量化,在比特的信息,类比测试中的类比的实际相关性。这种方法的主要组成部分是一个softaccuracy估计,也产生熵估计与补偿偏差。使用预训练的GloVe 300-D向量和两个公共类比测试集获得的实验结果表明,从信息内容的角度来看,在类比测试中,接近提示比类比更相关。因此,一个简单的词嵌入模型被用来预测,类比携带约一位的信息,这是实验证实。
2022-10-18 cs.CL cs.IT cs.LG