Combining Deep Learning and Explainable AI for Toxicity Prediction of Chemical Compounds
Analytical Chemistry Department Iuliu Haţieganu University of Medicine;Pharmacy, Cluj-Napoca, Romania acernat.umfcluj.ro
本研究利用DenseNet121处理化合物二维结构图像,结合Grad-CAM可解释技术,在Tox21数据集上实现了有竞争力的毒性预测,兼顾准确性与模型透明度。
2025-10-26 cs.AI cs.LG
Fair and Calibrated Toxicity Detection with Robust Training and Abstention
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文探讨了毒性检测中公平性、校准和回避的多轴框架,比较了ERM、实例重加权和组DRO等方法,揭示了训练干预和后处理机制对公平性和校准的影响。
2026-05-13 cs.LG
Adversarial robustness of sparse local Lipschitz predictors
Johns Hopkins University(约翰斯·霍普金斯大学)
本文研究了由线性预测器和非线性表示映射组成的参数函数的对抗鲁棒性。%,满足一定的稳定性条件。我们的分析依赖于\emph{sparse local Lipschitzness}(SLL),局部Lipschitz连续性的扩展,更好地捕捉稳定性和减少有效的预测局部扰动后的维数。SLL函数保留了一定程度的结构,由表示图中的稀疏模式给出,并且包括几个流行的假设类,例如分段线性模型,Lasso及其变体,以及深度前馈\relu网络。%是稀疏局部Lipschitz。我们提供了一个更严格的鲁棒性证书上的最小能量的对抗性的例子,以及更严格的数据依赖的非均匀边界上的鲁棒性泛化误差这些预测。我们将这些结果实例化为深度神经网络的情况,并提供支持我们结果的数值证据,从而对自然正则化策略提供新的见解,以提高这些模型的鲁棒性。
2023-03-03 cs.LG
An Invariant Learning Characterization of Controlled Text Generation
Columbia University(哥伦比亚大学);FAR AI(FAR AI研究院)
本文将分布偏移下的受控文本生成刻画为不变学习问题,提出跨文本环境保持不变的预测器及环境选择启发式,并通过合成与真实实验验证其潜力。
2023-05-31 cs.CL cs.LG
Robust Learning-Augmented Caching: An Experimental Study
Jagiellonian University(雅盖隆大学);EPFL(洛桑联邦理工学院);DeepMind(深度思维)
有效的缓存对于现代计算系统的性能至关重要。缓存中出现的一个关键优化问题--驱逐哪个项为新项腾出空间--在不知道未来的情况下无法得到最佳解决。对于这个问题有许多经典的近似算法,但最近研究人员开始成功地应用机器学习,通过发现隐式输入模式和预测未来来决定驱逐什么。虽然机器学习通常不提供任何最坏情况的保证,但学习增强算法的新领域提出了利用经典在线缓存算法来使机器学习预测器鲁棒的解决方案。我们是第一个在真实世界的缓存数据集和最先进的机器学习预测器上全面评估这些学习增强算法的人。我们表明,一个简单的方法-盲目遵循预测或经典的鲁棒算法,并切换时,一个变得比其他更差-只有一个低的开销超过一个性能良好的预测,而与经典的方法竞争时,耦合预测失败,从而提供了一个便宜的最坏情况下的保险。
2021-06-28 cs.AI cs.LG
Point-Identification of a Robust Predictor Under Latent Shift with Imperfect Proxies
Department of Computer Science, Aalto University(阿尔托大学计算机科学系);Department of Computer Science, University of Helsinki(赫尔辛基大学计算机科学系);ELLIS Institute Finland(芬兰埃利斯研究所);Department of Computer Science, Manchester University(曼彻斯特大学计算机科学系)
针对潜在混淆变量导致的域适应问题,提出基于潜在等价类的点识别方法,通过跨域秩条件替代强完备性假设,并设计主动学习框架PQAL实现鲁棒预测。
2026-06-12 cs.LG
Learning Representations that Support Robust Transfer of Predictors
Massachusetts Institute of Technology(麻省理工学院)
确保推广到看不见的环境仍然是一个挑战。领域转移可能导致性能大幅下降,除非转移是在可用的训练环境中得到很好的锻炼。我们介绍了一个简单的鲁棒性估计标准-转移风险-这是专门面向优化转移到新的环境。实际上,该标准相当于找到一种表示,该表示将在一个环境中训练的任何最佳预测器应用于另一个环境的风险最小化。转移风险基本上分解成两个方面,一个直接转移项和加权梯度匹配项所产生的每环境预测的最优性。虽然受到了ESTA的启发,我们表明,转移风险作为一个更好的分布外泛化标准,无论是理论上还是经验上。我们进一步展示了优化这种转移风险对两个受控设置的影响,每个设置代表不同的环境变化模式,以及两个真实世界的数据集。实验上,该方法在各种分布外泛化任务中优于基线。代码可在\url{https://github.com/Newbeeer/TRM}上获得。
2021-10-19 cs.LG
Optimus: A Robust Defense Framework for Mitigating Toxicity while Fine-Tuning Conversational AI
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本研究提出Optimus框架,通过整合训练无关的毒性分类方案和双重策略对齐过程,有效缓解微调过程中的毒性问题,并在有毒性分类器偏差时仍能保持高召回率,优于现有最佳防御方法StarDSS。
2026-05-21 cs.AI cs.CL cs.CR
Making Conformal Predictors Robust in Healthcare Settings: a Case Study on EEG Classification
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);PyHealth;Bangladesh University of Engineering and Technology(孟加拉工程与技术大学)
本文评估了多种符合预测方法在EEG癫痫分类中的表现,发现个性化校准策略可提升覆盖度20%以上,同时保持预测集大小相近。
2026-04-30 cs.AI cs.LG stat.ML
Improving Out-of-Distribution Robustness via Selective Augmentation
Stanford University(斯坦福大学);University of California San Diego(加州大学圣地亚哥分校);Renmin University of China(中国人民大学);Rutgers University(罗格斯大学)
机器学习算法通常假设训练和测试示例来自相同的分布。然而,分布偏移在实际应用中是一个常见的问题,并且可能导致模型在测试时表现得非常差。在本文中,我们特别考虑了亚群转移的问题(例如,不平衡数据)和域转移。虽然先前的工作通常寻求明确地将模型的内部表示或预测因子正则化为域不变,但我们的目标是在不限制模型的内部表示或预测因子的情况下学习不变预测因子。这导致了一种简单的基于混合的技术,该技术通过称为LISA的选择性增强来学习不变预测器。LISA选择性地内插具有相同标记但不同结构域或具有相同结构域但不同标记的样品。从经验上讲,我们研究了LISA在9个基准上的有效性,从亚群转移到域转移,我们发现LISA始终优于其他最先进的方法,并导致更多的不变预测。我们进一步分析了线性设置,并从理论上展示了LISA如何导致更小的最坏组误差。
2022-06-19 cs.LG
RuleFuser: An Evidential Bayes Approach for Rule Injection in Imitation Learned Planners and Predictors for Robustness under Distribution Shifts
Princeton University(普林斯顿大学)
该研究提出证据框架RuleFuser,结合模仿学习规划器与经典规则规划器的互补优势,在nuPlan数据集上实现OOD场景安全指标较纯IL规划器38.43%的平均提升,同时兼顾模仿性能。
2024-09-16 cs.AI cs.LG cs.RO
Understanding and Mitigating the Tradeoff Between Robustness and Accuracy
Stanford University(斯坦福大学);ETH Zurich(苏黎世联邦理工学院)
对抗训练通过扰动来增加训练集,以提高鲁棒误差(在最坏情况下的扰动),但它通常会导致标准误差的增加(在未扰动的测试输入上)。以前对这种权衡的解释依赖于假设类中没有预测因子具有低标准和鲁棒误差的假设。在这项工作中,我们精确地描述了线性回归中的最佳线性预测具有零标准误差和鲁棒误差时,增广对标准误差的影响。特别是,我们表明,标准误差可能会增加,即使当增广扰动有无噪声的最佳线性预测的意见。然后,我们证明了最近提出的鲁棒自训练(ESTA)估计提高了鲁棒误差,而不牺牲无噪声线性回归的标准误差。从经验上讲,对于神经网络,我们发现使用不同对抗训练方法的训练可以改善CIFAR-10中随机和对抗旋转以及对抗$\ell_\infty$扰动的标准误差和鲁棒误差。
2020-07-06 cs.LG stat.ML
Adversarially Robust Learning with Unknown Perturbation Sets
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
我们研究了学习预测器的问题,这些预测器对于未知扰动集的对抗性示例是鲁棒的,而是依赖于与对抗性攻击者的交互或访问攻击预言机,检查这种交互的不同模型。我们得到的样本的复杂性和上限和下限上所需的相互作用的数量,或成功的攻击的数量,在不同的相互作用模型,在VC和Littlestone维度的假设类的预测,没有任何假设的扰动集。
2021-02-03 cs.LG stat.ML
ProME: Prototype-Margin Environments with Repair-Aware Selection for Group-Robust Learning
Shenzhen Key Laboratory of Safety and Security for Next Generation of Industrial Internet(深圳市下一代工业互联网安全重点实验室);Department of Statistics and Data Science, Southern University of Science and Technology(南方科技大学统计与数据科学系)
针对无训练组标签的组鲁棒学习问题,提出ProME方法,通过划分原型边际构建平衡环境并对齐决策与部署预测器,实验显示其平均最坏组准确性优于对比方法。
2026-08-14 cs.CV cs.LG
Causally motivated Shortcut Removal Using Auxiliary Labels
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Google Research(谷歌研究院);MosaicML
学习模型使用易于表示但不稳定的关联,是鲁棒机器学习的主要失败模式。我们研究了一种灵活的,因果动机的方法来训练强大的预测,不鼓励使用特定的捷径,专注于一个共同的设置,一个强大的预测可以实现最佳的\emph{iid}概括原则上,但在实践中被掩盖的捷径预测。我们的方法使用辅助标签(通常在训练时可用)来执行因果图所隐含的条件独立性。我们从理论上和经验上表明,因果动机的正则化方案(a)导致更强大的估计,以及推广下分布偏移,和(b)有更好的有限样本效率相比,通常的正则化方案,即使没有捷径。我们的分析突出了因果推理、公平性和解纠缠文献中常用的训练技术的重要理论属性。我们的代码可在https://github.com/mymakar/causally_motivated_shortcut_removal上获得
2022-02-23 cs.LG
Theoretical Foundations of Adversarially Robust Learning
The Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
该论文从理论视角研究机器学习对抗鲁棒性问题,提出新的问题表述、可证明鲁棒的学习算法,并刻画鲁棒学习复杂度与算法性能的根本局限,推动对抗鲁棒学习的理论发展。
2023-06-13 cs.CR cs.LG stat.ML
Robust Reconfigurable Intelligent Surfaces via Invariant Risk and Causal Representations
Centre for Wireless Communication, University of Oulu(奥卢大学无线通信中心);School of Information Technology, Deakin University(迪肯大学信息技术学院)
研究了数据分布变化下的鲁棒可重构智能曲面系统设计问题。使用不变风险最小化(Invariant Risk Minimization,简称RST)的概念,使用跨多个环境的不变因果表示,使得预测器对于每个环境同时是最优的。一个基于神经网络的解决方案,采用寻求预测器,其性能通过模拟验证对经验的风险最小化为基础的设计。结果表明,利用不变性产生更强大的鲁棒性对看不见的和分布外的测试环境。
2021-05-04 cs.LG cs.NI eess.SP
On the robustness of non-intrusive speech quality model by adversarial examples
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
最近已经表明,基于深度学习的模型在语音质量预测上是有效的,并且可以在各种方面优于传统的度量。虽然网络模型有可能成为复杂人类听觉感知的替代品,但它们可能包含预测的不稳定性。这项工作表明,深度语音质量预测器可能容易受到对抗性扰动的影响,其中与语音输入相比,预测可能会因小至$-30$ dB的不明显扰动而急剧变化。除了暴露深度语音质量预测因子的脆弱性外,我们还进一步探索和确认对抗训练对于增强模型鲁棒性的可行性。
2022-11-11 cs.LG cs.SD eess.AS
Robust Persona-Aware Toxicity Detection with Prompt Optimization and Learned Ensembling
Pennsylvania State University(宾夕法尼亚州立大学);Resolution
本研究提出了一种基于提示优化和学习集成的鲁棒人格感知毒性检测方法,通过系统评估和元集成技术提升不同人格下的毒性检测性能。
2026-01-05 cs.CL
Neural Predictor for Black-Box Adversarial Attacks on Speech Recognition
Sony(索尼)
最近的工作已经揭示了自动语音识别(ASR)模型对对抗性示例(AE)的脆弱性,即,在音频信号的转录中引起错误的小扰动。因此,研究音频对抗攻击是迈向强大ASR的第一步。尽管在攻击音频示例方面取得了重大进展,但黑盒攻击仍然具有挑战性,因为只提供了传输的硬标签信息。由于这种有限的信息,现有的黑盒方法通常需要过多的查询来攻击单个音频示例。在本文中,我们介绍了NP-攻击,神经预测为基础的方法,逐步演变的搜索对一个小的对抗扰动。给定扰动方向,我们的神经预测器直接估计导致错误转录的最小扰动。特别是,它使NP攻击能够通过基于梯度的优化准确地学习有希望的扰动方向。实验结果表明,NP攻击实现了竞争力的结果与其他国家的最先进的黑盒对抗攻击,而需要显着较少的查询数量。NP-Attack的代码可以在网上找到。
2022-03-18 cs.AI cs.LG cs.SD
Adversarial Training Can Hurt Generalization
Stanford University(斯坦福大学)
虽然对抗性训练可以提高鲁棒准确性(对抗对手),但有时会损害标准准确性(当没有对手时)。以前的工作已经研究了标准和鲁棒精度之间的这种权衡,但仅在无限数据限制中没有预测器在两个目标上都表现良好的情况下。在本文中,我们表明,即使当最优预测与无限的数据表现良好的两个目标,权衡仍然可以表现出有限的数据。此外,由于我们的构造是基于凸学习问题,因此我们排除了优化问题,从而暴露了鲁棒性和泛化之间的基本张力。最后,我们表明,强大的自我训练主要通过利用未标记的数据来消除这种权衡。
2019-08-26 cs.LG stat.ML
Evading Toxicity Detection with ASCII-art: A Benchmark of Spatial Attacks on Moderation Systems
SAMOVAR;Télécom SudParis Institut Polytechnique de Paris(巴黎高等理工学院)
本研究提出利用 ASCII 艺术的空间结构文本攻击毒性检测模型,构建 ToxASCII 基准,并在多种先进模型和审核工具上实现完美攻击成功率,揭示文本审核系统的重大漏洞。
2025-09-24 cs.AI cs.CL cs.CR
Adversarially Robust Learning: A Generic Minimax Optimal Learner and Characterization
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);Purdue University(普渡大学)
我们提出了一个极大极小最优学习器的问题,学习预测强大的对抗性的例子在测试时。有趣的是,我们发现这需要新的算法思想和方法来对抗鲁棒学习。特别是,我们在强烈的负面意义上展示了Montasser,Hanneke和Srebro(2019)提出的鲁棒学习器的次优性,以及我们确定为本地学习器的更广泛的学习器家族。我们的结果是通过采用全局视角,特别是通过一个关键的技术贡献:全局一包含图,这可能是独立的利益,推广了经典的一包含图,由于Haussler,Littlestone,和Warcourt(1994)。最后,作为一个副产品,我们确定了一个维度定性和定量地表征什么类的预测$\mathcal{H}$是鲁棒学习。这解决了Montasser等人(2019)提出的一个开放问题,并缩小了对抗鲁棒学习样本复杂度的上界和下界之间的(潜在的)无限差距。
2022-09-15 cs.LG stat.ML
Fortifying Toxic Speech Detectors Against Veiled Toxicity
Carnegie Mellon University(卡内基梅隆大学)
现代有毒语言检测器无法识别伪装的攻击性语言,例如故意避开已知有毒词汇的对抗攻击或隐含偏见的表现。为这种隐藏的毒性构建一个大型注释数据集可能非常昂贵。在这项工作中,我们提出了一个框架,旨在加强现有的有毒语音检测器没有一个大的标记语料库隐藏的毒性。仅仅是少数几个试探性的例子就被用来揭露数量级更多的伪装罪行。我们增加了有毒语音检测器的训练数据与这些发现的攻击性的例子,从而使其更强大的隐蔽的毒性,同时保持其效用在检测明显的毒性。
2020-10-07 cs.CL
Harder to Defend: Towards Chinese Toxicity Attacks via Implicit Enhancement and Obfuscation Rewriting
Dalian University of Technology(大连理工大学);The University of Tokyo(东京大学);Singapore University of Technology and Design(新加坡科技设计大学)
本研究提出了一种针对中文毒性攻击的框架CITA,通过隐含增强和模糊重写技术生成攻击样本,揭示了现有检测器在识别隐含毒性内容时的不足,并展示了通过训练防御模型提升鲁棒性的效果。
2026-05-21 cs.CL
Mitigating Biases in Toxic Language Detection through Invariant Rationalization
National Taiwan University(台湾大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Amazon AI(亚马逊人工智能)
有毒语言的自动检测在保护社交媒体用户,特别是少数群体免受言语虐待方面发挥着重要作用。然而,在大多数用于毒性检测的训练数据集中,对某些属性(包括性别、种族和方言)存在偏见。这些偏见使得学习模型不公平,甚至会加剧人们的边缘化。考虑到目前用于一般自然语言理解任务的去偏置方法不能有效地减轻毒性检测器中的偏差,我们提出使用不变合理化(InvRat),一个由理由生成器和预测器组成的博弈论框架,来排除某些句法模式的虚假相关性(例如,身份提及,方言)到毒性标签。我们的实验表明,我们的方法产生较低的误报率在词汇和方言属性比以前的去偏置方法。
2021-06-14 cs.CL
Towards Robust Toxic Content Classification
Carnegie Mellon University(卡内基梅隆大学)
有毒内容检测旨在识别可能冒犯或伤害其接收者的内容。有毒内容的自动分类器需要对故意试图绕过过滤器的对手具有鲁棒性。我们提出了一种使用有毒令牌词典生成现实模型不可知攻击的方法,该方法试图通过通过字符级扰动混淆有毒令牌或注入无毒干扰令牌来稀释毒性信号,从而误导毒性分类器。我们表明,这些现实的攻击减少了检测召回的国家的最先进的神经毒性检测器,包括那些使用ELMo和BERT,在某些情况下超过50%。我们探索两种方法来抵御这种攻击。首先,我们研究了训练对综合噪声数据的影响。其次,我们提出了上下文去噪自动编码器(CDAE):一种用于学习鲁棒表示的方法,该方法使用字符级和上下文信息来对扰动令牌进行去噪。我们表明,这两种方法是互补的,提高了字符级扰动和干扰的鲁棒性,恢复了相当一部分丢失的准确性。最后,我们分析了最具竞争力的方法的鲁棒性特征,并概述了改进毒性检测器的实际考虑。
2019-12-14 cs.CL
Model Editing as a Robust and Denoised variant of DPO: A Case Study on Toxicity
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Stanford University(斯坦福大学);University of Science and Technology of China(中国科学技术大学)
本文提出免微调的模型编辑方法 ProFS,通过识别并投影去除模型参数空间中的毒性子空间来降低大语言模型毒性,比 DPO 更具样本效率与抗噪鲁棒性,理论上是单步 DPO 的去噪版本。
2025-03-01 cs.CL
Toxicity Detection towards Adaptability to Changing Perturbations
本文针对毒性检测中恶意用户不断创建新扰动模式的问题,引入持续学习越狱扰动模式任务,构建包含9种扰动模式的数据集,并提出领域增量学习范式及基准以提升检测器对动态扰动毒性文本的鲁棒性。
2025-03-04 cs.AI cs.CL cs.CR
Toxicity in ChatGPT: Analyzing Persona-assigned Language Models
Princeton University(普林斯顿大学);The Allen Institute for AI(艾伦人工智能研究所);Georgia Tech(佐治亚理工学院)
本文系统评估了ChatGPT超五十万次生成内容,发现分配特定人设会使其毒性最高增加6倍,并揭示模型对特定实体存在固有歧视性偏见,呼吁改进AI安全机制。
2023-04-11 cs.AI cs.CL cs.LG
Toxicity Classification in Ukrainian
TU Munich(慕尼黑工业大学);Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS)(智能技术 singular 研究中心(CiTIUS));Universidade de Santiago de Compostela(圣地亚哥德孔波斯特拉大学)
针对乌克兰语缺乏毒性分类语料库的问题,本研究通过翻译、关键词过滤和众包标注创建带标签语料库,并比较了LLMs提示等跨语言转移方法,为最稳健高效的基线提供见解。
2024-04-27 cs.CL
On the Robustness of Knowledge Editing for Detoxification
Hubei Provincial Key Laboratory of Artificial Intelligence(人工智能与智能学习湖北省重点实验室);Research Center for Network Media, School of Computer Science, Central China Normal University, Wuhan, China(网络媒体研究中心,计算机科学学院,中央民族大学,武汉,中国)
本文提出了一种评估基于知识编辑的去毒化方法鲁棒性的框架,发现其效果受模型、目标和语言的限制。
2026-02-11 cs.CL
Measuring and Mitigating Toxicity in Large Language Models: A Comprehensive Replication Study
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文通过复制研究评估DExperts在缓解显性毒性中的有效性,发现其在显性毒性基准上安全性接近完美,但对隐性仇恨言论存在脆性,并引入了10倍的延迟惩罚。
2026-05-15 cs.CL cs.LG
Red teaming ChatGPT via Jailbreaking: Bias, Robustness, Reliability and Toxicity
CSIRO’s Data61(联邦科学与工业研究组织Data61);Monash University(莫纳什大学);Australian National University(澳大利亚国立大学)
本文通过红队测试方法从偏见、可靠性、鲁棒性和毒性四个维度系统分析 ChatGPT 的伦理风险,发现现有基准无法覆盖大量风险,并通过案例研究揭示问题,为构建负责任的 LLM 提供设计启示。
2023-05-29 cs.CL cs.SE
Redefining Experts: Interpretable Decomposition of Language Models for Toxicity Mitigation
IIIT Dharwad, India(印度IIIT达尔瓦德大学);IIIT Delhi, India(印度IIIT德里大学);FLaME-NLP Lab, IIIT Delhi(IIIT德里大学FLaME-NLP实验室)
本文针对大语言模型毒性生成问题,提出基于最终输出层特征分解的EigenShift干预方法,选择性抑制与毒性生成对齐的分量,在不损害语言能力且无需额外训练的情况下实现精确毒性缓解。
2025-09-20 cs.CL
Toxicity Detection for Free
University of California, Berkeley(加州大学伯克利分校)
本文提出MULI方法,利用LLM首个响应令牌的logits分布构建稀疏逻辑回归检测器,以低成本高效检测有毒提示,优于现有最先进检测器。
2024-11-08 cs.CL
Test-Time Detoxification without Training or Learning Anything
本文提出一种无需训练或学习的测试时去毒化方法,通过零阶优化调整输入嵌入以减少生成文本的毒性,实现安全高效的文本生成。
2026-06-28 cs.AI cs.CL cs.LG
Benchmarking LLM Guardrails in Handling Multilingual Toxicity
University of Pennsylvania(宾夕法尼亚大学);Microsoft(微软公司)
该研究构建了涵盖7个数据集、十多种语言的多语言测试套件,对主流LLM护栏的多语言毒性处理能力、抗越狱能力等进行基准测试,发现现有护栏存在明显不足,为构建多语言场景下更可靠的LLM提供参考。
2024-10-29 cs.CL
Obfuscation Rules for Detecting and Detoxifying Korean Toxicity
Yonsei University(延世大学)
本文提出KOTOX数据集,通过定义基于语言学的韩语混淆规则和变换框架,支持对混淆毒性文本的去混淆与去毒化,首次同时实现韩语混淆毒性检测与净化。
2026-08-05 cs.AI cs.CL
Shielding Google's language toxicity model against adversarial attacks
Universidad Distrital FJC(弗朗西斯科·何塞·德·卡尔达斯区立大学)
在线社区缺乏节制,使参与者遭受人身攻击,骚扰或网络欺凌,这些问题在当代后真相政治场景中因极端主义激进化而加剧。这种敌意通常通过恶毒的语言、亵渎或辱骂性的言论来表达。最近,谷歌开发了一种基于机器学习的毒性模型,试图评估评论的敌意;不幸的是,有人认为该模型可能被操纵评论文本序列的对抗攻击所欺骗。在本文中,我们首先介绍了这样的对抗攻击使用混淆和极性变换。前者通过排版编辑破坏有毒触发内容来欺骗,而后者则通过语法否定有毒内容来欺骗。然后,我们提出了一个两阶段的方法来反击这些异常,最近提出的文本去混淆方法和毒性评分模型的基础上。最后,我们用大约24000条扭曲的评论进行了一个实验,展示了如何以这种方式恢复对抗性变体的毒性,同时导致处理时间大约增加两倍。尽管新的对手的挑战将继续来自书面语言的多功能性,我们预计,技术相结合的机器学习和文本模式识别方法,每一个针对不同层次的语言特征,将需要实现强大的检测有毒语言,从而促进侵略-自由的数字互动。
2018-01-05 cs.CL cs.SI
Detecting Cross-Geographic Biases in Toxicity Modeling on Social Media
University of Michigan(密歇根大学);Google Research(谷歌研究院)
在线社交媒体平台越来越依赖自然语言处理(NLP)技术来大规模检测滥用内容,以减轻其对用户造成的伤害。然而,这些技术受到训练数据中存在的各种采样和关联偏差的影响,通常导致与边缘化群体相关的内容表现不佳,可能进一步对他们造成不成比例的伤害。到目前为止,关于这种偏见的研究只集中在少数几个有注释/词典的差异轴和亚组上。因此,在文献中,关于非西方背景的偏见在很大程度上被忽视了。在本文中,我们引入了一个弱监督的方法来鲁棒地检测更广泛的地理文化背景下的词汇偏见。通过一个公开的毒性检测模型的案例研究,我们证明了我们的方法确定了跨地理错误的突出群体,并在后续行动中,表明这些分组反映了人类在这些地理环境中对冒犯性和无害性语言的判断。我们还对在具有地面真实标签的数据集上训练的模型进行了分析,以更好地理解这些偏差,并提出了初步的缓解实验。
2021-09-29 cs.CL
ToVo: Toxicity Taxonomy via Voting
Oraichain Labs(Oraichain实验室);VinAI Research(VinAI研究院);Florida International University(佛罗里达国际大学);Hanoi University of Science and Technology(河内科技大学);University of Oregon(俄勒冈大学)
针对现有毒性检测模型缺乏透明度、可定制性和可复现性的问题,本文提出一种整合投票与思维链的数据集创建机制,生成高质量开源数据集,并训练出更透明、可微调且性能优于现有检测器的模型。
2025-01-23 cs.CL cs.LG
CleanComedy: Creating Friendly Humor through Generative Techniques
HSE University(高等经济大学);MTS AI(MTS人工智能公司);THWS(维尔茨堡-施韦因富特应用科学大学)
针对现有幽默数据集存在毒性、重复且资源有限的问题,本文提出经毒性过滤的英俄双语专用笑话语料库CleanComedy,验证了过滤方法的有效性,并对比人类与生成式笑话研究了幽默生成的进展。
2024-12-12 cs.CL
ToxiLab: How Well Do Open-Source LLMs Generate Synthetic Toxicity Data?
Microsoft Corp.(微软公司);Columbia University(哥伦比亚大学);Tsinghua University(清华大学)
本研究针对合成数据在仇恨言论检测等主观任务中效果不明的问题,通过受控提示与监督微调技术提升开源LLM的毒性数据合成能力,评估发现Mistral表现最优,微调可显著提升数据质量,为内容审核数据集扩充提供了高性价比方案。
2025-02-22 cs.AI cs.CL
UPB at SemEval-2021 Task 5: Virtual Adversarial Training for Toxic Spans Detection
University Politehnica of Bucharest(布加勒斯特理工大学)
网络领域的两极分化和毒性对现实世界的影响标志着2020年底和今年年初的负面影响。Semeval-2021,任务5 -毒性跨度检测基于Jigsaw非预期偏倚数据集子集的新注释,是第一个专门用于识别毒性级别跨度的语言毒性检测任务。在这项任务中,参与者必须自动检测短评论中的字符跨度,使消息成为有毒的。我们的模型考虑在几个基于transformer的模型(即,BERT和RoBERTa)与条件随机场的组合。我们的方法导致性能改进和更强大的模型,使我们能够在正式提交中获得65.73%的F1分数,并在评估后进一步调整后获得66.13%的F1分数。
2021-04-17 cs.CL
ROBBIE: Robust Bias Evaluation of Large Generative Language Models
Meta
ROBBIE通过6种偏见与毒性基准(含两个新数据集)在12个人口轴和5个LLM家族上的对比,结合3种缓解技术研究,为LLM公平性评估与部署提供系统工具和见解。
2023-11-29 cs.CL
DriftGuard: Safety-Aware Multi-Monitor Detection and Selective Adaptation for Evolving Toxicity Moderation
Department of Information and Decision Sciences(信息与决策科学系);University of Minnesota(明尼苏达大学);Department of Industrial Engineering and Management Sciences(工业工程与管理科学系);Northwestern University(西北大学);Fuqua School of Business(福卡商学院);Duke University(杜克大学);Department of Engineering(工程系);Carnegie Mellon University(卡内基梅隆大学)
提出DriftGuard框架,结合多监测器漂移检测与选择性模型更新,针对毒性演化中的安全相关漂移,通过硬混合适应集提升毒性召回率与准确性。
2026-11-17 cs.CL
ToxiFrench: Benchmarking and Enhancing Language Models via CoT Fine-Tuning for French Toxicity Detection
École Polytechnique(巴黎高等理工学院);Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学)
本文提出ToxiFrench数据集,通过半自动化标注流程构建,发现小语言模型在毒性检测任务中表现更优,并提出动态加权损失策略提升模型忠实度,Qwen3-4B模型在基准测试中取得最佳性能。
2026-04-19 cs.AI cs.CL cs.CY
N-Critics: Self-Refinement of Large Language Models with Ensemble of Critics
Hewlett Packard Enterprise(慧与科技)
本研究提出N-Critics自我修正机制,通过评论家集成与模型自身反馈优化大语言模型输出,缓解毒性与事实幻觉问题,该方法模型无关且能多领域提升可信度,实验证实其在减毒纠错上有效。
2023-11-08 cs.AI cs.CL cs.LG
ELITE: Enhanced Language-Image Toxicity Evaluation for Safety
Yonsei University(延世大学);Kyung Hee University(庆熙大学);Korea Institute of Science(韩国科学研究院);Seoul National University(首尔国立大学);Sookmyung Women's University(_sookmyung女子大学)
针对现有 VLM 安全基准有害性不足、数据模糊且图文组合有限的问题,提出 ELITE 基准及带毒性评分的 ELITE evaluator,以提升自动评估与人类判断的一致性及数据多样性。
2025-07-24 cs.CL cs.CV
Non-Attentive Tacotron: Robust and Controllable Neural TTS Synthesis Including Unsupervised Duration Modeling
Google Research(谷歌研究院);NVIDIA(英伟达)
本文提出了基于Tacotron 2文本到语音模型的非注意Tacotron,用显式持续时间预测器代替注意力机制。这提高了鲁棒性显着测量不对齐的持续时间比和字删除率,本文介绍的两个指标,使用预训练的语音识别模型的大规模鲁棒性评估。通过使用高斯上采样,Non-Attentive Tacotron实现了自然度的5级平均意见评分为4.41,略优于Tacotron 2。持续时间预测器使得能够在推断时间处对持续时间进行全话语范围和每个音素控制。当准确的目标持续时间是稀缺的或不可用的训练数据,我们提出了一种方法,使用细粒度的变分自动编码器训练的持续时间预测在半监督或无监督的方式,结果几乎一样好监督训练。
2021-05-11 cs.CL cs.SD
Identifying Spurious Correlations for Robust Text Classification
Illinois Institute of Technology(伊利诺伊理工学院);Tulane University(杜兰大学)
文本分类器的预测通常是由虚假的相关性驱动的,例如,术语“斯皮尔伯格”与正面评论的电影相关,即使该术语本身在语义上并不传达正面的情感。在本文中,我们提出了一种方法来区分虚假和真正的相关性在文本分类。我们将其视为一个监督分类问题,使用来自治疗效果估计的特征来区分虚假的相关性与“真正的”相关性。由于这些功能的通用性和它们的小维度,我们发现,即使有限的训练样本的方法工作得很好,它是可能的运输词分类到新的领域。在四个数据集(情感分类和毒性检测)上的实验表明,使用这种方法来通知特征选择也会导致更鲁棒的分类,这是通过改善受虚假相关影响的样本的最坏情况准确性来衡量的。
2020-10-06 cs.CL cs.IR cs.LG
Cyberbullying Classifiers are Sensitive to Model-Agnostic Perturbations
Tilburg University(蒂尔堡大学);University of Antwerp(安特卫普大学);Explosion(Explosion公司)
有限数量的研究调查了模型不可知的对抗行为在有毒物质分类中的作用。由于毒性分类器主要依赖于词汇线索,(故意)创造性和不断发展的语言使用可能会损害当前语料库和最先进模型的实用性,当它们被部署用于内容审核时。可用的训练数据越少,模型可能变得越脆弱。据我们所知,这项研究是第一个调查对抗行为和增强对网络欺凌检测的影响。我们证明,模型无关的词汇替换显着损害分类器的性能。此外,当这些扰动样本用于增强时,我们表明模型在整体任务性能略有权衡的情况下对字级扰动具有鲁棒性。在先前的毒性工作中提出的增强证明是不太有效的。我们的研究结果强调了在小语料库的在线危害领域进行此类评估的必要性。扰动数据、模型和代码可在https://github.com/cmry/augtox上复制
2022-01-17 cs.CL cs.CY cs.SI