PSK@EEUCA 2026: Fine-Tuning Large Language Models with Synthetic Data Augmentation for Multi-Class Toxicity Detection in Gaming Chat
Independent Researcher(独立研究员)
本文提出通过合成数据增强微调大语言模型,用于游戏聊天中的多类毒性检测,实验结果显示在测试集上达到0.6234的F1-macro分数,发现验证性能高反而导致测试转移差的'验证陷阱'现象。
2026-05-08 cs.AI cs.CL cs.LG
Breaking Bad Tokens: Detoxification of LLMs Using Sparse Autoencoders
Siebel School of Computing and Data Science(计算机与数据科学学院)
本文利用稀疏自编码器识别并引导LLM残差流中的毒性方向,在GPT-2 Small和Gemma-2-2B上实现最多20%的毒性降低,同时保持基准性能,并揭示特征分裂对安全干预的阻碍。
2025-10-23 cs.CL
How Toxic Can You Get? Search-based Toxicity Testing for Large Language Models
Politecnico di Milano(米兰理工大学)
EvoTox通过迭代进化策略评估LLM的毒性倾向,有效检测毒性水平并控制成本开销。
2025-10-24 cs.AI cs.CL cs.SE
The Role of Fine-grained Harm Signals in LLM Safety
KAIST(韩国科学技术院)
本研究通过分离LLM中类别特异性危害表征,发现细粒度类别残差在编码危害性和引发拒绝上因类别而异,且能增强下游通用危害对齐,强调除通用表征外需考虑细粒度信号以全面理解LLM安全。
2026-09-21 cs.CL
thaulab@EEUCA 2026: Who Said What to Whom? A Targeting-Aware Neural-Symbolic Pipeline for Gaming Toxicity Detection
ETSI de Telecomunicación, Universidad Politécnica de Madrid(马德里理工大学电信工程技术学院)
针对EEUCA 2026游戏聊天毒性分类任务,提出结合紧凑型变压器集成与语言信息中介的三阶段管道,通过特定策略解决类不平衡问题,在官方测试集上取得优异成绩,管道具领域可移植性。
2026-07-24 cs.CL cs.LG
Centering the Margins: Outlier-Based Identification of Harmed Populations in Toxicity Detection
UC Berkeley(加州大学伯克利分校)
本文提出用异常值检测识别毒性检测数据集中远离规范的人口和文本群体,发现这些边缘群体面临更差的模型性能和更严重的分类错误,证明该方法比传统人口分组分析更能揭示交叉性群体的伤害。
2023-12-01 cs.AI cs.CL cs.LG
Deep Residual Output Layers for Neural Language Generation
Idiap Research Institute(Idiap研究所)
包括语言生成在内的许多任务都受益于学习输出空间的结构,特别是当输出标签的空间很大并且数据稀疏时。最先进的神经语言模型在其分类器权重中间接捕获输出空间结构,因为它们缺乏跨输出标签的参数共享。学习共享输出标签映射有帮助,但现有的方法表达能力有限,并且容易过拟合。在本文中,我们研究了更强大的共享映射对输出标签的有用性,并提出了一种在层之间具有dropout的深度残差输出映射,以更好地捕捉输出空间的结构并避免过拟合。对三个语言生成任务的评估表明,我们的输出标签映射可以匹配或改进最先进的递归和自注意架构,并建议分类器不一定需要高秩,以更好地建模自然语言,如果它更好地捕捉输出空间的结构。
2019-05-22 cs.CL
Mitigating Negative Transfer with Task Awareness for Sexism, Hate Speech, and Toxic Language Detection
Universitat Politècnica de València(瓦伦西亚理工大学);RMIT University(皇家墨尔本理工大学)
本文提出基于任务感知的多任务学习方法以缓解负迁移问题,并在EXIST-2021和HatEval-2019基准上取得性别歧视、仇恨言论和有毒语言检测的最新最优性能。
2023-07-07 cs.CL cs.LG
Task-Specific Sparse Feature Masks for Molecular Toxicity Prediction with Chemical Language Models
School of Science and Technology(科学与技术学院);Hong Kong Metropolitan University(香港 Metropolitan 大学);Faculty of Engineering(工程学院);Hong Kong Polytechnic University(香港理工大学)
本文提出了一种多任务学习框架,通过稀疏注意力机制提升化学分子毒性预测的准确性和可解释性。
2025-12-12 cs.AI cs.CE cs.CL
from Benign import Toxic: Jailbreaking the Language Model via Adversarial Metaphors
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);People’s Public Security University of China(中国人民公安大学);Tsinghua University(清华大学)
通过对抗隐喻诱导语言模型生成有害内容,提出AVATAR框架以提升jailbreak攻击效果。
2026-02-11 cs.AI cs.CL cs.CR
Usage-Modulated Sentiment Representations in Large Language Models
William & Mary(威廉与玛丽学院)
本研究证明大型语言模型中情感表示不仅包含共享极性方向,还受用法因素调制,残差结构可被擦除和引导,为情感控制提供新方法。
2026-10-06 cs.CL
HASOCOne@FIRE-HASOC2020: Using BERT and Multilingual BERT models for Hate Speech Detection
International Institute of Information Technology - Hyderabad(海得拉巴国际信息技术学院)
由于社交媒体的指数增长,仇恨和有毒内容已成为当今世界的一个重大问题。仇恨言论和有害内容的增加促使研究人员在仇恨内容识别的挑战性方向上投入大量精力。在这项任务中,我们提出了一种方法来自动分类仇恨言论和攻击性内容。我们使用了从FIRE 2019和2020共享任务中获得的数据集。我们利用迁移学习模型进行实验。我们观察到预训练的BERT模型和多语言BERT模型给出了最好的结果。该代码可在https://github.com/suman101112/hasoc-fire-2020上免费获得。
2021-01-22 cs.CL
The RepEval 2017 Shared Task: Multi-Genre Natural Language Inference with Sentence Representations
New York University(纽约大学);DeepMind
本文介绍了RepEval 2017共享任务的结果,该任务在Williams等人(2017)最近引入的多类型自然语言推理语料库(MultiNLI)上评估了神经网络句子表示学习模型。所有五个参与团队都击败了Williams等人报告的双向LSTM(BiLSTM)和连续词袋基线。最好的单一模型使用具有剩余连接的堆叠BiLSTM来提取句子特征,并在体裁匹配测试集上达到74.5%的准确率。令人惊讶的是,在体裁匹配和体裁不匹配的测试集上,以及在代表各种语言现象的测试数据的子集上,竞争的结果相当一致,这表明所有提交的系统都学会了合理的独立于领域的句子意义表示。
2017-07-25 cs.CL
The LMU Munich System for the WMT 2020 Unsupervised Machine Translation Shared Task
LMU Munich(慕尼黑大学)
本文介绍了提交LMU慕尼黑WMT 2020无监督的共享任务,在两个语言方向,德语<->上索布语。我们的核心无监督神经机器翻译(UNMT)系统遵循Chronopoulou等人(2020)的策略,使用单语预训练的语言生成模型(德语)并在德语和上索布语上对其进行微调,然后初始化UNMT模型,该模型通过在线反向翻译进行训练。从无监督统计机器翻译(USMT)系统获得的伪并行数据用于微调UNMT模型。我们还应用BPE辍学的低资源(上索布族)的数据,以获得一个更强大的系统。我们还用残余适配器进行了实验,发现它们在上索布语->德语方向上很有用。我们探讨了在回译和课程学习中的抽样,以更有原则的方式使用SMT翻译。最后,我们集成了我们表现最好的系统,并在德语->上索布语和上索布语->德语上达到32.4和35.2的BLEU分数。
2020-10-25 cs.CL
Discovering a Shared Logical Subspace: Steering LLM Logical Reasoning via Alignment of Natural-Language and Symbolic Views
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Computer & Information Science and Engineering, University of Florida(佛罗里达大学计算机与信息科学与工程系)
本文提出通过对齐自然语言和符号视角的逻辑子空间来提升LLM的多步逻辑推理能力,通过实验验证该方法在四个基准测试中提升了准确率并具备良好的泛化能力。
2026-04-21 cs.CL
Time Travel Engine: A Shared Latent Chronological Manifold Enables Historical Navigation in Large Language Models
Peking University(北京大学);Zhejiang University(浙江大学)
时间旅行引擎通过共享的潜在时间流形,使大型语言模型能够导航历史,揭示语言模型中时间进程的连续几何结构。
2026-01-10 cs.CL
Shared Latent Structures Enable Unified Backdoor Detection and Mitigation in LLMs
Deakin University(迪肯大学);Mila, Quebec AI Institute(魁北克人工智能研究所Mila)
发现大语言模型中多种后门攻击共享潜在机制,通过稀疏自编码器检测因果特征,并提出双向激活操控和概念消融微调实现统一检测与缓解。
2026-06-06 cs.AI cs.CL
One to rule them all: Towards Joint Indic Language Hate Speech Detection
NeuralSpace(NeuralSpace 公司)
本文是对2021年印欧语言仇恨言论和攻击性内容识别(HASOC)共享任务的贡献。今天的社交媒体是各种语言的有毒和仇恨对话的温床。最近的新闻报道表明,目前的模型很难自动识别以少数民族语言发布的仇恨。因此,有效遏制仇恨言论是一个严峻的挑战和令人感兴趣的问题。我们提出了一个多语言架构,使用最先进的Transformer语言模型,共同学习仇恨和攻击性的语音检测跨三种语言,即英语,印地语和马拉地语。在所提供的测试语料中,子任务1A的宏F1得分分别为0.7996、0.7748、0.8651,子任务1B的细粒度分类的宏F1得分分别为0.6268、0.5603。这些结果表明,利用多语种的培训计划的有效性。
2021-09-28 cs.CL
Hate Speech and Offensive Language Detection using an Emotion-aware Shared Encoder
Samovar(萨莫瓦实验室);Telecom SudParis(南巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院)
社交媒体平台的兴起从根本上改变了人们的沟通方式,这些发展的结果之一是在线使用滥用内容的增加。因此,自动检测这些内容对于禁止不适当的信息,减少社交媒体平台上的毒性和暴力至关重要。现有的仇恨言论和攻击性语言检测工作基于预训练的Transformer模型产生了有希望的结果,然而,他们只考虑了通过注释数据集生成的滥用内容特征的分析。本文提出了一种多任务联合学习方法,该方法结合了从另一个语料库中提取的外部情感特征,以处理标记数据集的不平衡和稀缺性。我们的分析使用了两个著名的基于transformer的模型,BERT和mBERT,后者用于解决多语言场景中的滥用内容检测。我们的模型通过Transformers的共享编码器共享表示,联合学习滥用内容检测和情感特征。这种方法提高了数据效率,通过共享表示减少过拟合,并通过利用辅助信息确保快速学习。我们的研究结果表明,情感知识有助于更可靠地识别数据集中的仇恨言论和攻击性语言。我们的仇恨语音检测多任务模型表现出3%的性能提高基线模型,但多任务模型的性能不显着的攻击性语言检测任务。更有趣的是,在这两个任务中,多任务模型比单任务模型表现出更少的假阳性错误。
2023-02-17 cs.CL cs.IT cs.LG
Training Leaves Traces: Centered Residual Signatures for Language Model Lineage Verification
Amazon(亚马逊);Massachusetts Institute of Technology(麻省理工学院)
本研究提出中心化残差特征方法,通过移除残差训练产生的共享身份对齐组件,对比残差块特有结构得到谱系分数,可高效准确验证开源权重语言模型检查点的谱系
2026-09-24 cs.CL cs.LG
Semantic Convergence: Investigating Shared Representations Across Scaled LLMs
本研究针对不同规模的Gemma-2模型,通过SAE特征提取与对齐方法验证大语言模型存在跨规模的语义共享表征,为跨模型可解释性提供了支撑。
2025-07-21 cs.CL cs.LG
From Relation-Specific Heads to Shared Interventions: Contextual Entrainment in Language Models
McGill University(麦吉尔大学);Dalian University of Technology(大连理工大学)
本研究针对语言模型的语境夹带问题,发现其机制存在跨关系共享的注意力头,提出用异构攻击提示揭示共享干预目标,可减少有害复制并保留模型常规能力。
2026-10-14 cs.AI cs.CL