使用多模态语言模型对TikTok上的有害内容暴露情况进行审计：一项跨国、按年龄分层的研究
Auditing Exposure to Harmful Content on TikTok using Multimodal Language Models: A Cross-National, Age-Stratified Study
- Politecnico di Milano（米兰理工大学）
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
本研究使用多模态大语言模型Gemini 2.5 Flash，在法、意、瑞三国对TikTok开展跨国年龄分层审计，发现关键词搜索会大幅提升有害内容占比，意国各年龄组有害内容占比最高，平台安全过滤器低估了明确有害内容。
AI中文摘要：
在线视频平台可能会让年轻用户接触到有害内容，但由于视频标注成本高昂且审核判断因语言而异，独立审计仍存在困难。我们使用代表四种年龄角色（13岁、16岁、19岁、40岁）的马甲账号，在法国、意大利和瑞典对TikTok进行审计，通过被动的“为你推荐”页面滚动、主动滚动、搜索有害关键词后再滚动的会话，共收集了36971个视频。为了扩大标注规模，我们在300个视频的参考集上，以母语标注为基准验证了四个多模态大语言模型（Multimodal LLMs）。带有8个采样帧加文本的Gemini 2.5 Flash表现最佳（综合科恩kappa值为0.42），其每次调用成本仅为原生视频上传成本的一半，我们将其应用于10%的样本，两种模态的API总花费约为50美元。关键词搜索返回的有害内容占比为35%-56%，在12个国家-年龄组合中有10个组合的该比例比滚动基线高1.5-7.5倍；这种增长是暂时的，且抹平了法国和瑞典观察到的年龄差异。在被动滚动场景下，意大利各年龄组的有害内容占比均最高，其中意大利19岁年龄组达到48.6%。总体而言，基于多模态大语言模型的审计为跨国青少年安全审计提供了可扩展的方法，而平台提供商的安全过滤器（1.1%的弃权（不执行）率）低估了最明确的有害内容。
英文摘要：
Online video platforms can expose young users to harmful content, but independent audits remain difficult because video annotation is costly and moderation judgments vary across languages. We audit TikTok in France, Italy, and Sweden with sockpuppet accounts representing four age personas (13, 16, 19, 40), collecting 36,971 videos from passive For-You-page scrolling and active sessions that scroll, search for harm keywords, and scroll again. To scale annotation, we validate four multimodal LLMs against native-speaker labels on a 300-video reference set. Gemini 2.5 Flash with eight sampled frames plus text performs best (aggregate kappa = 0.42), at half the per-call cost of native-video upload, and we apply it to a 10% sample for approximately \$50 in total API spend across both modalities. Keyword search returns 35-56% harmful content, a 1.5-7.5x increase over the scrolling baseline in ten of twelve country-age combinations; the spike is temporary and flattens the age differences observed in France and Sweden. Under passive scrolling, Italy has the highest harm rate at every age, with Italian age-19 reaching 48.6%. Overall, MLLM-based auditing offers a scalable approach for cross-national youth-safety audits, while provider safety filters (1.1% refusal rate) under-count the most explicit harms.
