AAAI

Findings of the Counter Turing Test: AI-Generated Image Detection

反图灵测试结果：AI生成图像检测

Rajarshi Roy, Nasrin Imanpour, Ashhar Aziz, Shashwat Bajpai, Gurpreet Singh, Shwetangshu Biswas, Kapil Wanaskar, Parth Patwa, Subhankar Ghosh, Shreyas Dixit, Nilesh Ranjan Pal, Vipula Rawte, Ritvik Garimella, Amitava Das, Amit Sheth, Vasu Sharma, Aishwarya Naresh Reganti, Vinija Jain, Aman Chadha

机构 * Kalyani Government Engineering College（卡利尼政府工程学院） ； University of South Carolina（南卡罗来纳大学） ； IIIT Delhi（德里IIIT） ； BITS Pilani Hyderabad Campus（比斯潘尼 Hyderabad 分校） ； IIIT Guwahati（果阿瓦提IIIT） ； NIT Silchar（西里char 工科院） ； San José State University（桑乔斯州立大学） ； UCLA（加州大学洛杉矶分校） ； Washington State University（华盛顿州立大学） ； Vishwakarma Institute of Information Technology（维斯瓦克arma 信息科技学院） ； Meta AI ； Amazon AI（亚马逊AI） ； BITS Pilani Goa（比斯潘尼 Goa 分校） 纠错

AI总结 本文通过Defactify 4.0工作坊的反图灵测试竞赛，评估了多种检测方法在区分AI生成图像与真实图像及识别具体生成模型上的性能，发现检测准确率较高但模型识别仍具挑战。

Comments Defactify4 @AAAI 2025

Findings of the Counter Turing Test: AI-Generated Text Detection

反图灵测试的发现：AI生成文本检测

Rajarshi Roy, Gurpreet Singh, Ashhar Aziz, Shashwat Bajpai, Nasrin Imanpour, Shwetangshu Biswas, Kapil Wanaskar, Parth Patwa, Subhankar Ghosh, Shreyas Dixit, Nilesh Ranjan Pal, Vipula Rawte, Ritvik Garimella, Amitava Das, Amit Sheth, Vasu Sharma, Aishwarya Naresh Reganti, Vinija Jain, Aman Chadha

机构 * Kalyani Government Engineering College（卡利尼政府工程学院） ； IIIT Delhi（德里IIIT） ； BITS Pilani Hyderabad Campus（比斯汉学院海得拉巴校区） ； AI Institute, University of South Carolina（南卡罗来纳大学人工智能研究所） ； IIIT Guwahati（古瓦哈提IIIT） ； NIT Silchar（西里char理工学院） ； San José State University（圣何塞州立大学） ； UCLA（加州大学洛杉矶分校） ； Washington State University（华盛顿州立大学） ； Vishwakarma Institute of Information Technology（维斯瓦卡马信息科技学院） ； Meta AI ； Amazon AI（亚马逊人工智能） ； BITS Pilani Goa（比斯汉学院果阿） 纠错

AI总结 本文通过反图灵测试（CT2）共享任务，评估了AI生成文本检测技术的有效性，发现二分类任务表现优异（F1=1.0000），但模型归因任务更具挑战性（最佳F1=0.9531），并分析了微调Transformer、集成学习等方法的优劣。

Comments Defactify4 @AAAI 2025

A Comprehensive Dataset for Human vs. AI Generated Text Detection

人类与AI生成文本检测的综合数据集

Rajarshi Roy, Gurpreet Singh, Ashhar Aziz, Shashwat Bajpai, Nasrin Imanpour, Shwetangshu Biswas, Kapil Wanaskar, Parth Patwa, Subhankar Ghosh, Shreyas Dixit, Nilesh Ranjan Pal, Vipula Rawte, Ritvik Garimella, Gaytri Jena, Amitava Das, Amit Sheth, Vasu Sharma, Aishwarya Naresh Reganti, Vinija Jain, Aman Chadha

机构 * Kalyani Government Engineering College（卡利尼政府工程学院） ； IIIT Guwahati（古瓦哈提理工学院） ； IIIT Delhi（德里理工学院） ； BITS Pilani Hyderabad Campus（比什帕利 Hyderabad 分校） ； University of South Carolina（南卡罗来纳大学） ； NIT Silchar（西里 char 工程学院） ； San José State University（桑乔斯州立大学） ； UCLA（加州大学洛杉矶分校） ； Washington State University（华盛顿州立大学） ； Vishwakarma Institute of Information Technology（维斯瓦卡arma 信息科技学院） ； Gandhi Institute for Technological Advancement（甘地技术进步研究所） ； BITS Pilani Goa（比什帕利 Goa 分校） ； Meta AI ； Amazon AI（亚马逊AI） 纠错

AI总结 本文提出了一个包含73,193个文本样本的综合数据集，结合真实纽约时报文章与多个先进LLM生成的合成文本，用于区分人类与AI生成文本及归因任务，基线准确率分别为58.35%和8.92%。

Comments Defactify4 @AAAI 2025

How Much Do Large Language Model Cheat on Evaluation? Benchmarking Overestimation under the One-Time-Pad-Based Framework

大型语言模型在评估中作弊了多少？基于一次性密码本的框架下的高估基准测试

Zi Liang, Liantong Yu, Shiyu Zhang, Qingqing Ye, Haibo Hu

机构 * Tech Startups（科技初创公司） 纠错

AI总结 针对大型语言模型在公开基准测试中因数据污染或训练偏差导致评估结果虚高的问题，提出基于一次性密码本加密思想的动态评估框架ArxivRoll，包含自动生成私有测试用例的SCP模块和衡量污染与偏差比例的Rugged Scores指标，实现可重复、透明且高效的评估。

Comments This paper has been accepted by AAAI 2026. We update it for adding new evaluation results for ArxivRollBench-2025a and ArxivRollBench-2026a, with the evaluation of timly models like DeepSeekV4Pro, GPT-5.5, Claude-Opus-4.7, and so on. Source code: https://github.com/liangzid/ArxivRoll/ Online Leaderboard Website: https://arxivroll.moreoverai.com/

Multi-Pair Temporal Sentence Grounding via Multi-Thread Knowledge Transfer Network

多对时序句子定位的多线程知识迁移网络

Xiang Fang, Wanlong Fang, Changshuo Wang, Daizong Liu, Keke Tang, Jianfeng Dong, Pan Zhou, Beibei Li

机构 * Sichuan University（四川大学） ； Nanyang Technological University, Singapore（南洋理工大学，新加坡） ； Peking University（北京大学） ； Guangzhou University（广州大学） ； Zhejiang Gongshang University（浙江工商大学） 纠错

AI总结 提出多对时序句子定位新任务，并设计多线程知识迁移网络，通过跨模态对比、原型对齐和自适应负样本选择实现多对视频-查询对的协同训练。

Comments Accepted by AAAI 2025