JacQuant: STE-Free Quantization-Aware Training via Learned Jacobian Surrogates
JacQuant: 通过学习的雅可比替代实现无STE的量化感知训练
机构 * Meta AI
AI总结 提出JacQuant框架,通过学习模型对参数变化的局部敏感性的轻量级替代,在不使用直通估计器的情况下稳定和加速量化感知训练,在低比特大语言模型上达到更高精度。
大厂专区
JacQuant: 通过学习的雅可比替代实现无STE的量化感知训练
机构 * Meta AI
AI总结 提出JacQuant框架,通过学习模型对参数变化的局部敏感性的轻量级替代,在不使用直通估计器的情况下稳定和加速量化感知训练,在低比特大语言模型上达到更高精度。
反图灵测试结果:AI生成图像检测
机构 * Kalyani Government Engineering College(卡利尼政府工程学院) ; University of South Carolina(南卡罗来纳大学) ; IIIT Delhi(德里IIIT) ; BITS Pilani Hyderabad Campus(比斯潘尼 Hyderabad 分校) ; IIIT Guwahati(果阿瓦提IIIT) ; NIT Silchar(西里char 工科院) ; San José State University(桑乔斯州立大学) ; UCLA(加州大学洛杉矶分校) ; Washington State University(华盛顿州立大学) ; Vishwakarma Institute of Information Technology(维斯瓦克arma 信息科技学院) ; Meta AI ; Amazon AI(亚马逊AI) ; BITS Pilani Goa(比斯潘尼 Goa 分校)
AI总结 本文通过Defactify 4.0工作坊的反图灵测试竞赛,评估了多种检测方法在区分AI生成图像与真实图像及识别具体生成模型上的性能,发现检测准确率较高但模型识别仍具挑战。
Comments Defactify4 @AAAI 2025
反图灵测试的发现:AI生成文本检测
机构 * Kalyani Government Engineering College(卡利尼政府工程学院) ; IIIT Delhi(德里IIIT) ; BITS Pilani Hyderabad Campus(比斯汉学院海得拉巴校区) ; AI Institute, University of South Carolina(南卡罗来纳大学人工智能研究所) ; IIIT Guwahati(古瓦哈提IIIT) ; NIT Silchar(西里char理工学院) ; San José State University(圣何塞州立大学) ; UCLA(加州大学洛杉矶分校) ; Washington State University(华盛顿州立大学) ; Vishwakarma Institute of Information Technology(维斯瓦卡马信息科技学院) ; Meta AI ; Amazon AI(亚马逊人工智能) ; BITS Pilani Goa(比斯汉学院果阿)
AI总结 本文通过反图灵测试(CT2)共享任务,评估了AI生成文本检测技术的有效性,发现二分类任务表现优异(F1=1.0000),但模型归因任务更具挑战性(最佳F1=0.9531),并分析了微调Transformer、集成学习等方法的优劣。
Comments Defactify4 @AAAI 2025
解码机器学习决策:面向大规模排序系统的智能体推理框架
机构 * Meta
AI总结 提出GEARS框架,通过智能体技能封装排序专家知识,将排序优化转化为自主发现过程,实现高层意图驱动的系统调控并保证生产可靠性。
Comments 12 pages, 5 figures
人类与AI生成图像检测的综合数据集
机构 * 1 Kalyani Government Engineering College, India. 2 IIIT Delhi, India. 3 BITS Pilani Hyderabad Campus, India. 4 University of South Carolina, USA. 5 IIIT Guwahati, India. 6 NIT Silchar, India. 7 San Jos\' e State University, USA. 8 UCLA, USA. 9 Washington State University, USA. 10 Vishwakarma Institute of Information Technology, India. 11 Gandhi Institute for Technological Advancement, India. 12 Meta AI, USA. 13 Amazon AI, USA. 14 BITS Pilani Goa, India.
AI总结 针对AI生成图像检测问题,构建了包含96000个真实与合成数据点的MS COCOAI数据集,并提出了图像真伪分类与生成模型识别两个任务。
人类与AI生成文本检测的综合数据集
机构 * Kalyani Government Engineering College(卡利尼政府工程学院) ; IIIT Guwahati(古瓦哈提理工学院) ; IIIT Delhi(德里理工学院) ; BITS Pilani Hyderabad Campus(比什帕利 Hyderabad 分校) ; University of South Carolina(南卡罗来纳大学) ; NIT Silchar(西里 char 工程学院) ; San José State University(桑乔斯州立大学) ; UCLA(加州大学洛杉矶分校) ; Washington State University(华盛顿州立大学) ; Vishwakarma Institute of Information Technology(维斯瓦卡arma 信息科技学院) ; Gandhi Institute for Technological Advancement(甘地技术进步研究所) ; BITS Pilani Goa(比什帕利 Goa 分校) ; Meta AI ; Amazon AI(亚马逊AI)
AI总结 本文提出了一个包含73,193个文本样本的综合数据集,结合真实纽约时报文章与多个先进LLM生成的合成文本,用于区分人类与AI生成文本及归因任务,基线准确率分别为58.35%和8.92%。
Comments Defactify4 @AAAI 2025
通过早期经验进行智能体学习
机构 * Meta Superintelligence Labs(Meta超智能实验室) ; FAIR at Meta(Meta的FAIR部门) ; The Ohio State University(俄亥俄州立大学)
AI总结 提出早期经验范式,利用智能体自身动作生成的交互数据(无需奖励信号)通过隐式世界建模和自我反思两种策略提升智能体在多样化环境中的效果和跨域泛化能力。
Comments ICML 2026
带随机协变量的激励探索:推荐系统的两阶段机制设计
机构 * Meta Platforms Inc(Meta公司) ; Department of Statistics and Data Science(统计学与数据科学系) ; University of California, Los Angeles, CA(加州大学洛杉矶分校)
AI总结 针对推荐系统中用户自利偏好下的探索-利用权衡问题,提出一种两阶段算法,通过激励相容的探索和逆比例间隙采样策略实现次线性遗憾并满足激励约束。
Comments ICML 2026
基于随机裁剪的高效DP-SGD用于大语言模型
机构 * Meta Platforms Inc(Meta平台公司) ; University of Southern California(南加州大学)
AI总结 提出DP-SGD-RC算法,利用随机迹估计(Hutchinson和Hutch++)降低每样本梯度范数估计的内存开销,在保持隐私保证的同时减少内存和计算复杂度。
Comments Accepted at ICML 2026
DUEL: 用于多模态推理的对抗性自我对弈
机构 * Meta AI
AI总结 提出DUEL框架,通过对抗性自我对弈从预训练VLM生成监督信号,结合长度归一化对数似然奖励,无需人工标注即可提升视觉推理与判别能力。
AutoResearchClaw: 基于人机协作的自我强化自主研究
机构 * Carnegie Mellon University(卡内基梅隆大学) ; Rutgers University(罗格斯大学) ; NEC Labs America(NEC美国实验室) ; Meta ; Stanford University(斯坦福大学) ; Google(谷歌公司) ; University of Washington(华盛顿大学)
AI总结 提出AutoResearchClaw多智能体自主研究系统,通过结构化辩论、自愈执行、可验证报告、七种人机协作模式和跨运行进化机制,在ARC-Bench基准上比AI Scientist v2提升54.7%。
稀疏混合专家模型中的软到硬路由
机构 * Meta Platforms, Inc(Meta平台)
AI总结 本文通过边界层微积分方法,研究了稀疏混合专家模型中softmax路由随温度趋于零时趋近于硬top-1路由的极限过程,并给出了基于路由界面邻域概率的定量误差界。
ScaleAcross Explorer:探索跨规模AI模型训练的通信优化
机构 * Harvard University(哈佛大学) ; Meta Platforms, Inc.(Meta平台公司)
AI总结 针对跨数据中心大规模AI模型训练(scale-across)的复杂设计空间,提出ScaleAcross Explorer优化器,通过联合优化并行放置、并行调度和网络层技术,实现高达64.62%的训练加速。
Comments 28 pages, 27 figures