Meta

ERASE: EaRly bAckpropagation SchEdule for Faster Training of Modern Recommendation Systems

ERASE：用于现代推荐系统更快训练的早期反向传播调度方案

Ergan Shang, Flavio Sales Truzzi

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Meta Inc.（元公司） 纠错

AI总结 该研究针对轻量级代理模型训练时加速器利用率低的问题，提出ERASE方案，通过分离子图反向传播与前向工作重叠，使大规模点击率模型训练吞吐量提升最高9.51%且保持性能稳定。

Accurate Decoding of Natural Sentences from Non-Invasive Brain Recordings

从非侵入式脑记录中准确解码自然句子

Mingfang Zhang, Jarod Lévy, Cedric Rommel, Jérémy Rapin, Corentin Bel, Julie Bonnaire, Daniel Nieto, Pierre Bourdillon, Svetlana Pinet, Stéphane d'Ascoli, Thomas Moreau, Jean-Rémi King

机构 * Meta AI ； École Normale Supérieure（高等师范学院） ； Université PSL（巴黎文理大学） ； CNRS（法国国家科学研究中心） ； Hospital Foundation Adolphe de Rothschild（阿道夫·德·罗斯柴尔德医院基金会） ； Univ. Lille（里尔大学） ； Basque Center on Cognition, Brain and Language（巴斯克认知、大脑与语言中心） ； Paris Cité University（巴黎城市大学） ； Inria（法国国家信息与自动化研究所） ； Université Paris-Saclay（巴黎萨克雷大学） ； INSERM（法国国家健康与医学研究院） ； CEA（法国原子能和替代能源委员会） 纠错

AI总结 本研究提出Brain2Qwerty v2模型，利用MEG记录解码自然句子，平均WER为39%，准确率随数据量提升，通过AI技术缩小非侵入式与颅内脑机接口的性能差距。

Comments Mingfang Zhang and Jarod Lévy contributed equally to this work

From Tokens to Thoughts: How LLMs and Humans Trade Compression for Meaning

从标记到思考：LLMs和人类如何在压缩与意义之间进行权衡

Chen Shani, Liron Soffer, Dan Jurafsky, Yann LeCun, Ravid Shwartz-Ziv

机构 * Stanford University（斯坦福大学） ； Tel Aviv University（特拉维夫大学） ； New York University（纽约大学） ； Meta - FAIR 纠错

AI总结 本文通过信息瓶颈框架比较人类与LLMs的概念结构，发现LLMs在压缩效率上优于人类，但牺牲了语义丰富性，揭示了人工与自然智能的本质差异。