GQ-VAE: A gated quantized VAE for learning variable length tokens
GQ-VAE:一种门控量化变分自编码器,用于学习可变长度令牌
机构 * Kempner Institute, Harvard University(哈佛大学凯姆纳研究所)
AI总结 GQ-VAE通过门控量化变分自编码器实现可变长度令牌学习,提升了压缩和语言建模性能,并在下游语言模型学习中表现更优。
高校专区
GQ-VAE:一种门控量化变分自编码器,用于学习可变长度令牌
机构 * Kempner Institute, Harvard University(哈佛大学凯姆纳研究所)
AI总结 GQ-VAE通过门控量化变分自编码器实现可变长度令牌学习,提升了压缩和语言建模性能,并在下游语言模型学习中表现更优。
倾斜匹配用于可扩展的采样与微调
机构 * Harvard University(哈佛大学) ; University of Oxford(牛津大学) ; Kempner Institute(凯普纳研究所) ; IAIFI
AI总结 本文提出了一种基于倾斜匹配的算法,用于高效且可扩展地进行生成模型采样与微调,无需奖励梯度或轨迹反向传播。
SlowFast-SCI: 慢-快深度展开学习用于光谱压缩成像
机构 * Harvard University(哈佛大学) ; Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)) ; Shanghai Jiaotong University(上海交通大学) ; City University of Hong Kong(香港城市大学) ; Harbin Institute of Technology, Weihai(哈尔滨工业大学(威海)) ; The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
AI总结 SlowFast-SCI是一种双速深度展开框架,通过预训练和自适应模块实现高效自适应的光谱重建,显著提升参数效率和适应速度。
Comments 10 pages
统计学习与深度学习模型用于估计美国物质过量死亡率
机构 * Harvard University(哈佛大学) ; Boston Children's Hospital(波士顿儿童医院) ; Broad Institute of MIT and Harvard(MIT和哈佛联合研究所) ; Massachusetts Institute of Technology(麻省理工学院) ; Harvard Medical School(哈佛医学院)
AI总结 本文比较了统计模型与深度学习模型在预测美国物质过量死亡率方面的性能,发现LSTM在预测结构变化时表现更优,而基于注意力的模型因过度拟合历史数据而表现不佳。
动态注意力(DynAttn):可解释的高维时空预测(应用于冲突死亡人数)
机构 * Harvard University, Institute for Quantitative Social Science(哈佛大学量化社会科学研究所) ; Stockholm University Demography Unit(斯德哥尔摩大学人口学单位) ; Malmö University, Department of Global Political Studies(马尔默大学全球政治研究系) ; University of Catania, Department of Political and Social Sciences(卡塔尼亚大学政治与社会科学系) ; University of Toronto, Graduate School of Public and International Affairs(多伦多大学公共与国际事务研究生院)
AI总结 DynAttn通过动态注意力机制实现高维时空预测,应用于冲突死亡人数预测,提供可解释的预测结果和结构化分析。