What LLMs Think When You Don't Tell Them What to Think About?
当你不告诉LLMs该思考什么时，它们会想什么？
机构 * Together AI ； Stanford University（斯坦福大学）
AI总结 研究揭示了LLMs在无明确主题输入下生成内容的分布特征，发现不同模型家族存在显著的主题偏好和内容深度差异，并公开了相关数据集和代码。
Comments NA
大厂专区
Together AI
Distilling Token-Trained Models into Byte-Level Models
将令牌训练模型蒸馏为字节级模型
机构 * Fuzhou University（福州大学） ； Fudan University（复旦大学） ； Together AI ； Nous Research
AI总结 本文提出了一种将令牌训练模型高效蒸馏为字节级模型的方法，通过两阶段课程实现端到端生成，验证了在有限数据下保持模型性能的可行性。
Comments 17 pages, 3 figures, 13 tables
