豆包提出全新稀疏架构推理成本较MoE最高可降83%

近期，字节跳动豆包大模型团队提出了全新的稀疏模型架构UltraMem，该架构有效解决了MoE推理时高额的访存问题，推理速度较MoE架构提升2—6倍。

更重要的是，该架构能够将推理成本最高降低83%。

该研究还揭示了新架构的Scaling Law，证明其不仅具备优异的Scaling特性，更在性能上超越了MoE。

免责声明：该文章系本站转载，旨在为读者提供更多信息资讯。所涉内容不构成投资、消费建议，仅供读者参考。