达摩院实现全球最大 AI 预训练模型:参数破 10 万亿,超谷歌、微软
2021-11-11 14:3013621
阿里巴巴达摩院公布多模态大模型 M6 最新进展,其参数已从万亿跃迁至 10 万亿,规模远超 Google、微软此前发布的万亿级模型,成为全球最大的 AI 预训练模型。同时,M6 做到了业内极致的低碳高效,使用 512 GPU 在 10 天内即训练出具有可用水平的 10 万亿模型。相比去年发布的大模型 GPT-3,M6 实现同等参数规模,能耗仅为其 1%。
1
阿里巴巴达摩院公布多模态大模型 M6 最新进展,其参数已从万亿跃迁至 10 万亿,规模远超 Google、微软此前发布的万亿级模型,成为全球最大的 AI 预训练模型。同时,M6 做到了业内极致的低碳高效,使用 512 GPU 在 10 天内即训练出具有可用水平的 10 万亿模型。相比去年发布的大模型 GPT-3,M6 实现同等参数规模,能耗仅为其 1%。