马斯克xAI首个研究成果发布
2023-10-30 11:35118373
10月21日消息,近日,马斯克xAI首个研究成果发布,创始成员、丘成桐弟子杨格为共同一作,该论文延续了他此前的研究——描述神经网络架构的统一编程语言Tensor Programs,重点探讨了“如何训练无限深度网络”。据介绍,Tensor Programs是杨格的一项长期研究目标:用数学语言,建立能够描述和分析神经网络架构的底层编程语言,其相关成果在GPT-4中已有应用。此次发表的论文研究的是残差网络(ResNet)在深度方向的扩展,作者提出了Depth-μP方法,可以实现深度方向上的超参数迁移。
2