李武军教授为通讯作者，硕士生林昊（已毕业，现工作于阿里巴巴）、吴轲、李杰为共同第一作者，博士生李俊为参与作者。训练成本高昂已经成为大模型和人工智能可持续发展的主要障碍之一。大模型的训练往往采用多机多卡的分布式训练，大模型的分布式训练挑战巨大