一、分布式训练的时代之困：当模型规模突破单机边界2025 年的深度学习领域，GPT-5 级别的万亿参数模型已成为科研标配，单节点训练所需的显存容量（2.3TB）远超现有硬件极限（H100 NVL 188GB）。MXNet 的分布式架构在此时