跨域异构算力环境下大模型高效训练的分布式优化理论与关键技术
为突破跨域异构算力环境下大模型训练通信开销大、并行效率低的瓶颈，提出基于计算图的细粒度模型拆分算法，支持无需修改代码的灵活流水线并行；设计时空双流重叠优化策略，在高时延低带宽条件下逼近理论最优训练耗时；进一步提出基于流水线计划的AllReduce自动分组机制，实现异构GPU集群的高效3D混合并行。研究成果作为DeepLink超大规模跨域混训支撑技术，完成上海—济南1500公里跨域千亿参数大模型混训验证，被中国信通院、上海市通信管理局等官方微信公众号报道，为构建面向智能体协同学习的国产化算力底座提供关键技术支撑。