教师个人主页

龚炜

  • 助理教授(长聘体系)
  • 教师拼音名称: gongwei
  • 电子邮箱:
  • 学历: 博士研究生毕业
  • 学位: 工学博士学位
  • 毕业院校: 中国科学院大学
  • 学科:控制科学与工程
    金融
访问量:0000019036

开通时间:..

最后更新时间:..

跨域异构算力环境下大模型高效训练的分布式优化理论与关键技术

为突破跨域异构算力环境下大模型训练通信开销大、并行效率低的瓶颈,提出基于计算图的细粒度模型拆分算法,支持无需修改代码的灵活流水线并行;设计时空双流重叠优化策略,在高时延低带宽条件下逼近理论最优训练耗时;进一步提出基于流水线计划的AllReduce自动分组机制,实现异构GPU集群的高效3D混合并行。研究成果作为DeepLink超大规模跨域混训支撑技术,完成上海—济南1500公里跨域千亿参数大模型混训验证,被中国信通院、上海市通信管理局等官方微信公众号报道,为构建面向智能体协同学习的国产化算力底座提供关键技术支撑。