龚炜
- 助理教授(长聘体系)
- 教师拼音名称: gongwei
- 电子邮箱:
- 学历: 博士研究生毕业
- 学位: 工学博士学位
- 毕业院校: 中国科学院大学
- 学科:控制科学与工程
金融
访问量:0000019036
开通时间:..
最后更新时间:..
当前位置:
中文主页
>>研究方向
跨域异构算力环境下大模型高效训练的分布式优化理论与关键技术
为突破跨域异构算力环境下大模型训练通信开销大、并行效率低的瓶颈,提出基于计算图的细粒度模型拆分算法,支持无需修改代码的灵活流水线并行;设计时空双流重叠优化策略,在高时延低带宽条件下逼近理论最优训练耗时;进一步提出基于流水线计划的AllReduce自动分组机制,实现异构GPU集群的高效3D混合并行。研究成果作为DeepLink超大规模跨域混训支撑技术,完成上海—济南1500公里跨域千亿参数大模型混训验证,被中国信通院、上海市通信管理局等官方微信公众号报道,为构建面向智能体协同学习的国产化算力底座提供关键技术支撑。

