在人工智能大模型迅猛发展的当下，大模型参数和计算量呈指数级增长，大规模深度学习模型的训练离不开多硬件设备的分布式计算。北京大学大数据分析与应用技术国家工程实验室数据管理与分析中心崔斌教授团队创新研发了面向昇腾芯片的高效大模型分布式训练框架，大幅提升了大规模分布式训练的效率。

针对模型训练任务的多样性和复杂性所带来的负载不均问题，研究团队创新设计出了细粒度模型切分与并行策略搜索算法。此方法对芯片强大的计算资源进行合理管理，结合算子优化技术对训练策略的适配，完成了统一训练接口到智能切分策略的全过程。首先通过总结多种大模型训练的共同特点，设计出统一的接口来启动和管理不同任务负载的模型训练任务，对训练时所花费的算力、内存、网络通信等进行精确地计算。接着基于这些数据细致拆解庞大且复杂的大模型，根据不同模块分配不同的训练策略以适应各模块的负载差异，实现训练任务的高效并行。目前，该方案已实现比分片数据并行、3D并行等全局模版化并行方案提升15%的训练效率。

除此之外，团队还解决了分布式计算所涉及的硬件间通信传输效率问题。结合高速互联总线技术的高带宽低时延优势，系统会根据不同的通信需求，对硬件设备进行分组以优化组队时间，运用计算通信重叠技术让“计算”和“通信”同步进行，提高训练流水线的效率，并在模型切分的决策时考虑计算通信重叠的性能影响，综合多方面因素选取最适合的分布式运行方案，最终实现数据传输效率和资源利用率的最大化。

该研究成果不仅为模型大规模训练提供了高效的解决方案，更展现了自主算力在分布式计算领域的巨大潜力。目前，研究成果已在国际顶级学术会议SIGMOD、VLDB、NeurIPS、ICLR等发表多篇论文，为国内AI技术突破提供了理论支撑与实践范式。未来，研究团队将持续加速AI前沿技术在自主计算平台的深度落地，为我国人工智能产业的自主化突破提供强劲动能。

团队介绍

北京大学大数据分析与应用技术国家工程实验室数据管理与分析中心崔斌教授课题组长期进行数据库系统、大数据管理和分析、机器/深度学习系统（AI Infra）等领域的研究，已发表CCF A类学术论文200多篇，获得多项国际会议/期刊最佳论文奖、世界互联网大会领先科技奖、国际测试委员会百大开源成果奖等奖项。团队所研发的分布式机器/深度学习系统Hetu和自动并行分布式训练框Galvatron等成果均已开源（https://github.com/PKU-DAIR），并在产业界得到广泛应用。

崔斌

北京大学大数据分析与应用技术国家工程实验室数据管理与分析中心主任、北京大学计算机学院教授、数据科学与工程研究所所长。在相关领域发表学术论文200多篇。主持和承担多个科研项目，如国家自然科学基金、核高基项目、863计划等。他担任中国计算机学会数据库专委会副主任，VLDB理事会理事，IEEE TKDE、VLDB Journal、Information Systems、DAPD等国际期刊编委，担任过数十个国际会议的程序委员会委员，包括一流国际会议SIGMOD、VLDB、ICDE、KDD等。是中国计算机学会会士，IEEE Fellow。研究方向：数据库系统、大数据管理与分析、AI系统。

文章来源：华为计算

转载本网文章请注明出处