昇思MindSpore是由华为自研的一种适用于端边云场景的新型开源深度学习训练/推理框架,MindSpore提供了友好的设计和高效的执行,旨在提升数据科学家和算法工程师的开发体验,并为Ascend AI处理器提供原生支持,以及软硬件协同优化。

image.png


  • MindSpore构建了基于数据量、模型参数量、网络集群拓扑带宽等信息的代价模型(Cost Model),自动选择一种代价最小的模型切分方式,并绑定模型到设备执行,实现自动分布式并行训练。

  • MindSpore中的数据处理功能名为MindData,用于完成训练过程中数据的pipeline处理,具备数据加载、数据增强、导入训练等功能,并提供了简单易用的编程接口,以及覆盖CV/NLP等全场景的丰富数据处理能力。

  • MindSpore也支持分布式训练。

  • 在分布式数据并行模式下,在每个批量batch之后,计算和模型信息会被分布到工作对象中,并提供了“切片与重采样”两种调整迭代数和分割数据的方法。

  • 最后,承担MindSpore前端与底层硬件交互任务的是图引擎模块。

  • 它是MindSpore内部进行图处理的模块,负责将管理引擎传下来的图进行一系列的图操作,最终转化为可以在底层硬件上直接运行的图,并对图中所用到的所有算子进行分配与管理。

  • 在图处理过程中,图引擎会统一定义各插件模块需要提供的接口,具体的插件由不同的功能模块根据自己的能力提供,它会根据不同的插件提供的能力,实现最优的执行选择,来保证性能。

@版权声明:部分内容从网络收集整理,如有侵权,请联系删除!

类似网站