×

签到

分享到微信

打开微信,使用扫一扫进入页面后,点击右上角菜单,

点击“发送给朋友”或“分享到朋友圈”完成分享

【开发者学院】中级课程—TensorFlow框架使用(2小节)(本文附课后小练习答案) 三叶虫2023-02-23 16:54:38 回复 查看 社区交流 干货资源
【开发者学院】中级课程—TensorFlow框架使用(2小节)(本文附课后小练习答案)

image.png

Cambricon TensorFlow 中级课程已更新,以下为简介及课后练习答案:

一、《基于 Cambricon TensorFlow2 的horovod分布式训练》

简介:理解分布式训练基本理论与 Horovod 框架的工作机理,掌握使用 Cambricon TensorFlow2 对常见网络进行分布式训练的能力

链接:TensorFlow 系列 – 星空体育开发者社区 ()

课后习题

Q1、CambriconTensorFlow2 使用什么通信库进行梯度 Allreduce?

Q2、为了让 CambriconTensorFlow2 可使用 Horovod进行分布式训练,CambriconHorovod
对原生 Horovod做了哪些修改?

Q3、使用 CambriconTensorFlow2 进行分布式训练时,相比于单机单卡训练,需要做哪些流程修改?

答案

A1、CNCL

A2、适配了Cambricon TensorFlow2和CNCL。具体是:

(1)向Cambricon TensorFlow注册了HorovodAllreduceOp;

(2)新增了TFReadyEvent类与TFOpContext类

(3)新增了MLUAllreduce类和CNCLAllreduce类

(4)新增了MLUContext类,MLUOpContext类,CNCLContext类,CNCLOpContext类

A3、horovod初始化,绑定计算设备到rank,封装梯度Tape,同步各节点初始参数

 

二、《基于 Cambricon TensorFlow2 的混合精度训练》

简介:帮助开发者们理解 Cambricon TensorFlow2 的混合精度训练机制,掌握使用 Cambricon TensorFlow2 对常见网络进行混合精度训练的能力

链接:TensorFlow 系列 – 星空体育开发者社区 ()

课后习题

Q1、使用 CambriconTensorFlow2 进行混合精度训练时,相比于使用 FP32 精度训练,需要做哪些修改?

Q2、CambriconTensorFlow2 支持哪些算子的 FP16 精度计算?试举例说明3个。

Q3、从使用层面看,CambriconTensorFlow2 与 TensorFlow2 在进行混合精度训练时,是否有不同之处,如果有,请指出具体差异。

答案

A1、需要使用LossScale优化器封装原始优化器。

A2、MatMul, Conv2D, Add。

A3、无差异。


版权所有 © 2024 星空体育 备案/许可证号:京ICP备17003415号-1
关闭