基于数据流图的编程范式：声明式编程（Declarative Programming ）、命令式编程（Imperative Programming ）；
声明式编程（Declarative Programming ）
代表性框架：TensorFlow， CNTK， Caffe2
特点：用户只需要表达模型结构和需要执行的任务，无需关注底层的执行流程，框架提供计算图优化，让用户无需关心底层优化细节，但是对用户来说不容易调试。
命令式编程（Imperative Programming ）
代表性框架：PyTorch， Chainer
特点：用户不仅表达模型结构，还需要表 达执行步骤，并且按照每一步定义进行执行，由于无法像声明式编程获取完整计算 图并优化后执行，所以难以提供全面的计算图优化，但是由于其简单易用，灵活性高，在模型研究人员中也有很高的用户基础，并不断在新的研究工作中被广泛使用，从而打下广泛的用户基础。
算子是构成神经网络的基本计算单元，对张量数据进行加工处理，实现了多种机器学习中常用的计算逻辑。
深度学习网络非常大->待求导函数复杂->难以高效的求解
图优化：
计算图的优化被定义为作为在计算图上的函数，通过一系列等价或者近似的 优化操作将输入的计算图变换为一个新的计算图。</
