20-Day8.md

第八周

自动微分(Automatic Differentiation)

• 前向模式
  • 适用情形：输入少，输出多
  • 实现方式：Dual Value
• 后向模式

TensorFlow more

• Temsorflow数据流图：
  • 读取数据，预处理，前向计算，分析损失函数，反向修正，再次读取，依此循环
• 程序：
  • 选择模型，构建网络层，编译，训练，预测

卷积网络(CNN)与循环网络(RNN)

CNN

• 卷积是一种张量运算
• 卷积核
• 卷积网络结构在不断更新发展，其中ResNet提出了skip connection，能够跳层传输，便于梯度回传
• 应用：行人检测、人脸识别、手写识别、诗歌填词、股价预测、机器翻译

RNN

• 用于序列建模预测问题(手写识别、语音识别、翻译...)
• 功能强大，但训练代价也大