10-Day8.md

第八次课程小结

1. 自动微分

• 背景：

①manual differentation → ②numerical differentiation → ③symbolic differentiation → ④automatic differentiation

• forward mode：适合输出多、输入少。
• 反向传播

2. Tensoflow

• 采用梯度计算图实现梯度下降算法

• 步骤：输入 → 预处理 → 循环<训练 → 更新参数> → 周期检验 → 分布式文件系统

• CNN：用于图像识别；包括卷积层、池化层、随机丢弃层

• RNN：将上一时刻的输出作为当前时刻的输入，共享参数；用于语音和文字识别。

  缺点：梯度消失、梯度爆炸

• LSTM：拥有记忆单元和遗忘门；可以解决RNN的梯度爆炸和梯度消失问题。

• Dense-CNN-RNN