deepleaning.ai课程学习笔记 课程介绍和目录

更新日志

2017.11.15 创建

2017.11.24 增加链接

deepleaning.ai介绍

deeplearning.ai是吴恩达老师正式在 Coursera 公布的自己的深度学习系列课程。
这门课程是一种自下而上的方式，教你初、中级神经网络的系列课程。吴恩达老师，精心挑选了不长不短的视频时长和精准定位的课程信息进行教授。
从经典ML课程的遗漏信息讲起，并介绍了使用单一神经元（逻辑回归）神经网络的想法，并慢慢增加复杂性 - 更多的神经元和更多层。

一些废话

说起深度学习的课程就要首先介绍一下另外一个非常专业的 Fast.ai，这门课程的创始人是kaggle赛事老司机，Jeremy Howard。

如果说 deeplearning.ai 是咱们中国人的教学模式，学校教我打台球，就要先告诉你原理，比如说，你打缩杆的时候因为球是向后转的，这样在台上会有向后的力，然后。。。最后求是会向后滚的。

而Fast.ai更像是美国人的模式，你要打台球是吧，ok，没问题，缩杆你就从这个位置打，只要你打的位置对，力量没问题，哪他自然就能够向后滚，至于为什么向后滚，你要想知道你就去学习下原理，不想知道，你就记住这个力量和位置就行了。

这两种模式都非常的好，因为只有知道了原理，后面才有改进的可能，但是只学习原理初期的时候就会很枯燥。所以我在学习的时候都是两边一起看，fastai学习实际操作,原理不明白了就去看 deeplearning.ai。

deeplearning.ai课程目录

一共有五门课程，目前开放学习的课程有四门，最后的序列模型还没发布，课程的内容介绍如下

1.神经网络和深度学习

第一门课程介绍了神经网络和深度学习的一些基本概念，总计4周，课程表如下：

第一周 深度学习概论

  1. 欢迎来到深度学习工程师微专业
  2. 什么是神经网络？
  3. 用神经网络进行监督学习
  4. 为什么深度学习会兴起？
  5. 关于这门课

链接

第二周 神经网络基础

  1. 二分分类
  2. logistic 回归
  3. logistic 回归损失函数
  4. 梯度下降法
  5. 导数
  6. 更多导数的例子
  7. 计算图
  8. 计算图的导数计算
  9. logistic 回归中的梯度下降法
  10. m 个样本的梯度下降
  11. 向量化
  12. 向量化的更多例子
  13. 向量化 logistic 回归
  14. 向量化 logistic 回归的梯度输出
  15. Python 中的广播
  16. 关于 python / numpy 向量的说明
  17. Jupyter / Ipython 笔记本的快速指南
  18. （选修）logistic 损失函数的解释

第三周 浅层神经网络

  1. 神经网络概览
  2. 神经网络表示
  3. 计算神经网络的输出
  4. 多个例子中的向量化
  5. 向量化实现的解释
  6. 激活函数
  7. 为什么需要非线性激活函数？
  8. 激活函数的导数
  9. 神经网络的梯度下降法
  10. （选修）直观理解反向传播
  11. 随机初始化

第四周 深层神经网络

  1. 深层神经网络
  2. 深层网络中的前向传播
  3. 核对矩阵的维数
  4. 为什么使用深层表示
  5. 搭建深层神经网络块
  6. 前向和反向传播
  7. 参数 VS 超参数
  8. 这和大脑有什么关系？

2.改善深层神经网络：超参数调试、正则化以及优化

第一周 深度学习的实用层面

  1. 训练 / 开发 / 测试集
  2. 偏差 / 方差
  3. 机器学习基础
  4. 正则化
  5. 为什么正则化可以减少过拟合？
  6. Dropout 正则化
  7. 理解 Dropout
  8. 其他正则化方法
  9. 正则化输入
  10. 梯度消失与梯度爆炸
  11. 神经网络的权重初始化
  12. 梯度的数值逼近
  13. 梯度检验
  14. 关于梯度检验实现的注记

第二周 优化算法

  1. Mini-batch 梯度下降法
  2. 理解 mini-batch 梯度下降法
  3. 指数加权平均
  4. 理解指数加权平均
  5. 指数加权平均的偏差修正
  6. 动量梯度下降法
  7. RMSprop
  8. Adam 优化算法
  9. 学习率衰减
  10. 局部最优的问题

第三周 超参数调试、Batch 正则化和程序框架

  1. 调试处理
  2. 为超参数选择合适的范围
  3. 超参数训练的实践：Pandas VS Caviar
  4. 正则化网络的激活函数
  5. 将 Batch Norm 拟合进神经网络
  6. Batch Norm 为什么奏效？
  7. 测试时的 Batch Norm
  8. Softmax 回归
  9. 训练一个 Softmax 分类器
  10. 深度学习框架
  11. TensorFlow

3.结构化机器学习项目

第一周 机器学习（ML）策略（1）

  1. 为什么是 ML 策略
  2. 正交化
  3. 单一数字评估指标
  4. 满足和优化指标
  5. 训练 / 开发 / 测试集划分
  6. 开发集合测试集的大小
  7. 什么时候该改变开发 / 测试集和指标
  8. 为什么是人的表现
  9. 可避免偏差
  10. 理解人的表现
  11. 超过人的表现
  12. 改善你的模型的表现

第二周 机器学习（ML）策略（2）

  1. 进行误差分析
  2. 清楚标注错误的数据
  3. 快速搭建你的第一个系统，并进行迭代
  4. 在不同的划分上进行训练并测试
  5. 不匹配数据划分的偏差和方差
  6. 定位数据不匹配
  7. 迁移学习
  8. 多任务学习
  9. 什么是端到端的深度学习
  10. 是否要使用端到端的深度学习

4.卷积神经网络

第一周 卷积神经网络

  1. 计算机视觉
  2. 边缘检测示例
  3. 更多边缘检测内容
  4. Padding
  5. 卷积步长
  6. 卷积中“卷”的体现之处
  7. 单层卷积网络
  8. 简单卷积网络示例
  9. 池化层
  10. 卷积神经网络示例
  11. 为什么使用卷积？

第二周 深度卷积网络：实例探究

  1. 为什么要进行实例探究？
  2. 经典网络
  3. 残差网络
  4. 残差网络为什么有用？
  5. 网络中的网络以及 1×1 卷积
  6. 谷歌 Inception 网络简介
  7. Inception 网络
  8. 使用开源的实现方案
  9. 迁移学习
  10. 数据扩充
  11. 计算机视觉现状

第三周 目标检测

  1. 目标定位
  2. 特征点检测
  3. 目标检测
  4. 卷积的滑动窗口实现
  5. Bounding Box 预测
  6. 交并比
  7. 非极大值抑制
  8. Anchor Boxes
  9. YOLO 算法
  10. （选修）RPN 网络

第四周 特殊应用：人脸识别和神经风格转换

  1. 什么是人脸识别？
  2. One-Shot 学习
  3. Siamese 网络
  4. Triplet 损失
  5. 面部验证与二分类
  6. 什么是神经风格转换？
  7. 什么是深度卷积网络？
  8. 代价函数
  9. 内容代价函数
  10. 风格损失函数
  11. 一维到三维推广

5.序列模型

课程列表暂无