系统入门深度学习 直击算法工程师

第1章 初识深度学习 试看8 节 | 34分钟

本章中将向大家介绍，深度学习的应用范畴、人才需求、基础概念和子学科分类，并会结合应用现状，与大家讨论技术发展前景，带领同学们初识深度学习。

收起列表

• 视频：1-1 系统入门深度学习，从这里轻松开始 (07:44)试看
• 视频：1-2 本章内容介绍 (01:19)
• 视频：1-3 神经网络&深度学习 (08:22)
• 视频：1-4 深度学习路线图 (06:07)
• 视频：1-5 深度学习应用 (08:27)
• 视频：1-6 本章总结 (01:24)
• 图文：1-7 【拓展知识】来自老司机深度学习得一些建议
• 作业：1-8 【任务题】找一篇深度学习论文粗读

第3章 深度学习基础组件精讲 试看11 节 | 116分钟

本章将带领大家，学习深度学习中一些重要的组件、优化原理及方法，他们既是神经网络优化的重要准备知识和基础支撑理论，更是所有深度学习训练和优化的基础。

收起列表

• 视频：3-1 本章内容介绍 (02:30)
• 视频：3-2 如何划分和处理你的数据集 (06:27)
• 视频：3-3 正确的初始化模型参数 (13:57)试看
• 视频：3-4 激活函数选择 (16:32)
• 视频：3-5 优化器选择 (20:00)
• 视频：3-6 Normalization 增强模型训练（上） (17:40)
• 视频：3-7 Normalization 增强模型训练（下） (15:38)
• 视频：3-8 使用正则提升模型表现 (19:13)
• 视频：3-9 本章总结 (03:40)
• 图文：3-10 【拓展知识】典型的 loss 函数
• 作业：3-11 【任务题】完善全连接网络

第4章 图像处理利器：卷积神经网络 试看22 节 | 251分钟

本章将重点学习卷积神经网络，帮助大家理解卷积的意义和各种卷积的变体，学会如何设计、搭建卷积神经网络，并应用解决实际的问题。

收起列表

• 视频：4-1 本章内容介绍 (02:06)
• 视频：4-2 人类视觉和卷积神经网络关系 (07:46)
• 视频：4-3 卷积神经网络的应用 (05:23)试看
• 视频：4-4 卷积运算是怎样的过程（上） (15:58)
• 视频：4-5 卷积运算是怎样的过程（下） (13:56)
• 视频：4-6 用池化进行下采样 (15:54)
• 视频：4-7 几种卷积的变体（上） (15:19)
• 视频：4-8 几种卷积的变体（下） (14:49)
• 视频：4-9 利用残差搭建更深的网络 (16:30)
• 视频：4-10 Vgg介绍及实现 (24:02)
• 视频：4-11 图片的数据增广 (15:15)
• 视频：4-12 手势识别应用来源和项目分析 (06:27)
• 视频：4-13 模型设计 (08:12)
• 视频：4-14 MoocTrialNet模型搭建（1） (16:18)
• 视频：4-15 MoocTrialNet模型搭建（2） (14:04)
• 视频：4-16 MoocTrialNet模型搭建（3） (18:12)
• 视频：4-17 MoocTrialNet模型搭建（4） (17:58)
• 视频：4-18 MoocTrialNet模型搭建（5） (07:45)
• 视频：4-19 模型评估和选择 (10:09)
• 视频：4-20 本章总结 (04:22)
• 图文：4-21 【拓展知识】近年来ILSVRC上最好模型
• 作业：4-22 【任务题】独立完成一个CNN的项目

第5章 为序列数据而生：RNN系列19 节 | 191分钟

本章将带领大家认识序列模型，主要围绕RNN和其变体进行相关讲解。帮助大家理解序列模型和序列数据，并能应用用序列模型处理序列数据的实际问题。

收起列表

• 视频：5-1 本章内容介绍 (02:43)
• 视频：5-2 什么是序列模型 (12:25)
• 视频：5-3 不同的RNN应用类型：OvM, MvM (04:26)
• 视频：5-4 循环神经网络原理 (19:18)
• 视频：5-5 用BPTT 训练RNN (05:06)
• 视频：5-6 两个重要的变体：LSTMGRU（上） (15:25)
• 视频：5-7 两个重要的变体：LSTMGRU（下） (14:08)
• 视频：5-8 利用双向、多层RNN增强模型 (16:02)
• 视频：5-9 典型应用范式：Encoder-Decoder (05:50)
• 视频：5-10 GRU实现唤醒词识别 (07:20)
• 视频：5-11 基于双层、双向GRU的命令词识别模型搭建（1） (16:12)
• 视频：5-12 基于双层、双向GRU的命令词识别模型搭建（2） (15:29)
• 视频：5-13 基于双层、双向GRU的命令词识别模型搭建（3） (16:52)
• 视频：5-14 基于双层、双向GRU的命令词识别模型搭建（4） (14:32)
• 视频：5-15 基于双层、双向GRU的命令词识别模型搭建（5） (09:26)
• 视频：5-16 模型评估和选择 (10:02)
• 视频：5-17 本章总结 (05:15)
• 图文：5-18 【拓展知识】序列到序列模型知识整理
• 作业：5-19 【任务题】LSTM模型搭建

第6章 深度学习新思路： GAN网络21 节 | 255分钟

本章将一起学习生成式网络，帮助大家重点掌握GAN网络，理解GAN的原理和背后的数学原理，并能实践如何应用GAN网络构建一个人脸生成器，真正所学及所用。

收起列表

• 视频：6-1 本章内容介绍 (03:23)
• 视频：6-2 什么是生成式模型？ (12:58)
• 视频：6-3 GAN的原理（上） (12:04)
• 视频：6-4 GAN的原理（下） (11:58)
• 视频：6-5 GAN的一些变体之：CycleGAN (14:26)
• 视频：6-6 GAN的一些变体之：StyleGAN（上） (10:38)
• 视频：6-7 GAN的一些变体之：StyleGAN（下） (10:20)
• 视频：6-8 GAN的一些变体之：DCGAN (03:48)
• 视频：6-9 GAN的一些变体之：text-to-image (09:12)
• 视频：6-10 用DCGAN生成人脸照片 (04:14)
• 视频：6-11 超参和dataset编写 (28:03)
• 视频：6-12 generator编写 (28:24)
• 视频：6-13 discriminator编写 (16:01)
• 视频：6-14 trainer 编写（1） (16:39)
• 视频：6-15 trainer 编写（2） (16:28)
• 视频：6-16 trainer 编写（3） (17:05)
• 视频：6-17 trainer 编写（4） (15:08)
• 视频：6-18 怎么检查GAN的训练过程？ (19:35)
• 视频：6-19 本章总结 (04:31)
• 图文：6-20 【拓展知识】GAN在NLP、Speech中的一些应用
• 作业：6-21 【任务题】复现Gan项目

第7章 赋予模型认知能力：注意力机制24 节 | 312分钟

Transformer作为深度学习研究的重点和热点，日渐受到关注。在本章中，将帮助大家认识注意力机制，掌握Transformer的原理，并能在搭建Transformer的同时巩固对Attention的理解。

收起列表

• 视频：7-1 本章内容介绍 (02:28)
• 视频：7-2 什么是注意力机制？ (07:40)
• 视频：7-3 注意力机制的一般性原理 (09:31)
• 视频：7-4 几种典型的注意力机制 hard、soft、local attention (10:12)
• 视频：7-5 自注意力机制：self-attention (14:03)
• 视频：7-6 Transformer (14:03)
• 视频：7-7 用Transformer实现G2P（上） (17:42)
• 视频：7-8 用Transformer实现G2P（下） (16:21)
• 视频：7-9 g2p dataset 编写 (27:31)
• 视频：7-10 model结构和位置编码 (20:48)
• 视频：7-11 encoder (19:18)
• 视频：7-12 Multi-head attention（上） (18:23)
• 视频：7-13 Multi-head attention（下） (21:45)
• 视频：7-14 Pointwise FeedForward (06:49)
• 视频：7-15 decoder (21:52)
• 视频：7-16 transformer（上） (19:59)
• 视频：7-17 transformer（下） (06:07)
• 视频：7-18 trainer脚本编写 (12:29)
• 视频：7-19 infer推理函数编写 (13:49)
• 视频：7-20 inference和attention map展示（上） (14:15)
• 视频：7-21 inference和attention map展示（下） (12:10)
• 视频：7-22 本章总结 (03:52)
• 图文：7-23 【拓展知识】 几种典型的注意力机制和原理
• 作业：7-24 【任务题】Transformer实现

第8章 数据不够怎么办？迁移学习来帮忙10 节 | 78分钟

本章会带领大家熟悉迁移学习的基本概念，掌握实用得实施迁移学习的方法，并将手把手的教会同学们如何构建迁移学习的项目，解决实际问题。

收起列表

• 视频：8-1 本章内容介绍 (02:01)
• 视频：8-2 什么是迁移学习 (07:26)
• 视频：8-3 迁移学习分类 (11:46)
• 视频：8-4 怎么实施迁移学习？ (09:18)
• 视频：8-5 基于ResNet迁移学习的姿势识别 (09:09)
• 视频：8-6 工程代码（上） (13:16)
• 视频：8-7 工程代码（下） (11:31)
• 视频：8-8 inference (09:20)
• 视频：8-9 本章总结 (03:45)
• 图文：8-10 【拓展知识】迁移学习前沿进展

第9章 深度学习新范式：半监督学习19 节 | 202分钟

本章将帮助大家，在掌握半监督学习核心概念的同时，更能基于实际问题，提出半监督学习的解决方案、设计半监督的理论和实施方法，并完成相关项目，循序渐进带领大家学通学会半监督学习。

收起列表

• 视频：9-1 本章内容介绍 (02:19)
• 视频：9-2 半监督学习是什么？ (06:01)
• 视频：9-3 半监督学习能解决什么问题？ (05:30)
• 视频：9-4 几种典型的半监督学习方法（上） (13:34)
• 视频：9-5 几种典型的半监督学习方法（下） (11:44)
• 视频：9-6 在Cifar10上实现MixMatch半监督学习-论文拆解 (08:10)
• 视频：9-7 超参和dataset (09:32)
• 视频：9-8 utils编写（1） (17:59)
• 视频：9-9 utils编写（2） (17:22)
• 视频：9-10 utils编写（3） (13:33)
• 视频：9-11 utils编写（4） (09:23)
• 视频：9-12 model编写 (06:49)
• 视频：9-13 loss 编写 (08:48)
• 视频：9-14 trainer 编写（1） (17:23)
• 视频：9-15 trainer 编写（2） (15:45)
• 视频：9-16 trainer 编写（3） (20:22)
• 视频：9-17 trainer 编写（4） (14:43)
• 视频：9-18 本章总结 (02:59)
• 图文：9-19 【拓展知识】SOTA半监督学习(ImageNet)