教学目标：
掌握常用的深度学习模型、原理与算法，为解决各专业用传统方法难以解决的技术问题提供新工具，为进一步的研究奠定基础。

课程内容：
教学主要内容：
1 绪论及预备知识（2学时）
1.1  深度学习的历史趋势
1.2  深度学习中的线性代数
1.3  深度学习中的概率与信息论
1.4  深度学习中的数值计算
2 机器学习基础（2学时）
2.1  学习算法
2.2  容量、过拟合和欠拟合
2.3  超参数和验证集
2.4  估计、偏差和方差
2.5  最大似然估计与贝叶斯统计
2.6监督学习与非监督学习
2.7促使深度学习发展的挑战
3深度前馈网络（2学时）
3.1  基于梯度的学习
3.2  隐藏单元
3.3  架构设计
3.4  反向传播和其他的微分算法
2.5  历史小记
4深度学习中的正则化（2学时）
4.1  参数范数惩罚
4.2  作为约束的范数惩罚
4.3  正则化和欠约束问题
4.4  数据集增强
4.5  噪声鲁棒性
4.6半监督与多任务学习
4.7提前终止
4.8参数绑定和参数共享
4.9稀疏表示
4.10Bagging 和其他集成方法
4.11Dropout
4.12对抗训练
4.13切面距离、正切传播和流形正切分类器
5深度模型中的优化（2学时）
5.1  学习和纯优化有什么不同
5.2  神经网络优化中的挑战
5.3  基本算法
5.4  参数初始化策略
5.5  自适应学习率算法
5.6二阶近似方法
5.7优化策略和元算法
6卷积网络（2学时）
6.1  卷积与池化
6.2  基本卷积函数的变体
6.3  结构化输出
6.4  数据类型
6.5  高效的卷积算法
6.6随机或无监督的特征
6.7卷积网络的神经科学基础
6.8卷积网络与深度学习的历史
7序列建模：循环和递归网络（2学时）
7.1  展开计算图
7.2  循环神经网络
7.3  双向 RNN
7.4  基于编码 - 解码的序列到序列架构
7.5  深度循环网络
7.6递归神经网络
7.7长期依赖的挑战
7.8回声状态网络
7.9渗漏单元和其他多时间尺度的策略
7.10长短期记忆和其他门控 RNN
7.11优化长期依赖
7.12外显记忆
8实践方法论（2学时）
8.1  性能度量
8.2  默认的基准模型
8.3  决定是否收集更多数据
8.4 选择超参数
8.5  调试策略
8.6示例：多位数字识别
9应用（2学时）
9.1  大规模深度学习
9.2  计算机视觉
9.3  语音识别
9.4  自然语言处理
9.5  其他应用
10线性因子模型（2学时）
10.1  概率PCA和因子分析
10.2  独立成分分析
10.3  慢特征分析
10.4  稀疏编码
10.5  PCA 的流形解释
11自编码器（3学时）
11.1  欠完备自编码器
11.2  正则自编码器
11.3  表示能力、层的大小和深度
11.4  随机编码器和解码器
11.5  去噪自编码器详解
11.6使用自编码器学习流形
11.7收缩自编码器
11.8预测稀疏分解
11.9自编码器的应用
12表示学习（2学时）
12.1  贪心逐层无监督预训
12.2  迁移学习和领域自适应
12.3  半监督解释因果关系
12.4  分布式表示
12.5  得益于深度的指数增益
12.6提供发现潜在原因的线索
13深度学习中的结构化概率模型（2学时）
13.1  非结构化建模的挑战
13.2  使用图描述模型结构
13.3  从图模型中采样
13.4  结构化建模的优势
13.5  学习依赖关系
13.6推断和近似推断
13.7结构化概率模型的深度学习方法
14蒙特卡罗方法（2学时）
14.1  采样和蒙特卡罗方法
14.2  重要采样
14.3  马尔可夫链蒙特卡罗方法
14.4  Gibbs采样
14.5  不同的峰值之间的混合挑战
15直面配分函数（2学时）
15.1  对数似然梯度
15.2  随机最大似然和对比散度
15.3  伪似然
15.4  得分匹配和比率匹配
15.5  去噪得分匹配
15.6噪声对比估计
15.7估计配分函数
16近似推断（2学时）
16.1  把推断视作优化问题
16.2  期望最大化
16.3  最大后验推断和稀疏编码
16.4  变分推断和变分学习
16.5  学成近似推断
17深度生成模型（3学时）
17.1  玻尔兹曼机
17.2  受限玻尔兹曼机
17.3  深度信念网络
17.4  深度玻尔兹曼机
17.5  卷积玻尔兹曼机
17.6用于结构化或序列输出的玻尔兹曼机
17.7通过随机操作的反向传播
17.8有向生成网络
17.9从自编码器采样
17.10生成随机网络
17.11评估生成模型
对学生的要求：
上课认真听讲并及时消化教师讲授内容，进行必要的计算机算法实践；课后认真准备研讨内容。

适用学生：
全日制硕士    非全日制硕士    留学硕士    进修硕士    硕博连读    本科直博    全日制博士    留学博士    进修博士    非全日制博士    在职专硕    其他    

预修课程：
预修课程:
高等数学，线性代数，概率统计，程序设计

参考书目：
教材：赵申剑,黎彧君,符天凡,李凯[翻译]. 深度学习. 人民邮电出版社.2017.
参考书：Ian Goodfellow，Yoshua Bengio，Aaron Courville. Deep Learning. The MIT Press, 2016.
必读参考资料：
[1] LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. Deep learning. Nature 521.7553 (2015): 436-444.
[2] Hinton, Geoffrey E., and Ruslan R. Salakhutdinov. Reducing the dimensionality of data with neural networks. Science 313.5786 (2006): 504-507.
[3] Srivastava, Nitish, et al. Dropout: a simple way to prevent neural networks from overfitting. Journal of Machine Learning Research. 2014: 1929-1958.

备注：