神经网络与深度学习

本书涵盖了经典和现代的深度学习模型。章节分为三类:第1部分为神经网络的基础。许多传统的机器学习模型可以理解为神经网络的特殊情况。前两章的重点是理解传统机器学习和神经网络之间的关系。支持向量机、线性/逻辑回归、奇异值分解、矩阵分解和推荐系统都是神经网络的特例。本书将这些方法与特征工程方法如word2vec一起进行了研究。第2部分是神经网络的基本原理。训练和正则化的详细讨论在第3章和第4章提供。第5章和第6章介绍了径向基函数(RBF)网络和受限的玻尔兹曼机。第3部分是神经网络的高级主题:第7章和第8章讨论了循环神经网络和卷积神经网络。第9章和第10章介绍了几个高级主题，如深度强化学习、神经图像机、Kohonen自组织映射和生成对抗网络。这本书是为研究生、研究人员和实践者编写的。大量的练习和一个解决方案手册，以帮助在课堂教学。在可能的情况下，突出显示以应用程序为中心的视图，以便提供对每一类技术的实际用途的理解。

译者序 前言 致谢 作者简介 第1章神经网络概论1 1.1简介1 12神经网络的基本架构3 121单层计算网络：感知机3 122多层神经网络13 123多层网络即计算图15 13利用反向传播训练神经网络16 14神经网络训练中的实际问题19 141过拟合问题19 142梯度消失与梯度爆炸问题22 143收敛问题22 144局部最优和伪最优22 145计算上的挑战23 15复合函数的能力之谜23 151非线性激活函数的重要性25 152利用深度以减少参数26 153非常规网络架构27 16常见网络架构28 161浅层模型模拟基础机器学习方法28 162径向基函数网络29 163受限玻尔兹曼机29 164循环神经网络30 165卷积神经网络31 166层次特征工程与预训练模型32 17高级主题34 171强化学习34 172分离数据存储和计算34 173生成对抗网络35 18两个基准35 181MNIST手写数字数据库35 182ImageNet数据库36 19总结37 110参考资料说明37 110.1视频讲座38 110.2软件资源39 111练习39 第2章基于浅层神经网络的机器学习41 21简介41 22二分类模型的神经架构42 221复习感知机42 222最小二乘回归44 223逻辑回归47 224支持向量机49 23多分类模型的神经架构50 231多分类感知机51 232WestonWatkins支持向量机52 233多重逻辑回归（softmax分类器）53 234应用于多分类的分层softmax54 24反向传播可以用于特征选择和神经网络的可解释性54 25使用自编码器进行矩阵分解55 251自编码器的基本原则55 252非线性激活函数59 253深度自编码器60 254应用于离群点检测62 255当隐藏层比输入层维数高时63 256其他应用63 257推荐系统：行索引到行值的预测65 258讨论67 26word2vec：简单神经架构的应用67 261连续词袋的神经嵌入68 262skip-gram模型的神经嵌入70 263word2vec（SGNS）是逻辑矩阵分解74 264原始skip-gram模型是多项式矩阵分解76 27图嵌入的简单神经架构76 271处理任意数量的边78 272多项式模型78 273与DeepWalk和node2vec的联系78 28总结78 29参考资料说明79 210练习80 第3章深度神经网络的训练8231简介82 32反向传播的详细讨论83 321计算图抽象中的反向传播83 322前来拯救的动态规划87 323使用激活后变量的反向传播88 324使用激活前变量的反向传播89 325不同激活函数的更新示例91 326以向量为中心的反向传播的解耦视图92 327多输出节点及隐藏节点下的损失函数94 328小批量随机梯度下降95 329用于解决共享权重的反向传播技巧96 3210检查梯度计算的正确性97 33设置和初始化问题98 331调整超参数98 332特征预处理99 333初始化100 34梯度消失和梯度爆炸问题101 341对梯度比例影响的几何理解102 342部分解决：激活函数的选择103 343死亡神经元和“脑损伤”104 35梯度下降策略105 351学习率衰减105 352基于动量的学习106 353参数特异的学习率108 354悬崖和高阶不稳定性111 355梯度截断112 356二阶导数112 357Polyak平均118 358局部极小值和伪极小值119 36批归一化120 37加速与压缩的实用技巧123 371GPU加速123 372并行和分布式实现125 373模型压缩的算法技巧126 38总结128 39参考资料说明128 310练习130 第4章让深度学习器学会泛化132 41简介132 42偏差方差权衡135 43模型调优和评估中的泛化问题138 431用留出法和交叉验证法进行评估139 432大规模训练中的问题140 433如何检测需要收集更多的数据141 44基于惩罚的正则化141 441与注入噪声的联系142 442L1正则化143 443选择L1正则化还是L2正则化143 444对隐藏单元进行惩罚：学习稀疏表示144 45集成方法145 451装袋和下采样145 452参数模型选择和平均146 453随机连接删除146 454Dropout147 455数据扰动集成149 46早停149 47无监督预训练150 471无监督预训练的变体153 472如何进行监督预训练154 48继续学习与课程学习154 481继续学习155 482课程学习156 49共享参数156 410无监督应用中的正则化157 410.1基于值的惩罚：稀疏自编码器157 410.2噪声注入：去噪自编码器157 410.3基于梯度的惩罚：收缩自编码器158 410.4隐藏层概率结构：变分自编码器161 411总结166 412参考资料说明166 413练习168 第5章径向基函数网络169 51简介169 52RBF网络的训练171 521训练隐藏层171

暂无相关内容，正在全力查找中

暂无其它内容！

暂时还没有人为这本书评论！