Spark 深度学习指南

Spark是专为大规模数据处理而设计的快速通用的计算引擎，经过近几年的飞速发展，现已被广泛应用于各个领域。本书通过通俗易懂的语言和简单明了的操作，系统地讲解了构建Spark深度学习系统的方法、流程、标准和规范等相关内容，并提供了相应的示例与解析。 《Spark 深度学习指南》适合作为高等院校计算机相关专业的参考资料，也适合大数据技术和机器学习技术的初学者阅读，还适合所有对大数据技术和机器学习技术有所了解并想将该技术应用于本职工作的读者阅读。

1 为深度学习开发设置Spark 1 介绍 1 下载Ubuntu桌面映像 2 在macOS中使用VMWare Fusion安装和配置Ubuntu 3 在Windows中使用Oracle VirtualBox安装和配置Ubuntu 8 为谷歌云平台安装和配置Ubuntu桌面端 11 在Ubuntu桌面端安装和配置Spark 23 集成Jupyter Notebook与Spark 29 启动和配置Spark集群 33 停止Spark集群 34 2 在Spark中创建神经网络 36 介绍 36 在PySpark中创建数据帧 37 在PySpark数据帧中操作列 41 将PySpark数据帧转换为数组 42 在散点图中将数组可视化 46 设置输入神经网络的权重和偏差 49 规范化神经网络的输入数据 52 验证数组以获得最佳的神经网络性能 55 使用sigmoid设置激活函数 57 创建sigmoid导数 60 计算神经网络中的代价函数 62 根据身高值和体重值预测性别 66 预测分数并进行可视化 69 3 卷积神经网络的难点 72 介绍 72 难点1：导入MNIST图像 73 难点2：可视化MNIST图像 77 难点3：将MNIST图像导出为文件 80 难点4：增加MNIST图像 82 难点5：利用备用资源训练图像 86 难点6：为卷积神经网络优先考虑高级库 88 4 循环神经网络的难点 94 介绍 94 前馈网络简介 95 循环神经网络的顺序工作 103 难点1：梯度消失问题 108 难点2：梯度爆炸问题 111 长短期记忆单元的顺序工作 114 5 用Spark机器学习预测消防部门呼叫 119 介绍 119 下载旧金山消防局呼叫数据集 119 识别逻辑回归模型的目标变量 123 为逻辑回归模型准备特征变量 130 应用逻辑回归模型 137 评估逻辑回归模型的准确度 142 6 在生成网络中使用LSTM 145 介绍 145 下载将用作输入文本的小说/书籍 145 准备和清理数据 151 标记句子 156 训练和保存LSTM模型 158 使用模型生成类似的文本 163 7 使用TF-IDF进行自然语言处理 171 介绍 171 下载治疗机器人会话文本数据集 172 分析治疗机器人会话数据集 176 数据集单词计数可视化 178 计算文本的情感分析 180 从文本中删除停用词 184 训练TF-IDF模型 188 评估TF-IDF模型性能 192 比较模型性能和基线分数 194 8 使用XGBoost进行房地产价值预测 196 下载金斯县房屋销售数据集 196 执行探索性分析和可视化 199 绘制价格与其他特征之间的相关性 210 预测房价 223 9 使用长短期记忆单元预测苹果公司股票市场价格 229 下载苹果公司的股票市场数据 229 探索和可视化苹果公司的股票市场数据 233 准备用于提升模型性能的股票市场数据 238 构建长短期记忆单元模型 246 评估长短期记忆单元模型 249 10 使用深度卷积网络进行人脸识别 252 介绍 252 下载MIT-CBCL数据集并将其加载到内存中 252 绘制并可视化目录中的图像 257 图像预处理 262 模型构建、训练和分析 269 11 使用Word2Vec创建和可视化单词向量 277 介绍 277 获取数据 277 导入必要的库 281 准备数据 284 构建和训练模型 288 进一步可视化 293 进一步分析 300 12 使用Keras创建电影推荐引擎 304 介绍 304 下载MovieLens数据集 305 操作和合并MovieLens数据集 312 探索MovieLens数据集 318 为深度学习流水线准备数据集 322 应用Keras深度学习模型 327 评估推荐引擎的准确度 331 13 使用TensorFlow在Spark中进行图像分类 333 介绍 333 下载梅西和罗纳尔多各30张图像 334 使用深度学习包安装PySpark 339 将图像加载到PySpark数据帧 341 理解迁移学习 344 创建用于图像分类训练的流水线 346 评估模型性能 348 微调模型参数 350

关于作者 Ahmed Sherif是一名数据科学家，自2005年以来一直从事各种各样的数据研究工作。他从2013年开始使用BI解决方案并慢慢转向数据科学。2016年，他从西北大学获得了预测分析硕士学位，在那里他研究使用Python和R语言进行机器学习和预测建模的科学与应用。最近，他一直使用Azure在云端开发机器学习和深度学习解决方案。2016年，他出版了他的第一本书《实用商业智能》。他目前是微软公司的数据和人工智能技术解决方案专家。 “首先，我要感谢我的妻子Ameena和我的三个可爱的孩子Safiya、Hamza和Layla，感谢他们给我力量和支持来完成这本书。没有他们的爱与支持，我恐怕无法完成本书。我还要感谢我的合著者Amrith，感谢他给予我写这本书的决心和为本书付出的努力。” Amrith Ravindra是一位机器学习爱好者，拥有电气与工业工程学位。在攻读硕士学位期间，他深入地研究了机器学习问题，加深了自己对数据科学的热爱程度。工程专业的研究生课程给他提供了数学背景，使他开始了机器学习领域的职业生涯。他在坦帕市举行的当地数据科学聚会上遇到了Ahmed Sherif。他们决定合作写一本关于他们最喜欢的机器学习算法的书。他希望这本书能够帮助他实现成为数据科学家并积极为机器学习做出贡献的最终目标。 “首先，我要感谢Ahmed给我这个机会和他一起工作。对我来说，写这本书比读大学本身更好。接下来，我要感谢我的爸爸、妈妈和姐姐，他们一直给我动力，给我成功的动力。最后，我要感谢我的朋友们，没有他们的指教，我永远不会像这样快速地成长。” 关于审稿人 Michal Malohlava是Sparkling Water的创始人。他是一位极客、开发者，同时也是一位拥有10年软件开发经验的Java、Linux编程语言爱好者。他于2012年在布拉格查理大学获得博士学位，并在普渡大学完成博士后工作。他参与了用于高级大数据数学与计算的H2O平台的开发，并将其整合到Spark引擎中，以名为Sparkling Water的项目发布。 Adnan Masood博士是人工智能和机器学习研究员、软件架构师和微软数据平台最有价值专家。他目前在UST Global公司担任人工智能和机器学习首席架构师，在那里他与斯坦福人工智能实验室和麻省理工学院人工智能实验室合作构建企业解决方案。作为斯坦福大学的访问学者、亚马逊编程语言畅销书Functional Programming with F#的作者，他最近在丹佛市女性技术会议上发表的演讲强调了STEM（科学、技术、工业、数学）和技术领域多样化的重要性。该演讲被新闻媒体广为传播。

暂无其它内容！

暂时还没有人为这本书评论！