Spark 深度学习指南
目录
1 为深度学习开发设置Spark 1
介绍 1
下载Ubuntu桌面映像 2
在macOS中使用VMWare Fusion安装和配置Ubuntu 3
在Windows中使用Oracle VirtualBox安装和配置Ubuntu 8
为谷歌云平台安装和配置Ubuntu桌面端 11
在Ubuntu桌面端安装和配置Spark 23
集成Jupyter Notebook与Spark 29
启动和配置Spark集群 33
查看完整
1 为深度学习开发设置Spark 1
介绍 1
下载Ubuntu桌面映像 2
在macOS中使用VMWare Fusion安装和配置Ubuntu 3
在Windows中使用Oracle VirtualBox安装和配置Ubuntu 8
为谷歌云平台安装和配置Ubuntu桌面端 11
在Ubuntu桌面端安装和配置Spark 23
集成Jupyter Notebook与Spark 29
启动和配置Spark集群 33
查看完整
Ahmed Sherif是一名数据科学家，自2005年以来一直从事各种角色的数据研究。他从2013年开始使用BI解决方案并慢慢转向数据科学。2016年，他从西北大学获得了预测分析硕士学位，在那里他研究深度学习的科学与应用和同时使用Python和R语言的预测建模。近，他一直在使用Azure在云端开发机器学习和深度学习解决方案。2016年，他出版了他的本书《实用商业智能》。他目前是微软的数据和人工智能技术解决方案专业人员。Amrith Ravindra博士是一位机器学习爱好者，拥有电气与工业工程学位。在攻读硕士学位的过程中，他更深入地研究机器学习世界，并培养了对数据科学的热爱。工程专业的研究生课程给他提供了数学背景，使他进入深度学习的职业生涯。他在坦帕市举行的当地数据科学聚会上会见了Ahmed Sherif。他们决定合作写一本关于他们喜欢的机器学习算法的书。他希望这本书能够帮助他实现成为数据科学家并积极为机器学习做出贡献的终目标。黄友良，计算机应用技术专…
查看完整
查看完整
本书开头部分讲了如何按照深度学习的需求来配置Apache Spark，以实现不同类型的神经网络，接下来讲述了在分布式环境中实现深度学习涉及的常见和不那么常见的需求。另外，你还将学到Spark中的深度学习代码，这些代码可以复用到其他类似的问题中，或者稍作改动用于略有不同的问题。本书将带你一起用Spark对数据进行分流和聚类，用TensorFlow、Deeplearning4j和 Caffe在Spark中实现和部署深度学习模型，例如CNN、RNN和 LSTM。学完本书的内容，你将能够在Spark上训练和部署有效的深度学习模型。
目录
1 为深度学习开发设置Spark 1
介绍 1
下载Ubuntu桌面映像 2
在macOS中使用VMWare Fusion安装和配置Ubuntu 3
在Windows中使用Oracle VirtualBox安装和配置Ubuntu 8
为谷歌云平台安装和配置Ubuntu桌面端 11
在Ubuntu桌面端安装和配置Spark 23
集成Jupyter Notebook与Spark 29
启动和配置Spark集群 33
停止Spark集群 34
2 在Spark中创建神经网络 36
介绍 36
在PySpark中创建数据帧 37
在PySpark数据帧中操作列 41
将PySpark数据帧转换为数组 42
在散点图中将数组可视化 46
设置输入神经网络的权重和偏差 49
规范化神经网络的输入数据 52
验证数组以获得的神经网络性能 55
使用sigmoid设置激活函数 57
创建sigmoid导数 60
计算神经网络中的代价函数 62
根据身高值和体重值预测性别 66
预测分数并进行可视化 69
3 卷积神经网络的难点 72
介绍 72
难点1：导入MNIST图像 73
难点2：可视化MNIST图像 77
难点3：将MNIST图像导出为文件 80
难点4：增加MNIST图像 82
难点5：利用备用资源训练图像 86
难点6：为卷积神经网络优先考虑高级库 88
4 循环神经网络的难点 94
介绍 94
前馈网络简介 95
循环神经网络的顺序工作 103
难点1：梯度消失问题 108
难点2：梯度爆炸问题 111
长短期记忆单元的顺序工作 114
5 用Spark机器学习预测消防部门呼叫 119
介绍 119
下载旧金山消防局呼叫数据集 119
识别逻辑回归模型的目标变量 123
为逻辑回归模型准备特征变量 130
应用逻辑回归模型 137
评估逻辑回归模型的准确度 142
6 在生成网络中使用LSTM 145
介绍 145
下载将用作输入文本的小说/书籍 145
准备和清理数据 151
标记句子 156
训练和保存LSTM模型 158
使用模型生成类似的文本 163
7 使用TF-IDF进行自然语言处理 171
介绍 171
下载治疗机器人会话文本数据集 172
分析治疗机器人会话数据集 176
数据集单词计数可视化 178
计算文本的情感分析 180
从文本中删除停用词 184
训练TF-IDF模型 188
评估TF-IDF模型性能 192
比较模型性能和基线分数 194
8 使用XGBoost进行房地产价值预测 196
下载金斯县房屋销售数据集 196
执行探索性分析和可视化 199
绘制价格与其他特征之间的相关性 210
预测房价 223
9 使用长短期记忆单元预测苹果公司股票市场价格 229
下载苹果公司的股票市场数据 229
探索和可视化苹果公司的股票市场数据 233
准备用于提升模型性能的股票市场数据 238
构建长短期记忆单元模型 246
评估长短期记忆单元模型 249
10 使用深度卷积网络进行人脸识别 252
介绍 252
下载MIT-CBCL数据集并将其加载到内存中 252
绘制并可视化目录中的图像 257
图像预处理 262
模型构建、训练和分析 269
11 使用Word2Vec创建和可视化单词向量 277
介绍 277
获取数据 277
导入必要的库 281
准备数据 284
构建和训练模型 288
进一步可视化 293
进一步分析 300
12 使用Keras创建电影推荐引擎 304
介绍 304
下载MovieLens数据集 305
操作和合并MovieLens数据集 312
探索MovieLens数据集 318
为深度学习流水线准备数据集 322
应用Keras深度学习模型 327
评估推荐引擎的准确度 331
13 使用TensorFlow在Spark中进行图像分类 333
介绍 333
下载梅西和罗纳尔多各30张图像 334
使用深度学习包安装PySpark 339
将图像加载到PySpark数据帧 341
理解迁移学习 344
创建用于图像分类训练的流水线 346
评估模型性能 348
微调模型参数 350
^ 收 起
1 为深度学习开发设置Spark 1
介绍 1
下载Ubuntu桌面映像 2
在macOS中使用VMWare Fusion安装和配置Ubuntu 3
在Windows中使用Oracle VirtualBox安装和配置Ubuntu 8
为谷歌云平台安装和配置Ubuntu桌面端 11
在Ubuntu桌面端安装和配置Spark 23
集成Jupyter Notebook与Spark 29
启动和配置Spark集群 33
停止Spark集群 34
2 在Spark中创建神经网络 36
介绍 36
在PySpark中创建数据帧 37
在PySpark数据帧中操作列 41
将PySpark数据帧转换为数组 42
在散点图中将数组可视化 46
设置输入神经网络的权重和偏差 49
规范化神经网络的输入数据 52
验证数组以获得的神经网络性能 55
使用sigmoid设置激活函数 57
创建sigmoid导数 60
计算神经网络中的代价函数 62
根据身高值和体重值预测性别 66
预测分数并进行可视化 69
3 卷积神经网络的难点 72
介绍 72
难点1：导入MNIST图像 73
难点2：可视化MNIST图像 77
难点3：将MNIST图像导出为文件 80
难点4：增加MNIST图像 82
难点5：利用备用资源训练图像 86
难点6：为卷积神经网络优先考虑高级库 88
4 循环神经网络的难点 94
介绍 94
前馈网络简介 95
循环神经网络的顺序工作 103
难点1：梯度消失问题 108
难点2：梯度爆炸问题 111
长短期记忆单元的顺序工作 114
5 用Spark机器学习预测消防部门呼叫 119
介绍 119
下载旧金山消防局呼叫数据集 119
识别逻辑回归模型的目标变量 123
为逻辑回归模型准备特征变量 130
应用逻辑回归模型 137
评估逻辑回归模型的准确度 142
6 在生成网络中使用LSTM 145
介绍 145
下载将用作输入文本的小说/书籍 145
准备和清理数据 151
标记句子 156
训练和保存LSTM模型 158
使用模型生成类似的文本 163
7 使用TF-IDF进行自然语言处理 171
介绍 171
下载治疗机器人会话文本数据集 172
分析治疗机器人会话数据集 176
数据集单词计数可视化 178
计算文本的情感分析 180
从文本中删除停用词 184
训练TF-IDF模型 188
评估TF-IDF模型性能 192
比较模型性能和基线分数 194
8 使用XGBoost进行房地产价值预测 196
下载金斯县房屋销售数据集 196
执行探索性分析和可视化 199
绘制价格与其他特征之间的相关性 210
预测房价 223
9 使用长短期记忆单元预测苹果公司股票市场价格 229
下载苹果公司的股票市场数据 229
探索和可视化苹果公司的股票市场数据 233
准备用于提升模型性能的股票市场数据 238
构建长短期记忆单元模型 246
评估长短期记忆单元模型 249
10 使用深度卷积网络进行人脸识别 252
介绍 252
下载MIT-CBCL数据集并将其加载到内存中 252
绘制并可视化目录中的图像 257
图像预处理 262
模型构建、训练和分析 269
11 使用Word2Vec创建和可视化单词向量 277
介绍 277
获取数据 277
导入必要的库 281
准备数据 284
构建和训练模型 288
进一步可视化 293
进一步分析 300
12 使用Keras创建电影推荐引擎 304
介绍 304
下载MovieLens数据集 305
操作和合并MovieLens数据集 312
探索MovieLens数据集 318
为深度学习流水线准备数据集 322
应用Keras深度学习模型 327
评估推荐引擎的准确度 331
13 使用TensorFlow在Spark中进行图像分类 333
介绍 333
下载梅西和罗纳尔多各30张图像 334
使用深度学习包安装PySpark 339
将图像加载到PySpark数据帧 341
理解迁移学习 344
创建用于图像分类训练的流水线 346
评估模型性能 348
微调模型参数 350
^ 收 起
Ahmed Sherif是一名数据科学家，自2005年以来一直从事各种角色的数据研究。他从2013年开始使用BI解决方案并慢慢转向数据科学。2016年，他从西北大学获得了预测分析硕士学位，在那里他研究深度学习的科学与应用和同时使用Python和R语言的预测建模。近，他一直在使用Azure在云端开发机器学习和深度学习解决方案。2016年，他出版了他的本书《实用商业智能》。他目前是微软的数据和人工智能技术解决方案专业人员。Amrith Ravindra博士是一位机器学习爱好者，拥有电气与工业工程学位。在攻读硕士学位的过程中，他更深入地研究机器学习世界，并培养了对数据科学的热爱。工程专业的研究生课程给他提供了数学背景，使他进入深度学习的职业生涯。他在坦帕市举行的当地数据科学聚会上会见了Ahmed Sherif。他们决定合作写一本关于他们喜欢的机器学习算法的书。他希望这本书能够帮助他实现成为数据科学家并积极为机器学习做出贡献的终目标。黄友良，计算机应用技术专业博士，毕业于北京师范大学，2009年7月-至今就职于北京中医药大学管理学院，中华医学会教育技术分会第八、九届委员会青年委员，中国中医药信息研究会人工智能分会理事，Adobe中国认证讲师。
^ 收 起
^ 收 起
本书开头部分讲了如何按照深度学习的需求来配置Apache Spark，以实现不同类型的神经网络，接下来讲述了在分布式环境中实现深度学习涉及的常见和不那么常见的需求。另外，你还将学到Spark中的深度学习代码，这些代码可以复用到其他类似的问题中，或者稍作改动用于略有不同的问题。本书将带你一起用Spark对数据进行分流和聚类，用TensorFlow、Deeplearning4j和 Caffe在Spark中实现和部署深度学习模型，例如CNN、RNN和 LSTM。学完本书的内容，你将能够在Spark上训练和部署有效的深度学习模型。
比价列表价格走势
