Hadoop大数据分析实战

　　目    录
　　第1章  Hadoop简介 1
　　1.1  Hadoop分布式文件系统 1
　　1.1.1  高可用性 2
　　1.1.2  内部DataNode均衡器 4
　　1.1.3  纠删码 4
　　1.1.4  端口号 4
　　1.2  MapReduce框架 5
　　1.3  YARN 6
　　1.3.1  机会型容器 7
　　1.3.2  YARN时间轴服务v.2 7
　　1.4  其他变化内容 9
　　1.4.1  最低Java版本 9
　　1.4.2  Shell脚本重写 9
　　1.4.3  覆盖客户端的JAR 10
　　1.5  安装Hadoop 3 10
　　1.5.1  准备条件 10
　　1.5.2  下载 10
　　1.5.3  安装 12
　　1.5.4  设置无密码ssh 12
　　1.5.5  设置NameNode 13
　　1.5.6  启动HDFS 13
　　1.5.7  设置YARN服务 17
　　1.5.8  纠删码 18
　　1.5.9  内部DataNode平衡器 21
　　1.5.10  安装时间轴服务v.2 21
　　1.6  本章小结 27
　　第2章  大数据分析概述 29
　　2.1  数据分析简介 29
　　2.2  大数据简介 30
　　2.2.1  数据的多样性 31
　　2.2.2  数据的速度 32
　　2.2.3  数据的容量 32
　　2.2.4  数据的准确性 32
　　2.2.5  数据的可变性 33
　　2.2.6  可视化 33
　　2.2.7  数值 33
　　2.2  使用Apache Hadoop的分布式计算 33
　　2.4  MapReduce框架 34
　　2.5  Hive 35
　　2.5.1  下载并解压Hive二进制文件 37
　　2.5.2  安装Derby 37
　　2.5.3  使用Hive 39
　　2.5.4  SELECT语句的语法 41
　　2.5.5  INSET语句的语法 44
　　2.4.6  原始类型 44
　　2.5.7  复杂类型 45
　　2.5.8  内建运算符和函数 45
　　2.5.9  语言的功能 50
　　2.6  Apache Spark 51
　　2.7  基于Tableau的可视化操作 52
　　2.8  本章小结 54
　　第3章  基于MapReduce的大数据处理 55
　　3.1  MapReduce框架 55
　　3.1.1  数据集 57
　　3.1.2  记录读取器 58
　　3.1.3  映射 59
　　3.1.4  组合器 59
　　3.1.5  分区器 60
　　3.1.6  混洗和排序 60
　　3.1.7  reducer任务 60
　　3.1.8  输出格式 61
　　3.2  MapReduce作业类型 61
　　3.2.1  SingleMapper作业 63
　　3.2.2  SingleMapperReducer作业 72
　　3.2.3  MultipleMappersReducer作业 77
　　3.2.4  SingleMapperReducer作业 83
　　3.2.5  应用场景 84
　　3.3  MapReduce模式 88
　　3.3.1  聚合模式 88
　　3.3.2  过滤模式 90
　　3.3.3  连接模式 91
　　3.4  本章小结 100
　　第4章  Python-Hadoop科学计算和大数据分析 101
　　4.1  安装操作 101
　　4.1.1  安装Python 101
　　4.1.2  安装Anaconda 103
　　4.2  数据分析 110
　　4.3  本章小结 134
　　第5章  R-Hadoop统计数据计算 135
　　5.1  概述 135
　　5.1.1  在工作站上安装R并连接Hadoop中的数据 135
　　5.1.2  在共享服务器上安装R并连接至Hadoop 136
　　5.1.3  利用Revolution R Open 136
　　5.1.4  利用RMR2在MapReduce内执行R 137
　　5.2  R语言和Hadoop间的集成方法 138
　　5.2.1  RHadoop—在工作站上安装R并将数据连接至Hadoop中 139
　　5.2.2  RHIPE—在Hadoop MapReduce中执行R语言 139
　　5.2.3  R和Hadoop流 139
　　5.2.4  RHIVE—在工作站上安装R并连接至Hadoop数据 140
　　5.2.5  ORCH—基于Hadoop的Oracle连接器 140
　　5.3  数据分析 140
　　5.4  本章小结 165
　　第6章  Apache Spark批处理分析 167
　　6.1  SparkSQL和DataFrame 167
　　6.2  DataFrame API和SQL API 171
　　6.2.1  旋转 176
　　6.2.2  过滤器 177
　　6.2.3  用户定义的函数 178
　　6.3  模式—数据的结构 178
　　6.3.1  隐式模式 179
　　6.3.2  显式模式 179
　　6.3.3  编码器 181
　　6.4  加载数据集 182
　　6.5  保存数据集 183
　　6.6  聚合 183
　　6.6.1  聚合函数 184
　　6.6.2  窗口函数 194
　　6.6.3  ntiles 195
　　6.7  连接 197
　　6.7.1  连接的内部工作机制 199
　　6.7.2  混洗连接 199
　　6.7.3  广播连接 199
　　6.7.4  连接类型 200
　　6.7.5  内部连接 201
　　6.7.6  左外连接 202
　　6.7.7  右外连接 203
　　6.7.8  全外连接 204
　　6.7.9  左反连接 205
　　6.7.10  左半连接 206
　　6.7.11  交叉连接 206
　　6.7.12  连接的操作性能 207
　　6.8  本章小结 208
　　第7章  Apache Spark实时数据分析 209
　　7.1  数据流 209
　　7.1.1  “至少一次”处理 211
　　7.1.2  “最多一次”处理 211
　　7.1.3  “仅一次”处理 212
　　7.2  Spark Streaming 214
　　7.2.1  StreamingContext 215
　　7.2.2  创建StreamingContext 215
　　7.2.3  启用StreamingContext 216
　　7.2.4  终止StreamingContext 216
　　7.3  fileStream 217
　　7.3.1  textFileStream 217
　　7.3.2  binaryRecordsStream 217
　　7.3.3  queueStream 218
　　7.3.4  离散流 219
　　7.4  转换 222
　　7.4.1  窗口操作 223
　　7.4.2  有状态/无状态转换 226
　　7.5  检查点 227
　　7.5.1  元数据检查点 228
　　7.5.2  数据检查点 228
　　7.6  驱动程序故障恢复 229
　　7.7  与流平台的互操作性（Apache Kafka） 230
　　7.7.1  基于接收器的方案 230
　　7.7.2  Direct Stream 232
　　7.7.3  Structured Streaming 233
　　7.8  处理事件时间和延迟日期 236
　　7.9  容错示意图 237
　　7.10  本章小结 237
　　第8章  Apache Flink批处理分析 239
　　8.1  Apache Flink简介 239
　　8.1.1  无界数据集的连续处理 240
　　8.1.2  Flink、数据流模型和有界数据集 241
　　8.2  安装Flink 241
　　8.3  使用Flink集群UI 248
　　8.4  批处理分析 251
　　8.4.1  读取文件 251
　　8.4.2  转换 254
　　8.4.3  groupBy 258
　　8.4.4  聚合 260
　　8.4.5  连接 261
　　8.4.6  写入文件 272
　　8.5  本章小结 274
　　第9章  Apache Flink流式处理 275
　　9.1  流式执行模型简介 275
　　9.2   利用DataStream API进行数据处理 277
　　9.2.1  执行环境 278
　　9.2.2  数据源 278
　　9.2.3  转换 282
　　9.3  本章小结 300
　　第10章  大数据可视化技术 301
　　10.1  数据可视化简介 301
　　10.2  Tableau 302
　　10.3  图表类型 313
　　10.3.1  线状图 314
　　10.3.2  饼图 314
　　10.3.3  柱状图 315
　　10.3.4  热图 316
　　10.4  基于Python的数据可视化 317
　　10.5  基于R的数据可视化 319
　　10.6  大数据可视化工具 320
　　10.7  本章小结 321
　　第11章  云计算简介 323
　　11.1  概念和术语 323
　　11.1.1  云 323
　　11.1.2  IT资源 324
　　11.1.3  本地环境 324
　　11.1.4  云使用者和云供应商 324
　　11.1.5  扩展 324
　　11.2  目标和收益 325
　　11.2.1  可扩展性的提升 326
　　11.2.2  可用性和可靠性的提升 326
　　11.3  风险和挑战 327
　　11.3.1  安全漏洞 327
　　11.3.2  减少运营治理控制 328
　　11.3.3  云提供商之间有限的可移植性 328
　　11.4  角色和边界 328
　　11.4.1  云供应商 328
　　11.4.2  云使用者 328
　　11.4.3  云服务持有者 328
　　11.4.4  云资源管理员 329
　　11.5  云特征 329
　　11.5.1  按需使用 330
　　11.5.2  无处不在的访问 330
　　11.5.3  多租户机制（和资源池机制） 330
　　11.5.4  弹性 330
　　11.5.5  监测应用状态 330
　　11.5.6  弹性计算 331
　　11.6  云交付模型 331
　　11.6.1  基础设施即服务 331
　　11.6.2  平台即服务 331
　　11.6.3  软件即服务 332
　　11.6.4  整合云交付模型 332
　　11.7  云部署模型 333
　　11.7.1  公共云 333
　　11.7.2  社区云 334
　　11.7.3  私有云 334
　　11.7.4  混合云 334
　　11.8  本章小结 335
　　第12章  使用亚马逊Web服务 337
　　12.1  Amazon Elastic Compute Cloud 337
　　12.1.1  弹性Web计算 337
　　12.1.2  对操作的完整控制 338
　　12.1.3  灵活的云托管服务 338
　　12.1.4  集成 338
　　12.1.5  高可靠性 338
　　12.1.6  安全性 338
　　12.1.7  经济性 338
　　12.1.8  易于启动 339
　　12.1.9  亚马云及其镜像 339
　　12.2  启用多个AMI实例 340
　　12.2.1  实例 340
　　12.2.2  AMI 340
　　12.2.3  区域和可用区 340
　　12.2.4  区域和可用区概念 341
　　12.2.5  区域 341
　　12.2.6  可用区 341
　　12.2.7  可用区域 342
　　12.2.8  区域和端点 342
　　12.2.9  实例类型 343
　　12.2.10  Amazon EC2和亚马逊虚拟私有云 343
　　12.3  AWS Lambda 344
　　12.4  Amazon S3简介 345
　　12.4.1  Amazon S3功能 345
　　12.4.2  全面的安全和协从能力 346
　　12.4.3  就地查询 346
　　12.4.4  灵活的管理机制 346
　　12.4.5  最受支持的平台以及最大的生态系统 347
　　12.4.6  简单、方便的数据传输机制 347
　　12.4.7  备份和恢复 347
　　12.4.8  数据存档 347
　　12.4.9  数据湖和数据分析 348
　　12.4.10  混合云存储 348
　　12.4.11  原生云应用程序数据 348
　　12.4.12  灾难恢复 348
　　12.5  Amazon DynamoDB 349
　　12.6  Amazon Kinesis Data Streams 349
　　12.6.1  加速日志和数据提要的输入和处理 350
　　12.6.2  实时度量和报告机制 350
　　12.6.3  实时数据分析 350
　　12.6.4  复杂的数据流处理 350
　　12.6.5  Kinesis Data Streams的优点 350
　　12.7  AWS Glue 351
　　12.8  Amazon EMR 352
　　12.9  本章小结 363

　　本书详细阐述了与Hadoop 3大数据分析相关的基本解决方案，主要包括Hadoop简介、大数据分析概述、基于MapReduce的大数据处理、Python-Hadoop科学计算和大数据分析、R-Hadoop统计数据计算、Apache Spark批处理分析、Apache Spark实时数据分析、Apache Flink批处理分析、Apache Flink流式处   理、大数据可视化技术、云计算简介、使用亚马Web服务等内容。此外，本书还提供了相应的示例、代码，以帮助读者进一步理解相关方案的实现过程。
　　本书适合作为高等院校计算机及相关专业的教材和教学参考书，也可作为相关开发人员的自学教材和参考手册。