Hadoop专家：管理、调优与Spark|YARN|HDFS安全

　　第Ⅰ部分　Hadoop架构与Hadoop集群介绍
　　第1章　Hadoop与Hadoop环境介绍............................................................................... 3
　　Hadoop简介.........................................................................................................................4
　　Hadoop 的特性............................................................................................................5
　　Hadoop 与大数据........................................................................................................5
　　Hadoop 的典型应用场景............................................................................................6
　　传统数据库系统..........................................................................................................7
　　数据湖..........................................................................................................................9
　　大数据、数据科学和Hadoop ..................................................................................10
　　Hadoop集群与集群计算................................................................................................... 11
　　集群计算.................................................................................................................... 11
　　Hadoop 集群..............................................................................................................12
　　Hadoop组件和Hadoop生态..............................................................................................14
　　Hadoop管理员需要做些什么...........................................................................................16
　　Hadoop 管理—新的范式......................................................................................17
　　关于Hadoop 管理你需要知道的.............................................................................18
　　Hadoop 管理员的工具集..........................................................................................19
　　Hadoop 1和Hadoop 2的关键区别....................................................................................19
　　架构区别....................................................................................................................20
　　高可用性....................................................................................................................20
　　多计算引擎................................................................................................................21
　　xiv 目录
　　分离处理和调度........................................................................................................21
　　Hadoop 1 和Hadoop 2 中的资源分配.....................................................................22
　　分布式数据处理：MapReduce和Spark、Hive、Pig ......................................................22
　　MapReduce ................................................................................................................22
　　Apache Spark .............................................................................................................23
　　Apache Hive ...............................................................................................................24
　　Apache Pig .................................................................................................................24
　　数据整合：Apache Sqoop、Apache Flume和Apache Kafka ..........................................25
　　Hadoop管理中的关键领域...............................................................................................26
　　集群存储管理............................................................................................................26
　　集群资源分配............................................................................................................26
　　作业调度....................................................................................................................27
　　Hadoop 数据安全......................................................................................................27
　　总结....................................................................................................................................28
　　第2章　Hadoop架构介绍............................................................................................. 31
　　Hadoop与分布式计算..................................

　　Sam R. Alapati，从事Hadoop相关工作6年。目前在Sabre任Principal Hadoop Administrator，负责大规模Hadoop集群的日常管理工作，主要对多个关键数据科学、数据分析Hadoop作业工作流进行管理。Sam R. Alapati还是一位Oracle DBA专家，在过去14年间出版了18部广受好评的Oracle技术著作。
　　贝壳大数据架构团队，负责公司大数据存储平台、计算平台、实时数据流平台的架构、性能调优、研发等，提供高效的大数据olap引擎，以及大数据工具链组件研发，为公司提供稳定、高效、开放的大数据基础组件与基础平台。

　　本书翻译自Sam R. Alapati 的Expert Hadoop Administration。Sam R. Alapati 是Sabre 公司的首席Hadoop 管理员，具有多年的Hadoop 运维管理经验。他希望通过本书，为Hadoop 集群开发与管理人员提供一些有益指导。从事Hadoop 的管理工作，首先要了解Hadoop 的架构，只进行单纯的操作并不能被称为合格的管理员。基于此，本书在介绍Hadoop 及其生态组件时，都会首先介绍其架构，以期读者能够在更高的层次认识管理工作。本书首先介绍了Hadoop 的整体架构及其部署与使用；然后着重介绍了两个重要的计算引擎MapReduce 与Spark ；接着介绍了Hadoop 的数据存储与安全、数据均衡等特性；最后则介绍了如何进行参数调优与故障排除。整个流程下来，读者能够建立起完整的关于Hadoop 管理的体系架构。