离线数据分析

　　课程内容：

　　1、初识Hadoop以及Hadoop生态系统、Hadoop的发展史、Hadoop的优缺点、Hadoop的核心组件、Hadoop发行版的选择；Hadoop环境搭建，Hadoopshell命令;

　　2、Hadoop分布式文件系统HDFS、Hadoop的设计目标、架构及副本的脚本，搭建单节点伪分布式HDFS的实验环境；使用hdfsshell以及JavaAPI的方式操作HDFS文件系统；解析HDFS文件的读写流程;

　　3、分布式计算框架MapReduce；MapReduce应用程序的开发、配置JobHistoryServer;

　　4、HadoopHA高可用集群搭建和配置;

　　5、数据仓库Hive的安装和使用、分桶作用、创建点击流数据数据仓库、点击流数据分析（HiveSql）;

　　6、Flume分布式日志框架、点击流日志系统解决方案、点击流日志系统部署及电商项目集成、Hadoop分布式集群搭建；搭建一个多节点的分布式Hadoop集群环境；Hadoop集成Spring的使用;

　　7、数据迁移工具Sqoop、HADOOP(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递;

　　8、HBase基础、面向列的实时分布式数据库、HBase与RDBMS的对比、HBase集群及其管理;

　　9、分布式资源调度YARN；YARN的产生背景、YARN的架构及执行流程；搭建单节点伪分布式YARN的实验环境;

　　项目：

　　基于Hadoop的离线数据电商分析平台、日志文件的收集、Hive日志文件数据分析、定时触发、HBASE集群