课程背景

  大数据技术已经逐步地应用到新兴互联网企业（如电子商务网站、搜索引擎、社交网站、互联网广告服务提供商等）、银行金融证券企业、电信运营等行业，给这些行业带来了一定的数据价值增值作用。
  本课程面向有志从事大数据应用方向的IT工程师，带大家实践大数据的基本理论和基础平台的操作训练，系统地讲解数据准备、数据建模、挖掘模型建立、大数据分析与挖掘算法应用在业务模型中，结合主流的Hadoop与Spark大数据分析平台架构，实现项目训练。
  课程结合业界使用最广泛的主流大数据平台技术，重点剖析基于大数据分析算法与BI技术应用，包括分类算法、聚类算法、预测分析算法、推荐分析模型等在业务中的实践应用，并根据讲师给定的数据集，实现两个基本的日志数据分析挖掘系统，以及电商（或内容）推荐系统引擎。

课程前提

  Linux基本知识与操作技能。
  Java、Python语言基本知识（能看懂）。
  数据库的基本使用经验，理解数据的概念和简单的SQL语句。
  具有软件项目开发经历更佳。

课程大纲

  一、大数据应用理念与概念
  1、大数据的产生背景
  2、大数据的主要特征
  3、大数据的主要应用场景
  4、大数据的目前的软件生态圈
  5、大数据思维与应用
  二、大数据计算系统网络与节点规划
  1、服务器规划
  2、网络规划
  3、机房规划
  4、数据库规划
  5、人员规划
  6、技术储备规划
  三、Ubuntu系统安装
  1、磁盘规划（RAID、分区、LVS）
  2、系统版本的选择
  3、系统安装方式
  4、网络设置
  5、用户与权限系统配置
  6、SSH安装与配置
  7、JDK的安装与配置
  8、Java安装
  9、Python与第三方库的安装与使用
  10、Scala的安装与使用
  四、Hadoop系统的安装与基本配置
  1、节点规划
  2、Namenode节点规划与配置
  3、Datanode数字节点规划与配置
  4、park安装与配置
  5、节点配置
  6、计算资源分配
  五、MySQL安装
  基于deb包的安装
  基于源码安装
  MySQL常用管理工具
  数据库权限管理
  数据库导入导出备份恢复操作。
  数据库访问接口JDBC
  六、Hive安装部署
  1、Hive数据库安装
  2、Metastore安装
  3、Hive与HDFS的配置
  4、Hive的数据导入与导出
  5、Hive数据库表的管理
  6、配置hive-server2
  7、Hive数据接口的使用
  七、Sqoop的安装与使用
  1、Sqoop的安装与使用
  2、Sqoop2的安装与使用
  3、HDFS与MySQL的数据导入与导出
  4、增量数据同步