课程内容

一阶段课程：大数据开发语言基础
主要内容：基本程序逻辑、面向对象深入、异常处理机制、常用类、集合&泛型、多线程、MySQL基础、远程仓库、DDL/DCL/DML/DQL、SQL优化、批量处理事务DBUtil、Git管理文件版本、pom.xml详解。
核心能力培养：掌握Java核心技术、掌握MySQL数据库、掌握利用JDBC操作数据库。
第二阶段课程：离线场景下的数据存储和计算
主要内容：企业常用Linux命令、awk,sed,seq,xargs进阶命令、HDFS分布式文件系统、MapReduce并行计算、Yarn资源分配、Hive数据仓库、Flume日志实时采集、Sqoop数据导入导出工具。
核心能力培养：掌握Hadoop生态技术栈：HDFS，MapReduce，Yarn，Zookeeper，Hive，Flume,Sqoop等，掌握ETL技术:Kylin、kettle等、BI工具:Superset、Echarts。项目实战：企业级电商大数据分析系统之离线数据仓库项目、客快物流大数据项目。
第三阶段课程：数仓建设和实时检索
主要内容：Redis概述、Redis事务、Jedis和Spring整合、Hbase整体架构、API的使用方式、数据结构检索与搜索原理、search搜索相关算法、kafka安装和使用、kafka运行流程和文件存储、分区原则、消息可靠性。
核心能力培养：掌握No SQL数据库:Redis，HBase，掌握数据仓库设计和建设，掌握实时检索Elastic Search技术。
项目实战：车联网实时检索项目
第四阶段课程：Scala编程&Spark分布式计算框架
主要内容：Scala概述、Scala程序逻辑、Scala面向对象编程、隐式转换、Scala集合、函数式编程、单向环形链表、约瑟夫问题、Spark概述、Spark安装和使用、RDD&算子、Spark SQL、DataSet DataFrame、SparkStreaming、Spark调优。
核心能力培养：掌握Scala语言和算法，掌握Spark分布式计算框架。
项目实战：万网信号大数据项目、智能车流量监控平台项目。
第五阶段课程：实时计算与数据挖掘
主要内容：Spark MLlib算法、Spark MLlib统计分析、Spark MLlib分类和回归、Spark MLlib聚类和降维、Spark MLlib关联规则与推荐算法、Flink状态管理与恢复、Flink的Time详解、Flink SQL、Flink的事件处理。
核心能力培养：掌握数据挖掘、掌握Flink计算引擎。
项目实战：企业级电商实时数仓项目、推荐系统项目、智慧交通平台。