系统理解大数据架构、技术原理
掌握华为大数据FusionInsight HD方案
熟悉HDFS、MapReduce、Yarn、Spark
熟悉HBase、Hive、Loader、Flume
熟悉Kafka、Streaming
熟悉ZooKeeper
大数据运维与开发人员,应用开发高级人员,企业IT系统架构师,企业CTO
模块名称 |
课程内容 |
大数据行业和技术趋势以及华为鲲鹏解决方案 |
1. 大数据时代 2. 大数据的应用领域 3. 大数据时代的机遇和挑战 4. 华为鲲鹏解决方案 |
HDFS分布式文件系统与ZooKeeper |
1. HDFS概述及应用场景 2. HDFS系统架构 3. HDFS关键特性介绍 4. ZooKeeper的相关概念 5. ZooKeeper的体系结构 |
MapReduce分布式离线批处理和Yarn资源协调 |
1. MapReduce与YARN基本介绍 2. MapReduce与ARN功能与架构 3. YARN的资源管理和任务调度 4. 增强特性 |
HBase分布式NoSQL数据库 |
1. HBase 基本介绍 2. HBase相关概念 3. HBase 架构 4. HBase 关键流程 5. HBase突出特点 6. HBase性能优化 7. HBase常用Shell命令 |
Hive分布式数据仓库 |
1. Hive概述 2. Hive功能与架构 3. Hive基本操作 |
Spark基于内存的分布式计算框架 |
1. Spark概述 2. Spark原理与架构 3. Spark在FusionInsight中的集成情况 |
Streaming分布式流计算引擎 |
1. Streaming简介 2. 系统架构 3. 关键特性介绍 4. StreamSQL介绍 |
Flink流计算处理和批处理平台 |
1. Flink原理及架构 2. Flink的Time与Window 3. Flink的Watermark 4. Flink的容错 |
Flume海量日志聚合 |
1. Flume简介及架构 2. Flume关键特性介绍 3. Flume应用举例 |
Loader的技术原理 |
1. Loader概述 2. Loader作用 3. Loader的主要特性 4. Loader的系统架构 5. Loader作业 |
Kafka分布式消息订阅系统 |
1. Kafka简介 2. Kafka架构与功能 3. Kafka关键流程 |
Hadoop基础技术-Kerberos&LDAP |
1. 统一身份认证管理 2. 目录服务及Ldap基本原理介绍 3. 单点登陆及Kerberos基本原理介绍 4. 华为大数据安全认证场景架 |
分布式搜索服务ElasticSearch |
1. ElasticSearch简介 2. ElasticSearch系统架构 3. ElasticSearch关键特性 |
Redis内存数据库 |
1. Redis应用场景 2. Redis业务流程 3. Redis特性及数据类型 4. Redis的优化 5. Redis应用案例 |
华为大数据解决方案介绍 |
1. ICT行业发展趋势概述 2. 华为大数据服务 3. 华为数据湖服务 |