企业级大数据技术与应用
线下培训时长：18 小时
查看近期开班 预约试听 马上咨询
课程介绍
适用对象：对大数据、分布式存储分析等感兴趣的朋友；云计算、大数据从业者； 熟悉Hadoop生态体系，想了解和学习Hadoop与Spark整合在企业应用实战案例的朋友； 系统架构师、系统分析师、高级程序员、资深开发人员； 牵涉到大数据处理的数据中心运行、规划、设计负责人； 政府机关，金融保险、移动互联网等大数据单位的负责人。
课程简介：1. 了解大数据业内最新发展趋势，深入掌握Hadoop的原理，Hadoop生态系统 2. 深入学习yarn 框架下的MapReduce，掌握MapReduce研发 3. 掌握HDFS 开发 4. 了解Hadoop集群规划，应用案例解析 5. 列式数据库HBase的基本原理，应用场景，掌握基本的编程技巧 6. 学习掌握 Hive工具 , 分布式协调系统Zookeeper的基本原理，应用场景，掌握基本的编程技巧 7. 掌握Spark技术 8. 掌握Impala 9. 掌握相关的大数据核心组件
课程大纲
1 大数据概念及行业应用
1.1 大数据基本概念
1.1.1 什么是大数据
1.1.2 为什么需要大数据
1.1.3 如何理解大数据架构
1.1.4 大数据关键技术介绍
1.1.5 大数据库关注的四项技术
1.1.6 大数据时代数据库技术的发展
1.1.7 大数据关键技术的应用场景
1.1.8 典型的大数据平台架构实现
1.2 电信运营商大数据
1.2.1 运营商面对的大数据
1.2.2 运营商大数据在哪里
1.2.3 运营商面临的大数据挑战
1.2.4 运营商大数据建设理念
1.3 商业大数据的行业应用
1.3.1 大数据在互联网的应用
1.3.2 大数据运营商的应用
1.3.3 大数据在金融行业中的应用案例
1.4 业界常用大数据平台介绍
1.4.1 Apache Hadoop
1.4.2 Cloudera
1.4.3 Hortonworks
1.4.4 Oracle Exdata
1.4.5 IBM Biginsight
1.4.6 华为 FusionInsight
2 HDFS分布式文件系统与MapReduce技术原理与应用
2.1 HDFS技术原理和功能架构
2.1.1 HDFS概述及行业应用
2.1.2 HDFS在Hadoop中的位置
2.1.3 HDFS的系统架构
2.1.4 HDFS的设计目标
2.1.5 HDFS的高可用机制
2.1.6 HDFS的副本机制
2.1.7 HDFS的元数据持久化机制
2.1.8 HDFS的数据输入输出方式
2.1.9 HDFS的数据存储机制
2.1.10 HDFS支持的接口
2.2 HDFS的安装和部署
2.2.1 HDFS的部署规划
2.2.2 HDFS的组网方法与原则
2.2.3 HDFS的部署原则及约束
2.2.4 HDFS的多种部署方式
2.2.5 HDFS常用参数及配置建议
2.3 HDFS运维管理
2.3.1 HDFS的目录结构
2.3.2 HDFS的服务检查
2.3.3 HDFS日志结构与作用
2.3.4 HDFS常用维护命令
2.3.5 HDFS健康检查关键指标
2.3.6 HDFS常见问题及定位方法
2.4 MapReduce & Yarn 计算框架
2.4.1 MapReduce和Yarn技术原理
2.4.2 MapReduce的功能与定义
2.4.3 MapReduce的应用场景
2.4.4 Yarn的定义及产生背景
2.4.5 Yarn在计算框架中的定位
2.4.6 MapReduce的计算过程
2.4.7 Yarn的框架与通信
2.4.8 使用Yan进行资源管理和任务调度
2.4.9 MapReduce & Yarn常用参数配置
2.4.10 运行一个MapReduce程序
2.4.11 MapReduce&Yarn的目录结构
2.4.12 MapReduce&Yarn的服务检查
2.4.13 MapReduce&Yarn常用维护命令
2.4.14 MapReduce&Yarn健康检查关键指标
3 HBase分布式数据库及Zookeeper集群分布式协调服务技术应用
3.1 HBase技术原理
3.1.1 HBase的功能与架构
3.1.2 HBase的技术原理
3.1.3 HBase与关系数据库的比较
3.1.4 HBase的应用场景
3.1.5 HBase在产品中的定位
3.1.6 HBase的应用场景
3.1.7 HBase的数据存储
3.1.8 HBase的输入输出流程
3.2 HBase的安装与配置
3.2.1 HBase的部署规划
3.2.2 HBase的部署方法
3.2.3 HBase的监控方法
3.2.4 HBase的灾备配置
3.3 HBase的运维管理
3.3.1 HBase的目录结构
3.3.2 HBase的日志与作用
3.3.3 HBase的常用维护命令
3.3.4 HBase的参数配置
3.3.5 HBase的性能优化
3.3.6 HBase的备份与恢复
3.3.7 HBase的健康检查
3.3.8 HBase常见问题及定位方法
3.4 Zookeeper技术架构
3.4.1 Zookeeper的功能与架构
3.4.2 Zookeeper的技术原理
3.4.3 Zookeeper的关键特性
3.4.4 Zookeeper与组件之间的关系
3.5 Zookeeper的安装与配置
3.5.1 Zookeeper的部署规划
3.5.2 Zookeeper的部署方法
4 Hive数据仓库工具与实时查询Impala的技术与应用
4.1 Hive技术架构
4.1.1 Hive的功能与架构
4.1.2 Hive在大数据平台产品中的位置
4.1.3 Hive的优缺点
4.1.4 Hive的应用场景
4.1.5 Hive与传统数据仓库的比较
4.1.6 Hive的数据存储结构
4.1.7 Hive的权限管理
4.2 Hive的安装与配置
4.2.1 Hive的部署规划
4.2.2 Hive的部署的关键参数配置
4.2.3 Hive的备份与恢复操作
4.2.4 Hive的监控配置
4.3 Hive的运维管理
4.3.1 Hive的目录结构介绍
4.3.2 Hive的常用维护命令
4.3.3 Hive的参数含义与配置
4.3.4 Hive的性能优化
4.3.5 Hive常见问题及定位方法
4.4 Spark技术架构
4.4.1 Spark的功能与架构
4.4.2 Spark的技术原理
4.4.3 Spark与Hadoop的异同点
4.4.4 Spark的应用场景
4.5 Spark安装配置
4.5.1 Spark的部署规划
4.5.2 Spark的部署原则与约束
4.5.3 Spark的关键参数与配置
4.5.4 Spark客户端工具的使用
4.5.5 在Spark上运行Scala程序
4.6 Spark运维管理
4.6.1 Spark的目录结构
4.6.2 Spark的相关进程
4.6.3 Spark日志目录结构
4.6.4 使用开发工具测试Spark
4.6.5 Spark常见问题及定位方法
5 大数据其他相关技术
5.1 Sqoop数据转换技术架构
5.1.1 Sqoop的功能与架构
5.1.2 Sqoop的技术原理
5.1.3 Sqoop的应用场景
5.2 Solr数据搜索技术架构
5.2.1 Solr的功能与架构
5.2.2 Solr的技术原理
5.2.3 Solr的关键特性
5.2.4 Solr的应用场景
5.3 Storm流式计算技术架构
5.3.1 Storm的功能与架构
5.3.2 Storm的技术原理
5.3.3 Storm的关键特性
5.3.4 Storm的应用场景
5.4 Storm的安装与配置
5.4.1 Storm的部署规划
5.4.2 Storm的安装部署
5.5 Storm的运维管理
5.5.1 Storm的常用维护命令
5.5.2 Storm的参数配置
5.5.3 Storm的性能优化
5.5.4 Storm常见问题及定位方法
5.6 Oozie工作流引擎技术架构
5.6.1 Oozie的功能与架构
5.6.2 Oozie的技术原理
5.6.3 Oozie的关键特性
5.6.4 Oozie的应用场景
6 测试题（一）
咨询获取详细大纲

您好！ 欢迎来到学领未来 !

学领未来提供线上及线下的学习服务，根据您的位置，为您推荐最近的线下培训地点 分站，你选择：