总站
- 课程
- 学校
- 老师
总站
课程原价:
面议
优 惠 价:
面议
更新日期:
2020/04/01
开课形式:
上课时段:
课程人气:
已有 11472 人浏览
授课学校:
上课地址:
羊坊店路18号1幢5层520-1房屋
咨询电话:
北京中科信软科技有限公司-其它课程
课程类别
课程名称
开班时间
学费
课程内容详细介绍
中科信软Hadoop大数据时代培训
培训内容
第一部分
第1个主题:Hadoop三问(彻底理解Hadoop)
1、 Hadoop为什么是云计算分布式大数据的事实开源标准软件框架?
2、Hadoop的具体是如何工作?
3、Hadoop的生态架构和每个模块具体的功能是什么?
第2个主题:Hadoop集群与管理(具备构建并驾驭Hadoop集群能力)
1、 Hadoop集群的搭建
2、 Hadoop集群的监控
3、 Hadoop集群的管理
4、 集群下运行MapReduce程序
第3主题:彻底掌握HDFS(具备开发自己网盘的能力)
1、HDFS体系架构剖析
2、NameNode、DataNode、SecondaryNameNode架构
3、保证NodeName高可靠性最佳实践
4、DataNode中Block划分的原理和具体存储方式
5、修改Namenode、DataNode数据存储位置
6、使用CLI操作HDFS
7、使用Java操作HDFS
第4主题:彻底掌握HDFS(具备修改HDFS具体源码实现的能力)
1、RPC架构剖析
2、源码剖析Hadoop构建于RPC之上
3、源码剖析HDFS的RPC实现
4、源码剖析客户端与与NameNode的RPC通信
第二部分
第1个主题:彻底掌握MapReduce(从代码的角度剖析MapReduce执行的具体过程并具备开发MapReduce代码的能力)
1、MapReduce执行的经典步骤
2、wordcount运行过程解析
3、Mapper和Reducer剖析
4、自定义Writable
5、新旧API的区别以及如何使用就API
6、把MapReduce程序打包成Jar包并在命令行运行
第2个主题:彻底掌握MapReduce(具备掌握Hadoop如何把HDFS文件转化为Key-Value让供Map调用的能力)
1、 Hadoop是如何把HDFS文件转化为键值对的?
2、 源码剖析Hadoop读取HDFS文件并转化为键值对的过程实现
3、 源码剖析转化为键值对后供Map调用的过程实现
第3个主题:彻底掌握MapReduce(具备掌握MapReduce内部运行和实现细节并改造MapReduce的能力)
1、 Hadoop内置计数器及如何自定义计数器
2、 Combiner具体的作用和使用以及其使用的限制条件
3、 Partitioner的使用最佳实践
4、 Hadoop内置的排序算法剖析
5、 自定义排序算法
6、 Hadoop内置的分组算法
7、 自定义分组算法
8、 MapReduce常见场景和算法实现
第4个主题:某知名电商公司Hadoop实施全程揭秘(具备掌握商业级别Hadoop的分析、开发、部署的全过程的能力)
通过电商公司现场案例展示商业级别一个完整项目的分析、开发、部署的全过程
第三部分
第1个主题:YARN(具备理解和使用YARN的能力)
1、YARN的设计思想
2、YARN的核心组件
3、YARN的共组过程
4、YARN应用程序编写
第2个主题:ResourceManager深度剖析(具备深刻理解ResourceManager的能力)
1、ResourceManager的架构
2、ClientRMService 与AdminService
3、NodeManager
4、 Container
5、 Yarn的 HA机制
第3个主题:NodeManager深度剖析(具备掌握NodeManager及Container的能力)
1、 NodeManager架构
2、 Container Management
3、 Container lifecycle
4、 资源管理与隔离
第4堂课:Spark的架构设计(具备掌握Spark架构的能力)
1.1 Spark生态系统剖析
1.2 Spark的架构设计剖析
1.3 RDD计算流程解析
1.4 Spark的出色容错机制
第四部分
第1堂课:深入Spark内核
1 Spark集群
2 任务调度
3 DAGScheduler
4 TaskScheduler
5 Task内部揭秘
第2堂课:Spark SQL
1 Parquet支持
2 DSL
3 SQL on RDD
第3堂课:Spark的机器学习
1 LinearRegression
2 K-Means
3 Collaborative Filtering
第4堂课:Spark的图计算GraphX
1 Table Operators
2 Graph Operators
3 GraphX
学校简介