总站
- 课程
- 学校
- 老师
总站
课程原价:
面议
优 惠 价:
面议
更新日期:
2020/04/01
开课形式:
上课时段:
课程人气:
已有 10801 人浏览
授课学校:
上课地址:
羊坊店路18号1幢5层520-1房屋
咨询电话:
北京中科信软科技有限公司-其它课程
课程类别
课程名称
开班时间
学费
课程内容详细介绍
中科信软大数据处理与优化最佳实践培训
课程安排
| 主题 | 内容见要 |
第一部分 | 海量数据处理系统 | 这个部分主要讲解海量数据处理的架构设计,针对海量数据的问题设计海量数据的架构解决方案。 Ø 海量数据处理的系统场景 Ø 大数据时代的数据架构解决方案 Ø 海量数据处理的架构汇总 Ø 8种海量数据处理的架构设计比较 Ø 分布式系统架构的海量数据处理设计 Ø 海量数据处理设计 典型案例分析: |
NoSQL的实践应用 | NoSQL综述解决的实际问题 关系数据库暴露的问题 n High performance并发要求 n Huge Storage的存取 n High Scalability的服务器分布要求 n High Availability的服务器健壮要求 关系型数据库失效的场景 NoSQL与关系型数据库设计理念比较 NoSQL设计模型分析 n K-V模型的Column设计 n Document模型的B Tree设计 n Object模型的基于Object数据访问设计 NoSQL实例分析 n Apache Hbase架构解析 n Facebook Cassandra架构解析 n Google BigTable架构解析 典型案例分析: | |
进入Hadoop的精彩世界 | 文件存储-HDFS HDFS-工作原理 数据计算MapReduce MapReduce工作原理 SQL分析-Hive 海量实时读写-HBase 工作流调度-Ooize 分布式协调系统—Zookeeper | |
第二部分 | Hadoop部署与编程 | Hadoop版本介绍与选择 Hadoop部署实践 Hadoop安装文件构成与配置体系 机器硬件建议配置 系统环境配置 基本参数配置与说明 进程分布规划与启动 Hadoop基本使用操作 HDFS 权限 MapReduce HDFS编程 开发环境准备 读文件 写文件 Hadoop系统容灾策略 Hadoop资源调度策略 Hadoop安全 Hadoop系统监控与报警策略 |
Hive架构及实践案例沙盘演练 | Hive系统部署与搭建 Hive工作机制 基于Hive的网站日志分析示例 Hive的用户自定义函数开发 Hive底层数据文件与数据压缩选择 n gzip n bz2 n lzo n rcfile Hive运行参数调优 Hive程序编写性能建议 n MapJoin n 数据倾斜 n Join顺序 n UDF编写注意事项 n 快速获取结果TopN 通过Explain观察Hive行为 典型案例分析 | |
第三部分 | Hadoop集群架构搭建及实践案例沙盘演练 | Hadoop集群架构搭建方法 Hadoop集群架构性能管理 HDFS,NameNode,DataNode的调优和节点扩展最佳实践 主要调优工具和性能监控工具 Hadoop集群对于硬件的要求和选型 Hadoop集群中对硬件、操作系统的调优方法 实际案例分析 基于Hadoop的集群解决方案 典型案例分析: |
MapReduce架构及实践案例沙盘演练 | MapReduce剖析 n MapReduce的原理和运行过程 n 构建MapReduce的开发环境 MapReduce案例实战 n 使用MapReduce的Java接口实现经典的WordCount n wordcount运行过程解析 n MapReduce实现数据去重操作 n MapReduce实现数据排序 n MapReduce实现数据平均数据的计算 典型案例分析: | |
HBase架构及实践案例沙盘演练 | 为什么实用Hadoop/HBase Hadoop的架构体系与HBase的应用关系 HBase的核心设计机制 HBase的使用场景?什么情况下使用HBase,为什么使用HBase,HBase使用带来的实践价值 关系型数据库与HBase HBase的Client端 HBase架构分析 基于HBase项目架构设计 HBase开发环境搭建 入库和查询的设计与实现 统计功能的设计与实现 案例演练HBase的主体特性 n Features:Scalability实现 n HBaseFeatures:Column-Oriented实现 n High Performance Random R/W实现 n HBase Features: Scan Search实现 n HBase Features: High‐Availability实现 典型案例分析: |
学校简介