Hadoop2.0运维管理与集群安装监控和管理 |
时间 |
课程模块 |
内容 |
09:00-12:00 |
模块一:RedHadoop集群入门 |
● Hadoop应用案例和核心思想
● RedHadoop Enterprise安装及部署
|
模块二:Hadoop集群管 |
● Hadoop常见使用命令
● Hadoop运维故障及解决
● Hadoop使用工具
● Hadoop其他应用案例
|
模块三:RedHadoop集群配置:机架感知、开启压缩和任务均衡 |
● Hadoop 集群安装和开启LZO压缩
● Hadoop 配置集群具备机架感知
● Hadoop 集群开启能力任务调度器
|
模块四:Hadoop 集群维护与管理 |
● 查看集群状态
● HDFS数据管理
● MapReduce任务管理
● HDFS安全模式
● 添加删除节点
● 数据平衡
● 文件数据跨集群拷贝
|
模块五:Hadoop集群规划和测试 |
● 集群规划(硬件、系统、网络)
● 集群性能测试
|
12:00-13:00 |
午 休 |
13:00-17:00 |
模块六:Hadoop 集群监控和运维 |
● 使用Ganglia 监控Hadoop集群
● 使用Cacti 监控操作系统
|
模块七:Hadoop HDFS高可用 |
● Hadoop 元数据NFS备份方案
● Hadoop SecondaryNameNode备份方案
● Hadoop Wandisc HA Namenode 方案
|
模块八:Hive的使用和实战 |
● Hive组件基础
● Hive的作用和原理说明
● Hadoop仓库和传统数据仓库的协作关系
● Hadoop/Hive仓库数据数据流
● Hive 部署和安装
● Hive Cli 的基本用法
● Hive的server启动
● HQL基本语法
● Hive的加载数据本地加载和HDFS加载
● Hive的存储方式详解
● Hive的UDF和UDAF
● Hive的transform详解
● Hive的JDBC连接
|
模块九:Hadoop案例解析 |
● 菲音纯白.游戏数据平台
● 大港油田.网页数据平台
● 暴风影音.视频数据平台
|