会议介绍

课程简介       

 

目前无论是企业还是培训机构没有一家完整的大数据案例项目，本次课程将从数据产生---数据收集--数据分析---数据展示一步步带您走入大数据世界，让你感觉大数据并不是那么神秘 。
此大数据项目分为前端展示，系统搭建，数据分析，数据展示
前端展示用到技术：目前比较火的spring mvc和hibernate在servlet3.0规范下的纯注解编程体验
系统搭建用到技术：nginx服务器的负载均衡实现与动静分离技术中同tomcat服务器的服务器集群整合，以及系统层面的优化处理，比如立竿见影的cpu affinity进程分配技术以及粒度更细的cgroup实现资源隔离，
数据分析用到技术：从日志数据的产生，比如通过ab压力测试软件生产的海量日志消息，以及通过flume进行hop式跳跃推送进行kafka消息集群，同实现原生数据的hdfs下沉处理与MR实现的数据清洗过程后的数据转储。
分析展示层用到技术：使用hive与crontab组合实现网站流量的KPI数据定时统计。高可用方面配置独立的zk集群实现Hadoop的NN、RM以及利用storm实现业务数据的在线实时处理，结合hbase实现数据的实时读写。
通过以上流程让解决大部分公司常用的技术，里面不光有技术讲解，同时涉及了很多调优方案，让小白快速了解大数据做什么，让有基础的同学学到调优。
 

 课程特色        

 

1. 课程注重实战，全程通过实战讲解，绝对干货。       
2. 课程体系比较强，里面不光有技术讲解，同时涉及了很多调优方案，让小白快速了解大数据做什么，让有基础的同学学到调优
3. 购买全套课程的用户，可以进入专享学习交流群，随时沟通交流。    
4. 直播后提供视频回放+课件，反复学习和巩固知识。    
5. 在线问答+专属答疑课（每周一次），帮助学生实战运用。 

 

课程大纲           

 

体系信息                    

 

 

1. 项目概览              

1.1 项目描述
1.2 核心技术说明
1.3 业务流程分析
1.4 项目整体架构图解

2.项目初始化              

2.1 基于servler3.0 的web层框架准备
2.2 springmvc+spring+hibernate的基础类库实现

3. 大数据服务器配置

3.1nginx服务器反向代理配置
3.2nginx + tomcat实现动静资源隔离
3.3nginx实现日志滚动
3.4使用Apache ab进行压力测试

4. 大数据架构配置          

4.1 部署flume和kafka集群
4.2 配置hive数据仓库，使用linux调度方式周期性生成分区表
4.3 利用spooldir source提取nginx滚动生成的日志文件到kafka集群
4.4 实现kafka消费者，数据分成两部分处理，一部分作为原生数据直接sink到hdfs，作为备份
4.5 另一部分进行数据清洗，并将清洗后的数据写入到hive数据库的分区表中

5. 大数据业务处理           

5.1配置hbase集群，实现业务数据例如用户信息，订单信息等精准数据的存储和查询
5.2在hive中创建pv，uv等数据统计表，使用hbase存储处理器将数据映射到hbase中，以方便于快速查询和
  数据可视化处理
5.3配置linux计划任务，周期性调用hive脚本，对上一天的日志信息进行kpi统计，统计结果进入hbase映射表中
5.4集合web前端部分，对hbase库中数据进行展现和可视化处理  

 

 

徐培成老师在线课程参考：http://edu.csdn.net/lecturer/1038 

开课信息   

1. 直播形式授课    
2. 上课时间：11.30号开课，每周三晚8点一节课（一共5节课）    
3. 上课时长：每周 1 小时左右，课程+互动+答疑    

 

课程报名  

 

1. 完整版  149元
2. 为了更方便的获取课程信息，请报名的时候务必填写真实的姓名和真实手机号，且这将是以后听课的唯一凭证，还请配合
3. 加入 QQ 学员群（560811138），会有我们工作人员在学员群内发放上课方式+讲师答疑，大家也可以畅所欲言的交流哦