开源力量公开课第四十九期 - Spark:大数据时代的电光火石

线上   2014年04月01日 20:00 - 22:00

会议介绍

报名地址:http://www.osforce.cn/openclass/65/show

课程背景:

Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台。它立足于内存计算,从多迭代批量处理出发,兼收并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。

 

课程大纲:

1. spark简介
推荐链接:http://www.tuicool.com/articles/2uA773

2. scala语法介绍
函数式编程
闭包
几个关键的函数:map 和flatmap

3. spark的关键组件
master 
worker 
sparkContext(client)

4. 4种rdd
输入rdd,转化rdd,缓存rdd
行动rdd(只有最后一种才会进行计算)

5. 一个wordcount例子
解释刚才讲过的rdd,图例解释DAG的概念

6. stage的概念
stage存在的意义,stage和依赖的关系
什么是数据的pipeline

7. 两种Task
Task的提交与执行

8  计算结果

 

讲师介绍:

       白硕,从事该领域开发八年,经验丰富,具有丰富的通讯技术实践经验。

 

更多公开课:http://www.osforce.cn/?id=iteye
 

参会人数:
0 9 7

时间地点

  • 时间:2014年04月01日 20:00 - 22:00
  • 地点:线上

联系我们

如果想在CSDN会议平台发布会议,请与我们联系: 联系人:刘华 电话:18516031455
邮箱:osf@osforce.cn