Shanghai Apache Spark Meetup第十一次聚会

上海大连路688号宝地广场22楼小沃科技活动场地   2016年12月10日 12:30 - 16:45

会议介绍

本期的Shanghai Apache Spark Meetup第十一次聚会,Intel得到中国联通小沃科技的大力支持。活动将于12月10日,举办于上海大连路688号宝地广场22楼小沃科技活动场地。举办地点交通方便,靠近地铁4号线和12号线的大连路站。

时间表/Agenda

12月10日下午

12:30 – 13:00 签到,签署,进入会场 / sign in, entry

13:00 – 13:15 主题发言 / Keynote 

嘉宾:中国联通小沃科技领导。

13:15 – 13:55 技术演讲 / session - 《Spark Streaming构建实时系统介绍》 

演讲嘉宾:程然,小沃科技高级架构师,开源爱好者,曾就职于IBM, 交行信用卡中心等,经历过多个金融,电商大数据平台建设和应用。

主题简介:Spark Streaming构建实时系统介绍,分享实时系统实践的经验教训。

13:55 – 14:35技术演讲 / session - 《使用Apache Commons Crypto构建高性能安全的Spark》
 
演讲嘉宾:徐铖, 英特尔大数据部门软件工程师,主要专注于SQL on Hadoop和大数据安全领域,是Apache Spark, Apache Commons Crypto代码贡献者,Apache Hive Committer。

主题简介:运行Spark计算任务的时候,被处理的数据往往会含有敏感信息。而使用者并不希望这些敏感数据被其他用户访问到。因此数据在计算和传输过程中的安全性变得越来越重要,特别是对企业级别用户。对应到Spark计算引擎主要涉及到两部分安全性,一部分是网络传输的数据(network encryption),另一部分是写到磁盘的中间结果(file encryption)。同时Spark作为一个计算框架,为了实现安全性还要尽可能减少对性能的损耗。在我们这次技术分享中,我们将会介绍使用Apache Commons Crypto来设计和实现这两部分高性能加密功能,并提供相关的性能数据。

14:35 – 14:55 茶歇 / Tea Break

14:55 – 15:35技术演讲 / session - 《MPI到Spark迁移实践:Relion-Spark》

演讲嘉宾:Vincent Xie, 英特尔大数据部门软件工程师, 主要负责 ML/MLLIB (machine learning) on Spark 的相关工作, 覆盖了针对外部客户的MLLIB up-streaming 和machine learning 相关的项目。

主题简介:主要介绍本人所在团队围绕RELLION 做的一些工作。Rellion基本可以认为是蛋白质结构重建的标准,是近年来很受欢迎的生物学研究课题。我们把基于MPI的Rellion迁移到Spark上。在目前这个早期阶段,试验结果显示了巨大的性能提升,更快、更可靠和更健壮。我们将分享详细的工作流程,并讨论未来工作的各种可能性。

15:35 – 16:15技术演讲 / session - 《Spark on Mesos的实践》

演讲嘉宾:孙锐,同盾科技大数据高级专家,开源爱好者,spark/hive贡献者,前英特尔大数据团队成员。在底层系统软件方面亦有多年经验。

主题简介:Spark on Mesos介绍,分享Spark on Mesos实践的经验教训。

16:15 – 16:45 活动收尾及社交/Ending and Social

时间地点

  • 地点:2016年12月10日 12:30 - 16:45
  • 地点:上海大连路688号宝地广场22楼小沃科技活动场地

联系我们

如果想在CSDN会议平台发布会议,请与我们联系: 联系人:郭芮 电话:guorui_1118(微信)
邮箱:guorui@csdn.net