上海Spark Meetup第九次聚会-CSDN活动

上海Spark Meetup第九次聚会: 饿了么公司5楼会议室(榴莲酥+螺狮粉) 2016-06-18 13:00 — 16:40

会议介绍

Shanghai Apache Spark Meetup第九次聚会，Intel 携手饿了么于6月18日下午，在上海市普陀区金沙江路1518弄2号近铁城市广场饿了么公司5楼会议室(榴莲酥+螺狮粉)举行。欢迎大家前来参加！

时间表/Agenda（6月18日下午）

12:30 - 13:00 签到/Sign in
13:00 - 13:10 开场白/Opening （毕洪宇：饿了么数据运营部副总监）
13:10 - 13:50 Spinach: 构建于Spark之上的即席查询引擎（史鸣飞,英特尔大数据工程师)
13:50 - 14:30 基于Docker容器的大数据系统管理实践（史栋杰,英特尔大数据工程师)
14:30 - 14:50 茶歇/Tea break
14:50 - 15:30 百万吞吐下网站实时QoS监控实践(毕洪宇，饿了么数据运营部副总监)
15:30 - 16:10 在线学习的流式分析算法引擎 ~StreamDM（张家劲，华为2012实验室诺亚方舟实验室预研工程师，）
16:10 - 16:40 交流时间/Networking time

开场/Opening Keynote: 毕洪宇，饿了么数据运营部副总监

毕洪宇个人介绍：饿了么数据运营部副总监。本科和研究生都是同济大学。2016年加入饿了么，负责饿了么数据平台和应用；对大数据底层框架Hadoop，HBase，Spark等技术以及数据应用相关的技术略有研究。

演讲者1: 史鸣飞，英特尔大数据工程师

演讲主题: Spinach: 构建于Spark之上的即席查询引擎

演讲简介：Spinach是一个完全兼容SparkSQL的即席查询服务，它实现了对表上的数据进行索引，并通过在SparkSQL中加入一些DSL的hint进行控制，同时它也实现了一个进程内的Cache管理策略，将数据缓存在堆内/堆外内存中，以加块数据访问。在本次演讲中，我们会对Spinach的设计思想进行介绍，并展示一些初始的测试数据。

史鸣飞，来自英特尔大数据技术团队，专注于Spark相关项目的开发和应用，Spark 代码贡献者，Alluxio项目核心Committer

演讲者2: 史栋杰，英特尔大数据工程师

演讲主题: 基于Docker容器的大数据系统管理实践

演讲简介: 基于Docker容器来进行大数据应用的部署和管理及相关Docker image开发的实践经验。

史栋杰，Intel大数据技术部门软件工程师，

演讲者3: 毕洪宇，饿了么数据运营部副总监

演讲主题：百万吞吐下网站实时QoS监控实践

演讲简介:互联网时代，我们经常会面对成千上万台网站应用服务器，如何能够及时的把握整个网站的QoS在大规模服务器和大流量下成为新的挑战；本topic主要分享作者在有限计算及存储资源的情况下，如何处理接入上千台服务器的访问日志，峰值流量接近两百万每秒以上并保证计算高可用的一次实践经验

演讲者4: 张家劲，华为2012实验室诺亚方舟实验室预研工程师

演讲主题：在线学习的流式分析算法引擎 ~StreamDM

演讲简介：大数据分析按照模型是否在线学习可以分为离线学习（Offline Learning））和在线学习（Online Learning）两大方式，对应的数据处理模式分别为批处理（Batch Mode）分析和流处理（Streaming）分析。当前,MLlib中的大部分算法都是基于Batch处理的算法。StreamDM是一个基于Spark Streaming 、支持在线学习的流分析算法引擎，实现了主流的基于在线流式处理的分类、聚类和bagging等算法。本次分享将介绍StreamDM的流程框架、API和现有的算法，并通过具体的例子介绍如何使用StreamDM。更多的信息请参考StreamDM在Github上的网址：https://github.com/huawei-noah/streamDM/

张家劲: 毕业于四川大学，2007年加入华为，是华为2012实验室诺亚方舟实验室预研工程师，主要工作职责是机器学习、数据挖掘和流处理系统，并长期关注大数据领域和分布式计算，并向Spark的MLlib贡献算法代码，参与StreamDM开源社区建设。