第四次上海大数据流处理 Meetup

上海市长宁区金钟路968号 凌空SOHO 8号楼   2016-09-24 13:00 — 17:30

会议介绍

第四次上海大数据流处理Meetup来到凌空SOHO携程大楼,邀请了来自携程、苏宁和阿里云的技术专家分享流处理领域的前沿技术和流处理应用在企业中的最佳实践。此次Meetup由英特尔上海和携程合办。 

时间表:

12:30 - 13:00  签到
13:00 - 13:05  开场白
13:05 - 13:45  StreamCQL 在携程的应用
13:45 - 14:30  流计算在苏宁云商的发展历程 
14:30 - 14:50  茶歇
14:50 - 15:30  大规模实时应用的技术挑战和系统抽象
15:30 - 16:15  携程 Streaming 应用之实时用户意图 & 实时 AB Test
16:15 –17:30  交流时间

主题一:StreamCQL在携程的应用(郑志锋) 

概述:StreamCQL是华为开源的是一个可持续的数据流查询语言项目,与传统的SQL执行一次返回一次结果不同,提交之后的作业可以基于时间/长度划分数据流为多个窗口持续输出结果,或者基于消息事件直接输出结果。语法与SQL类似,底层的计算基于Storm,数据完全缓存于内存中。对于想使用流式计算的人来说,能够简单的上手实现复杂的逻辑,相比于直接编写storm程序也更加效率,同时,我们内部也对StreamCQL的部分功能做了改进,扩展外部组件以及底层jstorm平台的适配,改进易用性。

讲者简介:郑志锋,2015年3月加入携程,目前在携程大数据部门的实时处理小组从事开发维护工作,主要的方向是分布式数据处理以及流数据处理。

主题二:流计算在苏宁云商的发展历程(张毅)

概述:苏宁流计算平台从第一个实时计算项目上线起,至今2年多的时间,集群规模从7台发展到目前的700台,期间积累了较多的经验和教训。本次将结合流计算在苏宁云商的发展历程进行分享,主要包括如下内容:

  1. storm集群从小到大遇到的挑战
  2. libra(sql on storm) 平台介绍 
  3. saas(storm服务化) 平台介绍 
  4. spark streaming的引入 
  5. 未来的展望

讲者简介:张毅是苏宁云商高级技术经理,6年工作经验,3年半的流计算领域相关经验,作为核心人员参与了苏宁流计算平台的整个发展历程,并主导了libra(sql on storm)项目的研发,目前主要关注 storm, spark streaming 及 sql on storm 等技术。

主题三:大规模实时应用的技术挑战和系统抽象(钱正平)

概述:大规模实时应用给计算平台带来了巨大的挑战。很多场景下传统的_先存后算_的架构难以满足需求,_流计算_应运而生。借这次机会,向大家介绍过去几年自己和同事们在流计算领域的一些工作,包括TimeStream(EuroSys'13)和StreamScope(NSDI'16)。主要会关注核心的技术挑战和系统抽象。此外也想谈谈个人对流计算领域在过去几年发展的认识,和未来可能的展望。想法比较粗浅,抛砖引玉,期待和大家更多的交流、学习和合作。 

讲者简介:钱正平是阿里云的软件工程师,专注于构建可靠高效的大数据计算平台。目前负责流计算与图计算平台组。加入阿里云之前,他是微软亚洲研究院的一名主管研究员,主要研究兴趣包括大规模分布式计算。2009年他毕业于华南理工大学,获得计算机博士学位。 

主题四:携程 Streaming 应用之实时用户意图 & 实时 AB Test(元凌峰)

概述:OTA业务线多、数据量大,对数据的实时性要求高,实时分析和响应用户行为的需求日益增多。本次分享主要围绕实时用户意图和实时AB Test监控两个场景介绍streaming在携程的应用和实践。

讲者简介:元凌峰,2015 毕业于上海交通大学图像模式研究所,获硕士学位。2015年3月加入携程,目前担任高级算法工程师,主要负责实时用户意图,站内外营销算法,推荐算法的设计和开发等工作。

时间地点

  • 时间:2016-09-24 13:00 — 17:30
  • 地点:上海市长宁区金钟路968号 凌空SOHO 8号楼

联系我们

如果想在CSDN会议平台发布会议,请与我们联系: 联系人:郭芮 电话:guorui_1118(微信)
邮箱:guorui@csdn.net