电商门户 互联网+智库
当前位置:100EC>生活服务O2O>【O2O案例】乐刻大数据平台架构实践
【O2O案例】乐刻大数据平台架构实践
发布时间:2017年02月13日 10:34:05

(电子商务研究中心讯)  乐刻运动大数据是基于hadoop体系搭建的,主要满足运营的日常报表,以及公司核心指标为主。随着2016年线上线下的发力,以智能化健身为主的共享经济的提出,数据需求量大幅的激增,数据从最初的GB级到现在的PB级急增,我们开始反思如何支撑未来的可预见性数据需求。

  早期ETL技术报表平台

  乐刻大数据部门在早期,面对比较零散的统计需求,直接将业务数据配置脚本定时导入elasticsearch做一些复杂的统计查询。2016年底,随着运营数据需求的增加,希望查阅数据的人员增多,不同人员不同维度的查询需求,我们专门得抽出一个人来对接运营统计的需求,另外在技术上已经很难满足当前的统计需求。因此,考虑到运营数据需求、公司核心指标需求相对固定,并且维度相对固定,我们搭建了早期的报表系统:

  

  早期的报表系统,由数据开发工程师提交数据任务,通过配置Oozie定时任务,定时的基于Hive数据做ETL过程,将报表系统所需的数据导入elasticsearch。该系统从接收需求到报表系统里看到数据,需要比较长的一段时间过程,涵盖过程如下:

  1)运营提出数据需求

  2)将数据从hdfs使用hive处理数据结果

  3)定期的运营数据,会每天展示到数据可视化平台,临时数据直接导出结果**

  可以看出提供的查询维度较单一,对接流程较复杂,角色间传递信息较多,前后依赖太强,都是制约报表系统快速产出数据的根本问题。我们自研的数据可视化平台DMS,通过web方式按照多个维度查询所需的数据,但对于非订制化需求、数据探索需求、数据分析需求支持的力度并不好。我们开始规划更好的数据分析平台服务。

  乐刻数据平台2.0诞生

  乐刻数据平台2.0我们对整个系统进行了一次大的调整,从数据采集,数据加工,数据存储,以及加入了脏数据预警功能,可视化平台方面提供更多定制化查询需求,运营可以自定义设置查询维度等。数据访问层我们提供基于SQL的快速查询功能,方便产品和需要使用数据的开发人员进行数据查询。

  乐刻数据平台流式数据处理与计算

  乐刻是一家智能化健身平台,意味着我们线下门店每天从各个设备产生的数据量是相当大的量,我们需要收集所有硬件设备的使用情况,监控每台设备运行情况,实时反馈到数据监控中心,乐刻线下硬件数据上报是通过阿里云ONS设计的具体如下:

  1)用户通过APP发送使用硬件设备请求并且上报数据到ONS

  2)spark streaming实时消费产生的数据

  3)通过数据模型产生结果数据

  4)数据实时展示到监控中心

  对于流式数据产生的结果,我们也会进行一些数据挖掘,用户画像相关的处理流程,通过索引elasticsearch提供一些多维度的查询服务。

  乐刻数据平台数据存储与备份

  由于我们的整个平台是基于阿里云打造的,所以自然而然我们使用到了很多阿里云的服务,比如数据存储服务OSS,RDS等,对于数据处理后的备份和处理如下:

  1)原始数据备份存储到OSS和HDFS

  2)数据加载可以选择本地机器或者从OSS导入数据

  3)对于一些列式数据的存储如hbase,会定期同步到hbase,阿里云oss提供备份和还原数据

  4)乐刻数据平台的整体架构和处理流程

  

  来源:简书

5月21日,国内知名电商智库-电子商务研究中心发布《2017年度中国出口跨境电商发展报告》,该报告对2017年中国出口跨境电商进行详细的梳理,对行业发展现状、商业模式、投融资概况、发展趋势进行研究。涉及的出口跨境电商平台及服务商主要有:1)出口跨境B2B平台:TOOCLE3.0(生意宝)、阿里巴巴国际站、环球资源、焦点科技、聚贸、外贸公社、敦煌网、大龙网等;2)出口跨境B2C平台:全球速卖通、亚马逊、eBay、wish、兰亭集势、米兰网、DX、跨境通、环球易购、有棵树、傲基电商、小笨鸟、海翼股份、新华锦、百事泰、执御、通拓科技、价之链、跨境翼、赛维电商、爱淘城、前海帕拓逊等;3)第三方服务商平台:一达通、易单网、世贸通、paypal、四海商舟、飞书互动、卓志供应链、递四方、出口易、PingPong金融、汇通天下、飞鸟国际、Moneybooker、MoneyGram、中国银行、中国平安、中国邮政、UPS、TNT、顺丰、DHL、FedEx、大麦电商、外运发展、俄速通、海欢网等。

股票名称/代码
昨日收盘
涨跌幅
¥/现价
  • 002095.SZ
  • 002315.SZ
  • 300226.SZ
  • 002711.SZ
  • 002024.SZ
  • 002127.SZ
  • 002127.SZ
  • 002640.SZ
  • 300209.SZ