电商门户 互联网+国家战略智库
·设为首页 ·我要投稿 ·生意宝 ·生意社 ·官方微信 ·专题
综合
SAAS  |跨境
钢铁网 上市|化塑
大宗品 工业|B2B
零售
B2C|海淘 时尚|珠宝
三农|母婴 女性|食品
美妆|百货 生鲜|鞋服
O2O
房产|教育 团购|餐饮
社区|家居 汽车|差旅
医疗|婚嫁 智能|影视
金融
电商金融 保险|支付
众筹|P2P 政策|企业
消费|理财 银行|征信
智库
报告|数据 法规库
研报|案例 企业库
百科|运营 论文库
人物
网红|专家 企业家
人才|培训 微博库
快评|明星 记者库
服务
法律|维权 淘宝|曝光
营销|物流 传媒|导航
思维|品牌 微商|会议
当前位置:首页 > > 生活服务O2O > 【O2O案例】乐刻大数据平台架构实践

【O2O案例】乐刻大数据平台架构实践

http://www.100ec.cn  2017年02月13日10:34  中国电子商务研究中心 我要投稿 产品服务

  (中国电子商务研究中心讯)乐刻运动大数据是基于hadoop体系搭建的,主要满足运营的日常报表,以及公司核心指标为主。随着2016年线上线下的发力,以智能化健身为主的共享经济的提出,数据需求量大幅的激增,数据从最初的GB级到现在的PB级急增,我们开始反思如何支撑未来的可预见性数据需求。

  早期ETL技术报表平台

  乐刻大数据部门在早期,面对比较零散的统计需求,直接将业务数据配置脚本定时导入elasticsearch做一些复杂的统计查询。2016年底,随着运营数据需求的增加,希望查阅数据的人员增多,不同人员不同维度的查询需求,我们专门得抽出一个人来对接运营统计的需求,另外在技术上已经很难满足当前的统计需求。因此,考虑到运营数据需求、公司核心指标需求相对固定,并且维度相对固定,我们搭建了早期的报表系统:

  

  早期的报表系统,由数据开发工程师提交数据任务,通过配置Oozie定时任务,定时的基于Hive数据做ETL过程,将报表系统所需的数据导入elasticsearch。该系统从接收需求到报表系统里看到数据,需要比较长的一段时间过程,涵盖过程如下:

  1)运营提出数据需求

  2)将数据从hdfs使用hive处理数据结果

  3)定期的运营数据,会每天展示到数据可视化平台,临时数据直接导出结果**

  可以看出提供的查询维度较单一,对接流程较复杂,角色间传递信息较多,前后依赖太强,都是制约报表系统快速产出数据的根本问题。我们自研的数据可视化平台DMS,通过web方式按照多个维度查询所需的数据,但对于非订制化需求、数据探索需求、数据分析需求支持的力度并不好。我们开始规划更好的数据分析平台服务。

  乐刻数据平台2.0诞生

  乐刻数据平台2.0我们对整个系统进行了一次大的调整,从数据采集,数据加工,数据存储,以及加入了脏数据预警功能,可视化平台方面提供更多定制化查询需求,运营可以自定义设置查询维度等。数据访问层我们提供基于SQL的快速查询功能,方便产品和需要使用数据的开发人员进行数据查询。

  乐刻数据平台流式数据处理与计算

  乐刻是一家智能化健身平台,意味着我们线下门店每天从各个设备产生的数据量是相当大的量,我们需要收集所有硬件设备的使用情况,监控每台设备运行情况,实时反馈到数据监控中心,乐刻线下硬件数据上报是通过阿里云ONS设计的具体如下:

  1)用户通过APP发送使用硬件设备请求并且上报数据到ONS

  2)spark streaming实时消费产生的数据

  3)通过数据模型产生结果数据

  4)数据实时展示到监控中心

  对于流式数据产生的结果,我们也会进行一些数据挖掘,用户画像相关的处理流程,通过索引elasticsearch提供一些多维度的查询服务。

  乐刻数据平台数据存储与备份

  由于我们的整个平台是基于阿里云打造的,所以自然而然我们使用到了很多阿里云的服务,比如数据存储服务OSS,RDS等,对于数据处理后的备份和处理如下:

  1)原始数据备份存储到OSS和HDFS

  2)数据加载可以选择本地机器或者从OSS导入数据

  3)对于一些列式数据的存储如hbase,会定期同步到hbase,阿里云oss提供备份和还原数据

  4)乐刻数据平台的整体架构和处理流程

  

  来源:简书



     5月17日,中国电子商务研究中心发布《2016年度中国网络零售市场数据监测报告》(报告全文下载:http://www.100ec.cn/zt/wllsbg/),涉及领域包括农村电商(代表有:农村淘宝、京东农村、中国惠农网)、进口跨境电商(代表有:天猫国际、京东全球购、网易考拉海购)、母婴电商(代表有:宝贝格子、贝贝网、蜜芽)、生鲜电商(代表有:盒马鲜生、易果生鲜、京东生鲜)、淘品牌(代表有:三只松鼠、百草味、茵曼、韩都衣舍)、移动电商(代表有:唯品会、天猫、国美)、电商快递(代表有:申通、中通、圆通、韵达、顺丰)等。

「关键字」简书 乐刻运动 数据
版权声明
   (1)凡本中心注明“来源:中国电子商务研究中心”或带有中国电子商务研究中心水印LOGO的所有文字、图片、音频、视频及其他任何形式的作品 ,其版权均属中国电子商务研究中心所有,任何媒体、网站或个人未经本中心协议授权不得转载、链接、转贴或以其他方式复制发布/发表。已与本中心协议授权的媒体、网站,在下载使用时必须注明“稿件来源:中国电子商务研究中心”,违者本中心将依法追究责任。
   (2)转载或引用本中心内容必须是以新闻性或资料性公共免费信息为使用目的的合理、善意引用,不得对本中心内容原意进行曲解、修改,同时必须保留本中心注明的“稿件来源”,并自负版权等法律责任。
   (3)对于不当转载或引用本中心内容而引起的民事纷争、行政处理或其他损失,本中心不承担责任。
   (4)凡本中心注明“来源:xxx(非中国电子商务研究中心)”的文/图等稿件,均转载自其它媒体、网站与机构,其转载目的在于传递更多信息,并不代表本中心赞同其观点和对其真实性负责,请读者仅作参考,并请自行核实相关内容,如其他媒体、网站或个人从本网下载使用,必须保留本网注明的“稿件来源”,并自负版权等法律责任。
   (5)关于本中心发布的用户投诉稿件,信息均由用户通过本中心投诉通道提供,本中心不对其真实性负责,若内容真实性有误,请与本中心联系,本中心将在核实后进行处理。
   (6)对不遵守本声明或其他违法、恶意使用本中心内容者,本中心保留追究其法律责任的权利。
   (7)如因作品内容、版权和其它问题需要同本中心联系的请发送相关内容至邮箱:news@netsun.com)
   此版权声明解释权归中国电子商务研究中心所有。
生态型企业:更多>>
图书出版
  • 电商报告
  • 投诉曝光
  • 热点专题
曝光专区:更多>>
有以下事宜,请联系:NEWS@netsun.com  详情点击
新闻发布 投稿爆料 案例分享 数据报告
有以下事宜,请联系:BD@netsun.com
广告投放 培训演讲 微信合作 会议合作
有以下事宜,请联系:B2B@netsun.com
专家申报 政府课题 园区招商 跨境电商
以下企业,请联系:B2C@netsun.com
B2C电商 服务商 品牌商 仓储物流
以下企业,请联系:JR@netsun.com
银行金融 支付 P2P 理财 众筹 VC/PE
以下企业,请联系:O2O@netsun.com
O2O 餐饮外卖 在线医疗 旅游出行
以下人士,请联系:TOUSU@netsun.com
网购投诉 律师/司法 媒体记者 网络安全
行业/频道: 产品/服务: 数据/研究: 导航/平台:
政府 全球电商 部委|省市 法规|会议 信息化
零售 B2C|传统 网购|团购 C2C|品牌 开放平台
行业 B2B|外贸 O2O|物流 营销|移动 互联网
金融 金融|支付 上市公司 P2P|基金 投融资
专家认证 融资顾问 法律顾问
电商培训 政府顾问 园区服务
广告|营销 会议服务 报告订制
媒体服务 记者服务 会员入驻
数据|报告 图书|案例
运营实战 分析师|专家
信息图|人物 互联网研究
B2B研究 B2C研究
政策文件 法律求助
投诉维权 曝光台
企业库 B2B导航
网购导航 打折促销
关于我们 联系我们 商务合作 投稿撤稿 友情链接 免责声明 人才招聘 独家专题 中心微信
中国电子商务研究中心 版权所有