网约车数据产品实战一:设计数据体系

2020-01-25 20:41:21 来源:网络整理 作者:管理员

原标题:网约车数据产品实战一:设计数据体系

O2O领域自2011年开始,各个行业从早期的粗犷式攻城略地,到中期的稳中求胜,发展到如今的精耕细作。数据产品的价值随着行业的深度发展日益重要。

网约车作为O2O行业内的先行者,早已进入了数据驱动业务增长的阶段,本系列将基于“设计数据体系”、“搭建指标体系”、“可视化设计”三个阶段,呈现网约车行业数据产品从0到1的搭建实战(基于PowerBi)。

网约车数据产品实战一:设计数据体系

一、如何着手

初接到任务的时候,没有0-1数据产品经验的我还是很无从下手的。但静下心来仔细思考数据产品的本质,无外乎两件事情:提取指标、辅助决策。

高效、精准地提取出业务指标是数据产品的根基,因为巧妇难为无米之炊。而辅助决策则需要依赖一些可视化工具,市面上有很多:Tableau、PowerBi、FineBi等等,我们最终选择微软提供的PowerBi为我们提供指标可视化能力,接下来的难点便在于提取数据指标了。

二、从目标开始

数据体系作为指标体系的前置条件,其架构的稳定性和延展性决定了输出的指标数据能否满足业务方的各类应用场景,能否适应业务的横向拓展。以下罗列几点数据体系的设计目标:

  1. 「时效性」需获取高时效性的今日数据,用于生成实时指标,应用于看板、仪表盘等;
  2. 「不可变」历史数据(指今日之前的)产生的指标一经生成,不可更改。(由于实际业务场景中可能存在系统脏数据、接口超时等,造成业务原始数据变动。如在不同时间生成同一项指标,可能出现指标数据不吻合,带来财务核算的错误风险)
  3. 「灵活性」高速发展的业务形态会带来各种各样的统计指标,为此数据体系必须拥有较强的灵活性,将指标提取和指标数据读取进行解耦,避免牵一发而动全身。
三、确定整体架构

整体架构如下图所示(重点关注指标提取层):

网约车数据产品实战一:设计数据体系

指标分为两大板块:

1. 实时指标

定义:今日实时产生的指标数据,如今日发单量、今日完单量、今日出车司机数等等。指标要求最少5秒一次刷新。

用途:制作实时数据仪表盘、战术大盘等。

方法:SQL语句提取指标,各个指标数据组装为json格式,每隔2-3秒post到PowerBi的流式数据集api。

2. 汇总指标

定义:包含今日和历史的业务指标,如昨日注册司机数、昨日活跃司机数、今日出车司机数等等。「汇总指标」包含了「今日指标」。

用途:制作多维度指标图表,如折线图、饼状图、组合图、核心指标表等。

方法:

  1. 今日的业务指标通过python中的pymysql模块进行读库和组装指标数据。一些简易指标可以直接通过SQL语句获取(同步上文中的实时指标)
  2. 历史的业务指标为每日凌晨2点,通过python脚本抓取前一日指标数据,存储到「周期性汇总指标表」,每条指标一行数据(如颗粒度为半小时的完单数指标,最终落在指标表中为48条数据)。后续通过SQL语句即可通过指标表读取到指标数据。

汇总指标中的历史业务指标是整个数据体系中最关键的部分,所有业务数据最终都会形成指标落到「周期性汇总指标表」

四、总结与探讨

几点经验

1、合理利用异步思想:本次历史业务指标的设计思路即为异步思想,将“指标提取”和“指标数据读取”进行解耦并异步处理;

2、领域间保持一致性维度:各领域的业务数据(如财务、资产、运营、客服等),虽数据源不同,但大多数可以通过相同的维度进行打通关联。如时间、城市等。

探讨几个问题

1、每天凌晨2点生产昨日的数据指标,意味着0~2点存在两个小时的空档期,此期间无法获取前一日的指标数据(因为获取实时指标和今日指标的脚本亦不会获取昨日数据)

2、文中的数据体系通过怎样的低成本优化,可以支撑更复杂的应用场景,如用户标签系统、运营策略实验系统等。(后续将更新专题文章探讨这一课题)

本文由 @Sean 原创发布于人人都是产品经理,未经许可,禁止转载

题图来自 Unsplash,基于 CC0 协议

显示全文
为您推荐
四亿年前的铁锤真相 四亿年前真的有铁锤存在吗
四亿年前的铁锤真相 四亿年前真的有铁锤存在吗

四亿年前的铁锤被发现时已经成了化石,根据外观可以看出来这个铁锤的时间很长,科学家们也不敢相信,这个竟然是四亿年前的锤子,当时连恐龙都没出现,更别说人类了。于是科学家就猜测可能是外星人遗留下来的,也有可能是史前文明,不过后来仔细研究发现,这个是由自然形成的,并不是人类打造。...

发布时间:2023-09-24 15:15:35

南海二号沉船的历史意义:带来丰富考古资料(大量瓷器)
南海二号沉船的历史意义:带来丰富考古资料(大量瓷器)

【导读】 南海二号沉船的历史意义:带来丰富考古资料(大量瓷器),下面是小编为你收集整理的,希望对你有帮助!之前,在我国阳江海域之内,人们发现了一艘沉船,也就是著名的南海一号,这个南海一号是南宋初期通过海上丝绸之路向外运送瓷器的一个船只,但是不幸在运输过程中失事沉没,现如今被人们发现并打捞,不过其实在它的附......

发布时间:2023-09-24 15:06:41

秦朝十二铜人今何在,疑陪葬秦始皇陵(中国历史未解之谜)
秦朝十二铜人今何在,疑陪葬秦始皇陵(中国历史未解之谜)

【导读】 秦朝十二铜人今何在,疑陪葬秦始皇陵(中国历史未解之谜),下面是小编为你收集整理的,希望对你有帮助!秦始皇是历史上第一位统一中国建王朝的人,他留给后世太多至今都未解的谜团,秦朝十二铜人今何在就是其中之一。十二铜人在历史上不翼而飞让后世百思不得其解,因此人们纷纷猜测十二铜人落入了谁之手。秦朝十二铜人今......

发布时间:2023-09-24 14:01:29

四维空间的生物有哪些 四维空间有生物生存吗
四维空间的生物有哪些 四维空间有生物生存吗

目前,还没有人发现四维空间的存在,所以还不知道四维空间都有哪些生物。即使有四维空间人类也是无法进入的。科学家指出,四维空间的生物想要毁掉人类是一件非常简单的事情。我们人类是生存在三维空间的,那么在三维空间的基础上加上一维便是四维空间了。维度这个词来源于数学,只是一个模型用于解答数学中的空间问题。...

发布时间:2023-09-24 14:00:26

词牌名浣溪沙的由来
词牌名浣溪沙的由来

【导读】 词牌名浣溪沙的由来,下面是小编为你收集整理的,希望对你有帮助!在中国古代有非常多的词牌名,比如:贺新郎、采桑子、蝶恋花等等;也有非常多的曲牌名,比如: 折桂令、秋风第一枝、天香引、蟾宫曲、步蟾宫等等。词牌名就是词的一种制式曲调的名称,亦即唐宋时代经常用以填词的大......

发布时间:2023-09-24 13:21:22

孟婆汤饮料做法
孟婆汤饮料做法

【导读】 孟婆汤饮料做法,下面是小编为你收集整理的,希望对你有帮助!准备材料:饮用水3500克、苦荞茶250克、山楂干片15克、陈皮10克、冰糖150克、肉桂6克、柠檬片5克、话梅150克、甘草5克、食盐10克。做法:锅中加入清水,烧开后依次放入苦荞、山楂干片、陈皮、......

发布时间:2023-09-24 13:01:28

四大原耽是哪四大 四大原耽是原耽圈流量担当
四大原耽是哪四大 四大原耽是原耽圈流量担当

四大原耽是原耽圈当中的四大流量担当,分别是《碎玉投珠》、《awm绝地求生》、《破云》和《伪装学渣》。虽然都只是小说,但在在书友圈中也有极大的人气,书中的人物主角也因此出圈。现在耽美文学非常流行,有很多的拥护者,四大原耽所在的作品也都火爆起来。...

发布时间:2023-09-24 13:00:25

碱性食物有哪些 碱性食物对人体有益吗
碱性食物有哪些 碱性食物对人体有益吗

【导读】 碱性食物有哪些 碱性食物对人体有益吗,下面是小编为你收集整理的,希望对你有帮助!所谓的碱性食物指的是食物在燃烧之后,其中所得的灰含有钾、钠、钙、镁等元素,这些融化在水里之后会生成碱性的溶液,一般会包括各类的蔬菜水果豆类之类的等等。碱性食物指的什么人体在健康的时候,一般不会受到摄入......

发布时间:2023-09-24 12:01:16

四大发明家分别是谁 特斯拉是人类历史上最无私的发明者
四大发明家分别是谁 特斯拉是人类历史上最无私的发明者

世界上四大发明家分别为伽利略、诺贝尔、贝尔、特斯拉,这四个人在第二次工业革命和第三次信息技术革命期间,实现了工业基础的伟大突破,为方便人类生活,提升世界科技做出了无数贡献,在人们的思想观念里,这四个人是科学界的伟大使者。...

发布时间:2023-09-24 12:00:13

深度揭秘:中国人是神的后代?
深度揭秘:中国人是神的后代?

【导读】 深度揭秘:中国人是神的后代?,下面是小编为你收集整理的,希望对你有帮助!国外有上帝,而在国内也神,虽然这些都只是人们对美好生活的一种寄托,但是仍有不少的国内外人士认为中国人是神的后代,并且在背后默默的帮助中国,那么事实究竟是怎样的呢?下面有兴趣的朋友就随猎事百科网的小编一......

发布时间:2023-09-24 11:01:28

四大发明分别是谁发明的 这些人怎么发明出来这些的
四大发明分别是谁发明的 这些人怎么发明出来这些的

中国古代的四大发明是响彻海内外的,蔡伦发明了造纸术,毕升发明了印刷术,司南和火药的发明人在历史上都没有明确的记载,四大发明推动了社会的进步为社会提供了方便,四大发明要比西方国家早好几百年。...

发布时间:2023-09-24 11:00:25

一英里等于多少公里:1.609344 公里(一公里等于1000米)
一英里等于多少公里:1.609344 公里(一公里等于1000米)

【导读】 一英里等于多少公里:1.609344 公里(一公里等于1000米),下面是小编为你收集整理的,希望对你有帮助!现在大部分人对于距离没有太大的概念,因为现在交通比较发达,以前一天难以走到的地方现在坐车没多久就能到了,对于自己平时能够接触到的距离单位都比较陌生,更别说别的国家的距离单位了,那么一英里等于多少公里呢......

发布时间:2023-09-24 10:01:17