您所在的位置：什锦文坊 >> 数码科技 >> 正文

网约车数据产品实战一：设计数据体系

2020-01-25 20:41:21 来源：网络整理作者：管理员

O2O领域自2011年开始，各个行业从早期的粗犷式攻城略地，到中期的稳中求胜，发展到如今的精耕细作。数据产品的价值随着行业的深度发展日益重要。

网约车作为O2O行业内的先行者，早已进入了数据驱动业务增长的阶段，本系列将基于“设计数据体系”、“搭建指标体系”、“可视化设计”三个阶段，呈现网约车行业数据产品从0到1的搭建实战（基于PowerBi）。

网约车数据产品实战一：设计数据体系

一、如何着手

初接到任务的时候，没有0-1数据产品经验的我还是很无从下手的。但静下心来仔细思考数据产品的本质，无外乎两件事情：提取指标、辅助决策。

高效、精准地提取出业务指标是数据产品的根基，因为巧妇难为无米之炊。而辅助决策则需要依赖一些可视化工具，市面上有很多：Tableau、PowerBi、FineBi等等，我们最终选择微软提供的PowerBi为我们提供指标可视化能力，接下来的难点便在于提取数据指标了。

二、从目标开始

数据体系作为指标体系的前置条件，其架构的稳定性和延展性决定了输出的指标数据能否满足业务方的各类应用场景，能否适应业务的横向拓展。以下罗列几点数据体系的设计目标：

「时效性」需获取高时效性的今日数据，用于生成实时指标，应用于看板、仪表盘等；
「不可变」历史数据（指今日之前的）产生的指标一经生成，不可更改。（由于实际业务场景中可能存在系统脏数据、接口超时等，造成业务原始数据变动。如在不同时间生成同一项指标，可能出现指标数据不吻合，带来财务核算的错误风险）
「灵活性」高速发展的业务形态会带来各种各样的统计指标，为此数据体系必须拥有较强的灵活性，将指标提取和指标数据读取进行解耦，避免牵一发而动全身。

三、确定整体架构

整体架构如下图所示（重点关注指标提取层）：

网约车数据产品实战一：设计数据体系

指标分为两大板块：

1. 实时指标

定义：今日实时产生的指标数据，如今日发单量、今日完单量、今日出车司机数等等。指标要求最少5秒一次刷新。

用途：制作实时数据仪表盘、战术大盘等。

方法：SQL语句提取指标，各个指标数据组装为json格式，每隔2-3秒post到PowerBi的流式数据集api。

2. 汇总指标

定义：包含今日和历史的业务指标，如昨日注册司机数、昨日活跃司机数、今日出车司机数等等。「汇总指标」包含了「今日指标」。

用途：制作多维度指标图表，如折线图、饼状图、组合图、核心指标表等。

方法：

今日的业务指标通过python中的pymysql模块进行读库和组装指标数据。一些简易指标可以直接通过SQL语句获取（同步上文中的实时指标）
历史的业务指标为每日凌晨2点，通过python脚本抓取前一日指标数据，存储到「周期性汇总指标表」，每条指标一行数据（如颗粒度为半小时的完单数指标，最终落在指标表中为48条数据）。后续通过SQL语句即可通过指标表读取到指标数据。

汇总指标中的历史业务指标是整个数据体系中最关键的部分，所有业务数据最终都会形成指标落到「周期性汇总指标表」

四、总结与探讨

几点经验

1、合理利用异步思想：本次历史业务指标的设计思路即为异步思想，将“指标提取”和“指标数据读取”进行解耦并异步处理；

2、领域间保持一致性维度：各领域的业务数据（如财务、资产、运营、客服等），虽数据源不同，但大多数可以通过相同的维度进行打通关联。如时间、城市等。

探讨几个问题

1、每天凌晨2点生产昨日的数据指标，意味着0~2点存在两个小时的空档期，此期间无法获取前一日的指标数据（因为获取实时指标和今日指标的脚本亦不会获取昨日数据）

2、文中的数据体系通过怎样的低成本优化，可以支撑更复杂的应用场景，如用户标签系统、运营策略实验系统等。（后续将更新专题文章探讨这一课题）

本文由 @Sean 原创发布于人人都是产品经理，未经许可，禁止转载

题图来自 Unsplash，基于 CC0 协议

显示全文

上一篇：炒茅台，成为了2020春节保留节目

下一篇：【新春有奖问答】区块链的应用与实现

为您推荐

钱姓起源和来历:活了八百岁的彭祖竟然是钱氏祖先

钱姓排于百家姓中的第二位，虽然起源和来历并不多，但是钱姓人却分布广泛，成为了中国姓氏中的第二大姓。钱姓的主要来源就是彭祖的儿子篯孚，彭祖的真名叫做篯铿，是因为被尧封于大彭而得姓-彭，而他的儿子篯孚因为掌管着钱财，任职钱府上士，所以便为“钱”姓，所以彭钱是一家。...

发布时间：2024-09-20 20:03:27

胡服最早由谁引入中原?赵武灵王为推行骑射改革服饰

胡服最早是由春秋战国时的赵武灵王-赵雍引入中原的，因为当时赵国的地形和地理位置都非常不好，常年深受战争威胁，加上赵武灵王继位之后，时局不稳，周边国家都想要攻打赵国，所以赵武灵王便下令让全员都推行胡服，并且学习骑射，相较于宽大的汉服更加便于行动。...

发布时间：2024-09-20 19:05:44

赛艇运动起源于哪里?英国船工无聊时竞赛(造就贵族运动)

赛艇运动起源于英国的泰晤士河上，当时还是17世纪，英国泰晤士河上的船工在工作之余经常会举办一些赛船，久而久之就形成了一种习俗，在1715年的时候，为了庆祝英王的卫冕，所以第一次正式举办了赛艇比赛，最终在1775年发展为一个正式的运动项目，并且成立了相应的运动俱乐部。...

发布时间：2024-09-20 18:04:28

为什么不能用宸字取名?哪些名字普通人扛不起

人们之所以不愿意或者不敢以“宸”为名，主要是因为在古时候“宸”有着“深邃的房屋”的意思，也就是专指皇帝的居住场所，象征着无上的权力，所以“宸”字自然也就成为了禁忌，不过现代人大多是害怕这个字的气势，普通人的命格扛不住。...

发布时间：2024-09-20 17:00:53

商细蕊原型是谁?原来四位京剧名旦都是灵感来源

商细蕊是电视剧《鬓边不是海棠红》中的京剧名旦，很多人都为他和海归商人程凤台的知己故事而动容，但遗憾的是在历史长河中并没有商细蕊真正的原型，只能说他可能是作者根据历史上著名的京剧名旦构建的一个角色，因为他和梅兰芳、程砚秋、尚小云以及徐碧云等四人的经历和性格都有着极为相似之处。...

发布时间：2024-09-20 16:05:01

历史上著名的美女有哪些：杨玉环，君王不早朝(绝世美女)

在中华上下五千年的历史长河中，除了王朝更替的政治生活与文化生活，还有一些美貌的女子点缀着历史的绘卷，那么在悠悠岁月中有哪些著名的美女呢?下面小编就来为大家盘点一下吧!...

发布时间：2024-09-20 15:04:04

历史上妃嫔最少的皇帝:明孝宗朱佑樘,独爱张皇后(童年不幸)

谈及古代帝王，最让人津津乐道的当属那后宫佳丽三千，不过也不是所有的帝王都有那么充实的后宫，比如历史上有一位皇帝就只有一位妻子，是不是让人有点不敢相信，下面小编就带大家一起了解下吧!...

发布时间：2024-09-20 14:01:05

历史上最长情的皇帝：顺治皇帝，挚爱董鄂妃(为爱出家)

自古无情帝王家，说到帝王的爱情多是奢望，很多帝王后宫的妃子换了一个又一个，几乎都是薄情寡义的，但是漫长的历史长河中也有例外，有的皇帝便与众不同，特别的长情，下面小编来为大家介绍一下历史上最长情的皇帝吧!...

发布时间：2024-09-20 13:03:24

武侠剧中的绝世高手有哪些：扫地僧，化险为夷(秒杀高手)

可以说人的成长伴随着无数的武侠剧，尤其是电视剧中的那些绝世高手更是让人影响深刻，有不少人小时候都幻想过可以武功盖世，一统江湖，那么有人知道武侠剧中有哪些绝世高手吗?下面小编为大家盘点一下吧!...

发布时间：2024-09-20 12:02:19

电视剧中的古装美女：刘亦菲，举止摇曳生姿(天仙下凡)

古装电视剧中有许多的美丽的女子，她们身着美丽的衣裳，一举一动摇曳生姿，美得让人挪不开双眼，可以说是一场视觉盛宴，下面就让小编为大家盘点一下那些古装美女吧!...

发布时间：2024-09-20 11:09:01

清朝古装剧中的美人：刘诗诗，若曦无人超越(顾盼生姿)

近年清朝古装剧收视率暴涨，这些电视剧不仅剧情引人入胜，身着清装的美人也同样吸引了不少目光，有着让人过目不忘的美貌，那么清朝古装剧中有哪些美人呢?下面小编就来为大家盘点一下吧!...

发布时间：2024-09-20 11:02:08

小青龟能长多大：背甲14厘米，体色会变化(濒危物种)

养龟市场上经常可以看到小青龟，这种乌龟乖巧可爱以及性情温顺，所以很多人都会选择小青龟来饲养，不过一直都是见到小青龟都比较小，这不禁令人好奇这种乌龟能长多大?下面小编就带大家一起了解一下小青龟吧!...

发布时间：2024-09-20 10:01:47

阅读排行榜

周排行榜
月排行榜
总排行榜