暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

简道云的数据仓库之路

龙小马的数字化之路 2021-08-03
1075


一次偶然的对话,竟然等来了数据工厂的一次大更新,等待了多年的功能终于上线了,惊喜之余也静下心来细细思索了下简道云的数据仓库之路,毕竟自己现在的工作内容也一直与数据仓库有关系。
在聊数仓之前,先简单聊聊简道云的这次更新内容吧,更新的5个内容都算的上是惊喜

1、数据工厂计算字段增强


这次数据工厂计算字段的增强不仅仅加强了所支持的函数数量,而且更让计算字段可以设置为文本了。
新增了以下函数的支持

添加计算字段时可以选择数字类型/文本类型



01
动态日期差

这两部分内容的更新解决了之前需要通过弯弯绕来解决的麻烦。
比如大家群里经常问的动态日期计算的案例,虽然之前我们可以通过日期维度表的加入,在数据筛选上面通过日期的动态筛选过滤为今天来获取当天的日期,再通过横向关联把日期关联到事实表上,就可以完成动态日期计算。我们之前的多篇文章都涉及过这个方法,数据分析案例的RFM分析模型中也使用的此方法。具体操作可见用简道云数据工厂搭建RFM销售管理分析模型简道云数据工厂系列——日期处理篇简道云自定义日期分析满足你对日期分析的各种!
但这个方案不够简洁,需要多设置好多步骤,而且在进行横向关联时会遇到问题。此次的更新完美的解决了这个动态日期的计算问题。
现在我们只需要添加计算字段-选择数字类型,然后计算today()与对应日期的时间差就可以了。完美解决年、月、日、时、分、秒的差值计算问题。
年龄、司龄、库存天数、压单天数、转化周期、最近N天(月、年)等等场景不再焦虑。


02
数据分组及文本清洗

可参考我之前的文章:简道云数据工厂的文本处理——数据分组分析
在一个计算字段可解决的问题就是数据分组的问题了。此前计算字段只支持数字字段,对于文本的处理,完美需要首先转化为数字,然后通过匹配表去关联获取对应的文本值。虽然这个方案可以动态支持分组的名称变化,而且只需要通过一个配置表就可以满足多处使用,但在工厂模型的设计上会增加节点设置复杂度和维护难度,而且不支持数据工厂对一些文本数据进行清洗,比如获取文本的部分字符、清除文本的空格、组合文本、大小写英文字符、字符替换、字符查找等等。
比如我们获取姓名中的姓氏

在数据分组的场景里,
比如员工收入分组:5K以下,5-10K,10-15K,15-20K,20K以上
比如员工业绩分组:青铜,白银,黄金,铂金,钻石,王者(我们在RFM模型中做过这个分组)
比如新老客户分组:通过客户订单日期和客户创建日期的比较判断是否是当月新增顾客。
比如员工司龄分组:<3个月,3-6个月,6个月-1年,1-3年,3-5年,5-8年-8-10年,10年以上
等等涉及到数据分组的场景皆可添加文本计算字段一个IFS轻松解决。


03
单元格可视化

除此之外,我们还可以利用数据工厂对于文本的支持,通过IFS设置unicode字符,实现一些数据的单元格内的可视化效果,类似excel的单元格条件格式的效果
比如下图

这些字符还可以支持升降序

这样我们可以给报表增加一些独特的可视化效果。

2、应用定制+数据仓库+BI可视化的简道云


9月15日的这次更新给数据工厂带来了不小的变化。也让我们更加看到简道云这个集聚应用定制、数据仓库、BI于一身的轻量级的中小企业的数字化方案一体化产品。
作为简道云的母公司帆软来说,在数据处理和报表领域深耕多年,依然是国内企业报表的老大哥,另外还有一款专业的BI工具-FineBI来为大企业解决BI应用场景问题。但对于中国几千万的中小企业来说尤其是占数量最多的小微企业来说,Finereport和FineBI这种产品毕竟是有些技术难度和费用高度的。而简道云这类云端产品能够集成应用开发、数据清洗处理、数据可视化展示多位一体功能丰富的全面的数字化解决方案,对小微企业来说是天然适合的。
无需一笔大额开销,每年几千或者上万的平台订阅费用,就可以拥有自由灵活、简单易上手的开发能力、多终端灵活适配、多平台可集成、数据加工处理+可视化图表展示,这些对于大公司来说需要几十上百万开销的花费才能拿下的功能。而这笔费用跟简道云对小微企业提升的人效所带来的收益相比实在微不足道。一个文员一月薪资3-4K,一年也至少4万。而简道云用的好,能减少的何止一两个人的开销。
那简道云为何要走应用定制之外的数据仓库和可视化BI集成之路呢?
我们可以从数据的生产、加工、消费的整个流程来说!
小微企业受限于没有大企业的技术、人才和资金实力,在业务流程价值链上不能够通过开发各种系统来优化业务流程、获取终端业务线的各处的数据、也没有能力来更好的展示这些数据(大家以前都是靠人工Excel来处理,通过微信、邮箱传来传去,费时费力,别问我怎么知道。我就是这么过来的。)。随着数字化浪潮的推进,国内国际环境变化,市场竞争发生了天翻地覆的改变,企业管理不能再依靠以前那种粗犷式、低效率的管理运营模式,而是需要更加优化、提升营销、管理等等业务模块,从低效的人工转向高效的机器、甚至未来的智能。
而要想走过这些路,首先得能够收集企业运营中的各种业务数据,这就依靠的是简道云的定制开发能力。可以利用简道云的定制开发能力开发各个业务模块的应用。这在大公司里就是各种业务系统。
其次,数据拿到之后,有了数据沉淀,下一步就需要对这些沉淀的数据进行集中汇总,加工处理以获得高质量、精确全面、满足各个业务主题分析需求的数据体,并存放在数据中心。这在大公司里就是数据仓库要干的活。
最后,数据清洗加工之后,通过BI等能力形成数据产品,之后就需要让这些数据产品发挥价值,更好的反补业务去优化提升整体的效率,找到问题点、增长点,找到趋势和潜力。逐渐从拍脑袋转向数据化管理。 
在这三步走的路径里,如果一个saas产品只能提供一部分,对于小微企业来说都是不舒服的,打包一体才天然满足小微企业需求。
简单、直接、高效!!!

3、简道云的数据仓库还差什么?

简道云推出了数据工厂,这是肯定要走数据仓库这条路的。而目前的数据工厂跟未来的数据仓库还差多少东西呢?
首先,我们从数据仓库的定义来说说:

数据仓库(Data Warehouse),简称数仓。在比尔恩门的著作《建立数据仓库》提出的此概念。数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。

数据仓库的整个架构一般来说是这样的

它的数据是来自各个业务系统或者人工提供的、外部获取的数据,通过ETL工具处理到数据仓库里。加工处理清洗成面向主题的、涵盖历史变化的数据集之后,再提供给BI等前端使用。

所以从它的4个基本特点来说,目前的简道云的数据工厂还是有以下需要完善的地方的。

01 面向所有应用

是面向本应用的而不是全部应用,这就首先不满足数据仓库集成各业务系统或其他来源数据的能力。所以简道云的数据工厂以后是需要从当前应用提升到面向所有应用。不仅可以集成所有应用的数据,而且可以提供给所有应用使用。

02 一个数据流多个输出结果

虽然简道云的数据工厂可以分主题的放到不同数据流里进行加工处理,但是不同主题之间是需要有互联互通的,这还是集成能力不够。你会发现在不同数据流里可能会涉及相同的几个表单的大致相似甚至完全一样的处理过程。所以就此来说,以后能够支持在一个数据流里输出多个结果还是很美好的。我们需要的一个能集成所有数据的地方,并且在这里可以输出各个主题分析需求的数据集。这样的好处是,我们中间的所有处理结果都可以实现复用,无需重复相同的清洗操作。

03 扩大数据工厂使用场景

数据仓库的数据集不仅仅是提供给BI(对简道云来说就是仪表盘)使用,它还可以作为数据中台反补各个业务系统。所以道友们对于数据工厂的数据参与表单设计呼声很高。这是数据仓库未来往中台走的必然要实现的能力。

04 扩大数据来源

数据仓库集成不仅仅是业务系统数据,还可以是人工收集的、爬虫收集、外部系统数据等。所以简道云数据工厂的未来还是需要开阔数据源获取能力的。

05 数据处理能力

数仓中的数据分为实时数据和定时数据。根据数据冷热度不同、业务关注度不同,有些数据是需要实时计算更新,这对于目前的数据工厂的计算能力来说是个不小的挑战。未来如何优化计算引擎,达到某些条件下的实时数据计算输出。

再者,目前的数据工厂可处理成不多于100万输出结果的数据集,基本能满足当前的小微企业数据体量的处理。但这对于不断增多的业务数据来说,未来几年这个数据之“大”需要不断更大。是否可有千万呢?

对于数据模型设计能力,目前的数据工厂只能处理相对不复杂的处理逻辑,但如果遇到比如移动累计这类问题。当然如果这类问题简道云是打算放在BI领域里解决也未尝不可(在仪表盘的指标上下功夫,指标支持更复杂更强大的计算能力。比如之前添加的同比环比计算能力)。


当然除了上面这些还有诸如权限管理,更多图表支持等功能需要升级、更新。在表单设计方便子表单的性能问题亟待解决,表间关系能否更好的支持多表关联查询查看,微信增强的进一步开放,流程管理的深化提升等等功能、改善急需要简道云的工程师团队解决发布上线,以飨嗷嗷待哺的众多应用开发者和简道云用户!


4、大道至简的简道云


简道云作为一款无代码应用开发平台,已经问世就引起了众多用户的一致追捧,本人也是自15年简道云刚刚上线开始就在跟踪、学习、使用简道云。简道云的“简”字贯穿始终,让所有开发者轻松上手,让企业轻松走向数字化转型,非常期待简道云的表单设计能力、数据处理能力、数据呈现能力再有质的飞跃!!!

简道云也许在不久的将来会成为中国市场上无代码应用开发领域的佼佼者,引领众多中小企业走向数字化转型之路!!

漫漫数字化征途,简道云与你相伴!




一切皆是信息,万物源自比特!数字化必定会深刻革命我们的办公和生活!

简道云,中小企业数字化之路的绝佳伴侣!


文章转载自龙小马的数字化之路,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论