观远数据零售行业BI实践

观远数据

公告

业内领先的一站式智能分析平台与服务提供商

让业务用起来,让决策更智能

统计

今日访问:869

总访问量:1713179

数禾科技CDO王冠军出席观远数据智能决策峰会,分享语义BI 数据民主化进阶之路

2023年11月16日

评论数(0)

数据分析是赋能企业数字化的关键点。在数据进阶的过程中,会遇到各种各样的问题,数据如何取?数据维度够不够?数据安全如何考量?对于金融企业,如何更好地将数据赋能一线,实现数据提效?

在近日收官的「观远数据 2023 智能决策峰会暨产品发布会」现场, 数禾科技CDO王冠军为与会观众详细阐述了公司在数据民主化进程中所遇到的挑战,并与大家分享了他们采取的策略和创新解决方案。

以下为王冠军演讲实录精华:

数禾科技是一家金融科技服务公司,以大数据和技术为驱动,为金融机构提供高效的智能零售金融解决方案,服务银行、信托、消费金融公司、保险、小贷公司等持牌金融机构,业务涵盖消费信贷、小微企业信贷、场景分期等多个领域,提供营销获客、风险防控、运营管理等服务。

数禾科技与观远数据于2020年下半年开始合作,至今公司内部已实现人人用观远BI。曾经我们在使用的过程当中,也发现了一些问题。虽然BI很敏捷,但业务取数却不尽人意。面对精密的数据平台,业务用户往往手足无措。

例如,业务希望看到本月优惠券成本是多少?今日成交订单数是多少?此类指标信息底层非常复杂,对业务人员要有一定的数据素养,例如要找到数据在哪、要了解底层数据结构和含义、要知道表之间关联关系、要熟悉SQL、Python等语言 ……如果缺乏这些素养,业务团队不得不依赖数据团队的帮助,这常常导致沟通频繁、响应滞后、二手数据可信度问题以及业务的敏捷性受损。

对于业务人员来说,他们的需求很朴素:简单地获取数据,将其导入BI系统中快速分析。然而,这背后隐藏着一系列的挑战 — 数据在哪里,如何被存储,谁来维护数据的准确性,数据如何被计算,以及如何处理数据指标之间的不一致性等问题。

对数据团队而言,同样面临棘手且复杂的情况。例如,在处理数据提取的任务时,他们必须评估和解决数据的规模、存储格式、每日数据增长的峰值以及敏感信息的处理等复杂问题。

业务团队追求的是数据的快速获取与应用,而数据团队则注重数据的管理与质量,这两者之间的不同视角和关注重点造成了一个看似简单的任务——数据生产流转——变得复杂。业务团队与数据团队的协同工作关键在于找到应用数据与管理数据之间的平衡点。数禾科技从实践中精心设计了四种逐步深入的模式,巧妙地搭建起了连接业务需求与数据处理的桥梁,有效地弥合了二者之间的鸿沟。

模式一:人的驱动

人的驱动有两种,一种是集中式,由工程师团队承接业务需求,完全按需实现,所有的指标预先融合汇总成表,BI仅承接可视化功能。优点在于由统一的数据视图,但缺点也很明显,完全靠工程师进行交付,需要业务提需求,不仅交付慢,需求积压,也无法实现灵活的数据探索分析。

第二种是分布式,由分析师或业务策略团队自己开发满足需求。起初业务团队用得“很爽”,学习成本低,非常敏捷,快速解决问题,随着时间推移,历史遗留资产越来越多,导致速度越来越慢,无论是部门间的协同,还是成本维护,都是巨大的开支。

因此,数据团队做交付,面临不够敏捷的问题;业务团队自己处理,面临数据混乱冗余的问题,这其实是两个极端。

模式二:Cube驱动

因此数禾科技快速调整了策略,寻求了一个平衡的方法。将公司业务公用的指标放到共享的层面,基于公共的维度、公共的指标,快速支撑业务团队使用数据,灵活进行探索分析。

同时,这种模式也面临一个问题。如果有新的需求、新的业务、新的指标,新的维度时,指标层的共享会格外缓慢,因为它需要精心设计和大量开发、数据回溯等。因此它只能部分解决慢和乱的矛盾。

模式三:语义驱动

为了进一步解决上述矛盾,数禾科技当前的策略重点转向了数据语义化。首先要为数据注入语义。语义指说同一种语言:业务术语。举个例子,“在贷余额”,在A部门是剩余本金,在B部门叫期末余额,在C部门才叫在贷余额。因此,需要一个标准的术语体系,确保大家都在使用同一种语言。

为数据注入业务语言,是语义化的核心的工作。语义化的方法论是以业务流程为桥梁,实现数据模型、业务逻辑和指标等对象的语义标准化。

其中,业务流程由参与者和他们的关键活动所构建的,承载了业务本身。用户旅程是最重要的业务流程之一,因为它直接关联到业务的核心价值。整个业务流程在执行的过程中,业务角色和管理记录将通过数字化的方式沉淀为数据模型、数据结构,也就是事实表和维度表。最终可以从“多快好省稳”五个维度指标评估业务流程的质量。指标可以从拥有业务术语信息的数据模型上面叠加业务逻辑、统计逻辑得到,此后再把指标数据推进BI里进行进行洞察和分析。

现在的业务术语体系,通过业务流程注入到数据模型上,也可以注入在指标上。数禾内部有数据治理中心,管理所有的业务术语,数据湖仓管理数据模型,指标平台管理指标逻辑语义,BI平台管理的洞察和分析。

数禾内部构建了一个以数据治理驱动的全面语义数据体系,其基础是由数据湖仓组成的强大数据基础架构。在这个基础之上,建立了一个管理业务逻辑语义的指标平台。这一结构不仅支撑了BI和各类数据产品,甚至AI相关的产品。整个体系实现了从数据的生成、供给到最终使用各个环节的语义整合。

总结下来,指标是分析应用中抽象高级业务语义的具体表征,技术的复杂性完全藏匿于业务友好的语义表述之内。业务只需要关心需求,不需要关心数据在哪,以及数据怎么计算,他可以随时随地访问数据,分析数据。

模式四:AI驱动

当数据都语义化、富含语义信息后,我们就将进入AI驱动的范畴。以烹饪为类比,数据工作的过程类似于准备食材,而语义化的数据就如同经过彻底清洗和精心分类的原料。紧随其后的AI算法好比是精心编纂的食谱,它能够将这些准备好的原料转化为一道道美味佳肴。在这个过程中,分析师和业务人员就像是制作美食的厨师。

AI驱动相当于拓展了菜谱。现有的经典分析框架和模型已经在观远BI系统中得到应用。随着AI技术的深入融合,未来我们将能够实现更加深入和自动化的决策过程。

以上是数禾科技未来开展数据工作的行径路线图。从数据分析的成熟度角度来看,数智化的核心功能涵盖了记录、还原、推断、预测和决策等方面。数禾致力于利用高质量、直观易懂且可靠的数据,结合机器学习和因果推断技术,进一步深化AI在推理和决策制定中的应用。

最后总结一句话,“极多的语义,极高的智能,极限的自助,极致的敏捷,向未来”。未来,越来越强的技术能力,将赋能业务达到更敏捷的状态。


文章为作者独立观点,不代表联商专栏立场。

联商专栏原创文章由作者授权发表,转载须经作者同意,并同时注明来源:联商专栏+观远数据。