作者:HENGSHI
时间:2023-12-04
标签:
指标平台
AI+BI
随着大数据时代的到来,企业对于数据驱动的决策制定需求日益增长。然而,传统的商业智能(BI)解决方案在应对这一挑战时却显得力不从心。本文将探讨传统BI产品的架构痛点以及敏捷BI技术迭代,最后如何通过指标中台的AI+BI的革命性转变。
一、传统BI产品的架构痛点
1、数据整合困难:传统BI产品通常需要企业在内部建立数据仓库,以整合来自不同来源的数据。然而,这个过程往往耗时且复杂,需要专业的数据工程师进行操作。
2、数据分析效率低下:传统BI产品通常依赖于复杂的ETL(Extract, Transform, Load)过程,以将数据从原始来源转换为适合分析的格式。这个过程往往耗时且容易出错,导致数据分析效率低下。
3、数据可视化效果不佳:传统BI产品的数据可视化工具通常功能有限,难以满足企业多样化的需求。此外,这些工具通常需要专业的数据分析师进行操作,限制了其在企业中的普及。
4、难以应对实时数据需求:随着物联网、社交媒体等技术的发展,企业需要处理的数据量越来越大,且对实时数据的需求也越来越高。然而,传统BI产品往往难以满足这些需求。
二、从传统BI到敏捷BI的迭代
1、数据整合的迭代:敏捷BI技术采用云服务和数据湖等新兴技术,使得企业可以直接在云端存储和处理来自各种来源的数据,无需再建立复杂的数据仓库。这不仅简化了数据整合的过程,还降低了企业的硬件投资成本。
2、数据分析的迭代:敏捷BI技术采用了先进的机器学习和人工智能技术,可以实现自动化的数据预处理和分析。这使得非专业的业务人员也能进行数据分析,极大地提高了数据分析的效率和准确性。
3、数据可视化的升级:敏捷BI技术提供了丰富且易用的数据可视化工具,使得业务人员可以轻松地将数据转化为图表、地图等形式,直观地展示数据分析结果。
4、实时数据处理的突破:敏捷BI技术采用了流处理和实时分析技术,使得企业可以实时处理和分析数据,及时发现问题并采取措施。
三、从敏捷BI到指标中台
但是敏捷bi也存在一些问题,比如:
重复建模
建模过程有各业务线分别完成,无法高效复用
口径混乱
不同报表中指标口径不一致,乃至数仓混乱,引发管理困境
自助分析门槛高
数据建模与数据处理的门槛高,业务无法实现分析平民化。
指标中台的出现很好的解决了这些问题。指标中台与敏捷BI的最大差别是,大部分数据建模的过程是被抽象出来进行中心化管理的,这部分中心化管理的建模过程围绕指标这一核心概念而构建,通过指标中台来解耦底层的数据与上层的分析应用。指标中台为实现分析平民化带来的价值体现在三个方面:一是通过集中管理和分发使用的中心化管理方式,实现了口径的统一管理,消除了口径不一致带来的混乱。二是提升了建模效率,指标的统一定义就是数据建模过程的复用,大大减少了重复建模和中间表的工作。三是极大降低了分析门槛,业务人员面对的是具有业务意义的指标和维度等业务概念,而不是晦涩难懂的物理数据表和字段,真正落地和实现业务人员的自助分析。
未来:基于指标中台的AI+BI
自ChatGPT横空问世以来,业内讨论最多的就是ChatGPT如何在各行业的场景里落地应用,甚至有不少BI行业伙伴推出了类似Chat2SQL的产品原型。但我们认为Chat2SQL的方式并不是AI+BI的最合理、最有效的方式,而应该是基于指标中台的AI+BI,可以称为Chat2Metrics。
如果使用Chat2GPT的方式,就会对用户的prompt及提问者的提问质量有非常高的要求,才能让AI在场景化的学习过程中能够足够好、足够细的学习到行业Know-how,才能帮助用户完成比较有效的AI+BI分析。
而在基于指标中台落地的AI+BI形式中,大部分场景化的知识已经通过指标定义的过程提前固化在指标中台中,因此只需要在prompt中将定义好的指标提供给ChatGPT,并做一些简单的提问,ChatGPT就可以非常清晰地将自然语义中的指标概念和指标中台定义的指标关联起来,从而生成一个基于指标的查询过程,具体查询过程对应的计算逻辑以及SQL代码也已经在指标中台中进行了详细的定义,无需AI处理,更能保障查询结果的准确性和可解释性。基于指标中台的AI+BI的方式,在降低业务人员分析门槛的同时,也大大降低了AI的学习成本,帮助AI更好地在分析场景中落地。
此外,AI在分析领域落地的另外一个场景是帮助用户更好地进行洞察分析,挖掘数据价值。而在指标中台里,指标与指标之间存在天然的数据关联关系,更容易落地根因分析、异常定位、预测分析等智能分析应用。
衡石在4.3版本中重磅发布指标中台的能力,基于指标中台的产品形态,为以后进一步做AI+BI的结合提供了先天的优势,以及更有效、更低成本的落地路径,帮助衡石未来更好地在分析场景中落地AI价值。