由亚马逊云科技与合作伙伴联手打造的“亚马逊云科技合作伙伴创新加速周”第三季于10月18日 – 10月22日成功举办。本季活动围绕助力企业构建致胜的云端数据策略展开,旨在通过专业的技术能力和知识分享,帮助企业释放数据价值、加速业务创新。衡石科技作为亚马逊云科技的深度合作伙伴应邀参与此次活动,并带来主题为“分析在云端:轻量、敏捷、协同、安全”的分享。以下为分享的文字整理:
分析上云的背景
美国已经完整的走过了从业务上云到数据的沉淀、再到分析上云的阶段。在国内,由于近年来云计算的普及,我们很多的业务也都已经搬到了云上。更重要的是在疫情过后,企业的垂直业务、很多标准化的场景已经得到足够的、成熟的沉淀,所以垂直 SaaS 在这一两年兴起得很快。由于这个趋势的推动,客户的很多业务都使用了垂直的 SaaS,很自然地搬到了云上。在这个过程中,数据得以很快地在云上沉淀下来,那么现在我们在云上提供这样的分析服务,相对来说就是一个水到渠成的事情。
衡石科技 X 亚马逊云科技
助力企业数据战略转型
亚马逊云科技本身是一家专业的大数据和云计算服务厂商,在数据的基础设施方面也非常完善。通常有三驾马车:一个是 Amazon S3 Data Lake,负责做基础的对象存储;一个是 Amazon Aurora,负责做关系型数据库的服务,替代 MySQL 和 PostgreSQL;另外一个是 Amazon Redshift,这个是知名的使用非常广泛、速度非常快的云数据仓库,具有比较强的可扩展性。数据基础设施的完备,让亚马逊云科技的企业客户能够非常轻松地进行数据的存放管理和有效加速,这些是开展数据分析一个非常良好的基础。衡石是基于目前这些优秀的数据基础设施,为企业提供足够方便、快捷和足够强大的企业级分析服务。也就是说衡石提供的 BI 服务,针对的是数据已经在云上的客户。这些客户已经在使用亚马逊科技上的某一种数据的基础设施,或者已经在云上自建了数据仓库,比如说用 Elastic 或者 Mongo 或者 Hadoop 已经做完了数据在云上的沉淀,并且处于自己的管理之下。这样的客户我们认为是能够一键开始自助数据分析的目标客户。
HENGSHI SENSE 针对亚马逊云科技的 Aurora、Redshift 和 S3 都提供了良好的适配能力。对于数据已经处于这些数据设施里的企业客户来说,在 HENGSHI SENSE 中能够一键连接自己的数据同时也能连接多端的数据。基于衡石的分析引擎之上,我们提供统一的数据管理层。在数据管理层,可以形成一致性的数据视图,企业客户通过 HENGSHI SENSE 提供数据管理的视角,能够屏蔽掉数据的异构性,而在 HEGNSHI SENSE 中进行统一地处理、加工、建模和管理。需要强调的是,数据不用存储到 HENGSHI SENSE 上,可以保留在原来的存储位置。当用户在对自己的数据有了全局的考虑后,用户可以开始进行数据的进一步的加工:比如说新增字段、数据的关联建表、计算指标的创建等等。而这些都可以作为数据工程在数据管理的基础上来开展。基于数据管理和数据工程,我们就能够提供数据应用价值层面的一些服务,比如最常见的 Dashboard 仪表盘,这是在各个场景里面都最常用的;也可以给运营和分析人员提供的自助分析场景,运营和分析人员可以通过拖拽方式,无代码的、零代码地进行 BI 分析、进行指标的统计计算、进行各种图表的创建。同时,HENGSHI SENSE 提供自助的查询服务,客户可以通过灵活的条件设置,来对数据集进行挖掘、聚合和条件查询。此外,HENGSHI SENSE 提供了非常优秀和直接简单的大屏可视化功能,用户基于 HENGSHI SENSE 能够做出比较炫酷的大屏效果,也能够做出非常专业的管理视图的桌面大屏。
最完整的嵌入式数据分析基础平台
在这张图里面,我们可以看到一个更完整的视图。在已经处理的数据设施基础之上,用户通过 HENGSHI SENSE 进行数据连接及整合,然后进行管理和加工,最后在各个应用场景里面挖掘出数据的高价值,提供给企业客户的决策层进行运营管理,或者是嵌入到业务系统里面。
在左边的架构图中,数据流动和价值产出的方向是从下到上的。最下面一层是多源异构的数据源。HENGSHI SENSE 可以连接存在于各种主流的数据库、数据仓库和数据平台中的数据。到第二层,基于这些数据连接,可以进行 ETL 数据加工和准备,以及通过 SQL 等有效的方式来做数据科学的任务。第三层,用户在数据集市进行主题的管理和各种数据建模的工作,做关联的数据分析模型。数据在这一层做的所有操作都是虚拟的,它不需要将数据都导过来,也不会真正影响到原数据的存在形态,数据的新增字段、新增指标等都是虚拟的,它是能够在后面进行分析时直接使用并且进行实施的一个运算。第四层是数据分析层。在数据仓库以及数据管理之上,就能够进行专业的 BI 分析,主要是通过自助分析和中国式报表来进行图表和指标的计算。在这里能够定义比较丰富的业务指标模型,同时也能定义比较复杂的中国式的表格,来满足相对传统的、对数据统计表格有需求的客户。HENGSHI SENSE 可视化的抽象能力,能够创建一些非标准的数据可视化图形,给客户更自由的、可配置的生成可视化的能力。最后,在数据分析的成果基本准备好后,HENGSHI SENSE 提供数据服务价值产出的形式,通过微服务的架构向客户提供数据可视化看板,可以生成数据的门户 Portal。
同时,这些数据的成果能够通过 URL Link 和 iframe 两种形式嵌入集成到业务系统中。HENGSHI SENSE 的所有功能通过 API 对外开放,如平台中数据集的创建、数据的分析、带有条件的过滤查询以及可视化报表都能通过 API 获得,让整个平台对外呈现一个 PaaS 的中间件的特性。企业甚至能够基于 HENGSHI SENSE 做二次开发或解决方案的包装。企业通过 HENGSHI SENSE 能够有效地整合企业内部各个业务系统,如 HR、财税、Marketing、CRM、CEM、ERP、供应链或者是工业的 MES 系统等,并进行有效的、一致性的管理、加工和分析,最终的分析成果不管是计算指标、数据本身还是可视化的仪表盘看板,都能形成一个服务对外发布的形式,能够进一步的嵌入集成业务系统中,形成各个垂直业务场景的闭环,为业务决策提供指导和参考借鉴意义,这是 HENGSHI SENSE 非常突出的一点。
HENGSHI SENSE 3 (BI Edition)
HENGSHI SENSE 是一个非常完整的、嵌入式的数据分析的基础平台,它不仅仅是一个可视化的工具,也不是一个报表呈现的工具,而是一个能够打通企业内部所有数据孤岛、提供一致性的管理和业务指标创建,并且通过分析和可视化的成果,最后能够增强反馈到业务系统中的数据工作台。
当前,我们在亚马逊云科技上提供的是 BI 的版本,后面我们还会提供更重型的中台的版本,它将带有更多的如数据仓库、数据科学、数据挖掘等更重型的功能。而目前上线的 BI 版本,主要是满足专业 BI 分析的需求。它有四个特点:
足够轻量
数据不用导过来,可以留在原本存放的数据库或者数据仓库中。在 HENGSHI SENSE 中,对这些数据进行的操作都是象对虚拟的模式,不管是增量字段或计算指标都能够及时的更改,即使在数据报表制作完毕后或仪表盘形成后,这些指标也是可以随时更改的,它能够将数据变化直接反映到业务指标的可视化呈现上。
足够安全
HENGSHI SENSE 从企业的数据连接到数据集的创建,到最后仪表盘的展现,每一层都提供基于用户账号的权限控制,为用户提供企业级的安全保障。
协同性
HENGSHI SENSE 是针对企业全员的一个分析平台,让多个部门能够配合做协同的一个工作台。所以在 HENGSHI SENSE 中有角色的定位,如管理员、IT 工程师、数据分析师、运营专家、报表查看者等。不同的角色对应到不同的功能页面,也会对应到不同的操作流程。对企业而言,更希望实现围绕着数据多个部门能够进行有效配合和无缝协作,数据分析师之间可以通过协作来共同对一个数据进行探索,能够邀请和分享自己的探索方式给其他同事,并将数据分析的成果通过发布的形式,分享给公司里面希望公开的部门和用户。在这个发布过程中,结合刚才提到的数据权限控制,它就能够最大化的让数据分析的价值成果在企业内部非常方便地流转和传播。
敏捷性
敏捷性体现在数据和可视化之间是实时打通的,这里的数据指的是企业内部数仓和数据库里面的数据。HENGSHI SENSE 中的查询引擎可以进行运算下推,运算只会在最后的展现需要时真正发生。当完成了数据的建模分析和结果发布之后,可视化看板和数据库里的数据是实时打通的,数据库里实时的数据变化会反映在仪表盘上,中间没有经过任何更多的数据离线加工,也没有经过复杂的建 Cube 的过程,所有的运算在仪表盘呈现的时候都是及时发生的。而这个运算有一部分通过引擎来完成,有一部分会下推到企业自己管理的数据库。
按需付费的模式
衡石科技在亚马逊云科技上提供的这个 轻分析 版本,首次在国内采用了 PAY AS YOU GO 的模式进行收费。可以简单理解为,用户只在使用的时候会进行计费,没有使用的时候就会停止计费。同时,我们基本上没有对用户的账号数做太多的限制,企业内部可以有多人协作或者部门间协作,这些场景都被完全支持。所以基于账号设计的友好性和“PAY AS YOU GO”的按需付费、即用即走的方式,相较于购买一套软件产品或按年订阅付费,这种付费模式真正将企业进行数据分析、报表制作和报表查看的成本降低一个数量级,能够显著降低企业客户落地数据分析的成本。
数据分析的建设是一个很重的过程,结合产品本身的一个轻量敏捷的设计目标,以及这一次亚马逊支持的这样更友好的付费方式,我们期望能够让数据分析这样相对高价值的事情,能够低成本地快速普及到国内的亚马逊云上的这些企业客户当中,让大家能够以最低的成本,最快的速度激活在云端的存储的数据的价值。
成功服务客户实践展示
衡石科技目前在国内已为多家行业典型客户提供了基于云端的数据分析服务。这些客户中有比较知名的品牌直客,如宝马、元气森林、建信融通等;也有比较成熟或者非常成功的专业垂直领域的 SaaS 厂商,他们利用衡石的服务快速形成高价值的场景方案或模板,如元年云、分贝通、智简等;同时也有如用友、致远、航信这样的相对在行业 ISV 领域非常知名的解决方案供应商,这些伙伴通过衡石的嵌入、集成、友好等特性提供分析能力,为自己的产品或者方案增值,并提供给自己服务的企业客户群体。
衡石的服务是相对标准化的,所以我们基本上没有太多的行业属性限制,尽量做到在数据通用功能的层面足够全面,同时在使用上也足够轻量和敏捷,让用户既可容易上手,又能深入地把数据价值挖掘出来。
该客户用来做售后服务的检查,面向全国 300 家 4S 门店,到一个非常统一的业务指标的口径管理。在这个案例中,衡石的价值是,客户只需要在 HENGSHI SENSE 中连接所有的数据,只需制作一套标准的报表模板,在这一套标准的报表模板的基础上,通过非常完备的权限设置,就可以将这个报表模板直接提供给多个 4S 门店的多个业务员使用。对企业来说,大大降低了数据分析工具的落地成本,因为企业无需针对多个门店或者多个客户定制多个看板,而是通过非常标准、非常统一的看板的业务指标模型,让看板的模板通过配置的方式直接应用到多个系统终端。在这样场景下,企业能够在一两个月的时间内上线一整套的售后管理体系,然后在过程中不断地敏捷迭代,企业随时可以调整自己的业务指标。调整的业务指标,直接反映在每一家 4S 门店得到的看板中,包括 PC 端和移动端。让整个企业在数据化落地的过程中,做到了非常可控和敏捷迭代的效果。该客户目前的使用状态也非常好。
垂直快消行业客户示例
该客户在渠道分析、区域分析、商品分析和门店分析四大应用场景中,也做到了比较标准化的业务看板,上图是该客户最终实践的值观呈现。同时,通过 HENGSHI SENSE 可配置的数据和分析分离的特性,让这一套分析的业务指标能够非常轻松地推送给其服务的不同的零售品牌和企业客户。而该客户只需要不断地维护、完善、打造自己专业的指标分析方式,就能够应用和惠及其服务的企业客户。衡石的价值是让该客户可以专心地沉淀自己的业务咨询能力,并最后体现在给到企业客户的看板中。从指标的管理制作、数据的接入、到最后的发布的整个过程,都由 HENGSHI SENSE 自动化完成。这个项目在短短两个月的时间内非常快速地落地,同时直接落地了多家它的 KA 客户。项目落地后,针对客户提出的不同需求或更高级的需求,都能够非常及时地给予响应,最终赋能这个垂直快消零售行业服务的客户非常专业的 BI 能力。
衡石科技提供的这个 BI 版本,降低了 IT 运维人员的运维负担以及企业实际运营分析人员的使用门槛,能够让数据文化在企业中以最高效的方式落地,让大家依赖这个工具,形成一个数据驱动的组织。