真实案例一
某全球知名快消品牌一年前在业务部门推行了敏捷 BI 工具,一时间业务人员纷纷大展身手,秒变数据分析师,各种场景的炫酷 dashboard 很高效地拖拽出来,业务部门内部数据分析的意识得到了快速普及。
数周后,支撑的 IT 部门开始发现有些问题,敏捷 BI 总是需要数据仓库的团队提前做好很多数据准备和清洗的工作,于是大量的 ETL 任务被指派给了 IT 部门。每一个 ETL 任务都是一个单独孤立的定时任务,每一个任务来自于一个“敏捷”的分析需求,这些需求很可能是试错的探索,也可能是迭代的过程,但是这些过程会占据大量的计算资源,并迅速产生一大堆的中间表。
真实案例二
一个全球500强制造企业,完成了企业内部规划的大数据平台建设,也搭建了成熟的数据团队,基于大数据平台,企业内部开始有一些进一步的中台规划,统一协调管理。
近一年来,业务突然提速,各种云端业务也开始迅速开展,包括新能源、金融等多个新部门的业务都需要快速搭建数据分析体系,并嵌入分析看板到各种业务场景中,能力要求一下子超出了目前的中台建设,同时中台团队也疲于应付6个月前就早早确定的工作规划,难以抽身及时响应。
中台不坏,却让敏捷响应业务的目标显得更遥远
真实案例三
某业财领域 SaaS 的独角兽,业务发展迅猛,已经成为行业内的头部厂商。在发展过程中,团队看到客户的数据分析的意识越来越强烈,客户成功团队也意识到这是重要的决定续约增购的关键核心能力,但产研团队无法兼顾快速的业务侧功能迭代和数据侧分析高度灵活的双重压力,矛盾极其尖锐。
团队考察了全球范围内多种优秀成熟的分析工具,都欠缺灵活可定制的能力,也没有 API 开放的功能架构和完备的租户隔离,无法真正用于数据的能力基座,即使购买也会为产研团队带来很大的整合困难和二次开发成本。
数据分析已经不再是单一的应用工具,而是可复用的基础能力
数字化转型的直接后果就是几乎所有的业务场景,都需要数据能力加持,尤其在 ERP、HCM、Marketing、Sales、Operation等管理运营场景。数据天生是管理的语言,数据分析能力和清晰表达的视觉化效果几乎决定了业务管理的水平,嵌入集成到各种业务应用,让数据语言通畅无阻则是分析民主化的必然趋势。
在定义 BI 的机构 Gartner 年度报告中,Embedded 的比重明显逐年加重,在 Power BI、Qlik、Tableau 等传统厂商的产品路线图里,近年来嵌入整合能力都得到了长足进步,因为数据分析和可视化已经成为垂直应用场景中必备的核心能力。
在企业传统的 IT 部门和业务部门的配合流程中,一个新兴的“数据部门”正在快速兴起,数据团队出现标志着企业内部的整个工作流程在围绕数据进行组织重构。
数据分析师、数据工程师、数据科学家一些新的角色也在出现,发挥各自的专业特长,形成内部的协作流程,共同挖掘数据的价值,将数据形成资产。
正因业务部门对数据,准确的说是对分析指标的需求广泛且快速变化,如何有序、可控和高效的构建数据分析的过程,成为企业内部必须要面对的问题。IT 或者数据部门,一方面要考虑尽可能对业务部门开放,让快速变化、思路敏捷的业务方真正走入分析的过程中,另一方面也需要更加可管可控,保证数据的真实口径(Single of Truth),同时避免重复建设和资源浪费。
数据分析对业务开放需求激增,也给到 IT 和数据部门更大的管控责任
数据中台对于大型互联网企业来说非常重要,其意义类似于数据仓库对普通企业一样,都是因为数据本身的存储、计算和搬运成本巨大,牺牲灵活性去获得可控的成本是有理由的。大数据意味着需要专有的批处理技术更低成本的处理数据,这是数据中台诞生的根本原因。
但业务的快速发展变化,和中台的规模化阵地战是天然矛盾的。在中台缜密稳重的规划之外,永远有创新业务、临时变化、创意探索和各种数据试验,这些是业务数据化的必然结果,毕竟之前才没有这样的数据源材料可供分析,也没有这样的意识去考核指标。我们希望在业务提出构思的当下,就能够快速构建指标模型,组装分析管道,提供数据的回答。
我们需要集团军的系统规划,也离不开游击队的快速出击
分析是对所有业务提出的要求
也是对所有软件 ISV 提出的要求
真正理解分析的厂商是行业应用厂商,即垂直领域的专业厂商。分析是一个业务管理动作,也是一个持续探索的过程,这个过程中得以沉淀的是企业经营的行业指标体系,这是一个专业领域运营方法论的体现。商业智能的诞生来自于企业管理的 KPI 理论,KPI 的定义是对业务过程中的关键指标的定义,这个定义过程是动态的、灵活的,这决定了分析从一开始就是动态的,僵化的分析毫无意义,KPI 体系会随着不同的业务阶段发生变化,不会静止。
业务数据化,分析场景化,是传统行业数字化转型的结果。独立的报表和分析从一开始能够大有作为,主要还是业务自身不具备这些基础能力,数据分析自然成了一个独立的工作单位。在业务已经基本完成数字化、甚至是云化的今天,已经完全有能力在业务场景内搭建强大的分析场景,满足明确的业务 KPI 需求和探索需求,分析能力既是对所有业务提出的要求,也是对所有软件厂商提出的要求。
敏捷 BI 解决了很多问题,我们的关注是未解决的问题。整个数据分析的瓶颈一直不在 BI 可视化这一端,而在数据仓库这一端。数据仓库的瓶颈在于数据准备和加工无法预测业务的变化,提前去做只能是空间换时间来被动应对查询,对于计算成本不断大幅下降的今天来说,这样的做法已经是本末倒置了。
真正面对业务变化的部分在于指标的计算逻辑的灵活定义,能够把这部分通过公式的形态做好集中管理,加强指标的表达能力,就可以把实际计算后置,消除提前准备的成本。这样的方式是大数据时代的创新产物,动机很简单,数据是有重力的,不要轻易搬运或者计算他们。
用 ELT 的方式将真正面向业务的 Tranform 环节后置管理,并且通过指标的抽象定义让分析以公式和模板可被集成,这是一个巧妙优雅的解耦设计。在这个流程中,我们终于可以认真的关心业务指标的计算逻辑,而不是数据本身,实际上业务人员也正希望如此。
更加强大的是,由于指标本身包含了计算逻辑,由维度和指标构成的分析场景也就成了有明确指向的计算模板,建模语义层的表达力让被定义(而不是提前计算准备)的分析场景(其实是分析模板)在创建、管理、嵌入发布都是轻量敏捷而没有成本的,这让大规模的集成嵌入变得极为轻松,这一系列的动作最终效果是分析能够真正服务化、中台化,成为企业 IT 架构中坚实有序的数据枢纽,支撑整个组织完成数据文化的落地转型。
ELT + Embed 的方式能够帮助构建灵活的分析服务管道:Analytics as a Service
从大数据产业的视角看,在2014年一度认为 Hadoop 体系会一统天下,事实证明这是非常盲目的乐观。即使是传统数据仓库也是经久不衰的,还不论 Elastic、Mongodb、TiDB、Doris、Clickhouse这些后起之秀的佼佼者,每一种数据平台都对位解决了非常明确的一类数据运算场景,数据平台一定是百花齐放的未来。
对于客户长期的基础设施建设来说,一方面是不可能押注在某个平台上,另一方面实操层面也不可能只依赖某一类技术平台,也就是不能被一家基础平台厂商或者云厂商 lock in. 业务分析的指标体系建设和数据基础设施建设是要区分开的,需要从数据层面进行剥离,在数据平台之上的一个层面进行中心化的分析体系搭建和指标管理,才能完成积累沉淀,并做到大规模复用。
HENGSHI SENSE 发布 4.0 版本。在 4.0 中重构了 UI 主题,新增了首页引导,并且在数据集成、数据连接、图表控件、自助分析、空间权限管理等方面增加了很多亮点功能。下面让我们一起来了解这些新功能:
4.0 新增首页模块,展示平台相关信息,旨在引导用户方便快捷地操作平台。首页展示内容与用户角色有关,可以协助用户:
数据集成支持对不同业务系统的原始数据进行数据清洗和转换,根据业务需求创建一致的维度表和事实表,将最靠近分析的就绪的数据写入性能良好的数据库或数仓中,供 BI 使用,从而得到全面的、性能良好的报表,一站式完成数仓建设工作。
通过在可视化界面内拖拽节点完成数据处理项目的搭建,屏蔽了复杂的算法及代码编写工作,节点配置过程简单易上手,大大降低了数据处理操作的门槛。
增加转换节点
4.0 完善了数据转换节点,补全了 ELT 中 T 的部分,使数据整合能力更加完善,帮助企业实现敏捷的业务预处理的需求。在数据处理流程中加入转换节点,以可视化的方式,低门槛地完成对数据进行各类清洗和转换操作,完成灵活的数据加工需求。
转换节点配置过程简单,大部分功能都可以通过可视化点击操作完成,大大降低了数据处理的操作门槛。
扩展数据处理类型
数据集成扩展数据处理类型,输入节点增加SQL输入,输出节点支持Oracle类型。
增加告警提示
增加节点告警提示功能,当节点配置出错或者执行过程出现异常时,可以快速在项目中找到出错节点并进行修改。
增强数据自检能力
数据集成的每个项目都是由多个数据处理流组成,每条数据处理流都由多个节点组成。如果其中某一个节点运行出错都会导致整个项目无法执行。基于此,对每个节点、每条数据流都增加了自验证功能,以保证数据处理流的正确性。
数据连接支持多种类型数据源,无论是数据库还是 SaaS API,HENGSHI SENSE 都能支持。4.0 扩展了 SaaS API 类型,在 Miaozhen Systems 基础上增加 EXT API。EXT API 定义统一的数据接入规范,能支持大量的无数据计算能力的 API 数据源。内置多种 API 数据源的同时支持用户自定义开发方式加入企业内部 API 数据源或其他公有 API 数据源,快速将 API 数据接入到衡石数仓。EXT API 轻松实现接入 API 数据源由 1 到 N 的快速增长, 增强衡石数据的整合能力。
EXT API 连接
EXT API 连接将数据文件从 API 数据源拉入到衡石数仓中,按照设置好的接入规则将数据文件结构化展示,内置了明道云和 FTP 两种数据源,通过简单的 API 配置后即可完成数据连接,读取数据。
明道云数据源:将明道云应用中的 AppKey、SecretKey、Sign 存储到配置中就可以读取应用中所有数据。
FTP 数据源 :配置 FTP 的地址及账户信息,就可以读取相应目录下的所有csv和excel文件。
自定义 API 数据源
EXT API 除内置明道云和 FTP 数据源外,还定义了统一的数据接入规范,支持用户自定义开发,加入其他公开 API 数据源或者企业内部的 API 数据源。
在代码包中按照接入规范编写代码,并进行编译,然后在数据连接中选择相应的 API 数据源,即完成自定义 API 数据源的连接。当用户有多个自定义 API 数据源时,都可以通过这种方式连接到衡石系统。
EXT API 连接更新
使用 EXT API 数据源创建的数据集可以设置更新计划,随着 API 数据源变化而自动更新。
4.0 UI 升级
随着产品的不断发展, 从品牌形象、视觉识别、用户体验等多个维度重新构建HENGSHI SENSE 的 UI 效果。
主题色升级:对主题色重构,并根据新的色板调整产品内的色彩。
规范图标库:更换 icon 配色,使 icon和图表实际样式更统一。
应用卡片优化
优化应用集市、应用创作、数据集市中的应用卡片展示样式,信息展示更加清晰明了。
文件夹、应用分开展示,层次分明。
不同类型的应用标记不同,容易分辨和查找。
应用热度、发布者、协作等信息直接呈现在卡片上。
默认主题样式优化
3.6 及以前版本的仪表盘主题“经典配色”不能满足用户可视化的基础需求,因此在 4.0 新增衡石主题作为默认主题,使仪表盘更加美观。
默认图表样式优化
原有图表的默认样式比较呆板,用户通过调整可以获得鲜活的展示样式。但是调整过程步骤繁琐、耗时。当图表较多时,严重影响用户效率。4.0 对图表样式进行了重新设计,图表创建后就可达到了一个较高的视觉效果,符合大部分分析场景展示要求,大大提升了图表制作效率。
多图例展示优化
原有图例仅支持翻页展示,当图例较多时,不能一次性全部展示,用户需要不停翻页来查找图例,图表展示时很不方便。4.0 新增平铺展示方式,可以一次展示全部图例。
平铺展示图例时图表会被压缩展示。
当图表展示区域小于一定尺寸时会隐藏图例,仅显示图表。
丰富图表提示信息样式
图表的提示信息由单一样式调整为黑白两种样式,满足不同图表使用需求。
增加图表轴名称
对X-Y 轴类型的图表支持显示轴名称,可以更加准确描述数据信息。
地图主题增强
地图主题增加卫星图层类型,丰富地图展示样式。百度地图和高德地图都可以使用该主题展示地理信息。
数据集表格功能增强
数据集表格支持序号和分页功能,用户可以逐页查看数据信息。数据集表格分页前必须先进行排序,从而使数据集的顺序唯一。
表格条件格式优化
优化表格条件格式依据字段。原有版本仅支持对当前字段进行设置,无法看出字段之间的关系及影响。4.0 进行了优化,支持对指定字段进行条件设置,可快速找出符合条件的数据,分析其影响。
表格新增信息脱敏
4.0 表格增加脱敏设置,对卡号、手机号、身份号码等敏感隐私信息进行保护。脱敏信息支持进行单个字符替换,也支持进行整体替换,同时支持自定义替换内容。
表格增加字段跳转
表格支持单个字段跳转设置,使同一表格包含多个跳转交互,跳转到不同的目的地。表格支持同时设置字段跳转和表格整体跳转,字段设置跳转后,会在字段上显示跳转标识,同时该字段不再受表格整体跳转设置影响。
表格字段显示设置
发布态表格增加字段设置,可以灵活地控制表格中字段显示。该功能仅适用于临时展示,不会保存配置,当页面刷新或仪表盘重新加载,表格恢复默认设置。
新增交叉表
新增交叉表图表类型,丰富了数据展现形式。交叉表主要用于用户数据结构多,需要对字段内信息进行分组展示的场景。
列字段用于渲染顶部表头。
行字段用于渲染左侧表头,与列字段可以一键切换。
度量字段用于渲染单元格内容,多度量时度量名称会在顶部表头显示。
度量信息优化
优化度量字段计算方式。度量字段通常展示数值信息,需要与维度一起来表示实际业务含义。在 4.0 对度量字段计算方式进行优化,当度量字段为文本类型时,可以通过第一个选项来显示字段内容,直接展示业务含义。
日期过滤器增加排序
日期过滤器增加排序功能,支持本维度排序和手动排序,使信息过滤更加方便。
树形过滤器优化
增强树形过滤器功能。支持设置过滤其他数据集字段,可分别对树形过滤器每一个层级进行设置。
容器功能增强
容器内支持过滤器控件和参数控件,实现控件灵活布局。容器每个页签可独立控制过滤的信息,使同一仪表盘展示不同的数据。
容器仅支持局部过滤器控件和局部参数控件。
容器页签切换时,控件失效。
同一参数控件在仪表盘中仅允许出现一次,所以复制容器时参数控件被丢弃。
跳转关联过滤条件值优化
4.0 不再显示跳转时带入的过滤条件默认值。因为跳转时无法将全部的过滤条件值的默认值列全,如图表联动产生的过滤条件值是用户点击图表随机产生的,无法预先判断,但是这些随机值会伴随跳转操作带入跳转的页面。用户在默认值中查找不到这些随机值时会产生困扰。
嵌入场景展示优化
应用、仪表盘、图表在嵌入场景下主要展示内容,因此将与内容展示无关的功能按钮进行隐藏。
参数增强
增强参数功能,当参数允许值为列表时可以对参数进行排序。用户可以使用列值排序和手动排序,文本参数还可以按拼音排序。参数排序结果会同步展示在参数控件中。
个人空间增加层级结构
4.0 在应用创作个人空间中增加文件夹功能,支持多层级结构,方便用户管理和维护。
个人空间权限管理
个人空间的目录或应用支持授权编辑者和查看者权限,不同权限下允许的操作不同。
-授权的目录支持对目录内的资源进行编辑、移动、删除。
-授权的目录下不支持创建任何新的资源 (含文件夹、应用、副本) 。
-授权的目录或应用仅支持查看。
复制到
新增复制到功能。个人空间增加层级结构后,授权的目录不支持新建应用,所以授权目录下应用不能使用创建副本功能。基于此,增加复制到功能可快速的将应用复制到指定的目录下。
登录页面优化
随着 UI 升级,登录页面也进行了相应的优化。
登录页样式与 4.0 主题色保持一致。
优化密码输入框中的可见、不可见按钮。
密码重置页面增加登录跳转链接。
平台登录与租户登录切换按钮移动到登录按钮下方,位置显著,更符合用户操作习惯。
邮件附件推送方式优化
优化邮件附件打包的推送方式。支持用户选择是否对附件进行打包,在附件数量少的情况下,可快速查看邮件内容,提高用户查看效率。
新增系统统计监控
4.0 增加系统统计监控功能,对资源和用户行为进行统计分析,包括资源数量、访问热度、访问明细、用户数量、用户活跃度等,更好地了解平台的使用情况。
全局JS设置
4.0 增加全局 JS 设置功能,用户可以通过自定义 JS 代码实现系统的个性化功能,如使用第三方统计工具对系统平台的 PV 、UV 进行监测。
外观设置优化
4.0 增强外观设置功能,预置两套主题模式兼容前向版本。在自定义外观中也增加了更多细节方面的设置,同时增加了效果预览页面,使用户可以直观感受配置效果。
结语
梅雪相和,喜鹊穿花转。
HENGSHI SENSE 4.0 如期而至。首页引导、UI 升级、可视化图表优化、数据集成增强、SaaS API 扩展等,每个功能都是百般打磨而成,为数据分析及展现增添光彩。期待您来试用!
春水初生乳燕飞,黄蜂小尾扑花归。
HENGSHI SENSE 4.1 破土而出,将继续践行衡石使命,不断提升平台性能和用户体验,使数据分析能力更上一层楼,欢迎您持续关注!