FWQ
不会建数据资产体系的SRE,不是一名好运维
一、认识数据资产 1. 数据资产——企业IT价值 图片 如图所示,未进行数据资产化建设时,数据可能呈现离散状态,数据生产和消费不统一,容易出现数据孤岛或零利益的情况。 建设数据资产化后,我们整合不同渠道数据,构造统一的数据源,或数据采集、存储、分析的流程链路,进而统一对应的数据结构、数据关系和消费出口。 运营数据经过采集、整编后,可服务于自身决策和业务流程。 2. 数据资产——以运维场景为例 图片 上图以场景为例,介绍了数据资产的分类。要理解数据资产,需要理解数据资产的三个要素,即数据类型、数据形式和数据载体的对应关系。 数据类型:运维特征的信息描述 业务指标层面,SRE关注交易耗时、交易订单量等信息;操作软件层面,SRE关注用户IP、接口调用情况等信息;基础设施层面,则关注对应的网络丢包率、内存占用或CPU使用率等信息;再深入,SRE会更加关注变更事件、发布试点或紧急变更的数量等数据。 数据形式:数据储存于数据载体的形式 我们根据日志类、关系类及监控类等数据的不同表现形式,选择相应存储方式,比如关系型数据库、持续性数据库、消息队列或者日志文件等。 数据载体:为运维数据提供存储的方式 3. 数据资产——提升SRE价值 图片 根据获得的运维数据,首先建设一个资产化平台,例如后文提到的CMDB。利用这些平台,根据消费场景对大量的运维数据进行分解和管理,从而实现资产化。 另外,我们可以利用数字资产平台快速建立和改进与SRE稳定性相关的平台,如SLO和容量管理平台。一旦平台建立成功,我们将持续探索数据的潜在价值,并提升SRE所关注的稳定性。 二、数据治理-方法论 1. 运维数据标准面临的问题 图片 运维数据标准化面临的问题,和大数据场景下数据质量的问题类似,主要包括数据孤岛、数据质量不高、数据不可知、数据服务不够、获取数据的开发耗时长等。 这些问题导致,数据消费场景难以快速迭代,无法满足业务需求。当人力资源、服务器资源、中间件资源等不足时,数据标准化建设将带来灾难性的影响。 运维数据天生是不标准的,比如,日志和日志监控的数据存储方式不同。而我们要在资源有限的情况下,进行最大化阐述,完成标准化。…