数据管理能力成熟度评价模型(GB/T36073-2018, DCMM)作为我国首个数据管理领域国家标准,将组织内部数据能力划分为数据战略、数据治理、数据架构、数据标准、数据质量、数据安全、数据应用、数据生存周期8大能力域及28个能力项。
数据生存周期
数据生存周期是指将原始数据转化为可用于行动的知识的一组过程。该能力域下有4个能力项:数据需求、数据设计和开发、数据运维、数据退役。
一、数据需求
数据需求是指组织对业务运营、经营分析和战略决策过程中产生和使用数据的分类、含义、分布和流转的描述。
数据需求管理过程识别所需的数据,确定数据需求优先级并以文档的方式对数据需求进行记录和管理。
1.1 过程描述
a) 建立数据需求管理制度,明确组织数据需求的管理组织、制度和流程;
b) 收集数据需求,需求人员通过各方式分析数据应用场景,并识别数据应用场景中的数据分类、数据名称、数据含义、数据创建、数据使用、数据展示、数据质量、数据安全、数据保留等需求,编写数据需求文档;
c) 评审数据需求,组织人员对数据需求文档进行评审,评审关注各项数据需求是否与业务目标、业务需求保持一致,数据需求是否使用已定义的业务术语、数据项、参考数据等数据标准,相关方对数据需求是否达成共识;
d) 更新数据管理标准,对于已有数据管理标准中尚未覆盖的数据需求以及经评审后达成一致需要变更数据标准的,由数据管理人员根据相关流程更新数据标准,保证数据标准与实际数据需求的一致性;
e) 集中管理数据需求,各方数据用户的数据需求应集中由数据管理人员进行收集和管理,确保需求的汇总分析和历史回顾。
1.2 过程目标
a) 建立数据需求管理制度,统一管理各类数据需求;
b) 数据相关方对数据需求有一致的理解,能满足业务的需求;
c) 各类数据需求得到梳理和定义;
d) 数据的命名、定义和表示遵循组织发布的相关标准。
1.3 能力等级标准
第1级:初始级
1) 在项目层面,相关方评审和审批数据需求;
2) 在项目层面,建立了收集、记录、评估、验证数据需求并确定优先级的方法,将数据需求与业务目标、应用需求匹配一致。
第2级:受管理级
1) 业务部门建立了数据需求管理制度,对数据需求进行了管理;
2) 数据需求管理依托信息化项目管理流程运行;
3) 数据需求与业务流程、数据模型之间的匹配关系得到管理和维护;
4) 各业务部门自行开展数据溯源的工作。
第3级:稳健级
1) 建立了组织级的数据需求收集、验证和汇总的标准流程,并遵循和执行;
2) 数据需求管理流程与信息化项目管理流程协调一致;
3) 根据业务、管理等方面的要求制定了数据需求的优先级;
4) 明确了数据需求管理的模板和数据需求描述的内容;
5) 评审了数据需求、数据标准、数据架构之间的一致性,并对数据标准和数据架构等内容进行了完善;
6) 记录了产生数据的业务流程,并管理和维护业务流程与数据需求的匹配关系;
7) 集中处理各部门的数据需求,统一开展数据寻源的工作。
第4级:量化管理级
1) 定义并应用量化指标,衡量数据需求类型、需求数量以及需求管理流程的有效性;
2) 组织对数据需求管理流程开展了持续改善措施;
3) 覆盖外部商业机构对本组织的数据需求,促进基于数据的商业模式创新。
第5级:优化级
在业界分享最佳实践,成为行业标杆。
二、数据设计和开发
数据设计和开发是指设计、实施数据解决方案,提供数据应用,持续满足组织的数据需求的过程。
数据解决方案包括数据库结构、数据采集、数据整合、数据交换、数据访问及数据产品(报表、用户视图)等。
2.1 过程描述
a) 设计数据解决方案,设计数据解决方案包括概要设计和详细设计,其设计内容主要是面向具体的应用系统设计逻辑数据模型、物理数据模型、物理数据库、数据产品、数据访问服务、数据整合服务等,从而形成满足数据需求的解决方案;
b) 数据准备,梳理组织的各类数据,明确数据提供方,制定数据提供方案;
c) 数据解决方案的质量管理,数据解决方案设计应满足数据用户的业务需求,同时也应满足数据的可用性、安全性、准确性、及时性等数据管理需求,因此需要进行数据模型和设计的质量管理,主要内容包括开发数据模型和设计标准,评审概念模型、逻辑模型和物理模型的设计,以及管理和整合数据模型版本变更;
d) 实施数据解决方案,通过质量评审的数据解决方案进入实施阶段,主要内容包括开发和测试数据库、建立和维护测试数据、数据迁移和转换、开发和测试数据产品、数据访问服务、数据整合服务、验证数据需求等。
2.2 过程目标
a) 设计满足数据需求的数据结构和解决方案;
b) 实施并维护满足数据需求的解决方案;
c) 确保解决方案与数据架构和数据标准的一致性;
d) 确保数据的完整性、安全性、可用性和可维护性。
2.3 能力等级标准
第1级:初始级
在项目层面设计、实施数据解决方案,并根据项目要求进行了管理。
第2级:受管理级
1) 单个业务部门建立了数据设计和开发的流程并遵从;
2) 单个业务部门建立了数据解决方案设计和开发规范,指导约束数据设计和开发;
3) 建立了数据解决方案设计的质量标准并遵从;
4) 数据解决方案设计和开发过程中加强了数据架构和标准方面的应用;
5) 各业务部门根据需要开展数据准备工作。
第3级:稳健级
1) 建立了组织级数据设计和开发标准流程并执行;
2) 建立了组织级数据解决方案设计、开发规范,指导约束各类数据设计和开发;
3) 建立了组织级数据解决方案的质量标准、安全标准并执行;
4) 应用级数据解决方案与组织级数据架构、数据标准、数据质量等协调一致;
5) 数据解决方案设计和开发过程中参考了权威数据源的设计,优化了数据集成关系并进行了评审;
6) 明确数据供需双方职责,统一开展数据准备工作。
第4级:量化管理
1) 参考、评估并采用数据设计与开发的行业最佳实践;
2) 定义并应用量化指标,衡量数据设计与开发流程的有效性;
3) 组织对数据设计与开发流程开展了持续改善措施。
第5级:优化级
1) 数据设计与开发能支撑数据战略的落地,有效促进数据的应用;
2) 在业界分享最佳实践,成为行业标杆。
三、数据运维
数据运维是指数据平台及相关数据服务建设完成上线投入运营后,对数据采集、数据处理、数据存储等过程的日常运行及其维护过程,保证数据平台及数据服务的正常运行,为数据应用提供持续可用的数据内容。
3.1 过程描述
a) 制定数据运维方案,根据组织数据管理的需要,明确数据运维的组织,制定统一的数据运维方案;
b) 数据提供方管理,建立数据提供的监控规则、监控机制和数据合格标准等服务水平协议和检查手段,持续监控数据提供方的服务水平,确保数据平台和数据服务有持续可用、高质量、安全可靠的数据,数据提供方管理包括对组织的内部和外部数据提供方;
c) 数据平台的运维,根据数据运维方队对数据库、数据平台、数据建模工具、数据分析工具、ETL工具、数据质量工具、元数据工具、主数据管理工具的选型、部署、运行等进行管理,确保各技术工具的选择符合数据架构整体规划,正常运行各项指标满足数据需求;
d) 数据需求的变更管理,数据需求实现之后,需要及时跟踪数据应用的运行情况,监控数据应用和数据需求的一致性,同时对用户提出的需求变更进行管理,确保设计和实施的一致性。
3.2 过程目标
a) 组织的内外部数据提供方可按照约定的服务水平提供满足业务需求的数据;
b) 保证数据相关平台和组件的稳定运行。
3.3 能力等级标准
第1级:初始级
各项目分别开展数据运维工作,跟踪数据的运行状态,处理日常的问题。
第2级:受管理级
1) 对某类或某些数据确定了多个备选提供方、建立了选择数据提供方的依据和标准;
2) 在某个业务领域建立了数据提供方管理流程,包括数据溯源、职责分工与协同工作机制等并得到遵循;
3) 在某个业务领域建立了数据运维管理规范,并指导相关工作的开展;
4) 在某个业务领域对数据需求变更进行了管理。
第3级:稳健级
1) 建立了组织级数据提供方管理流程和标准并执行;
2) 建立了组织级的数据运维方案和流程并执行;
3) 数据运维解决方案能与组织级数据架构、数据标准、数据质量等工作协调一致;
4) 建立了数据需求变更管理流程,并以此对组织中的需求变更进行管理;
5) 定期制定数据运维管理工作报告,并在组织内进行发布。
第4级:量化管理级
1) 参考、评估并采用数据运维的行业最佳实践;
2) 定义并应用量化指标,衡量数据提供方绩效、衡量数据运维方案运行有效性;
3) 组织对数据运维流程开展了持续改善措施。
第5级:优化级
1) 参与制定国际、国家、行业数据运维相关标准;
2) 在业界分享最佳实践,成为行业标杆。
四、数据退役
数据退役是对历史数据的管理,根据法律法规、业务、技术等方面需求对历史数据的保留和销毁,执行历史数据的归档、迁移和销毁工作,确保组织对历史数据的管理符合外部监管机构和内部业务用户的需求,而非仅满足信息技术需求。
4.1 过程描述
a) 数据退役需求分析,向公司管理层、各领域业务用户调研内部和外部对数据退役的需求,明确外部监管要求的数据保留和清除要求,明确内部数据应用的数据保留和清除要求,同时兼顾信息技术对存储容量、访问速度、存储成本等需求;
b) 数据退役设计,综合考虑合规、业务和信息技术需求,设计数据退役标准和执行流程,明确不同类型数据的保留策略,包括保留期限、保留方式等,建立数据归档、迁移、获取和清除的工作流程和操作规程,确保数据退役符合标准和流程规范;
c) 数据退役执行,根据数据退役设计方案执行数据退役操作,完成数据的归档、迁移和清除等工作,满足法规、业务和技术需要,同时根据需要更新数据退役设计;
d) 数据恢复检查,数据退役之后需要制定数据恢复检查机制,定期检查退役数据状态,确保数据在需要时可恢复;
e) 归档数据查询,根据业务管理或监管需要,对归档数据的查询请求进行管理,并恢复相关数据以供应用。
4.2 过程目标
a) 对历史数据的使用、保留和清除方案符合组织的内外部业务需求和监管需求;
b) 建立流程和标准,规范开展数据退役需求收集、方案设计和执行。
4.3 能力等级标准
第1级:初始级
在项目层面开展数据退役管理,包括收集数据保留和销毁的内外部需求,设计并执行方案。
第2级:受管理级
1) 建立了数据退役标准并执行;
2) 对组织内部的数据进行统一归档和备份;
3) 在需要归档数据查询时进行数据的恢复;
4) 对数据退役、清除请求进行了审批。
第3级:稳健级
1) 全面收集了组织内部业务部门和外部监管部门数据退役需求;
2) 结合组织利益相关者的需求,建立了组织层面统一的数据退役标准;
3) 对不同数据建立了符合需求的数据保留和销毁策略并执行;
4) 制定了数据退役标准,定期检查退役数据的状态;
5) 对数据恢复请求进行审批,相关人员同意之后进行数据的恢复和查询;
6) 根据数据优先级确定不同的存储设备
第4级:量化管理级
1) 参考、评估并采用数据退役的行业最佳实践;
2) 定义并应用量化指标,衡量数据退役管理运行有效性和经济性;
3) 组织对数据退役流程开展持续改善措施。
第5级:优化级
1) 数据退役提升了数据访问性能、降低了数据存储成本,并保证了数据的安全;
2) 在业界分享最佳实践,成为行业标杆。