在当今消费降级、经济下行的时代,企业进行经营数字化、数据业务化、营销精细化,都需要沉淀企业数据。所以,数据已成为企业最宝贵的资产之一,数据在企业的各个环节都发挥着至关重要的作用。然而,随着数据量的爆炸式增长、数据来源的日益多样化以及数据应用场景的不断拓展,数据管理也面临着前所未有的挑战。数据质量参差不齐、数据安全隐患重重、数据孤岛林立等问题,严重制约着企业对数据价值的挖掘和利用。
数据治理成为了企业实现数字化转型的关键举措。通过有效的数据治理,企业能够建立起规范的数据管理体系,提高数据质量,保障数据安全,打破数据孤岛,实现数据的共享与复用,从而充分释放数据的价值,为企业的可持续发展提供强大的动力。
01 什么是数据治理
1、数据治理的定义
国际数据管理协会(DAMA)给出的“数据治理”定义:数据治理是对数据资产管理行使权力和控制的活动集合。
国际数据治理研究所(DGI)给出的“数据治理”定义:数据治理是一个通过一系列信息相关的过程来实现决策权和职责分工的系统,这些过程按照达成共识的模型来执行,该模型描述了谁(Who)能根据什么信息,在什么时间(When)和情况(Where)下,用什么方法(How),采取什么行动(What)。
两种定义,其最终的目标是一致的,那就是提升数据的价值,确保数据的可用性、安全性、流通性,激活数据资源的价值,发挥数据资源的经济和社会效益。
我们也可以从宏观、中观、微观,三个范围和层级,全面了解数据治理。
宏观角度:数据治理是指全球治理,即在大数据时代,以国家、国际组织、多利益攸关方等为主体,对数据权利、流通、管理等方面的治理。
中观角度:数据治理是指公共治理,即区域和国家对其主权范围内的数据质量、权属、流动机制等方面的宏观管理。
微观角度:数据治理是指个体的数据管理,即对数据的实用性、可用性、完整性和安全性的整体管理,对数据资产行使权力控制的活动集合。
2、数据治理七部曲
数据治理的内容涵盖了数据的全生命周期,包括数据的产生、采集、存储、管理、使用、共享、交易、销毁等各个环节。具体来说,包括以下几个方面:
数据标准管理:制定和实施数据标准,确保数据的规范性、一致性和可比性。
数据模型管理:构建和维护数据模型,描述数据的结构、关系和属性。
元数据管理:管理描述数据的数据(元数据),支持数据的存储、查找、管理和使用。
主数据管理:对系统间共享的主数据进行集中管理和维护,确保数据的准确性和一致性。
数据质量管理:监控和评估数据质量,识别和解决数据问题,提高数据的准确性和可靠性。
数据安全管理:保护数据的机密性、完整性和可用性,防止数据泄露、篡改和丢失。
数据生命周期管理:制定和实施数据生命周期策略,包括数据的创建、存储、使用、归档和销毁等。
02 数据治理的步骤
1、数据标准管理
数据标准管理对于企业的数据治理具有深远的意义。首先,它有助于确保数据的内外部使用与交换的一致性和准确性,提升数据的可用性和价值。其次,数据标准管理可以促进企业级单一数据视图的形成,支持数据管理能力的发展。此外,它还有助于对数据进行统一规范的管理,消除各部门间的数据壁垒,支持业务流程的规范化。
数据标准管理从需求发起到落地执行,一般需要经过以下五个阶段:
A.数据标准梳理:需要从企业业务域、业务活动、数据对象(数据实体、指标)、数据关系等方面层层递进,逐步展开。这个过程可以采用BOR法(Business-Object-Relationship),即从上往下分析,从企业活动域开始分析,再到活动域涉及到的对象实体,最后到实体之间的关联关系。
B.数据标准编制:根据企业的业务需求和数据管控要求,对数据对象及其数据项进行明确定义的过程。这包括数据项名称、数据项编码、数据类型、长度、业务含义、数据来源、质量规则、安全级别、域值范围等。数据标准的编制可以参考国际标准、国家标准或行业标准,也可以根据企业业务需求制定特定的企业级数据标准。
C.数据标准审查:对数据标准初稿进行审查,判断其是否符合企业的应用和管理需求,是否符合企业数据战略的要求。审查工作通常由数据标准管理委员会发起,包括意见征集和意见评审两个步骤。
D.数据标准发布:数据标准意见征集完成、标准审查通过后,由数据标准管理委员会以正式的形式向全公司发布数据标准。数据标准一经发布,各部门、各业务系统都需要按照标准执行。
E.数据标准贯彻:将已经发布的数据标准应用于信息建设和改造中,消除数据不一致的过程。这包括将已定义的数据标准与业务系统、应用和服务进行映射,标明标准和现状的关系以及可能影响到的应用。对于新建的系统,应直接应用定义好的数据标准;对于旧系统,一般建议建立相应的数据映射关系,进行数据转换,逐步将数据标准落地。
2、数据模型管理
数据治理模型是一个框架,它概述了数据创建、数据存储和维护以及数据处置的流程和系统。它是数据治理的基础,有助于企业更好地管理和利用数据资产。数据治理模型能够确保数据的透明度、安全性和合规性,从而提高业务绩效。
常见的数据治理模型包括去中心化和集中式两种类型:去中心化数据治理模型、集中式数据治理模型。
数据治理模型管理的关键,在于如下5点:
A.数据模型设计:
数据模型是对现实世界数据特征的模拟和抽象,是数据治理工作的核心。数据模型设计应遵循唯一性、完整性、准确性、适应性、继承性、稳定性和易用性等编码原则。同时,数据分类原则也是数据模型设计的重要组成部分,包括维度一致、粒度统一、避免出现“其他类”以及允许多类别结构的存在等。
B.元数据管理:
元数据是关于数据的数据,包括业务元数据、技术元数据和操作元数据。元数据管理有助于企业更好地理解数据的来源、含义和用途,从而更有效地管理和利用数据。
C.数据标准管理:
数据标准是确保数据一致性和准确性的基础。企业应制定清晰的数据标准,包括数据命名规范、数据格式、数据质量指标等,并确保所有部门和系统都遵循这些标准。
D.数据安全与隐私:
数据治理模型应确保数据的安全性和隐私性。企业应采取适当的安全措施来保护数据免受未经授权的访问和泄露。同时,企业还应遵守相关的数据隐私法规,确保数据的合法使用。
E、数据生命周期管理:
数据生命周期管理涉及数据的创建、存储、使用、维护和处置等阶段。企业应制定清晰的数据生命周期策略,以确保数据在整个生命周期内都得到有效的管理和控制。
3、元数据管理
元数据是指关于数据的数据,它描述了数据的属性、来源、结构、关系以及数据如何被使用等信息。元数据是数据仓库或数据湖等数据存储系统的核心组成部分,它使得数据能够被更好地理解、管理和使用。
元数据管理的关键,在于如下4点:
A.元数据分类:
1)业务元数据:描述数据背后的业务含义,包括业务术语、业务规则、业务逻辑等。它帮助业务人员理解数据仓库中的数据,并指导他们进行数据分析和决策。
2)技术元数据:存放关于数据仓库系统技术细节的数据,用于开发和管理数据仓库。它包括数据结构、数据处理流程、数据存储方式等信息。
3)管理元数据:涉及管理流程、人员组织、角色职责等方面的信息。它帮助管理人员了解数据仓库的运行状态、人员分工和权限设置等。
B.元数据采集与存储:
1)元数据采集是指从各种数据源中收集元数据的过程。这可以包括从数据库、文件、云存储等数据源中自动提取元数据,以及通过人工方式输入元数据。
2)元数据存储是指将采集到的元数据存储在专门的元数据仓库或知识库中,以便后续使用和分析。
C.元数据质量与一致性:
1)元数据质量是指元数据的准确性、完整性、一致性和可用性等方面。高质量的元数据有助于确保数据的一致性和准确性。
2)元数据一致性是指不同元数据之间的关联和对应关系是否正确。通过元数据管理,可以确保不同数据源之间的元数据保持一致,从而避免数据冲突和误解。
D.元数据访问与控制:
1)元数据访问是指用户或系统对元数据的查询、浏览和使用等操作。通过元数据管理,可以实现对元数据的访问控制,确保只有授权用户或系统才能访问敏感或重要的元数据。
2)元数据控制是指对元数据的创建、修改、删除和版本控制等操作。通过元数据管理,可以实现对这些操作的严格控制,确保元数据的完整性和可追溯性。
4、主数据管理
主数据(Master Data)是具有共享性的基础数据,可以在企业内跨越各个业务部门被重复使用,比如与客户、供应商、账户及组织单位相关的数据。主数据管理(MDM,Master Data Management)是集方法、标准、流程、制度、技术和工具为一体的解决方案,旨在确保这些关键数据的一致性、准确性和完整性。
主数据管理的方法,通常包括以下5个步骤:
A.摸家底:了解企业现有的数据资源和数据管理程度,明确主数据的范围和类型。
B.建体系:建立主数据管理的组织体系、数据标准体系、制度与流程体系、技术体系和安全体系。
C.数据接入:将主数据从数据源系统接入并汇集到主数据平台,常用的技术包括ETL抽取、文件传输、消息推送等。
D.数据清洗:对主数据进行清洗,包括期初数据的收集整理和遗留系统历史数据的处理。清洗工作包括数据归类、去重、缺失值处理和规范性描述等。
E.数据应用:将标准化的主数据分发给下游业务系统使用,实现数据的共享和利用。
5、数据质量管理
数据质量管理是指对数据从产生、获取、存储、共享、维护、应用等各个阶段可能引发的各类数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并通过改善和提高组织的管理水平使数据质量获得进一步提高。数据质量管理的终极目标是通过可靠的数据提升数据在使用中的价值,并最终为企业赢得经济效益。
数据质量管理的实施需要系统化和规范化,通常包括以下5个步骤:
A.需求分析:明确企业的数据治理目标和需求,识别数据质量问题,确定数据治理的范围和重点。
B.制定策略:根据需求分析的结果,制定数据治理策略,包括数据标准、数据质量管理、数据管理、数据生命周期管理等内容。
C.建立体系:建立数据质量管理的流程化控制体系,对数据的创建、变更、采集、清洗、转换、装载、分析等各个环节进行数据质量控制。
D.实施管理:实施数据清洗、数据校验、数据监控等数据质量管理措施,确保数据的准确性和完整性。
E.监控与评估:定期对数据质量进行监控和评估,及时发现问题并进行改进。
6、数据安全管理
数据治理的安全管理是指为确保数据在收集、处理、存储、传输和使用过程中的机密性、完整性和可用性而采取的一系列管理和技术措施。
数据安全管理的关键,在于以下6个实施步骤:
A.风险评估:对企业面临的数据安全风险进行全面评估,确定安全管理的重点和优先级。
B.制定策略:根据风险评估结果,制定数据安全策略和管理制度,明确数据安全的目标、原则和措施。
C.部署技术:采用先进的技术手段,如防火墙、入侵检测系统、数据加密技术等,加强数据安全防护。
D.培训与意识提升:加强员工的数据安全意识培训,提高员工对数据安全的重视程度和防范能力。
E.持续监控与改进:建立数据安全监控机制,定期对数据安全状况进行检查和评估,及时发现并改进安全管理中的不足之处。
7、数据生命周期管理
数据生命周期管理是一种基于策略的方法,用于管理数据在整个生命周期内的流动,从数据的创建和初始存储,到其过时并被删除。这一管理过程对于确保数据的准确性、完整性、安全性和合规性至关重要,同时也有助于优化存储资源的使用和提高数据处理的效率。
数据生命周期管理,关键需要6步实施步骤:
A.需求分析:明确企业的数据治理目标和需求,识别数据生命周期管理的关键环节和潜在风险。
B.策略制定:根据需求分析的结果,制定数据生命周期管理的总体策略,包括数据的分类、存储、访问控制、保护、归档和删除等方面的规定。
C.技术部署:采用先进的技术手段来支持数据生命周期管理的实施,如分级存储管理系统、数据加密技术、数据脱敏工具等。
D.流程优化:建立和优化数据生命周期管理的流程,确保数据的流动和处理符合企业的业务需求和法规要求。
E.培训与意识提升:加强员工对数据生命周期管理的认识和重视程度,提高员工的数据安全意识和操作技能。
F.持续监控与改进:建立数据生命周期管理的监控机制,定期对数据的安全性和合规性进行检查和评估,及时发现并改进管理中的不足之处。
03数据治理的应用场景
1、场景一:中百集团数智云数据治理
中百集团是一家在零售行业具有显著影响力的企业,其业务范围涵盖超市、仓储等多个领域。随着业务的不断发展,中百集团面临着数据孤岛、数据不一致等挑战,这严重影响了企业的决策效率和运营效果。因此,中百集团决定启动主数据治理项目,以提升数据质量和管理效率。
具体目标包括:
1)消除数据孤岛,实现数据的互联互通。
2)提升数据质量,确保数据的准确性、完整性和一致性。
3)优化业务流程,提高运营效率。
4)为企业的决策和分析提供有力支持。
中百集团首先对各部门、各企业的数据现状进行了深入的调研和分析。在此基础上,制定了详细的主数据治理规划和实施方案。根据规划,中百集团开发了主数据治理系统,并进行了系统的部署和测试。中百集团对现有的数据进行了清洗和整合,消除了数据中的错误和不一致。通过数据标准化和规范化处理,确保了数据的质量和一致性。
中百集团成功构建了统一的数据管理体系,实现了数据的标准化、集中化和共享化。这有助于企业消除数据孤岛,提高数据的利用率和价值。通过数据清洗和整合,中百集团的数据质量得到了显著提升。数据的准确性、完整性和一致性得到了有效保障,为企业的决策和分析提供了有力支持。
2、场景二:永辉超市数据治理
永辉超市与腾讯云展开合作,通过全方位交流,腾讯云为永辉带来了“全链路数字化部署”方案,串联线下零售全场景以助力永辉智慧化升级。
具体举措包括:
1)优化门店运营:通过数据加工与分析,对商圈及门店的热销商品和顾客偏好进行数据化展示。
2)消费者门店全链路研究:构建消费者在店外停留、进店游逛和交易明细等线下门店全链路行为研究。
3)线下营销指导:提供精准潜客分布,为地推营销地理位置选择提供科学指导。
4)会员研究:对永辉消费会员进行分类研究,深度分析消费行为。
通过全链路数字化部署,永辉获得更多的科学工具以支持日常业务决策,实现门店管理成本降低,试点门店的销量实现提升,同时增强了消费者数字化洞察能力,全面拥抱智慧化升级。
3、场景三:良品铺子数据治理
良品铺子是一个集休闲食品研发、加工分装、零售服务的专业品牌,作为A股上市公司新零售第一股,良品铺子很早就开始全面拥抱移动互联网,在数字化方面做了诸多探索。
数据治理实践:
在华为云SAP解决方案的帮助下,良品铺子将所有SAP开发测试系统从线下迁移到华为公有云上,构建了全渠道一体化管理平台。具体举措包括:
1)保证系统平稳运行:确保重大事件下的系统平稳运行,同时能够快速响应市场需求。
2)提供最佳购物体验:为顾客提供最佳的购物体验,实现精准营销,抢占市场先机。
3)应对业务高峰:线下资源不足时,可以在华为公有云上自动扩展,轻松应对6.18、双11等重大促销活动期间几百万级别的订单交付量挑战。
成果与影响:
良品铺子通过选择一个合适的云计算厂商,完成数字数据迁移,建设多个数字化营销渠道,再加上一个可伸缩能够自由吞吐的自适应云服务,成功实现了营销业务的数字化升级。
04 数据治理的价值
数据治理的价值体现在多个方面,它是有效管理企业数据的重要举措,也是实现数字化转型的必经之路。以下是对数据治理价值的详细阐述:
1、降低业务运营成本
有效的数据治理能够显著降低企业的IT和业务运营成本。一致性的数据环境让系统应用集成、数据清理变得更加自动化,减少了过程中的人工成本。标准化的数据定义让业务部门之间的沟通保持顺畅,降低了由于数据不标准、定义不明确引发的各种沟通成本。
2、提升业务处理效率
数据治理通过提供高质量的数据环境和高效的数据服务,使企业员工能够方便、及时地查询到所需的数据,从而展开工作。这减少了部门间的协调、汇报等流程,提高了工作效率。例如,通过数据治理,企业可以建立统一的数据仓库或数据湖,实现数据的集中管理和共享,避免了数据的重复采集和存储,提高了数据的利用效率。
3、改善数据质量
数据治理的核心目的之一就是提升数据质量。通过制定统一的数据标准、规范数据采集、存储、处理、分析和共享的流程,确保数据的准确性、完整性、一致性和及时性。高质量的数据有利于提升应用集成的效率和质量,提高数据分析的可信度。改善的数据质量意味着改善的产品和服务质量,从而提升企业的市场竞争力。
4、控制数据风险
有效的数据治理有利于建立基于知识图谱的数据分析服务,如客户画像、企业关系等,帮助企业实现风险控制。通过数据治理,企业可以更好地保证数据的安全防护、敏感数据保护和数据合规使用。通过对数据的分级分类管理,再实施相应的数据安全处理技术,如数据加密、数据脱敏、安全传输、访问控制等,实现数据的安全防护和使用合规。
5、赋能管理决策
数据治理通过提升数据分析和预测的准确性,从而改善企业的决策水平。不可靠的数据意味着不可靠的决策。通过数据治理,企业可以提高数据质量,提高数据服务效率,从而制定出更好的决策。数据治理还可以帮助企业建立数据驱动的决策文化,鼓励员工基于数据进行分析和决策,提高企业的决策效率和准确性。
6、推动企业创新与发展
数据治理有助于企业更好地理解和利用数据资产,通过数据分析揭示业务运营中的瓶颈和机会点,为资源优化配置提供科学依据。例如,通过分析销售数据,企业可以精准定位目标客户群体,优化营销策略;通过分析生产数据,企业可以及时发现生产过程中的浪费和效率低下问题,采取针对性措施进行改进。这些都有助于提升企业的运营效率和市场响应速度,推动企业不断创新与发展。
结语
数据治理对于企业的意义在于激发“沉睡”的数据,提升数据的价值,释放企业的潜力。数据治理是企业生存必不可少的一环,它助力企业提高数据质量、保障数据安全、优化数据利用、支持决策制定、提升企业形象和竞争力以及促进合规性和可持续发展。因此,企业应该重视数据治理工作,建立完善的数据治理体系,以充分发挥数据治理的价值。