大数据时代如何做好数据治理?
电脑版 2020-11-26 08:51
大数据时代如何做好数据治理?:在企业数据建设过程中,大数据治理越来越受到企业的重视。在数据建设治理的过程中,对企业的IT治理观念和数据治理项目实施团队:-
在企业数据建设过程中,大数据治理越来越受到企业的重视。在数据建设治理的过程中,对企业的IT治理观念和数据治理项目实施团队要求都比较严格,对于企业来说,企业自身IT信息化建设的基础建设能否支撑当前的数据分析和数据治理,是企业能否进行数据治理的必要条件。
另一方面,大数据治理需要行业经验丰富的项目实施团队与企业业务部门一同深入挖掘企业的元数据,不同行业数据的类型都是各不相同的。首先要分析企业是否具有元数据,以及数据类型、字段是否缺失,通过数据来反推业务,共同升华企业业务,保证业务的完整性、合理性,当然在数据梳理的过程中各个业务部门(业务系统方)的配合能否到位,也起着举足轻重的作用。
有了数据后,数据是否统一、精准?线上线下的数据是否同步?多数企业信息化是存在遗漏的,部分业务数据仍在线下运转来支撑企业业务的正常运行,那么线下数据的处理就是一大难点。这个问题通常可以使用数据上报平台将线下的数据录入到主数据平台中,通过主数据治理将数据进行清洗,按照对应的标准治理,将数据做到统一、准确、由量变到质变,为整个企业信息化平台提供精准、统一的数据。
数据治理后在业务层面的数据可以说是隐形的,此时便极大地凸显数据分析治理的重要性,通过数据可视化来进行数据的分析展现,依次进行数据分析、预测问题以及发现问题所在,进而治理问题,为企业高层能够准确的把握行业走向,运筹帷幄提供指南针,最终完成企业基于大数据的数据治理。
2忽视数据治理给数据平台建设带来了不少问题。随处可见的数据不统一、数据质量差,以及难以完成的数据模型梳理等这些基础性数据问题已经严重限制了数据平台的发展,与此同时,数据应用在商业上难以崭露头角。
数据治理的难点痛点,归纳有以下几点:
数据采集难、数据整合难、数据共享难、数据发现难、数据使用难、数据监管难。
在数据治理的策略上,东软采用先理后治的方案,实现数据标准化、流程规范化、治理常态化、价值可视化、监管智能化的数据治理。
东软数据治理的“理”指的是统筹规划,“治”指的是贯彻执行。
具体到内容上,“理”包括:理系统、理数据、理关系、理标准、理流程、理目录
治的具体内容包含:治汇聚、治质量、治清洗、治加工、治安全
3理资产、治数据,一体化大数据治理
为什么需要数据治理?
大数据不是凭空而来,1981 年第一个数据仓库诞生,到现在已经有了近 40 年的历史,而国内数据平台的建设大概从 90 年代末就开始了,从第一代架构出现,到现在已经历了近 20 年的时间。
1
在这 20 年的时间里,国内数据平台实施者受尽折磨,交付数据项目是出了名的脏活累活。
忽视数据治理给数据平台建设带来了不少问题。随处可见的数据不统一、数据质量差,以及难以完成的数据模型梳理等这些基础性数据问题已经严重限制了数据平台的发展,与此同时,数据应用在商业上难以崭露头角。
数据治理的难点痛点,归纳有以下几点:
数据采集难:数据的形态多样化,给数据采集带来很大难度,使得数据难以汇聚。
数据整合难:数据的来源多样化,很难理清数据之间的关系,进而难以整合。
数据共享难:数据间壁垒高筑,数据权限不明晰,使得数据无法实现共享交换,难以推进数据的流通。
数据发现难:大量的IT系统,众多厂商的参与,系统间数据标准不统一,很难找到真正需要的数据。
数据使用难:数据涵义不清晰,业务属性不明确,数据难以利用,难以发挥出数据的价值。
数据监管难:少标准、缺规范,难以有效管理数据,难以保证数据的质量。
2
数据治理的对象
在 20 余年的信息化建设中,无论是政府还是企业都积累了大量的信息化资产。这些信息资产,从不同的维度,我们把它分为业务资产、技术资产、数据资产三部分,这些信息化资产贯穿数据的全生命周期。所以说,数据治理,不仅仅是治理数据本身,而是治理这些和数据全生命周期相关的信息化资产。
信息化资产包括内容
业务资产:业务资产指的是业务的术语,业务的规则,业务上的理解。
技术资产:技术资产存在于业务系统、数据库服务器、文件服务器里面,指的是技术设计类的资产。
数据资产:数据资产指所有的针对于数据库表结构的设计、代码表的设计及其相关数据。
对这三大类资产的管理过程,就是我们常说的数据治理,具备又包含数据的权限责任管理、数据的规则管理、数据的质量管理、数据的安全管理等。
3
东软大数据治理一体化解决方案
在 20 余年的信息化建设过程中,东软通过诸多行业数据类项目的实施经验的不断积累,从元数据、主数据、数据标准、数据质量到数据处理、资源目录、数据交换和数据安全,提供全面的数据治理解决方案,打通数据治理全流程,为大数据应用构建提供支撑,同时,在各个领域丰富的解决方案实践经验也为项目的成功提供了保障。
在数据治理的策略上,东软采用先理后治的方案,实现数据标准化、流程规范化、治理常态化、价值可视化、监管智能化的数据治理。
东软数据治理的“理”指的是统筹规划,“治”指的是贯彻执行。
具体到内容上,“理”包括:
理系统:梳理已有业务系统、数据库、文件存储等信息,输出数据连接,形成技术资产。
理数据:发掘数据表、文件、视频、图片等数据,描述数据的结构信息,形成数据资产。
理关系:分析表与表、文件与文件、系统与系统等关系,形成数据资产及资产间关系。
理标准:识别主数据、数据元、代码、术语、规则等,形成业务、数据及管理资产。
理流程:规范上报数据、转换清洗、标准变更流程,明确权责,形成业务及管理资产。
理目录:整理资产清单,按照业务、技术等维度制定目录,形成数据访问同一入口。
具体到流程上,“理”包含三种方式
理的目的是为治,数据治理的第二阶段是基于理出的标准规范贯彻执行。
治的具体内容包含
治汇聚:监管采集流程,整合多源数据,统一数据存储,形成数据中心。
治质量:对齐标准及数据,基于数据标准对数据进行校核,生成问题库,形成质量报告。
治清洗:去除重复数据、补充不完整数据、修正错误数据,形成主数据。
治加工:发掘数据价值,转化数据为信息,对数据进行标签处理,形成数据洞察。
治安全:识别敏感数据,明确责任人及权限,对数据进行分类分级,形成安全策略。
治共享:构筑数据共享通道,提供数据访问统一入口,形成自服务的共享平台。
东软大数据治理的目标
数据标准化
消除歧义,剔除重复
补全缺失,修正错误
统一码表,理清关系
流程规范化
规范数据生产,统一来源
规范数据变更,统一流转
规范数据共享,统一出口
治理常态化
建立长效工程,循序渐进
确立业务目标,小步快跑
树立治理文化,长治久安
价值可视化
量化指标,价值可衡量
资产全景,价值可展现
全链分析,价值可跟踪
监管智能化
数据操作留痕,可追溯
安全权责明晰,可监测
差异智能监测,可觉察
东软大数据治理解决方案使用系统的方法来解决政府及企业如今所面临的数据治理难题,提供一体化的解决方案,用来透明地管理全行业各类系统中庞杂的数据,形成一套标准、规范、准确、干净、完整的数据资产。
来源:东软平台产品 https://platform.neusoft.com/
4大数据时代的大数据,叫数据治理不太对,应该叫做数据分析应用。因为当数据汇总呈现出来后,只会是一堆数据,不懂的人,始终不知道有什么用。
举例子,我是做亚马逊大数据分析的,公司的技术部可以把亚马逊的所有产品的数据汇总下来,包括所有商品的标题、图片、描述、客户评价、价格、销量等等。
实际上,当所有数据整理出来后,还是没有人知道有什么用。但如果把数据分析成为各个行业,各个品类的分析报告。
当对方企业是生产一个灯饰的,那么应该生产什么颜色,生产什么尺寸,怎样推广,怎样卖,就变成是一个很有价值的数据分析了。
5
基于大数据的数据治理如何做?您这个问题,范围太大了。我是从事呼叫中心项目建设。因为我做过政府12345呼叫中心项目,我就站在市民诉求大数据的数据治理来说吧。
1、诉求数据受理我们的系统支持通过12345电话受理、微信客服受理、12345官网受理、在线客服受理、邮件受理、微博受理、APP受理等。我们也称为多渠道受理。功能如下:
诉求工单过来到相关部门受理,这一个过程是存在数据治理,各种类型的诉求工单,要如何进行分类,派发到相关的部门。
系统根据诉求工单的相关问题进行归类,整理,派发到相关的部门。部门进行合理回复和解答。
3、诉求受理部门下发受理部门根据诉求问题再次派发人员进行受理,回复。返回12345市民服务中心。
4、诉求受理完结回访12345市民服务中心根据部门的诉求处理结果,对市民进行回访,对部门进行评价,是否满意。
根据诉求处理结果进行标记、归档,热点问题,优秀回复,常识,加入知识库等。
这个就是对市民诉求大数据的治理过程。
对于在大数据的数据治理,每一个行业,每一个数据,治理都不一样。如果您有什么讨论,可以评论也可以私信我。
6数据治理已经成了一个极其重要、亟待解决的重大社会问题。区块链技术能够为社会治理现代化提供科技支撑。数据协作中数据权属模糊、共享失控、隐私泄漏,定责监管难,不敢共享、不易共享等问题,都可以通过区块链机制得以解决。
7大数据管理分析
分享
2021-12-31 09:58:46
2021-12-30 14:01:01
2021-12-29 14:07:51
2021-04-17 12:18:10
2021-02-19 09:10:02