|
据研究显示,70% 的企业高管花了超过40%的时间来审查和验证数据;企业常常花费 80%的时间清理和整理数据,而只有 20% 的时间分析数据。数据质量何其重要,但有效实施却面临诸多挑战,如地址数据信息异常、邮件编码错乱、批量公司名称出错、批量产品编码紊乱等,尤其是对于预算不足的中小企业,业务人员等对数据异常技术分析能力较弱,而技术人员有时耗时耗力也未能彻底解决,而工具购买成本和技术门槛都比较高。
在数据收集方面,大数据的多样性决定了数据来源的复杂性。来源众多、结构各异、大量不同的数据源之间存在着冲突、不一致或相互矛盾的现象。
由于规模大,大数据获取、存储、传输和计算过程中可能产生更多错误。采用传统数据的人工错误检测与修复或简单的程序匹配处理,远远处理不了大数据环境下的数据问题。
由于高速性,数据的大量更新会导致过时数据迅速产生,也更易产生不一致数据。
由于发展迅速,市场庞大,厂商众多,直接产生的数据或者产品产生的数据标准不完善,使得数据有更大的可能产生不一致和冲突。
由于数据生产源头激增,产生的数据来源众多,结构各异,以及系统更新升级加快和应用技术更新换代频繁,使得不同的数据源之间、相同的数据源之间都可能存在着冲突、不一致或相互矛盾的现象,再加上数据收集与集成往往由多个团队协作完成,期间增大了数据处理过程中产生问题数据的概率。
对数据质量评估的市场诉求: 在当下数字化盛行的时代,如何管理数据资产成为大部分企业面临的重要课题。而由于技术基础不一,对于那些传统行业或者资源薄弱的中小企业而言,从0到1搭建自己的技术体系不仅投入成本高,涉及大量的产品采购,技术培训等,而且耗时耗力之后也未必能达到预期效果。借力第三方服务搭建自己的数据处理能力成为越来越多企业的选择。
华矩科技数据质量评测服务的主要内容和技术指标
1) 数据质量评测服务通过既定的企业标准和其他合规要求来评估数据源中数据的质量,包括执行某些分析,如计数数据记录,测量最大和最小记录长度以及计数重复记录的数量,可以创建业务规则来针对企业的数据运行其他业务和数据特定的测试和检查。
2) 数据质量评测将支持国内国际行业标准包括:《GB/T36344-2018信息技术 数据质量评价指标》,AML / KYC,BCBS 239,BaselIII,Sarbanes-Oxley,CCAR ,Solvency II,FATCA、HIPAA、6Sigma等规则。
3) 数据质量评测支持240个不同国家和地区的国家指定格式,字符集,规则和邮政标准。
4) 数据质量评测应有丰富的语言支持,包括中文,日文和韩文等亚洲字符系统。支持中国,希腊,香港,以色列,日本,韩国,澳门,俄罗斯,台湾和泰国的单字节和多字节数据。
5) 数据质量评测报告:生成完整的数据质量报告:从数据结构、数据内容、数据关系等不同的角度和维度快速分析数据质量情况;对业务规则进行管理,并且根据业务规则测量数据的遵从度。
华矩科技数据质量评测报告
依据不同的评测要求,华矩科技的数据质量评测报告包括以下四种:
1)数据质量基础级诊断报告
2)数据质量业务级诊断报告
3)数据质量企业级诊断报告
4)数据质量评测报告(数据资产评估用途)
相关论述及案例参考:
5、华矩科技中标深圳政数局政务信息化项目数据质量测试服务项目,助力智慧政务建设,通过数据驱动提升政务工作创新