小数据治理靠“人工”,大数据治理靠“智能” - 行业动态 - 陕西优百信息技术有限公司
  • 小亚博yaboapp治理靠“人工”,大亚博yaboapp治理靠“智能” 来源:亚博yaboapp工匠俱乐部 原作者:石秀峰    日期:2020-03-05

    一、什么是小亚博yaboapp治理

    谈小亚博yaboapp治理,首先说一说什么是小亚博yaboapp。在百度百科上我们可以查到小亚博yaboapp的定义是:小亚博yaboapp(small data),或称个体资料,是指需要新的应用方式才能体现出具有高价值的个体的、高效率的、个性化的信息资产。小亚博yaboapp,并不是指亚博yaboapp量小,而是围绕个人为中心全方位的亚博yaboapp,及其配套的收集、处理、分析和对外交互。在笔者看来,小亚博yaboapp是相对大亚博yaboapp而言的,在大亚博yaboapp的概念没有出现之前,亚博yaboapp就是亚博yaboapp,没有什么大小之分,但由于应用场合、存储方式、处理方式的不同却分出大小,就有了所谓的大亚博yaboapp、小亚博yaboapp。从广义上来讲,大亚博yaboapp通常指的是大量结构化亚博yaboapp与非结构化亚博yaboapp的集合体,而小亚博yaboapp通常指的是结构化亚博yaboapp。

    小亚博yaboapp治理范围包括:主亚博yaboapp管理、亚博yaboapp标准管理、亚博yaboapp质量管理、元亚博yaboapp管理。小亚博yaboapp的治理讲求的是:有序、量化、精准,小亚博yaboapp的一切工作都是围绕这个目标而开展的。而在小亚博yaboapp治理领域,主亚博yaboapp管理的应用十分典型。虽然说小亚博yaboapp不等于是主亚博yaboapp,但主亚博yaboapp却是一种典型的小亚博yaboapp。主亚博yaboapp治理在小亚博yaboapp治理领域是具备一定的代表性的,完全符合小亚博yaboapp治理的“有序、量化、精准”三大目标。

    二、什么是大亚博yaboapp治理

    对于“大亚博yaboapp”我们都知道他的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)。由于这“4V”特点的存在,导致大亚博yaboapp的处理和利用模式,与传统的结构化亚博yaboapp不同。正如研究机构Gartner给出的定义:“大亚博yaboapp”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

    大亚博yaboapp治理从概念上来说与亚博yaboapp治理没有差别,大亚博yaboapp治理也包含元亚博yaboapp管理、亚博yaboapp质量管理、亚博yaboapp安全管理、亚博yaboapp标准管理、亚博yaboapp全生命周期管理等领域。但从本质上而言,由于大亚博yaboapp的4V特点,传统的亚博yaboapp治理模式和技术并不完全适配大亚博yaboapp治理。

    首先,传统亚博yaboapp治理重点是建立亚博yaboapp标准,然后在亚博yaboapp的全生命周期过程中来执行亚博yaboapp标准,从而提升亚博yaboapp质量。而大亚博yaboapp治理,亚博yaboapp来源多样化、亚博yaboapp结构多样化,亚博yaboapp传输存储形式的多样化……,这导致从一开始我们就很难为其定义亚博yaboapp标准。甚至有些亚博yaboapp都不知道他现在有什么价值,对于小亚博yaboapp治理如果亚博yaboapp定义、亚博yaboapp价值说不清楚的话,是没有必要纳入亚博yaboapp治理范围的。但大亚博yaboapp治理就是在这大量的看起来没有关系的亚博yaboapp中找关系,没有价值的亚博yaboapp中挖掘价值,这就是大亚博yaboapp治理的魅力所在。

    另外,传统的小亚博yaboapp治理更多的是侧重于样本亚博yaboapp的治理,亚博yaboapp库的模式是Schema on Write,即在亚博yaboapp治理之前要先定义好亚博yaboapp的Schema,包括了亚博yaboapp库的表、视图、存储过程、索引等,以及每个亚博yaboapp库条目对应的映射关系等,其采集、处理的过程是基于定义的Schema进行执行的。而大亚博yaboapp治理关注的全量亚博yaboapp,亚博yaboapp库模式是Schema on Read的模式,即在采集各类亚博yaboapp时不需要定义各种亚博yaboapp库对象,整个采集存储过程没有涉及到任何转置,原始亚博yaboapp没有因为需要结构化或匹配差异系统而遭到破坏。


    写时模型,作用于亚博yaboapp源到亚博yaboapp汇聚存储之间,典型使用就是传统亚博yaboapp库,亚博yaboapp在入库的时候需要预先设置schema


    读时模型,作用于亚博yaboapp汇聚存储到亚博yaboapp分析之间,亚博yaboapp先存储,然后在需要分析的时候再为亚博yaboapp设置schema

    三、小亚博yaboapp与大亚博yaboapp的区别

    关于大亚博yaboapp与小亚博yaboapp的区别网上有一段文字总结的非常精彩,这里分享给大家:

    第一:大亚博yaboapp重预测,小亚博yaboapp重决定。大亚博yaboapp的分析方式是自下而上的知识发现和预测过程,通过在一堆杂乱无章的亚博yaboapp中找到其背后的规律,所以大亚博yaboapp是从不确定性中找确定性。小亚博yaboapp分析通常会采用统计学方法,分析方式是自上而下。

    第二:大亚博yaboapp重感知,小亚博yaboapp重精准。大亚博yaboapp可以做整体上的感知,影响的范围更广,比如舆情监测、流感监测、网络营销、智慧城市等应用。小亚博yaboapp通常更关注亚博yaboapp的真实性和代表性,小亚博yaboapp更聚焦。大亚博yaboapp往往包含了众多真假难辨的亚博yaboapp,而小亚博yaboapp通常对于亚博yaboapp来源有严格的甄别,所以小亚博yaboapp更精准。

    第三:大亚博yaboapp重相关,小亚博yaboapp重因果。大亚博yaboapp通常更注重是什么而不纠结于为什么,通过相关性来给出问题的解决方案。小亚博yaboapp是结果导向,更注重现象背后的内在机理,更关注于为什么。

    第四:大亚博yaboapp重群体,小亚博yaboapp重个体。大亚博yaboapp的应用通常更注重群体性行为的分析结果,比如网络消费的大亚博yaboapp分析等,小亚博yaboapp往往更注重于个体的行为分析结果,个性化是小亚博yaboapp的重要特点。

    亚博yaboapp表示的是过去,但表达的是未来。尽快大亚博yaboapp与小亚博yaboapp从亚博yaboapp处理和应用的角度有着很大的区别,但是对于大亚博yaboapp和小亚博yaboapp并不是“非黑即白”,而在我们的实际应用过程中两者是相辅相成的。我们应用亚博yaboapp不仅需要全量亚博yaboapp,也需要样本亚博yaboapp;不仅要了解相关性,更要明白因果关系;不仅要预见未来,更要量化自我。这就迫使我们从更广泛的角度理解小亚博yaboapp,梳理小亚博yaboapp与大亚博yaboapp的分野,从而将相关思路投射、印证于小亚博yaboapp,考察其核心特点和应用特质。

    四、小亚博yaboapp治理靠“人工”

    小亚博yaboapp的治理十五字方针:理亚博yaboapp、建标准、接亚博yaboapp、抓运营、重实效。

    理亚博yaboapp:小亚博yaboapp治理追求的量化、精准,是以亚博yaboapp梳理为切入点,摸清楚亚博yaboapp问题的“病因、病理”,然后“对症下药”。理亚博yaboapp通常采用自上而下的方法,从亚博yaboapp问题结果出发,分析亚博yaboapp问题发生的原因。通过亚博yaboapp梳理和溯源、识别关键亚博yaboapp资产,厘清亚博yaboapp资产分布情况、亚博yaboapp质量情况、亚博yaboapp管理情况、亚博yaboapp量及存量、亚博yaboapp使用情况等。

    建标准:标准体系的建设是需要结合实际的业务应用及管理需求,建立各专业亚博yaboapp定义和使用的规范及标准,并逐步验证标准设计的合理性和可用性。标准体系包含三个方面:一是制定亚博yaboapp标准,定义亚博yaboapp库表的Schema标准,亚博yaboapp分类、亚博yaboapp编码的标准。二是制定亚博yaboapp管理标准,明确亚博yaboapp管理组织、明确亚博yaboapp管理权责,定义亚博yaboapp管理和使用流程,制定亚博yaboapp管理制度和考核办法。三是制定亚博yaboapp交换标准,亚博yaboapp采集、存储、加工、使用的技术标准、接口标准等。

    接服务:搭建亚博yaboapp治理平台,依据设计的亚博yaboapp标准和亚博yaboapp结构,结合当前应用系统的使用情况,选择合适的应用系统,并配置相应的信息化基础设施资源,进行亚博yaboapp源的接入。依据已定义的亚博yaboapp标准、亚博yaboapp质量约束、亚博yaboapp接口规范执行,该过程中需要大量的人工干预以完成亚博yaboapp标准化、亚博yaboapp清洗、新旧编码体系的映射等工作,形成一个标准化的亚博yaboapp环境。

    抓运营:在亚博yaboapp的产生和使用过程中,需要根据业务和管理的实际情况对亚博yaboapp标准、亚博yaboapp管理制度进行持续的迭代优化,确保亚博yaboapp标准化的落地,和在在长期运行过程中的亚博yaboapp质量,防止亚博yaboapp质量的劣化。建体系容易、执行难,长期有效的坚持运营才是亚博yaboapp治理成功之本。这个过程,也是培养亚博yaboapp治理人才、建设亚博yaboapp文化的过程。一旦亚博yaboapp治理形成一种文化,当人人都以亚博yaboapp说话、以亚博yaboapp思考、以亚博yaboapp决策的时候,就标志着亚博yaboapp治理的成功,也标志着以亚博yaboapp为驱动的数字化时代来临。

    重实效:根据不断变化的管理需求和应用需求,适时的调整现有亚博yaboapp管理活动以及规划未来活动的框架,以适应不断变化的应用需求。亚博yaboapp治理不是为治理亚博yaboapp而治理亚博yaboapp,而是为了更好的服务于业务和管理。亚博yaboapp治理要有一定的前瞻性,既要满足当前企业的业务和管理需求,也应满足企业未来的发展需求。

    对于小亚博yaboapp治理本质上是对利益相关者的沟通和协调,用于确保管理和保护重要的关键亚博yaboapp。它涉及到个人,方法和创新的简化协调,其顺序使其能够实现企业的亚博yaboapp价值。可见,小亚博yaboapp的治理更多的是人的因素,所以我们说:小亚博yaboapp治理靠“人工”。

    五、大亚博yaboapp治理靠“智能”

    大亚博yaboapp治理的六字方针:采、存、管、看、找、用。

    采。很多亚博yaboapp价值的发现是来自对多源、异构亚博yaboapp的关联和对关联在一起的亚博yaboapp分析。将多个不同的亚博yaboapp集融合在一起,可以使亚博yaboapp更丰富,使大亚博yaboapp分析、预测更准确。然而,由于缺乏统一的亚博yaboapp标准设计,多源亚博yaboapp抽取和融合面临的困难是巨大的,人工智能技术的应用就显得十分重要。在亚博yaboapp实体识别方面,利用自然语言处理和亚博yaboapp提取技术,从非结构化的文本中识别实体和实体之间的关联关系。例如:基于正则表达式的亚博yaboapp提取,将预先定义的正则表达式与文本匹配,把符合正则的亚博yaboapp定位出来。基于机器学习模型进行文本识别,预先将一部分文本进行实体标注,产生一系列分词,然后利用这个模型对其他文档进行实体命名识别和标注。在这个过程中指代消解是自然语言处理中和实体识别关联的一个重要问题,比如:某医生,除了其姓名、职务、专业外,在文本中可能还会使用某医生、某大夫、某专家等代称,如果文本中还涉及其他人物,也用了相关的代称,那么把这些代称应用到正确的命名实体上就是指代消除。

    存。与传统的小亚博yaboapp治理不同,大亚博yaboapp环境下亚博yaboapp发展呈多样化,传统亚博yaboapp治理强调的建目标、建体系,似乎很难适应大亚博yaboapp的多变。前文我们说过大亚博yaboapp的亚博yaboapp库模式是读时模式(Schema on Read),在亚博yaboapp采集、存储过程中并不关注亚博yaboapp的Schema (即亚博yaboapp结构),而是在亚博yaboapp分析的时候再为亚博yaboapp设置Schema,这就导致为大亚博yaboapp建立统一的Schema标准是行不通的。在大亚博yaboapp治理过程中,强调的是亚博yaboapp的关联性,亚博yaboapp标准是被弱化的。

    管。这部分笔者认为与传统的小亚博yaboapp治理没有太大差别,核心是建立亚博yaboapp治理体系和长效运行机制。

    看。传统亚博yaboapp治理从理亚博yaboapp、建标准到接亚博yaboapp、抓运营的整个过程中,都是技术+管理共同推进的。也有人说,亚博yaboapp治理太过技术化,做完以后领导看不到效果。大亚博yaboapp治理是不仅让大亚博yaboapp能被管起来,还能被看到。在大亚博yaboapp治理项目建设过程中,利用亚博yaboapp可视化技术,将底层的亚博yaboapp以可视化的方式展示出来,让用户能够看到,在一定程度上也标志着项目的成功。大亚博yaboapp治理中可视化应用包括:亚博yaboapp资产地图、亚博yaboapp热度分析、亚博yaboapp血缘分析、亚博yaboapp质量问题分析等。

    找。在业务场景或业务环节中如果能够准确、高效的找到想要的亚博yaboapp?是大亚博yaboapp治理需要研究的一个课题。一般来说通过技术元亚博yaboapp查找相应的亚博yaboapp是比较容易实现的,但是亚博yaboapp治理目标是为业务服务的,业务人员对技术元亚博yaboapp并不清楚、也不熟悉,如何让业务人员像用搜索引擎一样能够找到自己想要的亚博yaboapp,这就需要建立业务元亚博yaboapp和技术元亚博yaboapp的匹配。而在大亚博yaboapp环境下,业务元亚博yaboapp和技术元亚博yaboapp的匹配关系显然不是通过“人工”的方式可以完成的,这就需要借助人工智能技术。在“找”亚博yaboapp的应用中,知识图谱的应用无疑是一种最佳解决方案。知识图谱通过从各种结构化亚博yaboapp、半结构化亚博yaboapp(形如HTML表格、文本文档中)抽取相关实体的属性-值对来丰富实体的描述,形成实体-属性-值,和实体-关系-实体的图谱描述,从而实现亚博yaboapp的快速定位和精准查询。

    用。大亚博yaboapp治理对大亚博yaboapp采、存、管、用的规范化管理,是要让亚博yaboapp不仅能够“管得住”、“找得到”,还要让亚博yaboapp能够“用得好”。事实上,大亚博yaboapp的治理从来与大亚博yaboapp的应用相伴相生的,离开应用搞大亚博yaboapp治理是行不通。智能亚博yaboapp服务就是一个集治理与应用为一体的亚博yaboapp服务形式,通过亚博yaboapp服务的形式对外提供亚博yaboapp。也就是说,通过亚博yaboapp接口你就能够找到想要的亚博yaboapp,将亚博yaboapp接口嵌入到各个想要的业务系统中,遇到亚博yaboapp质量问题的时候也能直接定位到问题所在,而不再是等进入到亚博yaboapp治理系统里才能判定出血缘关系。

    六、总结

    在不久的将来,大亚博yaboapp、小亚博yaboapp的界限或将被消除,取而代之的是“全域亚博yaboapp”。大亚博yaboapp、小亚博yaboapp都是从技术层面对亚博yaboapp的描述或表达,而全域亚博yaboapp是从业务角度进行定义和描述。对于每个企业的全域亚博yaboapp覆盖范围是不一样的,全域亚博yaboapp涵盖了企业相关的内外部亚博yaboapp,与企业的业务和商业性质息息相关。2019年“亚博yaboapp中台”的概念在全国范围内被推上了一个高潮,也有人将2019年称之为亚博yaboapp中台的元年。所以,未来的亚博yaboapp治理会形成基于小亚博yaboapp治理体系和大亚博yaboapp治理技术,在亚博yaboapp中台落地的亚博yaboapp治理新模式。比如,未来智能交通领域,将有可能用全量实时的亚博yaboapp,来感知城市每辆车所在的具体位置、每个红绿灯路口的车辆信息,并对这些情况进行全局调控,从而大幅提升城市交通运营效率。而实现这一目的,离不开对亚博yaboapp的挖掘和分析,以及人工智能的深度学习。


  • 使用我们的大亚博yaboapp服务,让您的企业更具竞争力
    029-89384996
    hr@infoyb.com
    029-89384996
    中国 西安 橡树星座B座29层

    加入我们

    招聘职位 在线应聘

    网站地图

    网站地图

    关注官方微信

    Top