【华为数据之道学习笔记】3-9以特征提取为核心的非结构化数据管理

        随着业务对大数据分析的需求日益增长,非结构化数据的管理逐 渐成为数据管理的重要组成部分。非结构化数据包括无格式文本、各类格式文档、图像、音频、视频等多种异构的格式文件,较之结构化数据,其更难标准化和理解,因此在存储、检索以及消费使用时需要智能化的IT技术与之匹配。华为的非结构化数据包括文档(邮件、
Excel、Word、PPT)、图片、音频、视频等。
        相较于结构化数据,非结构化元数据管理除了需要管理文件对象的标题、格式、Owner等基本特征和定义外,还需对数据内容的客观理解进行管理,如标签、相似性检索、相似性连接等,以便于用户搜索和消费使用。 因此,非结构化数据的治理核心是对其基本特征与内容 进行提取,并通过元数据落地来开展的。
         非结构化数据的管理模型如图所示。
        非结构化数据的元数据可以分为基本特征类(客观)和内容增强类(主观)两类。
        1)基本特征类:参考都柏林十五个核心元数据,实现对非结构化数据对象的规范化定义,如标题、格式、来源等。
        2)内容增强类:基于非结构化数据内容的上下文语境,解析目标文件对象的数据内容,加深对目标对象的客观理解,如标签、相似性检索、相似性连接等。
        非结构化数据的元数据管理采用统分统管的原则,即基本特征类属性由公司进行统一管理,内容增强类属性由相关承担数据分析工作的项目组自行设计,但其分析结果都应由公司元数据管理平台自动采集后进行统一存储。
        元数据管理平台通过“基本特征类元数据流”和“内容增强类元数据流”两条线来实现对非结构化数据的元数据管理和消费使用。
        1)基本特征类元数据流
        元数据管理平台基于收集到的各类非结构化数据源信息,自动完成基础特征类元数据的采集工作,按照管理规范和要求通过标准化、整合后存储在元数据管理平台中,并在完成元数据过滤、排序后将结果在元数据报告中进行可视化展示,以供用户消费使用。
        2)内容增强类元数据流
        基于元数据管理平台中基本特征类元数据的信息,各数据分析项目组解析目标非结构化对象的数据内容,并将分析结果通过元数据采集、元数据标准化&整合后统一存放在元数据管理平台中,以供用户一并消费使用,增强用户体验。
        非结构化数据的处理过程如图所示。
       

相关推荐

最近更新

  1. TCP协议是安全的吗?

    2023-12-14 19:34:02       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2023-12-14 19:34:02       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2023-12-14 19:34:02       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2023-12-14 19:34:02       20 阅读

热门阅读

  1. 软件开发经常出现的bug原因有哪些

    2023-12-14 19:34:02       39 阅读
  2. CDN加速:社会服务的必备利器

    2023-12-14 19:34:02       36 阅读
  3. LeetCode 2697. 字典序最小回文串

    2023-12-14 19:34:02       44 阅读
  4. leetcode 最大和的连续子数组 C语言

    2023-12-14 19:34:02       31 阅读
  5. 敏捷开发项目管理流程及scrum工具

    2023-12-14 19:34:02       38 阅读
  6. K8S(七)—污点、容忍

    2023-12-14 19:34:02       41 阅读
  7. k8s-Pod

    k8s-Pod

    2023-12-14 19:34:02      32 阅读
  8. hive客户机执行sql脚本无法显示表头

    2023-12-14 19:34:02       37 阅读
  9. 客户端注册账号-服务器-存入数据库..

    2023-12-14 19:34:02       30 阅读