开源元数据管理平台Amundsen安装

Amundsen 是一个用于数据发现和元数据管理的开源平台。Amundsen是一个用于提高数据分析师、数据科学家和工程师在与数据交互时的生产力的数据发现和元数据引擎。目前,它通过索引数据资源(表、仪表板、流等)并基于使用模式(例如,高频查询的表会比低频查询的表更早显示)提供类似于PageRank的搜索来实现这一目标。可以将其视为数据的Google搜索。该项目以挪威探险家Roald Amundsen命名,他是第一个发现南极点的人。

Amundsen由LF AI & Data Foundation托管。它包括三个微服务、一个数据摄取库和一个通用库。

  • amundsenfrontendlibrary:前端服务,是一个使用React前端的Flask应用程序。
  • amundsensearchlibrary:搜索服务,利用Elasticsearch提供搜索功能,用于支持前端的元数据搜索。
  • amundsenmetadatalibrary:元数据服务,利用Neo4j或Apache Atlas作为持久层,提供各种元数据。
  • amundsendatabuilder:用于构建元数据图和搜索索引的数据摄取库。用户可以使用库中的Python脚本加载数据,也可以使用导入库的Airflow DAG。
  • amundsencommon:Amundsen通用库包含在Amundsen中的微服务之间共享的通用代码。
  • amundsengremlin:Amundsen Gremlin库包含用于将模型对象转换为gremlin中的顶点和边的代码。它用于将数据加载到AWS Neptune后端。
  • amundsenrds:Amundsenrds包含支持关系数据库作为Amundsen元数据后端存储的ORM模型。ORM模型中的模式遵循databuilder模型的逻辑。Amundsenrds将用于databu

相关推荐

  1. 开源数据管理Amundsen安装

    2024-01-25 06:26:02       61 阅读
  2. 健康管理宇宙革新

    2024-01-25 06:26:02       21 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-01-25 06:26:02       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-01-25 06:26:02       100 阅读
  3. 在Django里面运行非项目文件

    2024-01-25 06:26:02       82 阅读
  4. Python语言-面向对象

    2024-01-25 06:26:02       91 阅读

热门阅读

  1. #Uniapp:map地图组件

    2024-01-25 06:26:02       49 阅读
  2. tomcat与Apache---一起学习吧之服务器

    2024-01-25 06:26:02       61 阅读
  3. 网络原理——应用层

    2024-01-25 06:26:02       43 阅读
  4. freeswitch中通过嵌入式脚本监听会议事件

    2024-01-25 06:26:02       50 阅读
  5. 多旋翼无人机调试问题分析

    2024-01-25 06:26:02       59 阅读