迁移至 AI-Ready 基础架构:日立内容平台至 MinIO

借助我们的 HCP-to-MinIO 工具,从 Hitachi Content Platform (HCP) 过渡到 MinIO 从未如此简单。该工具旨在支持客户不断变化的存储需求,可在 GitHub 上免费获得,大大简化了迁移过程。许多组织正在转型,以利用 MinIO 针对 AI 基础设施优化的现代、可扩展和高性能对象存储。本教程提供了全面的分步指南,以确保顺利有效地过渡到 MinIO。

为什么要过渡到 MinIO?

客户通常出于几个令人信服的原因从 HCP 迁移到 MinIO,尤其是在针对 AI 驱动的应用程序进行优化时:

1 . 现代应用程序要求:MinIO 是 Kubernetes 原生的,专为云运营模式而构建,这意味着它本质上支持大多数用于分析、统计分析和 AI/ML 工作负载的现代应用程序堆栈。

2 . 大规模性能:MinIO 可有效处理从非常小到非常大的混合对象大小,确保数据密集型 AI 操作的最佳性能。

3 . 灵活性:与专用存储设备相比,软件定义、兼容 S3 的对象存储提供了更大的灵活性和云中立性。

HCP 到 MinIO 的迁移过程

在迁移过程中,建议以独占方式写入 MinIO,而不是写入 HCP。这种方法可确保您按计划开始:使用 MinIO 作为主对象存储。过程如下:

1 . 初始读取操作:迁移时,“getobject”调用被定向到 MinIO。如果未找到对象,则从 HCP 读取该对象。复制所有对象后,可以删除此回退。

2 . 保留元数据:该工具在迁移过程中保留对象的修改时间戳。

步骤 1:创建临时目录

下载 HCP-to-MinIO 工具后,第一步是为步骤 2 中的 list 命令的结果创建一个临时目录:

$ mkdir /tmp/data

接下来,设置以下环境变量:

export MINIO_ACCESS_KEY=<Your-MinIO-Access-Key>
export MINIO_SECRET_KEY=<Your-MinIO-Secret-Key>
export MINIO_ENDPOINT=https://<Your-MinIO-IP-Address>:9000
export MINIO_BUCKET=newbucket  # optional, if unspecified HCP bucket name is used

步骤 2:列出 HCP 中的对象

该 list 命令生成存储在 HCP 中的对象列表,并将其保存到本地文件。此文件可以拆分为较小的列表,并由多个客户端计算机并行处理,以加快迁移速度。

这是命令:


hcp-to-minio list --auth-token --namespace-url --host-header --namespace-url --dir

以及它可能看起来像什么的示例:

$ hcp-to-minio list --auth-token "HCP bXl1c2Vy:3f3c6784e97531774380db177774ac8d" --host-header "HOST:s3testbucket.tenant.hcp.example.com" --namespace-url "https://hcp-vip.example.com" --dir "/tmp/data"

步骤 3:将对象迁移到 MinIO

该 migrate 命令使用第一步中生成的列表将对象从 HCP 传输到 MinIO。

命令:

hcp-to-minio migrate --namespace-url --auth-token --host-header --data-dir --bucket --input-file

示例:

$ hcp-to-minio migrate --namespace-url https://finance.europe.hcp.example.com --auth-token "HCP bXl1c2Vy:3f3c6784e97531774380db177774ac8d" --host-header "s3testbucket.sandbox.hcp.example.com" --data-dir /mnt/data --bucket s3testbucket --input-file /tmp/data/to-migrate.txt

开始使用

HCP-to-MinIO 工具旨在帮助您迁移到现代、可扩展的对象存储解决方案。从 GitHub 下载该工具并立即开始迁移。

相关推荐

  1. Git学习——迁移单一仓库其他代码托管平台

    2024-07-10 16:50:04       16 阅读
  2. mysql迁移达梦数据库

    2024-07-10 16:50:04       38 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-10 16:50:04       5 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-10 16:50:04       5 阅读
  3. 在Django里面运行非项目文件

    2024-07-10 16:50:04       4 阅读
  4. Python语言-面向对象

    2024-07-10 16:50:04       5 阅读

热门阅读

  1. Python基础练习•二

    2024-07-10 16:50:04       12 阅读
  2. 【Unity】ScreenToWorldPoint转换三维空间MousePosition

    2024-07-10 16:50:04       11 阅读
  3. AD确定板子形状

    2024-07-10 16:50:04       8 阅读
  4. ELK优化之Elasticsearch

    2024-07-10 16:50:04       12 阅读
  5. QianfanLLMEndpoint和QianfanChatEndpoint的区别

    2024-07-10 16:50:04       11 阅读
  6. MMSegmentation笔记

    2024-07-10 16:50:04       9 阅读
  7. 网络安全筑基篇——XSS、XML、XXE

    2024-07-10 16:50:04       10 阅读