ceph纠删码精简配置ec4+2:1与ec4+2的切换

概述

近期遇到项目，由于灵活配置，前期只有部分机器，后续扩容，想用ec4+2的纠删码，但前期只有3台机器，需要做精简ec。

erasure-code-profile

首先按照ceph创建纠删码池步骤进行操作。

创建ec4+2的rule

ceph osd erasure-code-profile set newecrule k=4 m=2

查看该rule

# ceph osd erasure-code-profile get newecrule
crush-device-class=
crush-failure-domain=host
crush-root=default
jerasure-per-chunk-alignment=false
k=4
m=2
plugin=jerasure
technique=reed_sol_van
w=8

创建纠删码存储池

ceph osd pool create testec 1 1 erasure newecrule

通过ceph osd pool ls detail可以看到该pool相关信息，以及分配了crushrule。

如果是正常创建纠删码池，以上步骤基本完成，如果需要做精简ec，或者自定义结构，可以继续操作crushmap。

导出crushmap

导出crushmap，反编译，ceph基操不做赘述，步骤如下：

ceph osd getcrushmap -o crushmap
crushmap -d crushmap -o crushmap.txt

查看crushmap，可以看到刚pool所使用的rule，结构如下

rule testec {
        id x
        type erasure
        min_size 3
        max_size 6
        step set_chooseleaf_tries 5
        step set_choose_tries 100
        step take default
        step chooseleaf indep 0 type host
        step emit

这个就是标准的host容灾的纠删码配置，其中ec的k+m是在erasure code profile中定义，这里的rule就是将纠删码的块分别放到不同host中。
如果前期项目只有3个节点，显然这里pg无法完成peering。

ec4+2:1

如果我们只有3台host，我们可以保留ec4+2的特性，同时通过调整rule，将每两个块放到一个host上，实现ec4+2:1的配置，等到集群扩容完成后，再将rule恢复。

        type erasure
        min_size 3
        max_size 6
       step take default
        step choose indep 3 type host        
        step chooseleaf indep 2 type osd 

此处的rule不难看出，先选3个host，再从host上选择2osd，共6个osd完成pg peering和active。

精简ec的问题

ec4+2host容灾，正常是可以同时离线2个节点而完成自愈，而ec4+2:1只能同时离线一个节点，或者不同节点的2个盘（很好理解，最多损坏两个块）。
此外由于使用choose indep host后choose osd，当某个host下的osd不足完成2个块的数据承担时，仍有可能会被选中，导致pg卡住，无法完成peering。
因此当集群规模，预算足够时，应即使扩容，调整成完整的非精简的ec结构。