【分布式系统】Ceph对象存储系统之RGW接口

目录

一.对象存储概述

二.创建RGW接口

1.在管理节点创建一个 RGW 守护进程

2.创建成功后默认情况下会自动创建一系列用于 RGW 的存储池

3.默认情况下 RGW 监听 7480 号端口

4.开启 http+https ，更改监听端口

5.在 rgw 节点上查看端口

6.在客户端访问验证

7.创建 RadosGW 账户

8.客户端测试

三.总结

接着之前的部署集群架构

一.对象存储概述

对象存储（object storage）是非结构数据的存储方法，对象存储中每一条数据都作为单独的对象

存储，拥有唯一的地址来识别数据对象，通常用于云计算环境中

不同于其他数据存储方法，基于对象的存储不使用目录树。

虽然在设计与实现上有所区别，但大多数对象存储系统对外呈现的核心资源类型大同小异。从客户

端的角度来看，分为以下几个逻辑单位

• Amazon S3

提供了

1. 用户（User）
2. 存储桶（Bucket）
3. 对象（Object）

三者的关系是

1. User将Object存储到系统上的Bucket
2. 存储桶属于某个用户并可以容纳对象，一个存储桶用于存储多个对象
3. 同一个用户可以拥有多个存储桶，不同用户允许使用相同名称的Bucket，因此User名称即可做为Bucket的名称空间

• OpenStack Swift

1. 提供了user、container和object分别对应于用户、存储桶和对象，
2. 它还额外为user提供了父级组件account，用于表示一个项目或用户组
3. 因此一个account中可以包含一到多个user，它们可共享使用同一组container，并为container提供名称空间

• RadosGW

1. 提供了user、subuser、bucket和object，其中的user对应于S3的user，而subuser则对应于Swift的user
2. user和subuser都不支持为bucket提供名称空间，因此不同用户的存储桶不允许同名
3. 自jewel版本起，RadosGW引入了tenant（租户）用于为user和bucket提供名称空间，但他是个可选组件

二.创建RGW接口

如果需要使用到类似 S3 或者 Swift 接口时候才需要部署/创建 RadosGW 接口，RadosGW 通常作

为对象存储（Object Storage）使用，类于阿里云OSS

1.在管理节点创建一个 RGW 守护进程

cd /etc/ceph
ceph-deploy rgw create node01
ceph -s

2.创建成功后默认情况下会自动创建一系列用于 RGW 的存储池

ceph osd pool ls
rgw.root 
default.rgw.control			#控制器信息
default.rgw.meta			#记录元数据
default.rgw.log				#日志信息
default.rgw.buckets.index	#为 rgw 的 bucket 信息，写入数据后生成
default.rgw.buckets.data	#是实际存储的数据信息，写入数据后生成

3.默认情况下 RGW 监听 7480 号端口

ssh root@node01 netstat -lntp | grep 7480

4.开启 http+https ，更改监听端口

RadosGW 守护进程内部由 Civetweb 实现，通过对 Civetweb 的配置可以完成对 RadosGW 的

基本管理
 

#要在 Civetweb 上启用SSL，首先需要一个证书，在 rgw 节点生成证书
1）生成CA证书私钥：
openssl genrsa -out civetweb.key 2048
 
2）生成CA证书公钥：
openssl req -new -x509 -key civetweb.key -out civetweb.crt -days 3650 -subj "/CN=192.168.20.7"
 
#3、将生成的证书合并为pem
cat civetweb.key civetweb.crt > /etc/ceph/civetweb.pem

更改监听端口

vim ceph.conf
......
[client.rgw.node01]
rgw_host = node01
rgw_frontends = "civetweb port=80+443s ssl_certificate=/etc/ceph/civetweb.pem num_threads=500 request_timeout_ms=60000"
 
------------------------------------------------------------
●rgw_host：对应的RadosGW名称或者IP地址
●rgw_frontends：这里配置监听的端口，是否使用https，以及一些常用配置：
•port：如果是https端口，需要在端口后面加一个s。
•ssl_certificate：指定证书的路径。
•num_threads：最大并发连接数，默认为50，根据需求调整，通常在生产集群环境中此值应该更大
•request_timeout_ms：发送与接收超时时长，以ms为单位，默认为30000
•access_log_file：访问日志路径，默认为空
•error_log_file：错误日志路径，默认为空
------------------------------------------------------------
 
#修改完 ceph.conf 配置文件后需要重启对应的 RadosGW 服务，再推送配置文件
ceph-deploy --overwrite-conf config push node0{1..3}


systemctl restart ceph-radosgw.target

5.在 rgw 节点上查看端口

netstat -lntp | grep -w 80
netstat -lntp | grep 443

6.在客户端访问验证

curl http://192.168.80.105:80
curl -k https://192.168.80.105:443

7.创建 RadosGW 账户

在管理节点使用 radosgw-admin 命令创建 RadosGW 账户

radosgw-admin user create --uid="rgwuser" --display-name="rgw test user"

#创建成功后将输出用户的基本信息，其中最重要的两项信息为 access_key 和 secret_key 。用户创建成后功，如果忘记用户信息可以使用下面的命令查看
radosgw-admin user info --uid="rgwuser"

8.客户端测试

1）在客户端安装 python3、python3-pip
yum install -y python3 python3-pip

python3 -V
Python 3.6.8

pip3 -V
pip 9.0.3 from /usr/lib/python3.6/site-packages (python 3.6)

2）安装 boto 模块，用于测试连接 S3
pip3 install boto

3）测试访问 S3 接口
echo 123123 > /opt/123.txt

vim test.py
#coding:utf-8
import ssl
import boto.s3.connection
from boto.s3.key import Key
try:
    _create_unverified_https_context = ssl._create_unverified_context
except AttributeError:
    pass
else:
    ssl._create_default_https_context = _create_unverified_https_context
	
#test用户的keys信息
access_key = "ER0SCVRJWNRIKFGQD31H"                          #输入 RadosGW 账户的 access_key
secret_key = "YKYjk7L4FfAu8GHeQarIlXodjtj1BXVaxpKv2Nna"      #输入 RadosGW 账户的 secret_key

#rgw的ip与端口
host = "192.168.80.11"        #输入 RGW 接口的 public 网络地址

#如果使用443端口，下述链接应设置is_secure=True
port = 443
#如果使用80端口，下述链接应设置is_secure=False
#port = 80
conn = boto.connect_s3(
    aws_access_key_id=access_key,
    aws_secret_access_key=secret_key,
    host=host,
    port=port,
    is_secure=True,
    validate_certs=False,
    calling_format=boto.s3.connection.OrdinaryCallingFormat()
)

#一:创建存储桶
#conn.create_bucket(bucket_name='bucket01')
#conn.create_bucket(bucket_name='bucket02')

#二：判断是否存在，不存在返回None
exists = conn.lookup('bucket01')
print(exists)
#exists = conn.lookup('bucket02')
#print(exists)

#三：获得一个存储桶
#bucket1 = conn.get_bucket('bucket01')
#bucket2 = conn.get_bucket('bucket02')

#四：查看一个bucket下的文件
#print(list(bucket1.list()))
#print(list(bucket2.list()))

#五：向s3上存储数据，数据来源可以是file、stream、or string
#5.1、上传文件
#bucket1 = conn.get_bucket('bucket01')
# name的值是数据的key
#key = Key(bucket=bucket1, name='myfile')
#key.set_contents_from_filename('/opt/123.txt')
# 读取 s3 中文件的内容，返回 string 即文件 123.txt 的内容
#print(key.get_contents_as_string())

#5.2、上传字符串
#如果之前已经获取过对象，此处不需要重复获取
bucket2 = conn.get_bucket('bucket02')
key = Key(bucket=bucket2, name='mystr')
key.set_contents_from_string('hello world')
print(key.get_contents_as_string())

#六：删除一个存储桶，在删除存储桶本身时必须删除该存储桶内的所有key
bucket1 = conn.get_bucket('bucket01')
for key in bucket1:
    key.delete()
bucket1.delete()


4）按照以上步骤执行 python 脚本测试
python3 test.py

三.总结

RGW操作

服务端

ceph-deploy rgw create 节点列表                                      
#创建RGW接口，还可以修改ceph配置文件，设置RGW监听的端口号（默认端口为7480）
radosgw-admin user create --uid="用户名" --display-name="备注信息"      
#创建RGW账户，获取access_key和secret_key

客户端

1. 准备好客户端应用程序
2. 使用RGW账户的access_key和secret_key做验证访问RGW对象存储接口
3. 在对象存储里创建bucket存储桶
4. 在bucket存储桶里创建对象object，上传数据