Ceph概念介绍及组件介绍-创新互联

一：Ceph基础介绍

Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统，根据场景划分可以将Ceph分为三大块，分别是对象存储、块设备存储和文件系统服务。

Ceph相比其它存储的优势点在于它不单单是存储，同时还充分利用了存储节点上的计算能力，在存储每一个数据时，都会通过计算得出该数据存储的位置，尽量将数据分布均衡，同时由于Ceph的良好设计，采用了CRUSH算法、HASH环等方法，使得它不存在传统的单点故障的问题，且随着规模的扩大性能并不会受到影响。

二：核心组件介绍

Ceph OSD（必装）

全称是Object Storage Device，主要功能包括存储数据，处理数据的复制、恢复、回补、平衡数据分布，并将一些相关数据提供给Ceph Monitor

榕江网站建设公司成都创新互联公司,榕江网站设计制作，有大型网站制作公司丰富经验。已为榕江1000+提供企业网站建设服务。企业网站搭建\外贸网站制作要多少钱，请找那个售后服务好的榕江做网站的公司定做！

Ceph Monitor（必装）
Ceph的监控器，主要功能是维护整个集群健康状态，提供一致性的决策，包含了Monitor map，即集群map，monitor本身不存储任何集群数据

Managers（必装）
Ceph Manager守护进程（ceph-mgr）负责跟踪运行时指标和Ceph集群的当前状态，包括存储利用率，当前性能指标和系统负载。Ceph Manager守护进程还基于python的插件来管理和公开Ceph集群信息，包括基于Web的Ceph Manager Dashboard和 REST API。高可用性通常至少需要两个管理器。

Ceph MDS（可选）
全称是Ceph Metadata Server，主要保存的是Ceph的文件系统（File System）的元数据（metadata），不是必须安装，当需要使用CephFS的时候才会使用

三：基础组件介绍

rados
自身是一个完整的分布式对象存储系统，它具有可靠、智能、分布式等特性，Ceph的高可靠、高可拓展、高性能、高自动化都是由这一层来提供的，用户数据的存储最终也都是通过这一层来进行存储的，RADOS可以说就是Ceph的核心，主要由两部分构成，分别是OSD和Monitor

Librados
它是一个库，它允许应用程序通过访问该与RADOS系统进行交互，支持多种编程语言，比如C、C++，Python等

radosgw
RADOSGW是一套基于当前流行的RESTFUL协议的网关，并且兼容S3和Swif，只有当使用对象存储时才会用到

rbd
RBD通过Linux内核客户端和QEMU/KVM驱动来提供一个分布式的块设备，可以理解为像linux的LVM一样，从Ceph的集群中划分出一块磁盘，用户可以直接在上面做文件系统和挂载目录

CephFs
通过Linux内核客户端和fuse来提供一个兼容POSIX的文件系统，当一些linux系统不支持mount命令或者需要更高级的操作时，会用到ceph-fuse

四：术语介绍，名词解释

crush
是Ceph使用的数据分布算法，类似一致性哈希，让数据分配到预期的地方

map
上面说过，monitor组件负责监视整个集群的运行状况，如各节点之间的状态、集群配置信息，这些信息由维护集群成员的守护程序来提供，如何存放这些信息呢，答案就是map，ceph monitor map主要包括如下这几个

Monitor map：包括有关monitor 节点端到端的信息，其中包括 Ceph 集群ID，监控主机名和IP以及端口。并且存储当前版本信息以及最新更改信息，通过 "ceph mon dump" 查看 monitor map
OSD map：包括一些常用的信息，如集群ID、创建OSD map的版本信息和最后修改信息，以及pool相关信息，主要包括pool 名字、pool的ID、类型，副本数目以及PGP等，还包括数量、状态、权重、最新的清洁间隔和OSD主机信息。通过命令 "ceph osd dump" 查看
PG map：包括当前PG版本、时间戳、最新的OSD Map的版本信息、空间使用比例，以及接近占满比例信息，同事，也包括每个PG ID、对象数目、状态、OSD 的状态以及深度清理的详细信息。通过命令 "ceph pg dump" 可以查看相关状态
CRUSH map： CRUSH map 包括集群存储设备信息，故障域层次结构和存储数据时定义失败域规则信息。通过命令 "ceph osd crush map" 查看
MDS map：MDS Map 包括存储当前 MDS map 的版本信息、创建当前的Map的信息、修改时间、数据和元数据POOL ID、集群MDS数目和MDS状态，可通过"ceph mds dump"查看

副本
副本是ceph存放数据的份数，可以理解为对一个文件备份的份数，ceph默认的副本数是3，即一个主（primary ），一个次（secondary），一个次次（tertiary）,只有primary osd的副本才解释客户端请求，它将数据写入其他osd
如下,可以看到这个叫做testpool的pool中有一个叫做object1的object，他的map信息获取后可以看到
这个对象在osd1上面是主，在osd0和osd2上是次和次次，也就是说在副本数为3的情况下，每个osd存储一个副本

[root@ceph-1 ~]# ceph osd map testpool object1
osdmap e220 pool 'testpool' (38) object 'object1' -> pg 38.bac5debc (38.0) -> up ([1,0,2], p1) acting ([1,0,2], p1)

其他内容解释

osdmap e220 此map的版本号
pool 'testpool' (38) 此pool的名字和ID
object 'object1' 此object的名字
pg 38.bac5debc (38.0) pg的号码，即38.0
up ([1,0,2], p1) up set ，按顺序表示副本存在于哪个osd上，osd0（primary）osd1（secondary）和osd2（tertiary）
acting ([1,0,2], p1) acting set 通常情况下和up set相同，不同的情况需要理解pg_temp，即如果pg的acting set 为[0,1,2], 此时如果osd.0出现故障,导致CRUSH算法重新分配该pg的acting set 为[3,1,2]. 此时osd.3为该pg的主osd，但是osd.3并不能负担该pg的读操作，因为其上现在还没有数据。所以向monitor申请一个临时的pg,osd.1为临时主osd，这时acting set依然为[0,1,2],up set 变为[1,3,2]，此时就出来acting set 和up set的不同。当osd.3 backfill完成之后，该pg的up set恢复为acting set, 也就是acting set 和 up set都为[0,1,2]

object

ceph最底层的存储单元，即对象，每个对象包含元数据和原始数据，当用户要将数据存储到ceph集群时，存储数据会被分为多个对象，每个对象的大小是可以设置的，默认是4MB，可以将object堪称是ceph存储的最小单元

pg和pgp

pg是用来存放object的
pgp是相当于pg存放在osd的一种排列组合，他不影响副本个数，只影响副本排列顺序

pool
pool是一个逻辑存储概念，我们创建pool的时候，需要指定pg和pgp，Ceph 的池是一个用来存储对象的逻辑分区，Ceph每个池都包含一定数量 PG 进而实现把一定数量的对象映射到集群内部不同 OSD
此，因此，每一个池都是交叉分布在集群所有节点上的，也就是说pool是分布在整个集群上面的，这样就能够提供足够的弹性

五：易混点辨析

object与pg的关系
由于object的数量很多，所以Ceph引入了pg的概念用于管理object，每个object最后都会通过CRUSH计算映射到某个pg中，一个pg可以包含多个object

pg与osd的关系
pg也需要通过CRUSH计算映射到osd中去存储，如果是三副本的，则每个pg都会映射到三个osd，比如[osd.0,osd.1，osd.2]，那么osd.0是存放该pg的主副本，osd.1和osd.2是存放该pg的从副本，保证了数据的冗余

pg和pool的关系
pool也是一个逻辑存储概念，我们创建存储池pool的时候，都需要指定pg和pgp的数量，逻辑上来说pg是属于某个存储池的，就有点像object是属于某个pg的

pg和pgp的关系

pg是用来存放object的，pgp相当于是pg存放osd的一种排列组合，比如三个osd 1 2 3，副本数设置为3 且ceph默认副本数就是为3，假设此时pgp是1的话，那么此时一个对象是只可能是按照osd0 osd1 osd2 这唯一一种顺序排列，假设此时pgp是2的话，那么此时这个对象可能是按照osd0 osd1 osd2 和 osd1 osd0 osd2 这两种中的一种顺序排列，假设此时pgp是3的话，那么此时就有三种顺序排列，所以pgp实际上并不影响pg的副本数，只影响pg副本在osd分布的顺序排列的组合的可选数量，那么也可以理解pgp的作用就是均衡集群内osd的数据
pg是指定存储池存储对象的目录有多少个，pgp是存储池pg的OSD分布组合个数
pg的增加会引起pg内的数据进行分裂，分裂相同的OSD上新生成的pg当中
pgp的增加会引起部分pg的分布进行变化，但是不会引起pg内对象的变动

存储数据, object, pg,pgp, pool, osd, 存储磁盘的关系

这个12M的文件被分成，objectA，objectB，objectC三个对象，分别存储在pgA，pgB，pgC这三个pg里，pgA，pgB，pgC这三个pg又分别归poolA，poolB，poolC管理，而每个pg分布在哪个osd上，是有选择性的，而有多少种选择，就由pgp决定，这里设pgp为1，那么图上显示的就是其中可能的一种pg分布排序，而且是唯一的，如果pgp为2，那么除了图上显示的分布排除算一种外，会有另外一种分布排序，可能是pgA在osd1上，pgB在osd3上，pgC在osd2上，当然也可能有其他的分布排序，但是这里假设pgp为2，所以只有两种可供选择

Ceph概念介绍及组件介绍

另外，这里又另一张图，是我在别的大佬的文章里发现的也不错，就也放到这里把
Ceph概念介绍及组件介绍

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。