目录

Linux集群-ceph分布式存储

4

Ceph是一个统一的分布式存储系统,设计初衷是提供较好的性能、可靠性和可扩展性。

ceph可以实现的存储方式:

存储方式 说明
块存储 类似基本硬盘
文件系统存储 类似于NFS的共享
对象存储 类似于百度网盘
ceph存储数据采用多副本方式存储,生产环境下,一个文件至少需要备份3份

ceph组件

  • OSD: 功能是存储数据,处理数据的复制、恢复、回填、再均衡,并通过检查其他OSD守护进程的心跳来向Monitors提供一些监控信息。存储节点有几个用于ceph存储的硬盘,就有几个OSD进程。
  • Monitors:维护着展示集群状态的各种图标,包括监视图、OSD图、归置图、和CRUSHtu。主要负责管理集群状态。MON节点一般为奇数。
  • MDS:为ceph文件系统存储元数据(也就是说,ceph块存储和对象存储不使用MDS)。只有存储方式为文件系统存储,才需要该组件。元数据是描述数据的数据。文件的元数据描述的是文件的大小、权限、访问时间等。
  • RGW:对象存储网关。主要为访问ceph的软件提供API接口。

实验

image

ceph-deploy部署方式(最高支持centos7)

  1. 在node节点上安装ceph软件包

    yum install -y ceph-mon ceph-osd ceph-mds ceph-radosgw

  2. 配置client节点安装ntp服务器👉ntp时间同步服务器

  3. 配置node节点的ntp服务器为client

  4. 在任意节点安装ceph-deploy(这里以node1为例)

    安装pip

    yum install python3-pip

    使用pip安装ceph-deploy

    python3 -m pip install ceph-deploy -i https://pypi.tuna.tsinghua.edu.cn/simple

  5. node节点需要下列python模块包,使用pip安装

    python3 -m pip install --upgrade six pyyaml -i https://pypi.tuna.tsinghua.edu.cn/simple

  6. 创建ceph-deploy工作目录,进入目录

    mkdir ceph-cluster

  7. 初始化

    ceph-deploy new node{1..3}

  8. 开启COW分层快照功能。COW:写时复制 copy on write

    vim ceph.conf 加入下列配置

    rbd_default_features = 1

  9. 初始化monitor

    ceph-deploy mon create-initial

  10. 使用ceph -s 命令可以查看节点状态

    如果报错RADOS object not found (error connecting to the cluster),一般是密钥文件丢失,从控制节点复制ceph.client.admin.keyring​ 和 ceph.conf文件到monjiedian的 /etc/ceph/ 目录下

        scp /root/ceph-cluster/ceph.conf root@client:/etc/ceph/
        scp /root/ceph-cluster/ceph.client.admin.keyring root@client:/etc/ceph/
    

    复制ceph.client.admin.keyring文件到控制节点的 /etc/ceph/目录下

    mv /root/ceph-cluster/ceph.client.admin.keyring /etc/ceph/

  11. 初始化硬盘(会清空所选硬盘)

        ceph-deploy disk zap node1 /dev/sdb
        ceph-deploy disk zap node2 /dev/sdb
        ceph-deploy disk zap node3 /dev/sdb
    
  12. 创建存储空间,创建OSD

        ceph-deploy osd create --data /dev/sdb node1
        ceph-deploy osd create --data /dev/sdb node2
        ceph-deploy osd create --data /dev/sdb node3