Ceph分布式存储集群部署详细步骤教程

Ceph分布式存储集群部署详细步骤教程

为大家介绍Ceph分布式存储集群部署详细步骤教程的方法内容，相关内容具体如下：

Ceph的部署工具：

• ceph-deploy：官方的部署工具，不再积极维护ceph-deploy。它不支持RHEL8，CentOS 8或更新的操作系统。
• ceph-ansible：红帽的部署工具
• ceph-chef：利用chef进行自动部署Ceph的工具
• puppet-ceph：puppet的ceph模块
• cephadm——cephadm 仅支援 Octopus 及更新版本（推荐）。

1）集群部署规划

• monitor：Ceph监视管理节点，承担Ceph集群重要的管理任务，一般需要3或5个节点。
• mgr： Ceph 集群管理节点（manager），为外界提供统一的入口。
• rgw: Ceph对象网关，是一种服务，使客户端能够利用标准对象存储API来访问Ceph集群。
• mds：Ceph元数据服务器，MetaData Server，主要保存的文件系统服务的元数据，使用文件存储时才需要该组件。
• osd：Ceph存储节点Object Storage Daemon，实际负责数据存储的节点。

2）前期准备

1、关闭filewalld服务

systemctl stop firewalld.service
systemctl disable firewalld.service

2、关闭并禁用SELinux

sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config
setenforce 0

3、配置hosts

192.168.182.130 local-168-182-130
192.168.182.131 local-168-182-131
192.168.182.132 local-168-182-132

4、ssh免密配置

ssh-keygen
# ...一路Enter
ssh-copy-id root@local-168-182-130  //会有一次密码输入
ssh-copy-id root@local-168-182-131
ssh-copy-id root@local-168-182-132

4、配置时间同步

yum install -y chrony
systemctl enable --now chronyd

3）添加磁盘

如果添加完磁盘，看不到，可以执行以下命令：

# 重新扫描SCSI总线添加设备
echo "- - -" > /sys/class/scsi_host/host0/scan
echo "- - -" > /sys/class/scsi_host/host1/scan
echo "- - -" > /sys/class/scsi_host/host2/scan

4）安装docker :（所有节点操作，包括新增）

# centos7
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
# 安装yum-config-manager配置工具
yum -y install yum-utils
# 设置yum源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 安装docker-ce版本
yum install -y docker-ce
#启动docker服务并开机自启
systemctl enable --now docker
# 查看版本号
docker --version
# 查看版本具体信息
docker version
# Docker镜像源设置
# 修改文件 /etc/docker/daemon.json，没有这个文件就创建
# 添加以下内容后，重启docker服务：
cat >/etc/docker/daemon.json<<EOF
{
   "registry-mirrors": ["http://hub-mirror.c.163.com"]
}
EOF
systemctl restart docker

5）安装cephadm

下载cephadm脚本： （只在主节点操作）

mkdir -p /opt/ceph/my-cluster ; cd /opt/ceph/my-cluster
curl --silent --remote-name --location https://github.com/ceph/ceph/raw/octopus/src/cephadm/cephadm  -o cephadm
chmod +x cephadm
# 或者：
#curl https://raw.githubusercontent.com/ceph/ceph/v15.2.1/src/cephadm/cephadm -o cephadm
#chmod +x cephadm 
#//**//下载出错：配置/etc/hosts 文件--—> 199.232.28.133 raw.githubusercontent.com
# 安装python3:（所有节点执行）
yum install python3 -y
# 配置ceph存储库  ：（或指定版本）
./cephadm add-repo --release octopus
#或
#./cephadm add-repo --version 15.2.1
# 开始安装ceph-common，ceph工具
./cephadm install ceph-common ceph
# 安装cephadm工具
./cephadm install
which cephadm
which ceph

6）初始化 ceph 集群

当前节点安装 mon、 mgr 角色,部署 prometheus、 grafana、 alertmanager、 node-exporter等服务。

#先安装一个节点，其它节点通过后面的命令添加到集群中即可
#您需要知道用于集群的第一个监视器守护程序的IP地址。
#如果有多个网络和接口，要确保选择任何可供访问Ceph群集的主机访问的网络和接口。
cephadm bootstrap --mon-ip 192.168.182.130
##### 命令特点：
#在本地主机上为新集群创建监视和管理器守护程序。
#为Ceph集群生成一个新的SSH密钥，并将其添加到root用户的/root/.ssh/authorized_keys文件中。
#将与新集群进行通信所需的最小配置文件编写为/etc/ceph/ceph.conf。
#将client.admin管理密钥的副本写入/etc/ceph/ceph.client.admin.keyring。
#将公用密钥的副本写入 /etc/ceph/ceph.pub。
# 查看部署的服务
docker ps 
#=======输出信息=======
Ceph Dashboard is now available at:
             URL: https://local-168-182-130:8443/
            User: admin
        Password: 0ard2l57ji
You can access the Ceph CLI with:
        sudo /usr/sbin/cephadm shell --fsid d1e9b986-89b8-11ed-bec2-000c29ca76a9 -c /etc/ceph/ceph.conf -k /etc/ceph/ceph.client.admin.keyring
Please consider enabling telemetry to help improve Ceph:
        ceph telemetry on
For more information see:
        https://docs.ceph.com/docs/master/mgr/telemetry/

根据提示可知，有个web地址：https://ip:8443/，这里的截图是部署完之后的截图。

通过ceph命令查看集群状态

ceph -s