摘要:第一次接觸集群,感謝官方的指導文檔和許多網(wǎng)友提供的教程,糊糊涂涂算是把集群部署起來了。應該為每個運行的機器添加一個,否則集群處于狀態(tài)。至此的集群搭建算是完成了,下一步會進行塊設備的搭建。參考分布式存儲部署手冊如何在中安裝存儲集群部署版
第一次接觸ceph集群,感謝官方的指導文檔和許多網(wǎng)友提供的教程,糊糊涂涂算是把集群部署起來了。由于Luminous12.2剛發(fā)布不久,部署起來跟舊版本還是有些許差別,所以以此做下筆記也給需要的人做下參考。
Ps. 剛開始接觸ceph的同學,十分建議先把官方文檔看一遍。
ceph官方文檔
1. Ceph介紹Ceph集群結構:Ceph 是一個高性能、可靠、可擴展的開源存儲平臺。它是一個自由的分布式存儲系統(tǒng),提供了對象、塊和文件級存儲的接口,并可以不受單點故障的影響而運行。
(1)Ceph Admin-管理節(jié)點,用來安裝ceph-deploy 進行ceph部署使用,基本上大部分操作都在這臺機器上。
(2)Ceph OSD (ceph-osd) - 控制數(shù)據(jù)存儲,數(shù)據(jù)復制和恢復。Ceph 集群需要至少兩個 Ceph OSD 服務器。這次安裝中我們將使用三個 Ubuntu 服務器。
(3)Ceph Monitor (ceph-mon) - 監(jiān)控集群狀態(tài)并運行 OSD 映射 和 CRUSH 映射。這里我們使用一個服務器。
(4)Ceph Meta Data Server (ceph-mds) - 如果你想把 Ceph 作為文件系統(tǒng)使用,就需要這個。
2. OS系統(tǒng)Ubuntu 16.04.3
3. Ceph 版本Ceph v12.2 Luminous
4. 設置固定IP和修改主機名(所有節(jié)點)
(1)設置對應的固定IP(每個節(jié)點分別設置)
192.168.31.131 admin_server 192.168.31.132 mon_server 192.168.31.133 osd_server_1 192.168.31.134 osd_server_2
(2)修改/etc/hostname,修改為對應的主機名
(3)修改/etc/hosts
將以下添加到hosts
192.168.31.132 mon_server 192.168.31.133 osd_server_1 192.168.31.134 osd_server_25. 修改apt源(所有節(jié)點)
(1)修改/etc/apt/sources.list,增加網(wǎng)易下載源(xenial 是ununtu16.04的版本代號,不同版本不一樣)
deb http://mirrors.163.com/ubuntu/ xenial main restricted universe multiverse deb http://mirrors.163.com/ubuntu/ xenial-security main restricted universe multiverse deb http://mirrors.163.com/ubuntu/ xenial-updates main restricted universe multiverse deb http://mirrors.163.com/ubuntu/ xenial-backports main restricted universe multiverse ## 測試版源 deb http://mirrors.163.com/ubuntu/ xenial-proposed main restricted universe multiverse ## 源碼 deb-src http://mirrors.163.com/ubuntu/ xenial main restricted universe multiverse deb-src http://mirrors.163.com/ubuntu/ xenial-security main restricted universe multiverse deb-src http://mirrors.163.com/ubuntu/ xenial-updates main restricted universe multiverse deb-src http://mirrors.163.com/ubuntu/ xenial-backports main restricted universe multiverse ##測試版源 deb-src http://mirrors.163.com/ubuntu/ xenial-proposed main restricted universe multiverse
(2)更新
sudo apt-get update sudo apt-get install6. OS環(huán)境配置(所有節(jié)點)
(1)安裝ntp:用于同步所有節(jié)點的日期和時間
sudo apt-get install ntp
(2)安裝SSH: 用于admin控制其它節(jié)點
sudo apt-get install openssh-server
sudo useradd -d /home/cephuser -m cephuser sudo passwd cephuser echo "cephuser ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephuser sudo chmod 0440 /etc/sudoers.d/cephuser8. 安裝ceph apt key(admin節(jié)點)
(1)安裝key(使用163源)
wget -q -O- "http://mirrors.163.com/ceph/keys/release.asc" | sudo apt-key add - echo deb http://mirrors.163.com/ceph/debian-luminous/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
(2)安裝ceph-deploy
sudo apt-get update && sudo apt-get install -y ceph-deploy
(1)生成公鑰
ssh-keygen
(全按回車鍵,默認)
Generating public/private key pair. Enter file in which to save the key (/ceph-admin/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /ceph-admin/.ssh/id_rsa. Your public key has been saved in /ceph-admin/.ssh/id_rsa.pub.
(2)復制public key到其它節(jié)點需在普通用戶權限下執(zhí)行,在對話窗口輸入yes,然后輸入對端用戶密碼
ssh-copy-id cephuser@mon_server ssh-copy-id cephuser@osd_server_1 ssh-copy-id cephuser@osd_server_2
(3)修改 ~/.ssh/config
添加以下內容:
Host mon_server Hostname mon_server User cephuser Host osd_server_1 Hostname osd_server_1 User cephuser Host osd_server_2 Hostname osd_server_2 User cephuser10. 開始創(chuàng)建集群(admin)
(1)使用ceph-deploy部署。 首先需要創(chuàng)建工作環(huán)境,該環(huán)境會保存所有的配置文件:
mkdir ~/my-cluster cd ~/my-cluster
(2)創(chuàng)建集群,其中mon_server是monitor節(jié)點,執(zhí)行該命令會生成ceph配置文件、monitor密鑰文件以及日志文件。
ceph-deploy new mon_server
(3)修改默認冗余份數(shù)(此參數(shù)只有當OSD節(jié)點小于3的時候才需要修改,默認的冗余份數(shù)是3,如果是2節(jié)點需要設置為2,如果osd節(jié)點大于2,則此步驟省略),修改ceph.conf文件,第一個參數(shù)2是副本數(shù)量,第二個2000是 日志大小約為2G,在[global]下增加以下內容:
osd pool default size = 2 osd journal size = 2000
(4)配置網(wǎng)卡和網(wǎng)絡(OSD節(jié)點單網(wǎng)卡請忽略)
OSD節(jié)點是雙網(wǎng)卡,因此需要設置使用的網(wǎng)卡和網(wǎng)絡地址
修改ceph.conf文件,在[global]下增加以下內容:
public network = 192.168.31.0/24 cluster network = 10.10.100.0/24
(5)開始安裝ceph
注:因為CFW的問題,管理節(jié)點ceph-Deploy前Ceph鏡像源修改非常重要,這里采用了網(wǎng)易鏡像
export CEPH_DEPLOY_REPO_URL=http://mirrors.163.com/ceph/debian-luminous/ export CEPH_DEPLOY_GPG_URL=http://mirrors.163.com/ceph/keys/release.asc
(6)在所有節(jié)點開始安裝ceph
ceph-deploy install admin_server mon_server osd_server_1 osd_server_2
(7)初始化mon節(jié)點和收集密鑰信息
ceph-deploy mon create-initial
執(zhí)行完畢,目錄應該有以下文件:
{cluster-name}.client.admin.keyring {cluster-name}.bootstrap-osd.keyring {cluster-name}.bootstrap-mds.keyring {cluster-name}.bootstrap-rgw.keyring
完成以上步驟,安裝完成,但還沒有配置osd節(jié)點。
(8) 配置osd節(jié)點
lsblk命令查看磁盤結構,假設選擇的是/dev/sdb(使用虛擬機的話,可以添加磁盤)
格式化對應的磁盤:
ceph-deploy disk zap osd_server_1:sdb ceph-deploy disk zap osd_server_2:sdb
以上步驟會清空磁盤的所有數(shù)據(jù)。 接下來創(chuàng)建osd,注意由于我們只是測試,故沒有使用多帶帶的磁盤作為journal,實際在生產(chǎn)環(huán)境下,需要配備SSD分區(qū)作為journal,能夠最大化IO吞吐量。
ceph-deploy osd create osd_server_1:sdb ceph-deploy osd create osd_server_2:sdb
(9)配置admin節(jié)點
admin節(jié)點同時也作為我們的client節(jié)點,需要拷貝其他節(jié)點的配置文件以及密鑰,使得不需要指定mon地址以及用戶信息就可以直接管理我們的ceph集群,執(zhí)行以下命令即可:
ceph-deploy admin admin_server mon_server osd_server_1 osd_server_2 sudo chmod +r /etc/ceph/ceph.client.admin.keyring # 保證具有讀取的密鑰的權限
(10)配置mgr
運行ceph health,打?。?br>HEALTH_WARN no active mgr
自從ceph 12開始,manager是必須的。應該為每個運行monitor的機器添加一個mgr,否則集群處于WARN狀態(tài)。(具體可以參考Luminous的release日志)
在mon_server上創(chuàng)建名稱為mon_mgr的mgr服務
ceph-deploy mgr create mon_server:mon_mgr
查看狀態(tài):
hcy@admin_server:~/my-cluster$ ceph health HEALTH_OK hcy@admin_server:~/my-cluster$ ceph -s cluster: id: 7981a8fc-378d-4564-95cf-e464d46bdd38 health: HEALTH_OK services: mon: 1 daemons, quorum mon_server mgr: mon_mgr(active) osd: 2 osds: 2 up, 2 in data: pools: 0 pools, 0 pgs objects: 0 objects, 0 bytes usage: 2108 MB used, 28409 MB / 30517 MB avail pgs:
(11)訪問dashboard
啟用dashboard(mon_server節(jié)點)
ceph mgr module enable dashboard
通過 http://192.168.31.132:7000 訪問dashboard
dashboard的port默認為7000,可以執(zhí)行ceph config-key set mgr/dashboard/server_port $PORT修改port。
也可以執(zhí)行ceph config-key set mgr/dashboard/server_addr $IP指定dashboard的訪問IP。
至此Ceph的集群搭建算是完成了,下一步會進行塊設備的搭建。
參考:
CEPH 分布式存儲部署手冊 (Ubuntu 14.04)
如何在 Ubuntu 16.04 中安裝 Ceph 存儲集群
CentOS7.2部署Luminous版Ceph-12.2.0
文章版權歸作者所有,未經(jīng)允許請勿轉載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉載請注明本文地址:http://m.hztianpu.com/yun/30668.html
摘要:還是上篇文章說的,搭建塊存儲之前,先把官方的文檔看一遍,保證獲益匪淺。傳送門官方文檔注意塊存儲最好不要安裝在節(jié)點,可以安裝在節(jié)點節(jié)點或其他節(jié)點。在版本,在創(chuàng)建集群時,不會自動創(chuàng)建默認的池。參考塊存儲之相關命令 還是上篇文章說的,搭建塊存儲之前,先把官方的文檔看一遍,保證獲益匪淺。傳送門:Ceph官方文檔 注意:(1) rbd塊存儲最好不要安裝在osd節(jié)點,可以安裝在mon節(jié)點、adm...
摘要:參考官方文檔進行操作本文假設環(huán)境正常運行,并且已經(jīng)安裝。只能以單副本運行部署運行命令來安裝等待一段時間執(zhí)行完成后,通過如下命令確定集群是否成功運行檢查的狀態(tài)檢查集群狀態(tài)至此,集群部署完成。 參考 ceph 官方文檔進行操作: http://docs.ceph.com/docs/mas... 本文假設kubernetes 環(huán)境正常運行,并且 host 已經(jīng)安裝 helm client。 ...
摘要:就目前而言,在支持的三種接口塊存儲和對象存儲接口中,塊存儲是目前最穩(wěn)定且達到生產(chǎn)環(huán)境要求的接口。月日,北京海航萬豪酒店,容器技術大會即將舉行。 概要 演示環(huán)境說明 整個測試環(huán)境由以下2臺本地虛擬機組成,相關信息說明如下: showImg(https://segmentfault.com/img/bVScmU?w=811&h=138); 引言 Librbd(RBD)是Ceph提供的塊存儲...
摘要:充當在的業(yè)務流程層,將和流程部署為副本集。來自的文件將存儲軟件轉變?yōu)樽晕夜芾碜晕覕U展和自我修復的存儲服務。由于請求使用文件系統(tǒng)格式化的卷,因此我需要在所有節(jié)點上安裝工具。如果沒有指定特定的存儲類,我安裝的任何應用程序都將使用進行數(shù)據(jù)存儲。 作者:Earl C. Ruby III showImg(https://segmentfault.com/img/bVbljHL?w=300&h=1...
閱讀 1443·2021-11-22 15:25
閱讀 3474·2021-10-21 09:38
閱讀 1665·2021-10-19 13:21
閱讀 1082·2021-09-06 15:00
閱讀 1770·2019-08-30 15:44
閱讀 2661·2019-08-29 15:40
閱讀 3717·2019-08-29 13:44
閱讀 2156·2019-08-26 16:56