ceph osd pool application enable kube rbd

enabled application \\\’rbd\\\’ on pool \\\’kube\\\’

ceph health

HEALTH_OK

所有節(jié)點(diǎn)必須在同一子網(wǎng)，以便各個(gè)節(jié)點(diǎn)使用 corosync 多播通信（詳情可查看Corosync Cluster Engine）。Corosync 使用 UDP 5404 和 5405 端口進(jìn)行集群通信

注意：有些交換機(jī)默認(rèn)設(shè)置關(guān)閉了 IP 多播，需要先手工啟用多播通信

添加位于不同網(wǎng)段的節(jié)點(diǎn)
如果要添加一個(gè)節(jié)點(diǎn)，而該集群網(wǎng)絡(luò)和該節(jié)點(diǎn)在不同網(wǎng)段，你需要使用 ringX_addr 參數(shù)來(lái)指定節(jié)點(diǎn)在集群網(wǎng)絡(luò)內(nèi)使用的地址。

pvecm add IP-ADDRESS-CLUSTER -ring0_addr IP-ADDRESS-RING0

如果你要使用冗余環(huán)協(xié)議，你還需要設(shè)置 ring1_addr 參數(shù)以傳遞第二個(gè)集群網(wǎng)絡(luò)地址。

刪除節(jié)點(diǎn)
警告：刪除節(jié)點(diǎn)前請(qǐng)仔細(xì)閱讀刪除操作步驟，不然很可能會(huì)發(fā)生你預(yù)料不到的情況。

首先將待刪除節(jié)點(diǎn)上所有虛擬機(jī)都遷移到其他節(jié)點(diǎn)。確保待刪除節(jié)點(diǎn)上沒(méi)有任何你需要保留的數(shù)據(jù)和備份，或者相關(guān)數(shù)據(jù)已經(jīng)被妥善備份。

通過(guò) ssh 登錄待刪除節(jié)點(diǎn)。執(zhí)行 pvecm nodes 命令再次確認(rèn)節(jié)點(diǎn) ID。

重要：這個(gè)時(shí)候，你必須將待刪除節(jié)點(diǎn)關(guān)閉并斷電，確保該節(jié)點(diǎn)不再啟動(dòng)（在當(dāng)前集群網(wǎng)絡(luò)內(nèi)）。

root@pve-1:~# pvecm nodes

Membership information

Nodeid      Votes Name
     1          1 192.168.77.160 (local)
     2          1 192.168.77.170
     3          1 192.168.77.180

root@pve-1:~#
1
2
3
4
5
6
7
8
9
root@pve-1:~# pvecm nodes

Membership information

Nodeid      Votes Name
     1          1 192.168.77.160 (local)
     2          1 192.168.77.170
     3          1 192.168.77.180

root@pve-1:~#
通過(guò) ssh 登錄集群中其他任何一個(gè)節(jié)點(diǎn)，執(zhí)行節(jié)點(diǎn)刪除命令（這里將刪除節(jié)點(diǎn) hp4）：

hp1# pvecm delnode hp4

如果命令執(zhí)行成功，將直接返回，而且不會(huì)有任何輸出?？梢赃\(yùn)行 pvecm nodes 或者pvecm status 檢查刪除節(jié)點(diǎn)后的集群狀態(tài)。

重要：如前所述，必須在執(zhí)行刪除命令前先關(guān)閉待刪除節(jié)點(diǎn)，并且確保被刪除點(diǎn)不再啟動(dòng)（在原集群網(wǎng)絡(luò)中）。這是非常非常重要的！

如果你在原集群網(wǎng)絡(luò)中重新啟動(dòng)被刪除的節(jié)點(diǎn)，你的集群會(huì)因此而崩潰，并且很難恢復(fù)到一個(gè)干凈的狀態(tài)。

如果出于某種原因，你需要將被刪除節(jié)點(diǎn)重新加入原集群，需要按如下步驟操作：

格式化被刪除節(jié)點(diǎn)，并重新安裝 Proxmox VE。

如前一節(jié)所述步驟，將該節(jié)點(diǎn)重新加入集群。

隔離節(jié)點(diǎn)
重要：我們不推薦使用隔離節(jié)點(diǎn)操作，按此方法操作時(shí)請(qǐng)務(wù)必小心。如果你對(duì)操作結(jié)果存有疑慮，建議使用刪除節(jié)點(diǎn)的方法。

你可以將一個(gè)節(jié)點(diǎn)從集群中隔離出去，而無(wú)需格式化并重裝該節(jié)點(diǎn)。但將節(jié)點(diǎn)從集群中隔離出去后，被隔離的節(jié)點(diǎn)仍然能夠訪問(wèn)原 Proxmox VE 集群配置給它的共享存儲(chǔ)。

你必須在將節(jié)點(diǎn)隔離出去之前解決這個(gè)問(wèn)題。由于不能確保避免發(fā)生虛擬機(jī) ID 沖突，

所以 Proxmox VE 集群之間不能共享同一個(gè)存儲(chǔ)設(shè)備。建議為待隔離節(jié)點(diǎn)專門創(chuàng)建一個(gè)獨(dú)享的新存儲(chǔ)服務(wù)。例如，可以為待隔離節(jié)點(diǎn)分配一個(gè)新的 NFS 服務(wù)或者 Ceph 存儲(chǔ)池。必須確保該存儲(chǔ)服務(wù)是獨(dú)享的。在分配存儲(chǔ)之后，可以將該節(jié)點(diǎn)的虛擬機(jī)遷移到新存儲(chǔ)服務(wù)，接下來(lái)就可以開(kāi)始進(jìn)行隔離節(jié)點(diǎn)的操作。

警告：必須確保所有的資源都被已經(jīng)徹底被隔離。否則將可能發(fā)生沖突或其他問(wèn)題。

首先在待隔離節(jié)點(diǎn)上停止 pve-cluster 服務(wù)：

systemctl stop pve-cluster

systemctl stop corosync

然后將待隔離節(jié)點(diǎn)的集群文件系統(tǒng)設(shè)置為本地模式：

pmxcfs –l

接下來(lái)刪除 corosync 配置文件：

rm /etc/pve/corosync.conf

rm /etc/corosync/*

最后重新啟動(dòng)集群文件系統(tǒng)服務(wù)：

killall pmxcfs

systemctl start pve-cluster

到此，該節(jié)點(diǎn)已經(jīng)從集群中被隔離出去了。你可以在原集群中任意節(jié)點(diǎn)上執(zhí)行刪除命令：

pvecm delnode oldnode

如果因前面的隔離操作，原集群中剩余節(jié)點(diǎn)已經(jīng)不滿足多數(shù)票，節(jié)點(diǎn)刪除命令就會(huì)失敗。你可以將期望的多數(shù)票數(shù)量設(shè)置為 1，如下：

pvecm expected 1

然后重復(fù)節(jié)點(diǎn)刪除命令即可。

接下來(lái)你可以重新登錄被隔離出去的節(jié)點(diǎn)，刪除原集群遺留下的各個(gè)配置文件。刪除
完成后，該節(jié)點(diǎn)即可重新加入任意其他集群。

rm /var/lib/corosync/*

被隔離節(jié)點(diǎn)的集群文件系統(tǒng)中仍然殘留有和原集群其他節(jié)點(diǎn)有關(guān)的配置文件，這些也是需要?jiǎng)h除的。你可以遞歸刪除/etc/pve/nodes/NODENAME 目錄清除這些文件。但在執(zhí)行刪除操作前請(qǐng)?jiān)偃龣z查，確保刪除操作無(wú)誤。

警告：原集群中其他節(jié)點(diǎn)的 SSH 公鑰仍會(huì)保留在 authorized_key 文件中。這意味著被隔離節(jié)點(diǎn)和原集群節(jié)點(diǎn)之間仍然可以用 SSH 公鑰互相訪問(wèn)。為避免出現(xiàn)意外情況，可以刪除/etc/pve/priv/authorized_keys 文件中的對(duì)應(yīng)公鑰。

多數(shù)票
Proxmox VE 采用了基于多數(shù)票（quorum）的機(jī)制確保集群節(jié)點(diǎn)狀態(tài)一致。多數(shù)票是指在一個(gè)分布式系統(tǒng)內(nèi)一個(gè)分布式交易獲準(zhǔn)執(zhí)行所必須得到的最低票數(shù)?！猈ikipedia 多數(shù)票（分布式計(jì)算）

在網(wǎng)絡(luò)可能分裂為多個(gè)區(qū)域的情況下，修改集群狀態(tài)需要得到大多數(shù)節(jié)點(diǎn)在線。如果集群內(nèi)節(jié)點(diǎn)數(shù)量不足以構(gòu)成多數(shù)票，集群將自動(dòng)轉(zhuǎn)為只讀狀態(tài)。

注意：默認(rèn)情況下，Proxmox VE 集群內(nèi)每個(gè)節(jié)點(diǎn)都有一票的投票權(quán)。

集群網(wǎng)絡(luò)
集群網(wǎng)絡(luò)是 Proxmox VE 集群的核心。集群網(wǎng)絡(luò)必須確?？煽康貙⒓和ㄐ艛?shù)據(jù)包按順序送達(dá)所有節(jié)點(diǎn)。Proxmox VE 使用 corosync 來(lái)實(shí)現(xiàn)集群網(wǎng)絡(luò)通信，確保集群網(wǎng)絡(luò)通信的高性能，低延時(shí)，高可用。我們的分布式集群文件系統(tǒng)（pmxcfs）就基于此構(gòu)建。

集群網(wǎng)絡(luò)配置要求
Proxmox VE 集群網(wǎng)絡(luò)只有在網(wǎng)絡(luò)延時(shí)低于 2ms 時(shí)（局域網(wǎng)內(nèi)）才可以正常工作。盡管 corosync 支持節(jié)點(diǎn)間使用單播方式通信，但我們強(qiáng)烈建議使用多播方式進(jìn)行集群通信。集群網(wǎng)絡(luò)內(nèi)不應(yīng)有其他大流量通信。理想情況下，corosync 最好能擁有專用網(wǎng)絡(luò)。

注意，一定不要在同一個(gè)網(wǎng)絡(luò)同時(shí)運(yùn)行 Proxmox VE 集群和存儲(chǔ)服務(wù)。

最佳實(shí)踐是在創(chuàng)建集群前先檢測(cè)網(wǎng)絡(luò)質(zhì)量，確保網(wǎng)絡(luò)能滿足集群通信要求。

確認(rèn)所有的節(jié)點(diǎn)都在同一網(wǎng)段。并且要確保網(wǎng)絡(luò)中只連接了用于集群通信（corosync）的網(wǎng)卡。

確保節(jié)點(diǎn)彼此之間的網(wǎng)絡(luò)都連接正常。可以使用 ping 命令測(cè)試。

確保多播網(wǎng)絡(luò)通信工作正常并能達(dá)到很高的數(shù)據(jù)包傳輸速度?？梢允褂?omping 命令測(cè)試。正常情況下，丟包率應(yīng)小于 1%%u3002

omping -c 10000 -i 0.001 -F -q NODE1-IP NODE2-IP …

確保多播通信能在要求的時(shí)間段內(nèi)可靠工作。這主要是為了避免物理交換機(jī)啟用IGMP 但未配置多播查詢器（multicast querier）。該項(xiàng)測(cè)試至少需要持續(xù) 10 分鐘。

omping -c 600 -i 1 -q NODE1-IP NODE2-IP …

如以上測(cè)試有任何一項(xiàng)未能通過(guò)，則你的網(wǎng)絡(luò)不適合用于組建 Proxmox VE 集群。此時(shí)你需要檢查網(wǎng)絡(luò)配置。一般情況下，或者是交換機(jī)未啟用多播通信，或者是交換機(jī)配置了 IGMP 但未啟用 multicast querier。

如果你的集群節(jié)點(diǎn)數(shù)量很少，在實(shí)在無(wú)法使用多播通信的情況下也可以考慮使用單播方式。

獨(dú)立集群網(wǎng)絡(luò)
默認(rèn)情況下，不帶任何參數(shù)創(chuàng)建集群時(shí)，Proxmox VE 集群會(huì)和 Web GUI 以及虛擬機(jī)共享使用同一個(gè)網(wǎng)絡(luò)。如果你配置不當(dāng)，存儲(chǔ)網(wǎng)絡(luò)通信流量也有可能會(huì)通過(guò)集群網(wǎng)絡(luò)傳輸。我們建議避免和其他應(yīng)用共享使用集群網(wǎng)絡(luò)，因?yàn)?corosync 是一個(gè)對(duì)時(shí)延非常敏感的實(shí)時(shí)應(yīng)用。

準(zhǔn)備一個(gè)新的網(wǎng)絡(luò)

首先，你需要準(zhǔn)備一個(gè)新的網(wǎng)絡(luò)端口，該端口應(yīng)連接在一個(gè)獨(dú)立物理網(wǎng)絡(luò)上。其次需要確保這個(gè)網(wǎng)絡(luò)滿足以上5.71集群網(wǎng)絡(luò)配置要求。

創(chuàng)建集群時(shí)配置獨(dú)立網(wǎng)絡(luò)

可以用帶 ring0_addr 和 bindnet0_addr 參數(shù)的 pvecm 命令創(chuàng)建擁有獨(dú)立網(wǎng)絡(luò)的Proxmox VE 集群。

如果你想配置獨(dú)立網(wǎng)卡用于集群通訊，而該網(wǎng)卡又配置了靜態(tài) IP 地址 10.10.10.1/25，

那么可以使用如下命令：

pvecm create test –ring0_addr 10.10.10.1 –bindnet0_addr 10.10.10.0

然后可以使用如下命令檢查集群通信是否正常：

systemctl status corosync

創(chuàng)建集群后配置獨(dú)立網(wǎng)絡(luò)

即使在你創(chuàng)建集群后，你也可以配置集群改用其他獨(dú)立網(wǎng)絡(luò)進(jìn)行通信，而無(wú)須重建整個(gè)集群。修改集群通信網(wǎng)絡(luò)，各節(jié)點(diǎn)的 corosync 服務(wù)需要逐個(gè)重啟，以便使用西部數(shù)碼絡(luò)通信，這可能會(huì)導(dǎo)致集群短時(shí)間處于喪失多數(shù)票的狀態(tài)。

首先確認(rèn)你了解編輯 corosync.conf 文件的方法。然后打開(kāi) corosync.conf 文件。配置文件 corosync.conf 的內(nèi)容示例如下：

logging {
debug: off
to_syslog: yes
}
nodelist {
node {
name: due
nodeid: 2
quorum_votes: 1
ring0_addr: due
}
node {
name: tre
nodeid: 3
quorum_votes: 1
ring0_addr: tre
}
node {
name: uno
nodeid: 1
quorum_votes: 1
ring0_addr: uno
}
}
quorum {
provider: corosync_votequorum
}
totem {
cluster_name: thomas-testcluster
config_version: 3
ip_version: ipv4
secauth: on
version: 2
interface {
bindnetaddr: 192.168.30.50
ringnumber: 0
}
}

首先，如果 node 對(duì)象中缺少 name 屬性，你需要手工增添該屬性。注意 name 屬性值必須和節(jié)點(diǎn)主機(jī)名一致。

然后，你需要將 ring0_addr 屬性的值修改為節(jié)點(diǎn)在新集群網(wǎng)絡(luò)內(nèi)的地址。你可以使用IP 地址或主機(jī)名設(shè)置 ring0_addr 屬性。如果你使用主機(jī)名，必須確保所有的節(jié)點(diǎn)都能順利解析該主機(jī)名。

在這里，我們計(jì)劃將集群通信網(wǎng)絡(luò)改為 10.10.10.1/25，所以需要相應(yīng)修改所有的ring0_addr 屬性。此外，還需要將 totem 一節(jié)中的 bindnetaddr 屬性值修改為西部數(shù)碼絡(luò)中的地址。該地址可以配置為當(dāng)前節(jié)點(diǎn)連接到新集群網(wǎng)絡(luò)網(wǎng)卡的 IP 地址。

最后，你需要將 config_version 參數(shù)值增加 1。修改后的配置文件內(nèi)容示例如下：

logging {
debug: off
to_syslog: yes
}
nodelist {
node {
name: due
nodeid: 2
quorum_votes: 1
ring0_addr: 10.10.10.2
}
node {
name: tre
nodeid: 3
quorum_votes: 1
ring0_addr: 10.10.10.3
}
node {
name: uno
nodeid: 1
quorum_votes: 1
ring0_addr: 10.10.10.1
}
}
quorum {
provider: corosync_votequorum
}
totem {
cluster_name: thomas-testcluster
config_version: 4
ip_version: ipv4
secauth: on
version: 2
interface {
bindnetaddr: 10.10.10.1
ringnumber: 0
}
}

最后你需要再次檢查配置修改是否正確，然后可以根據(jù)編輯 corosync.conf 文件一節(jié)的內(nèi)容，啟用新的配置。

由于修改后的配置不能實(shí)時(shí)在線生效，所以必須重啟 corosync 服務(wù)。

在一個(gè)節(jié)點(diǎn)上執(zhí)行：

systemctl restart corosync

然后檢查集群通信是否正常

systemctl status corosync

如果在所有節(jié)點(diǎn)上 corosync 服務(wù)都能順利重啟并正常運(yùn)行，那么所有的節(jié)點(diǎn)都將逐個(gè)改接入新的集群網(wǎng)絡(luò)。

集群冷啟動(dòng)
很顯然，當(dāng)所有節(jié)點(diǎn)都斷線時(shí)，集群是無(wú)法達(dá)到多數(shù)票要求的。例如，機(jī)房意外斷電后，集群往往就處于這樣的狀態(tài)。

注意：使用不間斷電源（UPS，也稱為“后備電池電源”）是防止斷電導(dǎo)致集群失去多數(shù)票的一個(gè)好辦法，特別是在你需要實(shí)現(xiàn) HA 效果的時(shí)候。

當(dāng)節(jié)點(diǎn)重啟啟動(dòng)時(shí)，pve-manager 服務(wù)會(huì)等待該節(jié)點(diǎn)加入集群并獲得多數(shù)票狀態(tài)。一旦獲得多數(shù)票，該服務(wù)會(huì)啟動(dòng)所有設(shè)置了 onboot 標(biāo)識(shí)的虛擬機(jī)。

因此，當(dāng)你啟動(dòng)節(jié)點(diǎn)時(shí)，或者是意外斷電后恢復(fù)供電時(shí)，你會(huì)發(fā)現(xiàn)一些節(jié)點(diǎn)啟動(dòng)速度會(huì)比其他節(jié)點(diǎn)快。另外要注意的是，在你的集群獲得多數(shù)票之間，任何虛擬機(jī)都無(wú)法啟動(dòng)。

虛擬機(jī)遷移
能夠把虛擬機(jī)從一個(gè)節(jié)點(diǎn)遷移到其他節(jié)點(diǎn)是集群的重要特性。Proxmox VE 提供了一些方法以便你控制虛擬機(jī)遷移過(guò)程。首先是 datacenter.cfg 提供了一些配置參數(shù)，其次是遷移命令行和 API 接口提供了相關(guān)控制參數(shù)。

5.10.1 遷移類型

遷移類型是指遷移過(guò)程采用加密（secure）或不加密（insecure）通道傳輸虛擬機(jī)數(shù)據(jù)。將遷移類型設(shè)置為 insecure 后，在遷移過(guò)程中虛擬機(jī)內(nèi)存數(shù)據(jù)將以明文方式傳輸，這有可能導(dǎo)致虛擬機(jī)上的敏感數(shù)據(jù)泄露（例如口令、密鑰）。

因此，我們強(qiáng)烈建議使用安全通道遷移虛擬機(jī)，特別在你無(wú)法控制整個(gè)網(wǎng)絡(luò)鏈路并無(wú)法保證網(wǎng)絡(luò)不受竊聽(tīng)時(shí)。

注意：虛擬機(jī)磁盤(pán)遷移不受該配置影響。目前，虛擬機(jī)磁盤(pán)總是通過(guò)安全通道遷移。

由于數(shù)據(jù)加密會(huì)耗費(fèi)大量計(jì)算資源，所以該虛擬機(jī)遷移時(shí)經(jīng)常會(huì)選用“不安全”的傳輸方式，以節(jié)約計(jì)算資源。較新型的系統(tǒng)采用了硬件方式進(jìn)行 AES 加密，受此影響較小。但在 10Gb 或更高速的網(wǎng)絡(luò)中，該參數(shù)設(shè)置對(duì)于性能的影響會(huì)十分明顯。

更多關(guān)于云服務(wù)器，域名注冊(cè)，虛擬主機(jī)的問(wèn)題，請(qǐng)?jiān)L問(wèn)西部數(shù)碼官網(wǎng)：ps-sw.cn





猜你還會(huì)喜歡下面的內(nèi)容

• 一般企業(yè)郵箱容量是多少
• 雙十一虛擬主機(jī)購(gòu)買優(yōu)惠券去哪領(lǐng)
• 獨(dú)立IP云虛擬主機(jī)多少錢
• 多個(gè)網(wǎng)站買虛擬主機(jī)還是云服務(wù)器
• 云虛擬主機(jī)可以安裝寶塔嗎
• 常見(jiàn)的云虛擬主機(jī)有哪些
• 博客系統(tǒng)怎么在云虛擬主機(jī)安裝
• 辦網(wǎng)站沒(méi)有虛擬主機(jī)行嗎
• 便宜的云虛擬主機(jī)一定是好的嗎
• web怎么添加虛擬主機(jī)
• dv ssl怎么放入虛擬主機(jī)
• linux云虛擬主機(jī)如何ssl
• Java程序放在云虛擬主機(jī)嗎
• html云虛擬主機(jī)選什么系統(tǒng)好
• APP為什么不能用云虛擬主機(jī)
• wdcp怎么選云虛擬主機(jī)

熱門標(biāo)簽

其他問(wèn)題云服務(wù)器問(wèn)題域名及賬戶問(wèn)題企業(yè)郵局市場(chǎng)咨詢云服務(wù)器云建站/云站群/小程序虛擬主機(jī)網(wǎng)絡(luò)知識(shí)企業(yè)郵箱域名注冊(cè)域名備案域名商標(biāo)注冊(cè)云主機(jī)更多標(biāo)簽...

大家感興趣的內(nèi)容