今天早上使用proxmox裡的guest測了一下io

host

ProLiant DL380p Gen8

raid card

guest os

linux mint 直接使用cd boot 後執行 gnome-disks 跑benchmark


datastore 使用 xfs

datastore 使用 zfs (zfs是使用由raid card做raid 5 出來之後再用 raidz0)

是不是要為了 remote replication 而浪費這些效能
就自己決定囉

補充硬碟資料

每台host 上共有12個如上的hd
1個hot spare 另外11個做raid 5

另外再補充在pc上測試的結果

pc上的hd資料如下
3個500G SATA 直接接在主机板上

下圖為測試結果

今天中午左右
忽然一堆服務都失效
本來以為是机器當机
想不到情況更糟糕
raid card死了

第一個想法就是把昨天晚上備份回復到另一台proxmox
當recover 做完後才想到
在正常的机器上應該有出問題那台的所有guest config
所以應該是把config 移過來
然後直接boot就好了
這樣也不會loss晚上到中午這段時間的資料
路徑在

/etc/pve/nodes/proxmox159/qemu-server
                        ^^^^^^^^^^^
                      出問題的主机名稱

在正常的机器上下指令

mv /etc/pve/nodes/proxmox159/qemu-server/* /etc/pve/qemu-server/

之後再從管理介面或下指令boot即可

操作時有可能會出現

TASK ERROR: cluster not ready – no quorum?

或無法mv的情況

因為節點之間網路的斷線，集叢中節點數量低於2時，集叢就會被鎖住

此時要下指令

pvecm expected 1

讓集叢改為只期待1個節點正常運作

這樣就可以操作了

http://blog.pulipuli.info/2014/08/proxmox-ve-fix-proxmox-ve-cluster-not.html

昨天上架了二台新机器
可是測了一下發現 i/o的狀況如下

怎麼想都不應該差這麼多
今天早上進raid的config看了一下
原來是cache沒打開

現在的工程師
連這個都不會