原本用來備分的server 在週六掛點

因為已經過保好几年 也不修了

打算在synology的vmm起一個pbs

碰到一個很怪的問題

只要我給超過4T的disk

使用XFS

安裝過程都沒問題

但裝完後一定無法開机

如以下畫面

 

詢問官方的回答

https://www.synology.com/zh-tw/dsm/feature/virtual_machine_manager#supports_OS

因為debian沒有在官方的support os 

所以不提供任何support

雖然這是料想到的答案

但還是有點不爽

想到用另一個方式來做

試了給三個5T的disk

然後用 zfs 0 安裝

安裝過程沒問題 也能開機

應該只能醬處理了

之前有說到新版的proxmox多了凍結的功能
但guest的記憶体如果太大 會開不起來
而且在開不起來的同時
會殘留一個state-suspend的檔
而且沒有辦法從網頁介面去砍

查了一下要下指令

zfs list

rpool/data/vm-121-state-suspend-2019-04-30


pvesm free local-zfs:vm-121-state-suspend-2019-04-30

檔案就刪除了

http://adminkk.blogspot.com/2019/04/proxmox-5.html

https://forum.proxmox.com/threads/how-to-remove-image-file-from-local-lvm.47686/

如果要把guest轉到其他的vm平台

簡單記一下如何轉出來

如果在iscsi裡

先看下路徑
lvdisplay

再下指令
dd if=/dev/hpvs139vg/vm-128-disk-1 of=/tmp/128.raw bs=1M

如果是zfs

dd if=/dev/zvol/rpool/data/vm-138-disk-1 of=/tmp/138.raw bs=1M


再利用qemu-img 轉成需要的格式
qemu-img convert -f raw -O vmdk 128.raw 128.vmdk

之後virtualbox就可以直接使用這個vmdk了

今天早上使用proxmox裡的guest測了一下io

host

ProLiant DL380p Gen8

raid card

guest os

linux mint 直接使用cd boot 後執行 gnome-disks 跑benchmark


datastore 使用 xfs

datastore 使用 zfs (zfs是使用由raid card做raid 5 出來之後再用 raidz0)

是不是要為了 remote replication 而浪費這些效能
就自己決定囉

補充硬碟資料

每台host 上共有12個如上的hd
1個hot spare 另外11個做raid 5

另外再補充在pc上測試的結果

pc上的hd資料如下
3個500G SATA 直接接在主机板上

下圖為測試結果

zfs 更換disk 流程如下

若disk已損壞
zpool status 會出現損壞disk的id
插上新disk後
執行
zpool replace fail_disk_id /dev/sdx

畫面如下

若disk尚未損壞但已經有問題必須下線

則必需手動offline

zpool offline aaa /dev/sdb
插入新disk後
執行
zpool replace aaa /dev/sdb /dev/sdx

畫面如下

在ubuntu 16.04上建立zfs的流程如下

sudo zpool create mypool raidz /dev/sdb /dev/sdc /dev/sdd

以上指令為建立一個raidz (raid 5)的pool

pool type請參考以下連結

https://wiki.ubuntu.com/ZFS/ZPool

但碰到一個問題　就是每次開机不會自動把zpool　mount進來

目前的解決方法是在 /etc/rc.local　加上以下二行

zpool import mypool

zfs mount -a

proxmox升到5版後開始使用zfs
但碰到了二個問題
一個是效能感覺上跟之前使用ext4或xfs差很多
另外就是zfs會一直吃ram　直到把ram全吃完
查了很多資料
都是建議加SSD來當zfs的cache
但目前沒有多餘的預算
後來找到一份官方文件

https://pve.proxmox.com/wiki/ZFS_on_Linux

依照說明
先把zfs的ram使用量限制為10G (文件為8G)
另外限制swap的使用量

vi /etc/modprobe.d/zfs.conf

options zfs zfs_arc_max=10737418240

update-initramfs -u

vi /etc/sysctl.conf

vm.swappiness = 10

改完後記得要reboot

目前看來好多了
再觀察看看

升到proxmox 5後搭配zfs提供了一個很好的功能

guest replication

但發現一個問題

偶爾會出現sync fail的狀況

而且一但發生

就再也沒辦法再sync成功

查了一下 forum

目前的解決方法就是把在遠端的replication 資料砍了

然後再重新sync一次

zfs destroy rpool/data/vm-112-disk-1

注意千萬不要砍錯了