之前不久才改的檢查程式

欄位又變了

想說一直改很煩

這次改成取json的資料

pvesh get /cluster/resources --type vm --output-format json|jq -r '.[] | " \(.node) \(.vm

id) \(.name) \((.cpu * 100 | floor))"' > /tmp/all_guest_cpu

應該不會再變了吧

lmstudio碰到的第二個問題

PVE上的CPU要到v3才支援

pve新建guest時

如果TPM State的disk 是開在local

是不能移到別的storage上的

要移動只能備份

還原時再選目的storage

昨天升版PVE 9 時有台guest開不起來

訊息如下

一開始以為是os不支援新的virtio版本

把nic換成 e1000或rtl8139都還是相同問題

由於因為程式的原因 這台必須跑x32的os

想說是不是這個原因 於是就把cpu 從 defult 換成 kvm32

再開几就正常了

看起來是pve 9預設已經不支援x32的cpu了 要使用必須手動指定

PDM在migrate時

就算 source 跟 destination 在同一個 nfs 的目錄

也會copy 一個新檔案再把舊的砍了

有點多餘

還是直接移轉conf 比較快

使用sshfs同時掛進來 mv 醬應該最快

移轉LXC比較方便

之前提到在 lxc 跑 docker的問題

昨天出了一版更新

lxc-pve 6.0.0-2

解決docker guest 無法啟動的問題了

昨天 pbs 出了 4.1.0 版

release note 有一點 感覺有點有趣 

Allow to control parallelism of verify jobs.

Backup snapshot verification is both an IO- and CPU-heavy workload, as it needs to read chunks from disk and verify their checksums.

The number of threads used for reading from disk and for checksum verification can now be customized.

In some setups, customizing the number of threads can significantly decrease the overall runtime of the verify job.

升級後 跑了一下 竟然省了一半的時間

該期間cpu使用率如下

預設是 read 1 verify 4 

找時間再來調大看看會不會效果更好

https://pbs.proxmox.com/wiki/Roadmap#Proxmox_Backup_Server_4.1

之前反應的 docker 無法啟動的問題

到今天升到 docker ce 29.0.1 還是沒解決

看了一下systemctl status docker 發現

Nov 15 05:21:45 n8n-almalinux9 dockerd[160]: time="2025-11-15T05:21:45.778838547+08:00" level=error msg="failed to start container" container=52ba4237fbaed18fdb341674d6569b331080be432ca7bb70d5237719417d40ac error="failed to create task for container: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: error during container init: open sysctl net.ipv4.ip_unprivileged_port_start file: reopen fd 8: permission denied"

然後再找了一下資料 發現不是 docker的問題

原因出在 pve的lxc

https://github.com/opencontainers/runc/issues/4968

討論串上是說用 pve-test 裡的版本能解決

再等等吧 目前不打算使用 pve-test

早上死掉一台synology的nas

因為是mount nfs 給pbs 備分用

所以要先把備分移到別台nas

然後在pbs上disable datastore

指令如下

Set to Offline (Disables all access)

proxmox-backup-manager datastore update <datastore-name> --maintenance-mode offline

Set to Read-Only (Allows restores, no new backups)

proxmox-backup-manager datastore update <datastore-name> --maintenance-mode read-only

Re-enable (Go Online)

proxmox-backup-manager datastore update <datastore-name> --delete maintenance-mode

再來修改 /etc/fstab 先把該nfs mount point 註解

重開几

讓pbs繼續運作

PVE上的storage也要先disable 然後把備分改到其他storage

等修好後再 enable

graylog 7 昨天發布

比較大的改變是不再使用 opensearch 而改用 graylog-datanode

照著官方文件安裝沒什麼問題

如果是在PVE上安裝

因為 mongodb 必須使用到cpu的 avx 功能

所以cpu type 至少要選 x86-64-v3 以上

這個在graylog 5 安裝時就有這個要求了

特別要注意的是以下流程跟之前不同

安裝完後必須 cat /var/log/graylog-server/server.log

找到首次進入系統的帳號密碼及連結

如下範例

http://admin:ghWgeIAkKl@10.0.0.1:9000

按照畫面上的流程步驟 使用預設值一直下一步即可

目前先把netflow轉到新版了 觀察一陣子看看

https://go2docs.graylog.org/current/setting_up_graylog/web_interface.htm#Prefligh

https://graylog.org/

https://go2docs.graylog.org/current/downloading_and_installing_graylog/red_hat_installation.htm

前不久提到可以使用 zap docker 相當方便

但今天使用時有一些狀況

首先是如果不限制 docker 的 cpu ram 會把宿主几的資源全部吃完導致當几

必須使用 --cpu --memory 來設定

範例如下

--cpus="18" --memory 20000MB

接續以上的問題

在LXC就算增加2個以上的core 依然無法設定 --cpus 大於一

所以要使用vm才能設定多個cpu

另外硬碟使用率會隨著被scan的網站規模變大而變大

所以要有足夠的硬碟空間 否則也會有掃到一半當几的問題

要特別注意

今天要把vsz轉到pve

不管是直接import或先tar 解開 使用 vmdk 都出現以下二個問題

首先是沒有 serial port

要加上去

再來是無法正常開几

試了很多方法

最後是把vmdk轉成 qcow2才成功開機

qemu-img convert -f vmdk -O qcow2 vscg-5.2.2.0.1161-disk1.vmdk abc.qcow2

almalinux 10 几天前release

今天在proxmox (PVE) 上安裝時 用iso開几就出現 kernel panic

 

解決的方法就是cpu不要使用預設的 x86-64-v2-AES

也不要用  x86-64-v2

使用  x86-64-v3  或 x86-64-v4 就沒問題了

不過要注意的是 比較舊的host 可能無法支援這二個type 而無法 migrate

官方網站有提到

With RHEL 10, Red Hat will only support x86-64-v3 and higher

不過也有提到

AlmaLinux OS 10 has followed Red Hat’s decision to ship x86-64-v3 optimized binaries by default, but we will also provide an additional x86-64-v2 architecture, allowing users on that older hardware to continue to receive security updates for another 10 years.

所以如果一定要使用 x86-64-v2

就要下載另一個iso

https://mirrors.almalinux.org/isos/x86_64_v2/10.0.html

https://almalinux.org/blog/2025-05-27-welcoming-almalinux-10/

今天再度測試了一下PVE的firewall功能

發現只要打開cluster的firewall

預設就會載入很多firewall的rule 而且無法刪除

但在測試過程中發現竟然有 guest 原本提供服務的https 打不開了

而且原本使用 nmap做的一些測試也被擋了

最後決定在每台host直接下iptables 指令

#!/bin/bash

######## 以下是防護 host ##############

/usr/sbin/iptables -A INPUT -s 10.0.0.0/24 -j ACCEPT

/usr/sbin/iptables -A INPUT -p tcp -s 0/0 --dport 22 -j DROP

/usr/sbin/iptables -A INPUT -p tcp -s 0/0 --dport 8006 -j DROP

######## 以下是防護 guest  視需求新增  port #############

/usr/sbin/iptables -A FORWARD -s 10.0.0.0/24 -j ACCEPT

/usr/sbin/iptables -A FORWARD -p tcp -s 0/0 --dport 22 -j DROP

/usr/sbin/iptables -A FORWARD -p tcp -s 0/0 --dport 8006 -j DROP

/usr/sbin/iptables -A FORWARD -p tcp -s 0/0 --dport 8007 -j DROP

記得寫在 crontab  @reboot

Proxmox Datacenter Manager 發表了第一個Alpha

裝起來看了一下

目前還沒什麼功能

pbs也不能管

等正式版出來再玩吧

https://forum.proxmox.com/threads/proxmox-datacenter-manager-first-alpha-release.159324/

今天在試PVE的 firewall 功能

因為是三層式的架構 所以 cluster node 跟 guest os 都必需要打開才會有作用

但是在打開cluster的firewall之後

管理介面就進不去了

查了一下文件才發現cluster firewall預設的規則是 DROP

唯一的解法是進 console 改 /etc/pve/firewall/cluster.fw 這個檔

把  enable: 0 改成 enable: 1

要打開前一定要記得要把 input policy 先改成 ACCEPT

延續昨天的問題

昨天修好後當下沒問題

但今天管理介面打不開了

直接倒回去颱風前一天的備分

目前看來運作正常

持續觀察

順便看看還有那些有問題

dmesg|grep "fsck"|grep dm

[   82.486238] EXT4-fs (dm-6): warning: mounting fs with errors, running e2fsck is recommended

[  139.304759] EXT4-fs (dm-11): warning: mounting fs with errors, running e2fsck is recommended

[  398.955415] EXT4-fs (dm-6): error count since last fsck: 2

[  464.490594] EXT4-fs (dm-11): error count since last fsck: 3769411

[55841.695354] EXT4-fs (dm-12): error count since last fsck: 2

[88379.937761] EXT4-fs (dm-6): error count since last fsck: 2

[88547.518964] EXT4-fs (dm-6): warning: mounting fs with errors, running e2fsck is recommended

[88871.451957] EXT4-fs (dm-6): error count since last fsck: 3

共三台

先到 /dev/mapper 查看是那個guest

lrwxrwxrwx  1 root root       7 Oct  7 23:45 pve-vm--116--disk--0 -> ../dm-6

lrwxrwxrwx  1 root root       8 Oct  8 00:08 pve-vm--124--disk--0 -> ../dm-11

lrwxrwxrwx  1 root root       8 Oct  8 09:04 pve-vm--140--disk--0 -> ../dm-12

一起倒備分吧

不想修了

PVE host 修好換裡面的LXC guset 有問題

guest 先關几

找出那個disk

繼續修

fsck /dev/mapper/pve-vm--124--disk--0

几次的不正常斷電後

PVE開不起來了

修吧

xfs_repair /dev/mapper/pve-root

修好後正常了

再觀察看看

一直在處理almalinux 9 live migrate的問題

目前得到的結果是

使用 x86-64-v2-AES 這個cpu type 就沒有問題

而且這個type 也是 PVE目前新建guest使用的預設值

但graylog使用這個type 能開機 但無法執行

目前改成 x86-64-v3 能開機 能執行

試了一下 live migrate 也沒問題

使用 host 是一定有問題的

在支援相同cpu type 的host live migrate是沒問題的

檢查 cpu 支援那些 type

#!/bin/sh -eu

flags=$(cat /proc/cpuinfo | grep flags | head -n 1 | cut -d: -f2)

supports_v2='awk "/cx16/&&/lahf/&&/popcnt/&&/sse4_1/&&/sse4_2/&&/ssse3/ {found=1} END {exit !found}"'

supports_v3='awk "/avx/&&/avx2/&&/bmi1/&&/bmi2/&&/f16c/&&/fma/&&/abm/&&/movbe/&&/xsave/ {found=1} END {exit !found}"'

supports_v4='awk "/avx512f/&&/avx512bw/&&/avx512cd/&&/avx512dq/&&/avx512vl/ {found=1} END {exit !found}"'

echo "$flags" | eval $supports_v2 || exit 2 && echo "CPU supports x86-64-v2"

echo "$flags" | eval $supports_v3 || exit 3 && echo "CPU supports x86-64-v3"

echo "$flags" | eval $supports_v4 || exit 4 && echo "CPU supports x86-64-v4"

https://www.modb.pro/issue/26425