最近在處理几千萬個小檔的問題

不管是 unzip 或 tar

都會出現以下的錯誤

cannot open no space left on device

明明空間就還有 而且 inode 也沒滿

折騰了好几天 才發現是 ext4的限制

請愛用 XFS

https://unix.stackexchange.com/questions/773995/tar-says-cannot-open-no-space-left-on-device-but-df-h-and-df-i-both-show-the

https://utcc.utoronto.ca/%7Ecks/space/blog/linux/Ext4DirectoriesMaximumSize

針對 巨量小檔的zip檔

7z支援分片解壓縮 效能較差

unzip 不支援分片解壓縮 效能較好

最近要在win上複制 一千五百萬多萬筆的小檔

試過

teracopy

fastcopy

robocopy

copy

cp

效能都很差

rsync

tar -T 

也跑不太出來

目前感覺上用 tar 好像好一點

改用 parallel 最多設定 252

昨天開始碰到有趣的狀況

說狀況是因為不確定是不是攻擊

pmg上的cpu會跑到100趴

雖然之前也偶爾會發生

但從昨天開始是大約一小時一次

觀察到是clamd這個process

所以猜測是寄了一封mail

然後導致clamd把cpu 吃滿

但pmg管理介面上無法關閉virus scan

目前只能重開

一直在處理almalinux 9 live migrate的問題

目前得到的結果是

使用 x86-64-v2-AES 這個cpu type 就沒有問題

而且這個type 也是 PVE目前新建guest使用的預設值

但graylog使用這個type 能開機 但無法執行

目前改成 x86-64-v3 能開機 能執行

試了一下 live migrate 也沒問題

使用 host 是一定有問題的

在支援相同cpu type 的host live migrate是沒問題的

檢查 cpu 支援那些 type

#!/bin/sh -eu

flags=$(cat /proc/cpuinfo | grep flags | head -n 1 | cut -d: -f2)

supports_v2='awk "/cx16/&&/lahf/&&/popcnt/&&/sse4_1/&&/sse4_2/&&/ssse3/ {found=1} END {exit !found}"'

supports_v3='awk "/avx/&&/avx2/&&/bmi1/&&/bmi2/&&/f16c/&&/fma/&&/abm/&&/movbe/&&/xsave/ {found=1} END {exit !found}"'

supports_v4='awk "/avx512f/&&/avx512bw/&&/avx512cd/&&/avx512dq/&&/avx512vl/ {found=1} END {exit !found}"'

echo "$flags" | eval $supports_v2 || exit 2 && echo "CPU supports x86-64-v2"

echo "$flags" | eval $supports_v3 || exit 3 && echo "CPU supports x86-64-v3"

echo "$flags" | eval $supports_v4 || exit 4 && echo "CPU supports x86-64-v4"

https://www.modb.pro/issue/26425

昨天的內稽事項有提到要注意各server的HD使用量

二個做法 種 agent 或打開server的 snmp

初步的想法是打開 server的 snmp

因為現在 m$ 某些OS 預設不給ping 

所以 librenms 要改個設定值 把ping test 關了

 

撈進來後 點到 health 可以看到 cpu ram hd 的狀況

 

 

點右方的齒輪 可以在 storage processors memory 設定告警的閥值

 

 

 

 

不過這裡設完後還是不會發alert

要再手動加一條 rule 而手動加的個rule 也不會參考這裡的值 需要重新指定

 

 

之前換nas的時侯發生 filesystem有問題的情況

使用 xfs_repair 修完後 出現有user的mail不見的情況

當時是使用 PhotoRec 撈了好几天 把資料還給user 

而且也無法確認是否完整

這几天在使用rsync 備分 /home 時 

出現好几次做到一半就會卡住的情況

看了一下才發現竟然出現 超級大檔案 

-rw-------  1 user mailnull 9007199254766339 Aug  4  2023 1691146737.V811I2821a77dbM603030.mail:2,S

只能砍了

而且砍完就正常了

反正就一邊做一邊發現問題一邊砍

https://www.cgsecurity.org/wiki/TestDisk_Download

最近因為換冷氣 所以要觀察 raspberry 的cpu溫度 

來調整冷氣的設定溫度

先前已經利用設定snmp把值放在librenms上畫圖

今天想到grafana可以取值來畫圖

而且應該比snmp librenms 方便

首先把日期跟溫度存成csv 檔 格式如下 放在web server上

格式如下

time,temperature

Sun Sep 15 09:15:01 CST 2024,46.2

Sun Sep 15 09:20:01 CST 2024,46.2

接下來只要定時更新這個csv檔就可以了

grafana 要add new datasource          

yesoreyeram-infinity-datasource

安裝後不需要先建立 Global queries

接下來 New 一個 dashboard

Add visualization

select data source

type 選擇csv           修改csv檔的url

要把columns 依照數字及時間 設定好 

時間的格式一定要依照cvs檔裡的時間格式設定好才能畫圖 

完成後就能看到如下的圖了

最近進了一台icx8200

可是在librenms上顯示的hardware名稱不對

之前也有人問同樣的問題在icx7150

定義的檔案是在

/opt/librenms/LibreNMS/OS/Ironware.php

裡面確實沒看到icx8200

等更新吧

https://community.librenms.org/t/ruckus-icx-7150-shows-hardware-as-registration-64-2-1-1-1/17245

最近設備因為不明原因發生了二次cpu 99 %的情形 snmp就會撈不到值

第一次重開後大約正常了一週

又再發生

今天第二次重開 目前正常

但每次重開後

librenms 裡的 port id 都會變 導致weathermap 出現如下的問題

必須要再手動去一個一個改 config