2024/09/30

最近在處理几千萬個小檔的問題

不管是 unzip 或 tar

都會出現以下的錯誤
cannot open no space left on device

明明空間就還有 而且 inode 也沒滿

折騰了好几天 才發現是 ext4的限制

請愛用 XFS


2024/09/29

針對 巨量小檔的zip檔

7z支援分片解壓縮 效能較差

unzip 不支援分片解壓縮 效能較好

2024/09/24

最近要在win上複制 一千五百萬多萬筆的小檔
試過
teracopy
fastcopy
robocopy
copy
cp
效能都很差
rsync
tar -T 
也跑不太出來
目前感覺上用 tar 好像好一點

改用 parallel 最多設定 252
昨天開始碰到有趣的狀況
說狀況是因為不確定是不是攻擊
pmg上的cpu會跑到100趴
雖然之前也偶爾會發生
但從昨天開始是大約一小時一次
觀察到是clamd這個process
所以猜測是寄了一封mail
然後導致clamd把cpu 吃滿
但pmg管理介面上無法關閉virus scan
目前只能重開

2024/09/19

一直在處理almalinux 9 live migrate的問題
目前得到的結果是

使用 x86-64-v2-AES 這個cpu type 就沒有問題
而且這個type 也是 PVE目前新建guest使用的預設值

但graylog使用這個type 能開機 但無法執行
目前改成 x86-64-v3 能開機 能執行
試了一下 live migrate 也沒問題

使用 host 是一定有問題的


在支援相同cpu type 的host live migrate是沒問題的


檢查 cpu 支援那些 type

#!/bin/sh -eu

flags=$(cat /proc/cpuinfo | grep flags | head -n 1 | cut -d: -f2)

supports_v2='awk "/cx16/&&/lahf/&&/popcnt/&&/sse4_1/&&/sse4_2/&&/ssse3/ {found=1} END {exit !found}"'
supports_v3='awk "/avx/&&/avx2/&&/bmi1/&&/bmi2/&&/f16c/&&/fma/&&/abm/&&/movbe/&&/xsave/ {found=1} END {exit !found}"'
supports_v4='awk "/avx512f/&&/avx512bw/&&/avx512cd/&&/avx512dq/&&/avx512vl/ {found=1} END {exit !found}"'

echo "$flags" | eval $supports_v2 || exit 2 && echo "CPU supports x86-64-v2"
echo "$flags" | eval $supports_v3 || exit 3 && echo "CPU supports x86-64-v3"
echo "$flags" | eval $supports_v4 || exit 4 && echo "CPU supports x86-64-v4"


2024/09/17

昨天的內稽事項有提到要注意各server的HD使用量

二個做法 種 agent 或打開server的 snmp

初步的想法是打開 server的 snmp

因為現在 m$ 某些OS 預設不給ping 

所以 librenms 要改個設定值 把ping test 關了


 





撈進來後 點到 health 可以看到 cpu ram hd 的狀況



 

 



點右方的齒輪 可以在 storage processors memory 設定告警的閥值

 



 

 



 



不過這裡設完後還是不會發alert

要再手動加一條 rule 而手動加的個rule 也不會參考這裡的值 需要重新指定

 


 

2024/09/16

之前換nas的時侯發生 filesystem有問題的情況
使用 xfs_repair 修完後 出現有user的mail不見的情況
當時是使用 PhotoRec 撈了好几天 把資料還給user 
而且也無法確認是否完整

這几天在使用rsync 備分 /home 時 
出現好几次做到一半就會卡住的情況
看了一下才發現竟然出現 超級大檔案 

-rw-------  1 user mailnull 9007199254766339 Aug  4  2023 1691146737.V811I2821a77dbM603030.mail:2,S

只能砍了
而且砍完就正常了
反正就一邊做一邊發現問題一邊砍

最近因為換冷氣 所以要觀察 raspberry 的cpu溫度 

來調整冷氣的設定溫度

先前已經利用設定snmp把值放在librenms上畫圖

今天想到grafana可以取值來畫圖

而且應該比snmp librenms 方便

首先把日期跟溫度存成csv 檔 格式如下 放在web server上

格式如下

time,temperature

Sun Sep 15 09:15:01 CST 2024,46.2

Sun Sep 15 09:20:01 CST 2024,46.2


接下來只要定時更新這個csv檔就可以了

grafana 要add new datasource          

yesoreyeram-infinity-datasource

安裝後不需要先建立 Global queries

接下來 New 一個 dashboard

Add visualization









select data source






type 選擇csv           修改csv檔的url








要把columns 依照數字及時間 設定好 

時間的格式一定要依照cvs檔裡的時間格式設定好才能畫圖 








完成後就能看到如下的圖了






2024/09/14

最近進了一台icx8200
可是在librenms上顯示的hardware名稱不對
之前也有人問同樣的問題在icx7150
定義的檔案是在
/opt/librenms/LibreNMS/OS/Ironware.php
裡面確實沒看到icx8200
等更新吧