自從pmg升到8版後

偶爾就會出現cpu跟ram過高的問題

然後机器就會卡住無法運作

之前本來已經有寫了一支檢查程式跑在mg裡

如果收不到外面連線的log

就重啟

可是今天的狀況更嚴重

當几後mg沒法執行任何程式了

只能從 host著手

定時檢查 mg的cpu狀態

如果有問題

就從host下指令重開了

163是lxc id

#!/bin/bash

k=`/usr/bin/pvesh get /cluster/resources|grep 163|cut -d '%' -f 1|awk '{print $NF}'|cut -d '.' -f 1`

#echo $k

if [ $k -gt 96 ]; then

        echo "cpu $k mg reboot"|/usr/bin/mail -s mg_cpu_high_reboot a@bc.de

        /usr/sbin/pct stop 163

        sleep 5

        /usr/sbin/pct start 163

fi

最近這几天 規定要往上指的 DNS 發生故障

重點是 發生故障也不通知下層單位

真是有夠無言的

本來沒有在監控記錄 dns query 的 response time

想說來加一下好了 加在 librenms

搞了好久

最後發現不會自動帶入 Remote Host

要在 Parameters 下完整

最終沒問題的設定方式如下圖

line 傳訊息同時傳圖片

curl -X POST https://notify-api.line.me/api/notify -H 'Authorization: Bearer (your token)' -F 'message=test' -F 'imageFile=@/tmp/1122.jpg'

以上指令的 message無法換行

使用 test\n\ntest      test\\ntest 都不行

 proxmox 8 安裝後修正apt source 並更新

#!/bin/bash

sed -i '1s/^/#/' /etc/apt/sources.list.d/ceph.list

sed -i '1s/^/#/' /etc/apt/sources.list.d/pve-enterprise.list

echo "deb http://download.proxmox.com/debian/pve bookworm pve-no-subscription" >> /etc/apt/sources.list

echo "export http_proxy=http://10.1.1.1:3128" > /root/update

echo "apt-get update" >> /root/update

echo "apt-get upgrade -y" >> /root/update

echo "apt-get autoremove -y --purge" >> /root/update

chmod +x /root/update

/root/update

 

今天因為長官的命令有需求要撈graylog的舊資料

目前是設定60天後的index會自動關起來

在之前的版本如果要查舊資料

要先把index open 後 再 recalculate 才能查

但今天下指令跟在管理介面打開

在管理介面上出現的畫面不同

下指令的不會出現reopened

而且過沒多久就會自動再變成close

從管理介面操作的就會出現綠色的reopened 而且不用再 recalculate 就能直接查資料了

不過如果要打開很多index 就要一個一個點 有點麻煩

不知道有沒有其他指令能做到

最近nas因為更新發生nfs不能使用的問題

因此暫時把graylog搬到其他台還沒更新的nas上

搬完後發現ES變成red

 

下指令看一下是那些shards

curl -XGET localhost:9200/_cat/shards|grep UNASSIGNED

index.action       0 r UNASSIGNED

index.do           0 r UNASSIGNED

index.aspx         0 r UNASSIGNED

graylog_159        2 p UNASSIGNED

index.htm          0 r UNASSIGNED

index.py           0 r UNASSIGNED

index.php          0 r UNASSIGNED

index.cgi          0 r UNASSIGNED

index.html         0 r UNASSIGNED

index.cfm          0 r UNASSIGNED

index.pl           0 r UNASSIGNED

index.jsp          0 r UNASSIGNED

index.asp          0 r UNASSIGNED

graylog_159 這個是放資料的 直接砍了 就損失一天的log

curl -XDELETE 'localhost:9200/graylog_159/'

此時ES已經變 yellow

但其他的shards也不知道砍了會不會有問題

forum上說的是因為沒有第二台可以replication所以會出現 UNASSIGNED

如果覺得礙眼不想看到 可以取消 replication

指令如下

curl -X PUT "http://localhost:9200/index_name/_settings" -H 'Content-Type: application/json' -d '{"index":{"number_of_replicas":0}}'

目前就先醬放著吧

再觀察看看

https://community.graylog.org/t/graylog-opensearch-cluster-is-yellow/29678/4