最近設備因為不明原因發生了二次cpu 99 %的情形 snmp就會撈不到值

第一次重開後大約正常了一週

又再發生

今天第二次重開 目前正常

但每次重開後

librenms 裡的 port id 都會變 導致weathermap 出現如下的問題

必須要再手動去一個一個改 config 

 

最近登入librenms時出現以下提示

 

目前使用的這個版本是從官網下載ubunbu 20.04 ova

試著升級但升完後有很多問題

於是打算重裝

選定debian 11 

依照官網的流程一步步順利裝完

再來依照官方FAQ的方式移轉

也順利完成

最後有問題的是weathermap

如果直接copy ubuntu 20.04的目錄過來會發生無法執行的情況

不過官方已有針對php 8.1 進行修改

所以直接 git clone

git clone https://github.com/librenms-plugins/Weathermap.git

再mv目錄 

mv Weathermap /opt/librenms/html/plugins/

把原几的 conf 複制到以下目錄

/opt/librenms/html/plugins/Weathermap/configs

以上就大致完成了

目前觀察中 看看還有沒有其他問題

https://github.com/librenms/packer-builds/releases/tag/21.2.0

https://www.librenms.org/#downloads

https://docs.librenms.org/Installation/Install-LibreNMS/#prepare-linux-server

https://docs.librenms.org/Support/FAQ/#how-do-i-migrate-my-librenms-install-to-another-server

今天記錄一下 librenms 中 weathermap的安裝

官方說明文件如下 

https://docs.librenms.org/Extensions/Weathermap/

安裝完後建立圖形的第一個步驟記得要先到  Map Properties

設定

Output Image Filename

Output HTML Filename

否則會看不到網頁及圖形

使用這個工具在加點及線時滿方便的

不過無法做到精準定位及其他進階功能

所以還是必須要直接去編輯 config file

官方文件上說明的加crontab 無法作用 後來是直接加在 root 的crontab 

librenms的poller 不像cacti每次都一定會去 polling所有的port

她的几制是會在一定的時間內polling完 也因此會產生時間差而有流量對不起來的狀況

不過發現到當手動去看圖時 她會當下再去polling一次

所以目前的做法是利用二次的畫圖指令 中間相隔10秒

第一次指令是讓她去 polling

第二次指令再用第一次捉到的值來畫圖

*/5 * * * * /opt/librenms/html/plugins/Weathermap/map-poller.php;/usr/bin/sleep 10;/opt/librenms/html/plugins/Weathermap/map-poller.php

另外畫圖時 是依照config file的先後來畫

所以如果有一定不能被蓋掉的線

要放在 config file的最後面

weathermap移過來後 應該可以正式把 cacti 取代掉了

https://www.network-weathermap.com/manual/0.98/pages/config-reference.html

流量對不起來後來發現是rrdcache的原因

官方文件是說開啟rrdcache可以減少 30 - 40%的io

不過由於她是先把資料收回來後再慢慢處理

所以時間無法控制

觀察起來有時甚至會到快下次polling才會updat rrd file

也因此就更造成流量的不準

所以想說先把rrdcache關掉

觀察後發現rrd file的更新最慢的大約一分多鐘

雖然還是有時間差 但應該是在可接受的程度

另外關掉後再去看polling time

發現並沒有增加

至於io的問題

因為目前是用all flash

所以先不管他了

如果有那種几千台机器的site

就可能要再考量了

 觀察了几天

使用 librenms 的 rrd 來畫 weathermap

一直會有流量對不起來的狀況

直接去看rrd file的狀態發現 polling後並不會馬上去更新 rrd file

同一個設備的目錄下有的有更新有的沒更新

所以流量才會對不起來

但直接點去看圖時又發現時間跟圖是對的

目前的猜測是

當手動去看圖時

系統會再去撈一次或是即時更新rrd file

結論還是只能使用cacti 的rrd file來畫圖了

延續之前的問題

目前打算把所有的設備流量全部移轉到librenms

其實之前就一直有這個打算

但一直沒做

原因是librenms如果要使用自訂的oid畫圖

支援程度不高而且很麻煩

現在好像有看到custom oid的功能

不過還沒試

然後cacti就只留非標準snmp畫出來的圖

再來另一個問題是 weathermap

因為librenms必須使用到 php 7的版本

可是wearhermap目前在php 7 上還是不支援

所以做法是在原來的cacti上把librenms的rrd 捉過來使用

但是

本來以為捉過來就可以直接使用

結果

weathermap weathermap 畫圖時預設是捉

traffic_in 和 traffic_out 這二個DS

cacti產生的rrd file 是這二個沒錯

但librenms產生的並不是

librenms rrd file的DS如下

 INOCTETS           OUTOCTETS            INERRORS           OUTERRORS

         INUCASTPKTS        OUTUCASTPKTS        INNUCASTPKTS       OUTNUCASTPKTS          I

NDISCARDS         OUTDISCARDS     INUNKNOWNPROTOS     INBROADCASTPKTS    OUTBROADCASTPKTS

   INMULTICASTPKTS    OUTMULTICASTPKTS

所以要使用時必須指定DS

範例如下

TARGET /var/www/html/weathermap/librenms_rrd/10.0.0.1/port-id456.rrd:INOCTETS:OUTOCTETS 

接下來的另一個問題是 weather weather 預設只會往前找 800 秒 rrd 的記錄時間

可是有可能會找不到值 而沒辦法畫圖 

這個問題在cacti上沒碰過

可是使用librenms 的 rrd rrd 確實有發生讀不到的問題

所以必須在 weathermap的config 加上以下參數

SET rrd_period 3000

把往前找的時間加長到 3000秒

By default, the plugin will read the last 800 seconds of data, and find the most recent within that to use. You might need to make it read back further, if you are updating your rrd files slowly. You can do this with the SET command, by adding 'SET rrd_period 3000' (any value in seconds) at the top of your map config file, before any NODE or LINK lines.

最後到每個port的圖形上方點

show rrd command

就可以找到每個port相對應的rrd file 用來畫圖了

https://network-weathermap.com/manual/0.97/pages/targets.html

開始使用http://www.network-weathermap.com/
來畫出即時的流量圖
因為不想跟cacti整合
所以用stand alone來跑

以下的安裝教學還滿詳細的
http://www.cactifans.org/index.php/2011/04/cacti%E6%8F%92%E4%BB%B6%E8%AF%A6%E8%A7%A3-weathermap/

如果本來已經有裝好cacti 則要再加裝php5-gd 及php-pear
也建議先裝好cacti再來裝weathermap 因為直接使用cacti所產生的rrd資料檔來畫圖會方便許多

在執行http://xxx.xxx.xxx.xxx/weathermap/editor.php時
link的部分設定要注意的地方如下

Bandwidth要依照現實環境修改
Data Source的地方請至cacti找出要使用的port的rrd file再填入絶對路徑

此外建立link時第一個點選的node就是要使用該port資料的node
建立後在config內的資料如下


LINK node1-node2
        TARGET /var/www/html/cacti-0.8.8a/rra/1.1.1.1_traffic_in_467.rrd
        NODES 3750 7609
        BANDWIDTH 1G


請注意 TARGET /var/www/html/cacti-0.8.8a/rra/1.1.1.1_traffic_in_467.rrd
就是 3750 上要使用的port的資料(跟7609的link port)
如果發現資料流方向相反 請手動修正 NODES的順序

接下來如果依照上述文件來跑crontab

*/5 * * * * root /usr/bin/php /var/www/html/weathermap/weathermap --config /var/www/html/weathermap/configs/simple.conf --image-uri ../weathermap/test.png

我的操作結果是圖完全無法產生
但手動下指令是ok的
感覺上好像跟要使用lib的路徑有關
目前的解決方式是先寫一個shell如下


#!/bin/bash
cd /var/www/weathermap
/usr/bin/php  weathermap --config configs/simple.conf --output weathermap.png --htmloutput index.html


再用crontab跑這個shell

config有很多地方可以細調
詳細的config資料如下
http://www.network-weathermap.com/manual/latest/pages/config-reference.html#GLOBAL_FONTDEFINE

若要更換不同的ICON
要放到images這個資料夾並使用PNG檔
大小無所謂
因為config裡可以設定

以下的教學檔也不錯
http://blog.163.com/fan_yishan/blog/static/476922132010994424449/

修改圖例相對應的參數如下圖所示