今天記錄一下 librenms 中 weathermap的安裝

官方說明文件如下 

https://docs.librenms.org/Extensions/Weathermap/

安裝完後建立圖形的第一個步驟記得要先到  Map Properties

設定

Output Image Filename

Output HTML Filename

否則會看不到網頁及圖形

使用這個工具在加點及線時滿方便的

不過無法做到精準定位及其他進階功能

所以還是必須要直接去編輯 config file

官方文件上說明的加crontab 無法作用 後來是直接加在 root 的crontab 

librenms的poller 不像cacti每次都一定會去 polling所有的port

她的几制是會在一定的時間內polling完 也因此會產生時間差而有流量對不起來的狀況

不過發現到當手動去看圖時 她會當下再去polling一次

所以目前的做法是利用二次的畫圖指令 中間相隔10秒

第一次指令是讓她去 polling

第二次指令再用第一次捉到的值來畫圖

*/5 * * * * /opt/librenms/html/plugins/Weathermap/map-poller.php;/usr/bin/sleep 10;/opt/librenms/html/plugins/Weathermap/map-poller.php

另外畫圖時 是依照config file的先後來畫

所以如果有一定不能被蓋掉的線

要放在 config file的最後面

weathermap移過來後 應該可以正式把 cacti 取代掉了

https://www.network-weathermap.com/manual/0.98/pages/config-reference.html

流量對不起來後來發現是rrdcache的原因

官方文件是說開啟rrdcache可以減少 30 - 40%的io

不過由於她是先把資料收回來後再慢慢處理

所以時間無法控制

觀察起來有時甚至會到快下次polling才會updat rrd file

也因此就更造成流量的不準

所以想說先把rrdcache關掉

觀察後發現rrd file的更新最慢的大約一分多鐘

雖然還是有時間差 但應該是在可接受的程度

另外關掉後再去看polling time

發現並沒有增加

至於io的問題

因為目前是用all flash

所以先不管他了

如果有那種几千台机器的site

就可能要再考量了

 當要在cacti 大量新加設備時

網頁介面操作會花費大量的時間

以下就記錄如何在文字介面下新增設備

要調整graph tree時 再到網頁介面操作

以下新增以網路設備為例

先進到安裝路徑

cd /var/lib/cacti/cli

接下來列出可以使用的 host-templates

php -q add_device.php --list-host-templates

Valid Device Templates: (id, name)

0       None

1       Cacti Stats

2       Cisco Router

3       Generic SNMP Device

4       Local Linux Machine

5       Net-SNMP Device

6       Windows Device

利用下列指令加入 device

php -q add_device.php --avail=snmp --description="192.168.101.254" --ip="192.168.101.254" --template=3 --community="public"

加入完成後列出已加入的 host 及其 id

php -q add_graphs.php --list-hosts

Known Devices: (id, hostname, template, description)

1       localhost       4       Local Linux Machine

4       10.10.254.254   3       10.10.254.254

5       10.0.0.1        3       10.0.0.1

7       192.168.101.254 3       192.168.101.254

列出可以使用的 graph-templates (新版多很多templates)

php -q add_graphs.php --list-graph-templates

Known Graph Templates: (id, name)

1       Cacti Stats - Devices

2       Cacti Stats - Main Poller DS/RRD

3       Cacti Stats - Boost Updates

4       Cacti Stats - Total Poller Items

5       Cacti Stats - Recache (Legacy)

6       Cacti Stats - Processes (Legacy)

7       Cacti Stats - Boost Memory

8       Cacti Stats - User Logins

9       Cacti Stats - User Sessions

10      Cacti Stats - User Types

11      Cacti Stats - Boost Runtime

12      Cacti Stats - Main Poller Runtime

13      Cacti Stats - Export Graphs (Legacy)

14      Cacti Stats - Export Duration (Legacy)

15      Cacti Stats - Syslog Activity

16      Cacti Stats - Syslog Runtime

17      Cacti Stats - Syslog Alerts/Reports

18      Cacti Stats - Thold Runtime

19      Cacti Stats - Boost Average Row Size

20      Cacti Stats - Boost Records

21      Cacti Stats - Boost Table Size

22      Cacti Stats - Boost Timing Detail

23      Cacti Stats - Collector Runtime

24      Cacti Stats - Collector Items

25      Cacti Stats - Collector Settings

26      Cacti Stats - Collector Recache Stats

27      Cacti Stats - WebSeer Timing

28      Cacti Stats - WebSeer Download Size

29      Cacti Stats - WebSeer Download Speed

30      Cacti Stats - WebSeer Status

31      Cacti Stats - Export Graphs

32      Cacti Stats - Export Duration

33      Cisco - CPU Usage

34      Device - Polling Time

35      Device - Uptime

36      Interface - Traffic (bits/sec)

37      Interface - Errors/Discards

38      Interface - Unicast Packets

39      Interface - Non-Unicast Packets

40      Interface - Traffic (bytes/sec)

41      Interface - Traffic (bits/sec, 95th)

42      Interface - Traffic (bits/sec, BW)

43      Interface - Traffic (bytes/sec, BW)

44      Interface - Multicast Packets

45      Interface - Broadcast Packets

46      Unix - Ping Latency

47      SNMP - Generic OID Template

48      Unix - Processes

49      Unix - Load Average

50      Unix - Logged in Users

51      Linux - Memory Usage

52      Unix - Available Disk Space

53      Net-SNMP - Load Average

54      Net-SNMP - Memory Usage

55      Host MIB - Logged in Users

56      Host MIB - Processes

57      Net-SNMP - CPU Utilization

58      Net-SNMP - Interrupts

59      Net-SNMP - Context Switches

60      Net-SNMP - Combined SCSI Disk I/O

61      Net-SNMP - Combined SCSI Disk Bytes

62      Net-SNMP - Available Disk Space

63      Host MIB - Available Disk Space

64      Host MIB - CPU Utilization

65      Net-SNMP - Device I/O - Bytes Read/Written

66      Net-SNMP - Device I/O - Load Averages

67      Net-SNMP - Device I/O - Reads/Writes

=================================================================

列出可以使用的 snmp-queries

php -q add_graphs.php --host-id=2 --list-snmp-queries

Known SNMP Queries: (id, name)

1       Cacti Stats - Data Collector Stats

2       Cacti Stats - WebSeer Service Checks

3       Cacti Stats - Graph Exports

4       SNMP - Interface Statistics

5       Unix - Get Mounted Partitions

6       Net-SNMP -  Get Monitored Partitions

7       SNMP - Get Mounted Partitions

8       SNMP - Get Processor Information

9       Net-SNMP - Get Device I/O

===============================================================

列出snmp queries 可以使用的 query-types

php -q add_graphs.php --snmp-query-id=4 --list-query-types

Known SNMP Query Types: (id, name)

11      In/Out (Errors/Discards)

12      In/Out (Non-Unicast)

13      In/Out (Unicast)

14      In/Out Bytes (64-bit)

15      In/Out Bits

16      In/Out Bits (64-bit)

17      In/Out Bytes

18      In/Out Bits (95th)

19      In/Out Bits (BW)

20      In/Out Bytes (BW)

21      In/Out Bits (64-bit, 95th)

22      In/Out Bits (64-bit, BW)

23      In/Out Bytes (64-bit, BW)

24      In/Out (Broadcasts)

25      In/Out (Multicasts)

===============================================================

利用以上所得的資訊建立圖形

php add_graphs.php --host-id=7 --graph-type=ds --graph-template-id=36 --snmp-query-id=4 --snmp-query-type-id=16 --snmp-field=ifOperStatus --snmp-value=Up

php add_graphs.php --host-id=7 --graph-type=ds --graph-template-id=36 --snmp-query-id=4 --snmp-query-type-id=16 --snmp-field=ifOperStatus --snmp-value=Down

cacti 轉換到 librenms 的過程還有一個問題就是cacti可以自己寫shell 餵值來畫圖

目前還沒看到librenms有支援

所以想到應該可以把shell 拿到的值轉成snmp丟出來

查了一下文件

總共有三種方式可以做

pass

exec

extend

在snmpd.conf裡有說明及範例

但目前 exec 試不出來

extend 看來最方便使用

在/etc/snmp/snmpd.conf 最後加上

extend script1 /tmp/test

test的內容如下

#!/bin/sh

echo "aaa"

echo "bbb"

重啟 snmpd

systemctl restart snmpd

接下來使用 snmpwalk snmpwalk 捉值就可以了

snmpwalk -v2c -c public localhost 'NET-SNMP-EXTEND-MIB::nsExtendOutLine."script1".1'

得到

NET-SNMP-EXTEND-MIB::nsExtendOutLine."script1".1 = STRING: aaa

snmpwalk -v2c -c public localhost 'NET-SNMP-EXTEND-MIB::nsExtendOutLine."script1".1'

得到

NET-SNMP-EXTEND-MIB::nsExtendOutLine."script1".1 = STRING: bbb

最後產出 OID

snmptranslate -On 'NET-SNMP-EXTEND-MIB::nsExtendOutLine."script1".1'

得到

.1.3.6.1.4.1.8072.1.3.2.4.1.2.7.115.99.114.105.112.116.49.1

https://blog.xuite.net/jyoutw/xtech/516688911-Centos+6+%E5%BB%BA%E7%AB%8B%E8%87%AA%E5%AE%9A%E7%BE%A9%E7%9A%84+SNMP+OID

 觀察了几天

使用 librenms 的 rrd 來畫 weathermap

一直會有流量對不起來的狀況

直接去看rrd file的狀態發現 polling後並不會馬上去更新 rrd file

同一個設備的目錄下有的有更新有的沒更新

所以流量才會對不起來

但直接點去看圖時又發現時間跟圖是對的

目前的猜測是

當手動去看圖時

系統會再去撈一次或是即時更新rrd file

結論還是只能使用cacti 的rrd file來畫圖了

延續之前的問題

目前打算把所有的設備流量全部移轉到librenms

其實之前就一直有這個打算

但一直沒做

原因是librenms如果要使用自訂的oid畫圖

支援程度不高而且很麻煩

現在好像有看到custom oid的功能

不過還沒試

然後cacti就只留非標準snmp畫出來的圖

再來另一個問題是 weathermap

因為librenms必須使用到 php 7的版本

可是wearhermap目前在php 7 上還是不支援

所以做法是在原來的cacti上把librenms的rrd 捉過來使用

但是

本來以為捉過來就可以直接使用

結果

weathermap weathermap 畫圖時預設是捉

traffic_in 和 traffic_out 這二個DS

cacti產生的rrd file 是這二個沒錯

但librenms產生的並不是

librenms rrd file的DS如下

 INOCTETS           OUTOCTETS            INERRORS           OUTERRORS

         INUCASTPKTS        OUTUCASTPKTS        INNUCASTPKTS       OUTNUCASTPKTS          I

NDISCARDS         OUTDISCARDS     INUNKNOWNPROTOS     INBROADCASTPKTS    OUTBROADCASTPKTS

   INMULTICASTPKTS    OUTMULTICASTPKTS

所以要使用時必須指定DS

範例如下

TARGET /var/www/html/weathermap/librenms_rrd/10.0.0.1/port-id456.rrd:INOCTETS:OUTOCTETS 

接下來的另一個問題是 weather weather 預設只會往前找 800 秒 rrd 的記錄時間

可是有可能會找不到值 而沒辦法畫圖 

這個問題在cacti上沒碰過

可是使用librenms 的 rrd rrd 確實有發生讀不到的問題

所以必須在 weathermap的config 加上以下參數

SET rrd_period 3000

把往前找的時間加長到 3000秒

By default, the plugin will read the last 800 seconds of data, and find the most recent within that to use. You might need to make it read back further, if you are updating your rrd files slowly. You can do this with the SET command, by adding 'SET rrd_period 3000' (any value in seconds) at the top of your map config file, before any NODE or LINK lines.

最後到每個port的圖形上方點

show rrd command

就可以找到每個port相對應的rrd file 用來畫圖了

https://network-weathermap.com/manual/0.97/pages/targets.html

 最近因為換設備

所以需要調整cacti

調整完後卻發現流量跟port對不起來

檢查後才發現

調整之後的設備

竟然去使用原來別的host的rrd 檔

而且把host砍掉重新再建也沒有用

再建立流量圖時就會一直隨機的去用到其他host的rrd 檔

目前只發現這個問題

但想不到解決方法

可能要把所有的host全部重建

或是把所有的data source跟流量圖全部砍掉再重建了

最近几次cacti的更新都一直有問題
所以都要倒回之前的備份
手動修改後
再做一次
這次是要把
/usr/share/cacti/install/upgrades/1_2_8.php
內的這行刪掉
db_install_execute('ALTER TABLE host_snmp_cache MODIFY COLUMN snmp_index VARCHAR(255) NOT NULL default ""');

查了一下好像目前的mariadb的版本沒辦法醬操作 要升版

今天先把mariadb升級
先保留php-5.4.16-46.1.el7_7.x86_64
下次cacti升級再看看有什麼問題
再來處理

新增以下檔案

/etc/yum.repos.d/mariadb.repo

內容如下

[mariadb]
name = MariaDB
baseurl = http://yum.mariadb.org/10.4/centos7-amd64
gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB
gpgcheck=1

改好後直接 yum -y update

mariadb就會直接升了

再來要 mv /etc/my.cnf /etc/my.cnf_old 不然db會起不來

接下來照文件改

Add variables in the [mysqld] section.

collation-server = utf8mb4_unicode_ci
character-set-server=utf8mb4
max_heap_table_size = 64M
tmp_table_size = 64M
join_buffer_size = 64M
innodb_file_format = Barracuda
innodb_large_prefix = 1
innodb_flush_log_at_timeout = 3
innodb_buffer_pool_size = 1GB
innodb_buffer_pool_instances = 10
# Based on what type for storage you use. The below values are for SSD drives.
# Change it if Cacti reports issues during the installation
innodb_read_io_threads = 32
innodb_write_io_threads = 16
innodb_io_capacity = 5000
innodb_io_capacity_max = 10000

db重啟就好了 

再把這個補上去

ALTER TABLE host_snmp_cache MODIFY COLUMN snmp_index VARCHAR(255) NOT NULL default ""

https://www.itzgeek.com/how-tos/linux/centos-how-tos/monitor-network-using-cacti-with-centos-7-rhel-7.html

昨天看cacti時出現問題

本來設定好的圖都不見了
再來看几器狀況如下

等了好久 就一直出現在 recovering
接著看log

到forum查了一下 好像說是bug
重點是也不知道如何 rebuild
算了
砍掉再重建

之前有發過一篇cacti預設畫超過100M圖有問題的處理方法

補一下新版介面

首先找出要修正的device

找到要設定的介面後修正如下圖的值 必須每個interface都要設定

找到後點畫面右上角的data source list

今天cacit upgrde 到 1.2.2
升級過程建議我調整三個地方

php的路徑在  /etc/php.ini
就照建議調了
但db這個
目前已使用官方提供的最高版本
而且之前就一直要更新
我也沒做 使用上也沒什麼問題
就先醬子再觀察看看

另外升級完打開後發現介面全部變成中文
高興了一下
但點圖看
時間那裡變成亂碼了 XD

到configuration的setting去調一下
多了 auto Language detection 這個選項 而且預設是 enable
改成 disable 變回英文介面 就正常了

今天早上登入cacti查看時發現以上的圖
重開几
重建
都沒用
後來想說算了
自己把值餵給rrdfile好了

語法如下

$ rrdtool update tcpdump.rrd 1061811856:114:0:50:1199:0:821073

上面的 1061811856 即时间值,如果就是要现在的时间值，可以 N 代表，但要转换成秒值，通常我們都会用

$ timestamp=`date +%s `

来转现在秒数,如果是某些特定时间,则可以

$ timestamp=`date -d "2003/08/15 12:00" +%s`

后面跟着所有的更新的数据，按照DS定义的顺序用冒号格开

https://blog.51cto.com/swq499809608/1275674


2019/3/9 後記

找到問題點了
因為原本餵入的值是先由root每5分鐘先從FW撈出資料放在/tmp
之後再由cacti的script去讀/tmp
最近几天因為有新大樓 加了一些設備
所以cacti讀取時剛好/tmp的資料還沒寫完
導致撈不到值而出現空白
因此把從FW撈值的時間調開
目前就正常了

可能只差個0.0几秒 XD

最近在玩librenms
介面看起來真的滿潮的
而且只要她可以辨認的mib
會把所有相關的資料都顯示出來
連USHA的資料都完全出現
包括電壓 負載 溫度....等
這方面比cacti好用很多
不過目前碰到的問題是還無法餵值來畫圖
另外就是一定要使用snmp來偵測裝置

在測的過程中出現一個狀況
就是alert有出現
email通知的設定也沒錯
但device如果down
在畫面上有看到alert
但就是沒收到mail
之後經過了8小時
才開始發mail

試了半天
還是一樣
後來想說去forum 問問
就在要發問時
系統說要先執行validate.php把結果一起po上去
那就先執行看看

./validate.php
====================================
Component | Version
--------- | -------
LibreNMS  | 1.31.02-3-g4683736
DB Schema | 205
PHP       | 7.0.22
MySQL     | 5.5.52-MariaDB
RRDTool   | 1.4.8
SNMP      | NET-SNMP 5.7.2
====================================

[FAIL]  We have found some files that are owned by a different user than librenms, this will stop you updating automatically and / or rrd files being updated causing graphs to fail.
        [FIX] chown -R librenms:librenms /opt/librenms
/opt/librenms/html/plugins/Weathermap/configs
/opt/librenms/html/plugins/Weathermap/configs/testing.conf
[OK]    Database connection successful
[OK]    Database schema correct
[WARN]  Your install is over 24 hours out of date, last update: Tue, 29 Aug 2017 18:53:05 +0000
[FAIL]  You have a different system timezone (CST) specified to the php configured timezone (UTC), please correct this.

果然有几個問題
一個是權限問題
我在想我是用官方提供的ova
為什麼會有這個問題
再來是時區
因為我有去改os的timezone

但php.ini沒改

難怪會晚了8小時才收到信

這個也改了

再來就是說我版本太舊

不是說每天會固定更新??

算了

手動跑一下daily.sh

目前alert發信看來正常了

再觀察看看

後記
權限改完後
刪除裝置時還是會出現

要嗎就再把rrd改成777
不然就用root去刪
算了
反正刪設備的機會也不多
碰到再用root刪吧

昨天突然在想是不是可以在graylog上直接用值畫出圖形
因為在fields展開後有四個選項可以操作













上圖的 Generate chart 應該就可以畫圖
而 Statistics 是相關的記錄及統計
但當點下去時出現









只能針對數字定義的欄位才能使用
看來必須要設定Extractor對message拆解並定義後才行了
因此先吐一筆測試資料到graylog

echo "testiiiiii 20"|nc 10.0.0.1 1234

再利用這筆資料來產生Extractor





















如上圖 主要的重點是必須定義該拆解出來的欄位值是數字
目前支援的定義如下圖 依所需值不同的位數來選擇不同的定義
目前的範例是定義為int



















定義好後接下來進到graylog的資料就會被拆解如下圖
num_test這個欄位就拆解出來而且被定義為int











接下來就可以使用 Generate chart 及 Statistics 產生如下的二張報表














在圖上就可以看到用數值畫出來的圖及統計的結果了
Generate chart還可以依不同需求產生不同的圖










在cacti上寫shell也可以達到相同的目的
但操作上會複雜許多
目前想到可以利用個這個來畫出溫度及統計並利用alert功能來進行
溫度超標的通知
應該是滿方便的

http://docs.graylog.org/en/2.2/pages/extractors.html

cacti從過年後就一直升級
今天又升到1.1.6了
本來是跑在ubuntu 14.04上
因為之前升過一次有問題
所以放著一直沒去動
不過最近查了一下 centos 的 epel有放進去了
用yum應該很方便 而且維護也比較簡單
轉過去沒啥大問題
mariadb的參數要做些調整 還要設定時區
在install的Pre-installation Checks頁面中有提到
再來就是碰到二個問題
一個就是本來有寫一些用來撈資料的script 放在/root
然後再ln到cacti的目錄
但這個版本使用上會有問題
所以只好把這些script直接copy到/usr/share/cacti/scripts裡
copy完後記得要rebuild poller cache才會生效

另一個問題比較奇怪
本來有利用snmp從ruckus的controller上撈線上人數
但轉到新版後圖出不來了
但aruba沒問題
可是用snmpwalk去撈又能拿到資料
看了設定也沒錯
最後

在config把snmp改成v1

就............好...............了

先醬
跑看看
目前polling一次時間大約15秒內

因為ascenflow GG了
所以把認証移到forti上去
順便想看一下線上人數並記錄
但找了一下forti的mib
並沒有提供這個值
所以只好自行寫程式來撈了

使用python來撈目前online user的所有資料 並從中取出線上人數 在輸出的最後一行
直接使用shell也可以

#!/usr/bin/python

import os
import telnetlib

host="192.168.1.1"
user="admin"
passwd="password"

tn = telnetlib.Telnet(host)

tn.read_until("FG600C login: ")
tn.write(user + "\n")
tn.read_until("Password: ")
tn.write(passwd + "\n")
tn.read_until("FG600C # ")
tn.write("diagnose firewall auth filter group auth_user_group(radius_server)" + "\n")
tn.read_until("FG600C # ")
tn.write("diagnose firewall auth list" + "\n")
#tn.read_until("FG600C # ")
tn.write("exit" + "\n")

print tn.read_all()
tn.close()

取出後把值吐給cacti來畫圖

步驟如下

1. 建立data input methods 使用自行寫好的程式

2. 使用步驟1 的資料來新增data templates

3.使用步驟2 的資料來產生 graph templates

4. 在forti上新增步驟3所產生的graph template

等待一段時間後畫出的圖如下

發現有小數出現 雖然說不太會影響判讀 但感覺就是怪怪的
找了一下資料
發現把graph template的gprint type改成exact numbers就可以顯示整數了

改好後如下圖 看起來正常多了

http://lunarforest.blogspot.tw/2013/04/cacti.html

今天有個需求
要知道目前所有使用的 poe switch 的型號
找了一下cacti好像沒辦法直接看到資料
database裡好像也沒有一個table有放
看來只好自己撈了

先把ip取出來

select hostname from host;

整理後存成 switch
再寫個shell

#!/bin/bash
for i in `cat switch`
do
echo $i
snmpwalk -v 2c -c public $i iso.3.6.1.2.1.1.1.0
done

完成

經過週六日的斷電

cacti GG了 圖出不來

log 顯示

Table 'host_snmp_cache' is marked as crashed and should be repaired

cacti提供了一個工具 repair_database.php

先執行一下看看

http://forums.cacti.net/about32726.html

2015/7/19 cacti為了解決script output的問題 更新到 0.8.8f
不用想 也知道又出問題了
這次是在升級時就出現空白畫面
XD
不過這次修正的還算滿快的
今天早上升完了
再觀察看看有沒問題

after cacti upgrade to 0.8.8d
zoom not working
Orz
wait for some days
someone find the problem and solved

download jquery-ui.js from https://jqueryui.com/download/
and put it into  /cacti/include/js/

jquery-ui.js is missing from Cacti 0.8.8d tar.gz package.

This library is needed by jquery-zoom plugin.

This is the script load header from default cacti tree view :

<script type="text/javascript" src="/cacti/include/layout.js"></script>
<script type="text/javascript" src="/cacti/include/js/jquery.js" language="javascript"></script>
<script type="text/javascript" src="/cacti/include/js/jquery-ui.js" language="javascript"></script>
<script type="text/javascript" src="/cacti/include/js/jquery.cookie.js" language="javascript"></script>
<script type="text/javascript" src="/cacti/include/js/jstree.js"></script>
<script type="text/javascript" src="/cacti/include/js/jquery.zoom.js" language="javascript"></script>
<script type="text/javascript" src="/cacti/include/jscalendar/calendar.js"></script>
<script type="text/javascript" src="/cacti/include/jscalendar/lang/calendar-en.js"></script>
<script type="text/javascript" src="/cacti/include/jscalendar/calendar-setup.js"></script>

http://forums.cacti.net/viewtopic.php?f=21&t=54754

今天在設定二台cisco机器
因為二台之間走的是routing mode
設定完成後互相ping對方的對口ip都沒問題能互通
可是再ping到switch內設定的vlan ip時卻都ping不到
看了一下vlan也是正常啟動沒問題
試了半天才知道原來是如果該vlan下沒在串接任何設備或pc
該vlan ip是沒有啟動的
並不是設定的問題
也因此在cacti的設定也只能使用對口的routing ip不然如果所有的pc對關机
可能就會造成机器當机的誤判發生