最近一直需要在grafana上畫圖

之前一陣子用的是csv檔的方式

把csv檔放在 web server上就可以了

在更之前也有使用influxdb來放資料

昨天想說可以用sqlite來試試

OS要安裝 sqlite

grafana要安裝sqlite的plugin

但碰到了時間格式的問題

這個之前使用 csv檔時也碰過 當時也試了好久

csv可以使用的日期時間格式如下

2024-12-16T07:34:01+0800

或

2024-12-16 07:34:01

sqlite 文件上說只能使用  RFC3339 的格式 但實際上這個格式無法被解析

必須要使用 iso-8601 才行

linux date 指令如下

date --iso-8601=seconds

產生格式如下

2024-12-17T22:17:01+08:00

還有一個要注意的是在下方的 sql指令欄位中 

記得要在 format as 選 time series 然後把 日期時間的欄位加進去 這裡是 time

醬才能被解析 也才能成功畫圖

https://grafana.com/grafana/plugins/frser-sqlite-datasource/

proxmox 目前有支援 metric server 把系統資料往外丟到

Graphite 或 InfluxDB

就可以利用grafana來畫圖

因為proxmox丟到influxdb只提供 udp http https 三種方式

而influxdb預設使用tcp

因此要修改 /etc/influxdb/influxdb.conf

加上

[[udp]]
    enabled = true
    bind-address = "0.0.0.0:8089"
    database = "proxmox"
    batch-size = 1000
    batch-timeout = "1s"

proxmox 上的設定如上圖

如果設定新 proxmox 的dashboard

步驟如下

先在influxdb

create 新database

create database proxmox_new

再修改 /etc/influxdb/influxdb.conf    
加上
[[udp]]
    enabled = true
    bind-address = "0.0.0.0:8090"
    database = "proxmox_new"
    batch-size = 1000
    batch-timeout = "1s"

注意藍字部分
改完後重啟 influxdb

接下來到proxmox主控台依上述的config進行設定

再來設定grafana

到 https://grafana.com/grafana/dashboards/10048/revisions 下載 proxmox_rev1.json

修改 proxmox_rev1.json 內容 檔案最下方

 "title": "Proxmox_new",
 "uid": "kxQQuHRak",

改完後 import 時要選擇 upload json file 使用上述修改好的檔案

https://www.cxybb.com/article/caiyqn/106380171

https://www.linuxsysadmins.com/monitoring-proxmox-with-grafana/

之前發過一篇有關如何在graylog利用ip在地圖上顯示的方法
本來是有使用
但自從上次nas 掛二個HD GG後
graylog重裝 這個功能就沒有再加上去了
直到最近有人提到說想看類似的圖
才想說再起起來
沒想到由於目前收的log筆數太多
功能起起來後 因為會去解析所有進到graylog的ip
系統資源無法負荷
所以只好關掉再想別的辦法
剛好最近玩的grafana有個worldmap pannel 的plugin
想說來試看看
這個plugin支援滿多的datasource

Graphite
InfluxDB
OpenTSDB
Prometheus
MySQL
Postgres
MSSQL
Elasticsearch

想說就拿influxDB來用

首先每五分鐘到graylog取回這段時間被block的ip
取回後
再利用 geoiplookup 來把ip的地理位置取出來
在centos 7 上安裝

yum install GeoIP

裝好後就可以使用了
語法是
geoiplookup 8.8.8.8

GeoIP Country Edition: US, United States

我只想用國家來畫 所以以上資的資料就夠了
有二個原因
因為worldmap panel 直接支援用國碼來畫圖
再來就是如果要用座標來畫 一天的資料可能就會把HD撐爆了

接下來就是把以上取得的資料塞進influxdb
以下是程式碼

/bin/curl -u username:passwd 'http://10.10.10.10:9000/api/search/universal/keyword/export?query=source%3A10.10.10.20&keyword=last%205%20mins&batch_size=500&fields=message' > /tmp/5min_ipp
cat /tmp/5min_ipp |grep '\[' |awk '{print $2}'|cut -d ']' -f 1|cut -d '[' -f 2 > /tmp/5min_ip

rm /tmp/country

for i in `cat /tmp/5min_ip`
do
        country=`/bin/geoiplookup $i|awk '{print $4}'|cut -c 1-2`
        echo $country >> /tmp/country
done

cat /tmp/country|sort|uniq -c > /tmp/attack_data

while read line
do
#       echo $line
        /bin/influx -database "attacker" -execute "insert attack,name=`echo $line|awk '{print $2}'` value=`echo $line|awk '{print $1}'`"
done < /tmp/attack_data

attack 這個 Measurement只放了二個資料
國碼 這五分鐘的攻擊次數
如下

1558574202593759971 SG   9
1558574203886084275 SK   1
1558574205156245342 TH   3
1558574206520742362 TR   4

最後就是畫圖了 這也是搞最久的地方

設定influxdb 的datasource

在dashbord上加上world map panel

再來設定相關資料

紅色框一定要依据定義的field設對 不然圖就是出不來

location data 選擇country 以符合上面說明資料

如果設定正常 就會看到以下的圖了

以上的程式在每五分鐘執行時會使用大量的cpu資源
請特別注意
另外可能要依据需求定時去清理influxdb的資料 以免占用太多HD空間


https://blog.csdn.net/Py_Wang/article/details/79186634

因為最近玩grafana的關係

順便了解一下influxDB

安裝在centos 7 上很方便

把yum源加上去

直接yum install -y influxdb就可以了

不要忘記設定開几啟動

sudo systemctl enable influxdb

再來就是建user

開db

influxdb是時序性的DB

跟一般DB對比如下

Influxdb           SQL

Database          Database

Measurement Table

Points         Data Rows

再來加入資料

Influxdb的measuremet不需要先建立，也不用設定資料欄位，

直接 insert就可以了

INSERT時不要加任何的單引號或雙引號

 insert command有四個重要元素

measurement

tag <tag1-key>=<tag1-value>,<tag2-key>=<tag2-value> 如果有複數個tag時以逗點隔離

field <field1-key>=field1-value>,<field2-key>=field2-value>如果有複數個field時以逗點隔離

time 格式為timestamp，單位us，可以不加。(influxdb會自動加上server時間)

要特別注意的是insert時一定要加 measurement

time如果不指定系統會自動加上去

範例如下

INSERT test_measure,host=abc,cpu=intel volume=55

tag 跟 field 不一定要同時存在

再來談update 跟 delete

fluxbd設計之初就認為資料只會寫入而不會異動

因此沒有update相關指令

delete 的說明如下

只能清除整個 measurement

或以時間為基準來清除資料

DELETE FROM abc

DELETE FROM abc WHERE time < '2000-01-01T00:00:00Z'

DELETE WHERE time < '2000-01-01T00:00:00Z'

其他相關的指令請參考以下文件或直接google

https://ken.io/note/centos7-influxdb-install-introduction

https://dotblogs.com.tw/dizzydizzy/2018/06/30/influxbasicoper

https://anyof.me/articles/390