顯示具有 netflow 標籤的文章。 顯示所有文章
顯示具有 netflow 標籤的文章。 顯示所有文章

2025/11/04

graylog 7 昨天發布

比較大的改變是不再使用 opensearch 而改用 graylog-datanode

照著官方文件安裝沒什麼問題

如果是在PVE上安裝

因為 mongodb 必須使用到cpu的 avx 功能

所以cpu type 至少要選 x86-64-v3 以上

這個在graylog 5 安裝時就有這個要求了

特別要注意的是以下流程跟之前不同

安裝完後必須 cat /var/log/graylog-server/server.log

找到首次進入系統的帳號密碼及連結

如下範例
http://admin:ghWgeIAkKl@10.0.0.1:9000

按照畫面上的流程步驟 使用預設值一直下一步即可

目前先把netflow轉到新版了 觀察一陣子看看


https://go2docs.graylog.org/current/setting_up_graylog/web_interface.htm#Prefligh

https://graylog.org/

https://go2docs.graylog.org/current/downloading_and_installing_graylog/red_hat_installation.htm

2024/05/06

發生好几次電腦大量封包的傳輸
netflow的值都在几萬甚至几十萬
以往的做法都是先把ip block掉
等user自己來反應
但醬沒辦法在事發的當時撈到相關資料
到底是那個程式造成的
最近找到
LiveTcpUdpWatch
這個工具
就可以在 eset protect 上直接派送到電腦上執行並傳回資料
馬上就可以知道是那支程式造成的 資料撈回來後再把ip block掉
相當方便

程式如下


curl -o %temp%\LiveTcpUdpWatch.exe http://10.0.0.1/LiveTcpUdpWatch.exe

%temp%\LiveTcpUdpWatch.exe /CaptureTime 300000 /scomma "%temp%\tcpudp.csv"

ping -n 310 localhost > NUL

curl -u id:passwd -T "%TEMP%\tcpudp.csv" ftp://10.0.0.2/




https://www.nirsoft.net 這個站裡的工具都很好用

2021/08/19

因為最近在測試一個新系統需要下載大量資料來驗証
但出現一個問題
我明明下載了二次 9G的iso檔
可是在netflow的統計資料裡卻只有 4G
看了一下其他設備的統計也沒錯
所以應該是吐 netflow那台設備的問題了
檢查完才發現
netflow v5 吐出來記錄 BYTE 這個欄位的長度預設只有4 byte
所以短時間大量流量時便會超過 4 byte 而導致資料不正確
而上述說的設備在 netflow v9 也沿用了  4 byte 
但因為 netflow v9 這個欄位長度可調整
所以目前改為 8 byte
值就正常了

所以結論就是 不要再使用 netflow v5 了

2021/08/04

記錄一下在 ubuntu 20.04 (LXC) 安裝nfsen

OS布署完成後先update

apt update

apt upgrade -y

再來修改時區

timedatectl set-timezone Asia/Taipei


安裝所需 package

apt install -y nfdump rrdtool librrd-dev librrds-perl librrdp-perl libpcap-dev php php-common libsocket6-perl apache2 libapache2-mod-php libmailtools-perl libio-socket-ssl-perl

下載 nfsen

從官方下載的版本在安裝時會出現以下的 bug

Can't use string ("live") as a HASH ref while "strict refs" in use at libexec/NfProfile.pm line 1238.


因此從 https://github.com/p-alik/nfsen/releases/tag/nfsen-1.3.8 下載已修正版本

下載後解壓縮

cd nfsen-nfsen-1.3.8/etc

cp nfsen-dist.conf nfsen.conf

決定安裝路徑在 /opt/nfsen

修改 nfsen.conf

$BASEDIR = "/opt/nfsen";

$PREFIX = '/usr/bin/';

$USER = "www-data";

$WWWUSER = "www-data";

$WWWGROUP = "www-data";

%sources = ( 'upstream1' => {'port'=>'9995','col'=>'#0000ff','type'=>'netflow'}' );


mkdir /opt/nfsen

mkdir /var/www/html/nfsen


adduser netflow


安裝

./install.pl ./etc/nfsen.conf

出現

RRD version '1.7002' not yet supported!


需修改 libexec/NfSenRRD.pm 約在第 76 行 改成 ==> $rrd_version >= 1.2 && $rrd_version < 1.9


再執行一次

./install.pl ./etc/nfsen.conf


啟動

/opt/nfsen/bin/nfsen start


設定開几啟動


cd /etc/systemd/system
ln -s /lib/systemd/system/rc-local.service


vi /etc/rc.local

#!/bin/sh -e

/usr/local/nfsen/bin/nfsen start

exit 0

chmod +x /etc/rc.local 


設定開几不啟動nfdump 因為nfsen啟動時會自行呼叫

systemctl disable nfdump.service


重開几


設定 netflow 導到 udp 9995


打開 http://nfsen_ip/nfsen/nfsen.php 確認是否正常


https://sc8log.blogspot.com/2017/06/ubuntu-1604-netflow.html

https://github.com/p-alik/nfsen/releases/tag/nfsen-1.3.8


https://github.com/p-alik/nfsen/issues/1

https://zoomadmin.com/HowToInstall/UbuntuPackage/libsocket6-perl

2019/10/03

最近才發現cisco 6504吐出來的netflow沒有包含 tcp flags的資料
昏到

https://www.cisco.com/c/en/us/support/docs/switches/catalyst-6500-series-switches/70974-netflow-catalyst6500.html

2017/04/27

今天在想怎麼把netflow的資料吐到graylog上
這樣就可以很方便快速的查找了
發現本來就有plugin可以用
安裝的方式也很簡單
把.jar檔下載後直接放到 plugin的目錄

/opt/graylog/plugin

再來重啟graylog 這樣才會把plugin呼叫進來

sudo graylog-ctl restart

再來就會在input裡多了一個netflow的選項可以用
設定好

接下來再設定switch把netflow的封包吐過來就可以了



注意目前只能收v5

2016/11/07

今天在確認nfcapd有沒有ipv6的資料時發現一個問題
nfdump時ipv6位址不完整





查了文件才知道 原來nfdump預設是會把ipv6省略表示的
如果要顯示完整ip
必須加上參數
-o long6

-o extended6


2016/07/05

原本一直以來都是使用flow-tools來收netflow的資料

http://freecode.com/projects/flow-tools
flow-capture

但最近的工作需要收集從fortiget傳來的netflow的資料
一開始也是使用flow-capture
但一直沒有資料
用tcpdump去看
是有資料進來的
但查了一些文件才知道fortiget送過來的是netflow v9
flow-capture不支援
於是改用nfdump 支援 v5 v7 v9
資料就正常收取了
http://nfdump.sourceforge.net/
nfcapd

2016/03/29

上週認証設備掛點
除了認証失效外
因為流量的計算也在該台上 所以quota的限制也就失效了
本來想直接撈LP的netflow資料來算
但因為會包含內部對內部的流量 所以會造成問題
因此打算用對外port mirror的資料轉成netflow來使用

fprobe
把port mirror的資料轉成netflow格式再吐出來

flow-tools
收集netflow並格式化成所需的資料

在ubuntu上直接apt-get install就好了
centos沒辦法直接yum

相關指令如下

/usr/sbin/fprobe -ieth1 -fip localhost:555
/usr/bin/flow-capture -V 5 -z 6 -n 572 -e 5000 -N -1 -w /tmp/flow 0/0/555

計算流量排名指令如下
取出超過10G下載或上傳量的ip

flow-cat /tmp/flow/`date +'%Y-%m-%d'`/ft*|flow-report -v TYPE=ip-destination-address|grep "192.168.\|10.10."|sort -rnk3 |awk '$3 > 5000000000 {print $1}'|grep -v -f /root/netflow_white_list > /tmp/netflow_quota_download

flow-cat /tmp/flow/`date +'%Y-%m-%d'`/ft*|flow-report -v TYPE=ip-source-address|grep "192.168.\|10.10."|sort -rnk3 |awk '$3 > 5000000000 {print $1}'|grep -v -f /root/netflow_white_list > /tmp/netflow_quota_upload

https://jal.tw/doku.php?id=netflow:fprobe

2016/01/11

昨天看到這個工具還不錯 fastnetmon
https://github.com/pavel-odintsov/fastnetmon
可以使用netflow sflow port mirror的資料來計算pps mbps 及flow數
當到達指定的上限時
可以發出告警或執行特定動作
安裝很簡單
裝好centos 7後

wget https://raw.githubusercontent.com/pavel-odintsov/fastnetmon/master/src/fastnetmon_install.pl -Ofastnetmon_install.pl

perl fastnetmon_install.pl

會自動把需要的套件補齊
裝好後依需求修改 /etc/fastnetmon.conf
另外在/tmp找到notify_about_attack.sh
cp到/usr/local/bin/ 一樣依需求修改內容

如果使用port mirror 要把網卡的 promisc打開
寫入 /etc/rc.local
/usr/sbin/ifconfig eth1 promisc

再來設定開机執行 fastnetmon

systemctl enable fastnetmon

以下的程式可以觀看即時的狀況
/opt/fastnetmon/fastnetmon_client