最近几天在ubuntu上設定rsyslog
發現如果使用udp的設定
都沒辦法轉送出去到外部的log server
使用tcp就沒問題
設定方式只要修改
/etc/rsyslog.d/50-default.conf

加上
*.*     @@1.2.3.4:5555   使用@@表示TCP
或
*.*     @1.2.3.4:514          使用＠表示UDP    用UDP一直無法成功 沒找到原因

設定好後
systemctl restart rsyslog

https://vexxhost.com/resources/tutorials/how-to-setup-remote-system-logging-with-rsyslog-on-ubuntu-14-04-lts/

目前使用4.4.0-62的kernel
但一直發生只要更新kernel就開不了机的情況
一直到目前的 4.4.0-67都一樣
查了半天才知道是一個bug
而且好像是只要使用usb wifi就會發生
看來還是只能停在4.4.0-62
繼續等了

https://bugs.launchpad.net/linuxmint/+bug/1666615

如何在shell中直接下mysql的指令

mysql -u root -p1234 database -e"select * from data;" >> $tmp/data_from_db

如果不想顯示column 名稱 要加上 -N

mysql -u root -p1234 database -N -e"select * from data;" >> $tmp/data_from_db

graylog 在search 中 * 及 ? 的使用必須以獨立單字為為主
以下方的log舉例

Jan  9 20:10:37 192.168.101.253 System: Fan 1 (from left when facing right side), failed

如果我要找出這個訊息
就必須使用下列的語法

f?n AND f*d
或
f*n AND f????d

不能使用 f*d 這樣會找不到資料

ip的範圍搜尋使用

[192.168.0.0 TO 192.168.254.254]

但有時會出現不相關的資料
此時就要使用
message:[192.168.0.0 TO 192.168.254.254]
^^^^^^^
field的名稱
可依需求更改

graylog除了可以從console操作外
還提供了方便的REST API
讓使用者可以方便的使用文字介面 curl 就可以操作
所有提供的資料及相關語法
可以從管理介面得知
從右上角的目前message流量點入後就可以在畫面右方看到API BROWSER

以關鍵字搜尋為例
先在畫面上找到
Search/Keyword : Message search
再來點下List Operations
再點Message search with keyword as timerange

就會出現如下的畫面

有三個必填欄位

query 是關鍵字 可以使用 AND NOT OR 跟管理介面搜尋相同
keyword是時間 使用 relative 如 last 1 day 等
filelds是 欄位 使用message

填好後按下 Try it out!
接下來會問帳號密碼
打完送出後就會得到結果了

系統會給一個Request URL
可以複制起來 之後只要修改相關參數就可以直接在程式上使用

http://1.2.3.4:9000/api/search/universal/keyword?query=success%20&keyword=Last%205%20minutes&fields=message

使用curl範例如下

curl -u username:password -H 'Accept: application/json' -X GET 'http://1.2.3.4:9000/api/search/universal/keyword?query=%22success%22&keyword=last%201%20hour&fields=message'

方便使用者不進web介面就可以搜尋

但要修改時網址的傳值必須使用ascii 16進位 要留意

底下列出參考表及轉換網址

http://www.mikezilla.com/exp0012.html

http://ddddancer.blogspot.tw/2011/11/hex-url-encode.html

http://www.firesun.me/bian-ma-na-xie-shi-er-ascii/

graylog預設是把log的訊息全部吃進去
不需要分欄位
直接用關鍵字搜尋即可找到資料(中英文都ok)
但如果一定要分欄位
graylog也提供了extractor的功能
可以根據user的需求依照message的內容來定義不同的field
但使用這個功能必須要特別注意
如果log的量太大而且message的內容又太多
會吃掉大量的資源(cpu ram 及io)
所以並不建議使用

之前提到如果要把windows的log丟到syslog上
可以使用evtsys
因為最近玩graylog
官網上有介紹nxlog這個工具
不只是windows可以用 linux, android都有支援 而且還有在更新維護
先來玩一下 windows
找了一台win 10 x32來裝
安裝過程沒什麼問題
裝完後要手動去改config file
路徑在
C:\Program Files\nxlog\conf\nxlog.conf
或
C:\Program Files (x86)\nxlog\conf\nxlog.conf

修改後內容如下

<Output out>
    Module      om_udp   (預設為tcp 視需求修改)
    Host        1.1.1.1           (依需求修改)
    Port        514
#    Exec        to_syslog_snare();  (此行預設打開 但無法傳資料 註解後就正常了)
</Output>

再來就是到服務把nxlog啟動
應該就可以在syslog上看到訊息了
如果有問題 可以check一下log
C:\Program Files\nxlog\data\nxlog.log
或
C:\Program Files (x86)\nxlog\data\nxlog.log


http://www.ilanni.com/?p=595

在graylog中設定dash board相當的簡單
首先新加一個dashboard
再來依照所需的條件進行search
search 後的結果在畫面的左及右分別有二個地方可以直接把結果加入dashboard
左方加入的是統計數量 右方加入的是長條圖

完成後就可以在dashboard上看到結果了
而且會一直自動更新喔

graylog2 announce了和splunk整合的功能
https://www.graylog.org/blog/19-graylog-splunk-integration-is-now-here
說整合也不太像 說白了就是過濾一些重要的資料再往splunk丟
因為如果是使用splunk免費版本的話一天只有500MB可以用
先由graylog2過濾的話就可省下不少的空間
利用的就是stream這個功能
不過我目前並不打算把log再丟到splunk
而且打算利用stream過濾一些異常的訊息
當發生狀況時發mail通知管理者

首先要先把發信功能打開
在graylog.conf內找到下列几行並依不同狀況進行修改

transport_email_enabled = true
transport_email_hostname = 1.2.3.4
transport_email_port = 25
transport_email_use_auth = false
transport_email_use_tls = false
transport_email_use_ssl = false
transport_email_auth_username =
transport_email_auth_password =
transport_email_subject_prefix = [graylog]
transport_email_from_email =

transport_email_web_interface_url = http://12.34.56.78

改完後重啟

接下來在web介面上操作
在stream上新增一個stream

接下來才是重點就是要manage rules
假設我想要找認証成功的user
也就是在message裡要包含 authentication 和 success 二個關鍵字
在manage rules不能寫在一起 否則會找不到  必須要分開成二筆rule
Field使用的就是message
Type要使用contain 不建議使用 match 或其他 有時會找不到
value就使用關鍵字

分別建立完成後就會有二筆rule
視需求是要符合全部或單一符合

設定後一定要進行測試
測試的方法就是利用我們的關鍵字進行search
得到結果後展開點一下右上方的 test against stream 選取設定的stream

測試成功會出現如下圖的訊息













再來就要設定alert了
首先新增一個alert condition 選取 stream跟condition type

接著設定觸發的次數及相關情況及是否要重覆寄送

再來新增一個alert notification

接著設定要寄送的相關訊息

最後要enable stream

設定完成後可以先寄送一封test mail

接下來如果有觸發就會收到mail了
mail並不會有完整的message內容 只是進行通知
必須要進到管理介面看

之前提到graylog如果要把別机器log file的資料丟過來
要另外裝軟体
今天想到一個方法
使用tail -f 加上nc 就可以解決了

首先在graylog上新增一個input

sytem/inputs - inputs 選擇 Raw/Plaintext TCP

選擇node 在title上給一個名字 再來指定port  再來save就可以了

之後再要傳送log的server上使用

tail -F /var/log/messages | nc 1.1.1.1 6666

必須使用 -F 否則logrotate後就不會再送資料了

1.1.1.1為graylog的ip
6666為上一步驟所指定的port

這樣資料就進來了

只是有個問題 如果graylog重開 nc就會斷掉了

因此寫了一個shell來開机執行

#!/bin/bash
#check graylog data send every 5 secs
while [ true ]
do
sleep 5
ps -ef|grep 1.1.1.1|grep -v grep || /usr/bin/tail -F /var/log/messages | /usr/bin/nc 1.1.1.1 6666
done

每5秒檢查一次 如果有問題就重下指令

近來發現一個proxmox備份的問題
就是當guest os的hd過大時(目前觀察是500G以上)
若備分使用壓縮往往會不成功
尤其是在備分設備只支援1G的環境下
而且都是備分到一半guest os就不正常關机了 (進度不一定)
log如下

110: Feb 28 00:42:37 INFO: status: 51% (127682347008/250059350016), sparse 23% (59749072896), duration 994, 238/225 MB/s
110: Feb 28 00:42:50 INFO: status: 52% (130099838976/250059350016), sparse 23% (59900887040), duration 1007, 185/174 MB/s
110: Feb 28 00:44:06 INFO: status: 53% (132779606016/250059350016), sparse 24% (60026957824), duration 1083, 35/33 MB/s
110: Feb 28 00:44:32 INFO: status: 54% (135066157056/250059350016), sparse 24% (60116475904), duration 1109, 87/84 MB/s
110: Feb 28 00:44:40 INFO: status: 55% (137644998656/250059350016), sparse 24% (60216111104), duration 1117, 322/309 MB/s
110: Feb 28 00:44:53 INFO: status: 56% (140127109120/250059350016), sparse 24% (60333727744), duration 1130, 190/181 MB/s
110: Feb 28 00:46:30 ERROR: VM 110 not running
110: Feb 28 00:46:30 INFO: aborting backup job
110: Feb 28 00:46:30 ERROR: VM 110 not running
110: Feb 28 00:46:37 ERROR: Backup of VM 110 failed - VM 110 not running

但在10G的情況到目前為止沒發現問題

找了一下forum有一些人反應這個問題
但好像沒有啥解法

目前看來就二個方法

1. 不要使用壓縮備分(備分出來的檔案會比較大)

2. 把所有設備升級到10G

proxmox 因為是重新安裝更新到4.4
所以沒有把原來的user跟權限帶過來
今天有机器的管理者反應無法登入
才發現忘了加回去
但在操作的過程中發現
目前4.4版在管理介面上雖然可以新增group
但卻沒辦法把role assign到group去
之前在3版時是可以醬操作沒問題的
找了相關文件
目前看來是要用指令來操作

pveum

如果只要授權只能管理guest而無法操作host管理介面
指令如下

pveum aclmod /vms -user joe@pve -role PVEVMUser

相關文件如下
但4版後有些role的名稱不一樣了 要注意

http://pve.proxmox.com/wiki/User_Management#pveum_permission_management

之前裝了graylog起來用
今天在管理介面上出現有新版的訊息
依据官網的說明進行升級

記得在升級前要備分一下目前的config
sudo cp /opt/graylog/conf/graylog.conf  /opt/graylog/conf/graylog.conf_bck
升完後有可能config都會回覆成預設值

另一個設定檔
sudo cp /etc/graylog/graylog-settings.json /etc/graylog/graylog-settings.json_bck

$ wget https://packages.graylog2.org/releases/graylog-omnibus/ubuntu/graylog_latest.deb
$ sudo graylog-ctl stop

take snapshot if storage suppport

$ sudo dpkg -G -i graylog_latest.deb
$ sudo graylog-ctl backup-etcd
$ sudo graylog-ctl reconfigure

reconfigure之後要比對一下目前的config跟上面備的的是否不同再進行修正

$ sudo reboot

升完重開後發現時間又不對了 config裡好像只有密碼不變
其他都恢復成預設值了
再依照之前的記錄修正config及os的時區
目前看來運作ok

http://docs.graylog.org/en/2.2/pages/configuration/graylog_ctl.html#upgrade-graylog-omnibus

前一陣子升級proxmox後發生一個問題
原來使用的hp storage連不上了
找了半天才發現因為proxmox新server的
initiatorname 不同了
在hp cmc上修改後連線就正常了
但連上後發現另一個問題就是裡面還殘留升級前的檔案
因為升級後已經先搬到server的肚子
所以這些檔案就變成占空間的垃圾
而且也無法從管理介面上刪除
要用指令刪除

先用 lvdisplay 找出有那些不用的image

再使用 lvremove 刪除
lvremove /dev/test/vm-121-disk-1

https://forum.proxmox.com/threads/remove-disk-images-from-lvm.10215/

今天朋友介紹graylog
稍微google了一下
看來跟之前學過的ELK是差不多的東西
都是log管理的
不過之前在上ELK課的時候安裝有點複雜
想說還是繼續用splunk好了
不過graylog網站上就直接有ova可以下來用
不用再自己花時間裝 滿方便的
現在好像愈來愈多的軟体都醬做了
省得user安裝的麻煩
於是下載回來稍微玩了一下

ovf的os是用ubuntu 登入後記得改一下密碼
另外要改的是時區 預設使用的是UTC 記得改為自己的時區

sudo cp /usr/share/zoneinfo/Asia/Taipei /etc/localtime

再來就是要改graylog的config了
因為web介面上都不能改
路徑在
/opt/graylog/conf/graylog.conf

改web登入密碼
說明是要用shasum來hash
產生後直接複制貼上

# Create one by using for example: echo -n yourpassword | shasum -a 256
# and put the resulting hash value into the following line
root_password_sha2 = 895027ffec7981a554a916e76676677ee0d5da8bf35ff1ba7f15362e35a9781a

再來改時區　參考以下連結
http://www.joda.org/joda-time/timezones.html

root_timezone = Asia/Taipei

最後改一下搜尋結果顯示高亮

allow_highlighting = true

預設會有一支java起在 udp 514來收syslog
只要在其他設備上設定往這台丟就好了

至於如果要直接吃進file的內容
在splunk是只要直接設定就好了
但graylog比較麻煩
必須要再安裝 Collector Sidecar (支援由其他的机器丟至graylog)
裝好後先修改config file

/etc/graylog/collector-sidecar/collector_sidecar.yml
把tag的地方全部mark
tags:
#    - linux
#    - apache

然後再設定
操作流程請參考官方文件

http://docs.graylog.org/en/2.1/pages/collector_sidecar.html#graylog-collector-sidecar
http://docs.graylog.org/en/2.1/pages/sending_data.html

要注意的是input file 好像不能使用* 要一個一個指定

當log量大但hd容量不夠想限制儲存天數時
在管理介面上 system - indices - Edit
調整數量

在graylog.conf加上以下參數(依需求而定)

elasticsearch_max_time_per_index = 1d
elasticsearch_max_number_of_indices = 180
retention_strategy = delete

https://www.digitalocean.com/community/questions/how-to-config-graylog-data-save-days

目前使用起來感覺跟splunk差不多
不過splunk還是快一點
只是splunk免費版有每天500MB的限制就是了
如果有大量log需求又不想花錢
可以考慮看看

今天拿到一個vmdk
想說proxmox有直接支援 直接拿來用
結果無法開机
一直出現I/O error
算了轉成qcow2吧

qemu-img convert -f vmdk -O qcow2 abc.vmdk abc.qcow2

轉完後開机就正常了

今天要在ubuntu 16.04 上使用teamview時 直接下載 執行檔來執行
解開執行後出現如下的錯誤

/tmp/tv_bin/script/tvw_exec_legacy: line 9: /tmp/tv_bin/wine/bin/wineserver: 沒有此一檔案或目錄
/tmp/tv_bin/script/tvw_exec: line 48: /tmp/tv_bin/teamviewerd: 沒有此一檔案或目錄

檢查了一下 明明檔案都有
依照官方的說明下指令檢查看看

./tv-setup checklibs

結果出現

Your system probably does not support 32 bit binaries (yet).
    If you are on a 64 bit Intel/AMD system, you might need to install
    initial 32 bit support by installing a basic 32 bit package, for example:
      apt-get install libc6:i386 (DEB multiarch, > ~2012)
      apt-get install libc6-i386 ia32-libs (DEB legacy,    < ~2012)
      yum install glibc.i686 (RPM RedHat)
      zypper install glibc.i686 (RPM Suse)
    or similar.

原來teamview的linux版本不支援x64的os

必須補上x32的library

除了libc6:i386 還有以下

libdbus-1-3:i386 libasound2:i386 libexpat1:i386 libfontconfig1:i386 libfreetype6:i386 libjpeg62:i386 libpng12-0:i386 libsm6:i386 libxdamage1:i386 libxext6:i386 libxfixes3:i386 libxinerama1:i386 libxrandr2:i386 libxrender1:i386 libxtst6:i386 zlib1g:i386

全部補好後再執行就ok了

官方提供的deb檔也只有x32的版本

暫時先醬

只能再等看看什麼時候能支援x64了

半年一次弱掃時間又到了
果不其然
又出問題了
使用半年前的vm 掃到一半就當機 強制重開後竟然連用都不能用了
只好再到kali linux重捉一次
之前是都捉virtualbox的image來用
這次想把她轉到proxmox 所以捉了vmware的image
記錄一下操作的流程
image捉回來後解開有下列檔案

Kali-Linux-Light-2016.2-vm-amd64.nvram    Kali-Linux-Light-2016.2-vm-amd64-s007.vmdk
Kali-Linux-Light-2016.2-vm-amd64-s001.vmdk  Kali-Linux-Light-2016.2-vm-amd64-s008.vmdk
Kali-Linux-Light-2016.2-vm-amd64-s002.vmdk  Kali-Linux-Light-2016.2-vm-amd64.vmdk
Kali-Linux-Light-2016.2-vm-amd64-s003.vmdk  Kali-Linux-Light-2016.2-vm-amd64.vmsd
Kali-Linux-Light-2016.2-vm-amd64-s004.vmdk  Kali-Linux-Light-2016.2-vm-amd64.vmx
Kali-Linux-Light-2016.2-vm-amd64-s005.vmdk  Kali-Linux-Light-2016.2-vm-amd64.vmxf
Kali-Linux-Light-2016.2-vm-amd64-s006.vmdk

首先就是要把vmdk合併並轉成raw檔
只要下一個指令就可以完成 會自動合併所有的vmdk檔

qemu-img convert -f vmdk -O raw Kali-Linux-Light-2016.2-vm-amd64.vmdk 123.raw

再來在proxmox上開一個guest os 假設guest id為 123
硬碟要選IDE format要選raw 如下圖所示

開好後修改HD的cache mode為write through
如下圖所示














修改/etc/pve/qemu-server/123.conf裡

ide0: datastore:123/vm-123-disk-1.raw,cache=writethrough

把預設的32G刪除

把之前轉好的123.raw 改名並覆蓋掉vm-123-disk-1.raw

大功告成

去年底進了三台server跟一台網路設備
接上arista 10G switch後都發現有大量的rx error

換了線 gbic 甚至再借了一台hp的10G設備來測都一樣
感覺上應該不是layer1的問題
詢問cisco 6504廠商後才知道10G已經不會去檢查封包內容 只要header正常就會直接forward
因此arista上並沒有看到任何的error
建議捉封包來看看
結果一捉發現以下的問題

cisco 6504送出的DTP(Dynamic Trunking Protocol)封包出現checksum有問題 XD
因為目前也用不到DTP
所以建議先關了
在跟arista對接的cisco port上下指令

switchport nonegotiate

目前已經解決
第一次碰到cisco送出的封包有問題
無言

tcpdump是文字介面下非常好用的捉封包工具
但捉完後不是很好判讀
因此通常會捉完後再使用wireshark
預設只會捉取封包部分內容
IPv4 68 bytes
IPv6 96 bytes

所以要加上 -s0的參數來捉取完整封包
範例如下

tcpdump -i eth0 -s0 -c 10000 -w /tmp/dumpfile

-c 表示捉取几個封包後就結束
-w 表示把捉取封包的內容存檔 可使用wireshark 開啟

https://wiki.wireshark.org/SnapLen