云計算
這篇文章主要介紹了elk之logstash如何安裝與導(dǎo)入數(shù)據(jù)，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。
數(shù)據(jù)集下載
下載地址：https://grouplens.org/datasets/movielens/
我們選擇最小數(shù)據(jù)集即可logstash 下載與安裝
首先去官網(wǎng)下載 logstash 安裝包：https://www.elastic.co/downloads/logstash
logstash download
如果下載速度太慢可以選用這個代理地址下載：http://mirror.azk8s.cn/elastic/logstash/
azk8s
下載完安裝包并解壓進(jìn)入config目錄：
logstash-config
同時配置如下內(nèi)容,你只需要按照你的數(shù)據(jù)集的路徑改一下配置文件中最開始的path即可：
logstash.confinput {
file {
path => \”/users/tanjian/desktop/logstash-7.6.1/movielens/ml-latest-small/movies.csv\” # 這里指定數(shù)據(jù)集路徑
start_position => \”beginning\”
sincedb_path => \”/dev/null\”
}
}
filter {
csv {
separator => \”,\”
columns => [\”id\”,\”content\”,\”genre\”]
}
mutate {
split => { \”genre\” => \”|\” }
remove_field => [\”path\”, \”host\”,\”@timestamp\”,\”message\”]
}
mutate {
split => [\”content\”, \”(\”]
add_field => { \”title\” => \”%{[content][0]}\”}
add_field => { \”year\” => \”%{[content][1]}\”}
}
mutate {
convert => {
\”year\” => \”integer\”
}
strip => [\”title\”]
remove_field => [\”path\”, \”host\”,\”@timestamp\”,\”message\”,\”content\”]
}
}
output {
elasticsearch {
hosts => \”http://localhost:9200\”
index => \”movies\”
document_id => \”%{id}\”
}
stdout {}
}
logstash 運行
配置好上面的logstash.conf文件后，我們就可以啟動 logstash 并開始導(dǎo)入數(shù)據(jù)了：
sudo ./bin/logstash -f config/logstash.conf
如下圖 logstash 日志所示，正在導(dǎo)入數(shù)據(jù)集：
logstash log打開 kibana 查看數(shù)據(jù)
在查看數(shù)據(jù)之前，我們需要打開http://localhost:5601通過 kibana 創(chuàng)建一個 index pattern：
index pattern
之后，我們就可以通過discover去查看我們的數(shù)據(jù)了：
discover
剩下的就交給你自己折騰吧，你可以去dev tools通過 qsl 語法搜索數(shù)據(jù)熟悉一下語法。
感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“elk之logstash如何安裝與導(dǎo)入數(shù)據(jù)”這篇文章對大家有幫助，同時也希望大家多多支持箭頭云，關(guān)注資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!