ELK簡介
ELK Stack是軟件集合Elasticsearch、Logstash、Kibana的簡稱,由這三個軟件及其相關的組件可以打造大規模日志實時處理系統。
其中,Elasticsearch 是一個基于 Lucene 的、支持全文索引的分布式存儲和索引引擎,主要負責將日志索引并存儲起來,方便業務方檢索查詢。
Logstash是一個日志收集、過濾、轉發的中間件,主要負責將各條業務線的各類日志統一收集、過濾后,轉發給 Elasticsearch 進行下一步處理。
Kibana是一個可視化工具,主要負責查詢 Elasticsearch 的數據并以可視化的方式展現給業務方,比如各類餅圖、直方圖、區域圖等。
Elastic Stack平臺架構圖
上圖是ELK Stack的架構圖,其中:
Filebeat:部署在具體的業務機器上,通過定時監控的方式獲取增量的日志,并轉發到Redis消息系統暫存。
Redis:作為一個消息系統的角色,接收從Filebeat收集轉發過來的日志,通常以集群的形式提供服務。
Logstash:然后,Logstash從Redis中獲取日志,并通過Input-Filter-Output三個階段的處理,更改或過濾日志,最終輸出我們感興趣的數據。
Elasticsearch:最后,Elasticsearch存儲并索引Logstash轉發過來的數據,并通過Kibana查詢和可視化展示,達到實時分析日志的目的。
Elasticsearch/Kibana還可以通過安裝x-pack插件實現擴展功能,比如監控Elasticsearch集群狀態、數據訪問授權等
本文來自投稿,不代表Linux運維部落立場,如若轉載,請注明出處:http://www.www58058.com/89509