干货 | Logstash Grok数据结构化ETL实战

0、题记

日志分析是ELK起家的最核心业务场景之一。
如果你正在使用Elastic Stack并且正尝试将自定义Logstash日志映射到Elasticsearch，那么这篇文章适合您。
Logstash写入ES之前的中间数据处理过程一般叫做：数据ETL或者数据清洗。
本文重点介绍数据清洗环节的非结构数据转化为结构化数据的——Grok实现。

1、认知前提

老生常谈，夯实基础认知。
ELK Stack是三个开源项目的首字母缩写：Elasticsearch，Logstash和Kibana。 它们可以共同构成一个日志管理平台。
Elasticsearch：搜索和分析引擎。
Logstash：服务器端数据处理管道，它同时从多个源中提取数据，对其进行转换，然后将其发送到Elasticsearch存储。
Kibana：图表和图形来可视化数据ES中数据。
Beats