#首先就是此篇略过，本人本身并非java开发者，对java这块也不是太懂，就是工作中老是接触java的东西，又学习了架构师里面的jvm调优，所以这里只是网上收集记录一下给自己做个笔记的作用。可略过写的没什么深度。一、JVM介绍1.1 什么是JVM JVM是Java Virtual Machine（Java虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实
#这里也不知道标题怎么写，主要是对前面的一个梳理外加整体流程的一个补充吧。一、还是跟着官网补充几个插件1.1 mutate filter plugin插件官网链接：https://www.elastic.co/guide/en/logstash/current/plugins-filters-mutate.html mutate筛选器允许您在字段上执行常规突变。 您可以重命名，删除，替换和修改事件中的字段。下面是mutate过滤器配置选
#主要是再了解一个插件，当然网上也有很多这种例子，文章也不长。一、跟着官网学习一下Useragent插件官网链接：https://www.elastic.co/guide/en/logstash/current/plugins-filters-useragent.html
基于BrowserScope数据将用户代理字符串解析为结构化数据UserAgent过滤器，添加有关用户代理的信息，如系列，操作系统，版本和设备。L
#这也是一个很重要的点需要注意的。一、跟着官网学习一下date插件 日期过滤器用于从字段中解析日期，然后使用该日期或时间戳作为事件的logstash时间戳。例如，syslog事件通常具有这样的时间戳："Apr 17 09:32:01" 你可以使用日期格式MMM dd HH：mm：ss来解析这个。日期过滤器对于排序事件和回填旧数
https://blog.51niux.com/?id=212 #上一章已经用Geoip获取到了用户的地理位置，这一章主要是各种出图，得单开一张了，不然流量太大了。一、可视化设置#既然将来源IP地址得出来了，然我们就多出几张图。1.1 kibana显示来源IP的TOP50博文来自：www.51niux.com1.2 kibana显示来源地址省份的TOP#选择Pie饼图博文来自：www.51niux.com1.3 kibana显示来源地址城市的TOP博文来自：www.51niux.com
IP地址位置用于确定IP地址的物理位置，因为ELK已经收集了web日志，如果通过ELK分析出来用户来源地址的比例，那么多网站机构的调整都是非常有帮助的。一、跟着官网了解一波Geoip GeoIP过滤器根据来自Maxmind GeoLite2数据库的数据添加有关IP地址的地理位置的信息。1.1 支持的数据库 这个插件与开箱即用的GeoLite2（http
#如果消息量比较大的话怕ES顶不住，然后再其前端加了一层消息队列减轻压力，将logstash采集到的数据写入redis然后再通过logstash从redis把数据拿出来写入到ES中。当然redis是内存级缓存，而且是持久化存储，如果量比较大的话需要内存就打、太奢侈。我这里线上也没用这种方式，这里也就是简单的记录一下，主要是一种缓冲思路嘛。一、架构简单介绍1.1 架构介绍#此图来自于：http://blog.csdn.net/u010636606/article/details/71237248
#官网链接：https://www.elastic.co/guide/en/x-pack/current/index.html #只是用官网文档做文字方面的介绍。 X-Pack是一个Elastic Stack扩展，它将安全性，警报，监视，报告和图形功能捆绑到一个易于安装的软件包中。 虽然X-Pack组件旨在无缝地一起工作，但可以轻松启用或禁用要使用的功能。 在Ela
#基本全是翻译官网可略过。一、开始1.1 加载示例数据提取文件：$ wget https://download.elastic.co/demos/kibana/gettingstarted/accounts.zip$ wget https://download.elastic.co/demos/kibana/gettingstarted/logs.jsonl.gz$ wget https://download.elastic.co/demos/kibana/gettingstarted/shak
#这个mysql日志也没有收集，我们就是收集web日志来着，正好大家一起来学习下。#https://blog.51niux.com/?id=203 了解了可以在Logstash那里用在filter区域用各种插件将message转换。#https://blog.51niux.com/?id=207 了解了可以在filebeat端直接对事件进行转换然后直接就是让logstash转发一下就可以了。一、正则表达式支持#前面已经有nginx log日志的例子了，所以我们知道过滤其实就是把