柴少鹏的官方网站 技术在分享中进步,水平在学习中升华

ELK利用UserAgent显示浏览器信息(十五)

#主要是再了解一个插件,当然网上也有很多这种例子,文章也不长。一、跟着官网学习一下Useragent插件官网链接:https://www.elastic.co/guide/en/logstash/current/plugins-filters-useragent.html       基于BrowserScope数据将用户代理字符串解析为结构化数据UserAgent过滤器,添加有关用户代理的信息,如系列,操作系统,版本和设备。L
作者:忙碌的柴少 分类:ELK 浏览:4940 评论:0

Logstash将日志产生时间替换@timestamp(十四)

#这也是一个很重要的点需要注意的。一、跟着官网学习一下date插件      日期过滤器用于从字段中解析日期,然后使用该日期或时间戳作为事件的logstash时间戳。例如,syslog事件通常具有这样的时间戳:"Apr 17 09:32:01"       你可以使用日期格式MMM dd HH:mm:ss来解析这个。日期过滤器对于排序事件和回填旧数
作者:忙碌的柴少 分类:ELK 浏览:8270 评论:0

Kibana利用GeoIP获取用户地址可视化(十三)

http://blog.51niux.com/?id=212   #上一章已经用Geoip获取到了用户的地理位置,这一章主要是各种出图,得单开一张了,不然流量太大了。一、可视化设置#既然将来源IP地址得出来了,然我们就多出几张图。1.1 kibana显示来源IP的TOP50博文来自:www.51niux.com1.2 kibana显示来源地址省份的TOP#选择Pie饼图博文来自:www.51niux.com1.3 kibana显示来源地址城市的TOP博文来自:www.51niux.com
作者:忙碌的柴少 分类:ELK 浏览:1829 评论:0

ELK利用GeoIP映射用户地理位置(十二)

      IP地址位置用于确定IP地址的物理位置,因为ELK已经收集了web日志,如果通过ELK分析出来用户来源地址的比例,那么多网站机构的调整都是非常有帮助的。一、跟着官网了解一波Geoip       GeoIP过滤器根据来自Maxmind GeoLite2数据库的数据添加有关IP地址的地理位置的信息。1.1 支持的数据库       这个插件与开箱即用的GeoLite2(http
作者:忙碌的柴少 分类:ELK 浏览:9748 评论:5

ELK加入Redis队列(十一)

#如果消息量比较大的话怕ES顶不住,然后再其前端加了一层消息队列减轻压力,将logstash采集到的数据写入redis然后再通过logstash从redis把数据拿出来写入到ES中。当然redis是内存级缓存,而且是持久化存储,如果量比较大的话需要内存就打、太奢侈。我这里线上也没用这种方式,这里也就是简单的记录一下,主要是一种缓冲思路嘛。一、架构简单介绍1.1 架构介绍#此图来自于:http://blog.csdn.net/u010636606/article/details/71237248
作者:忙碌的柴少 分类:ELK 浏览:2985 评论:3

安装X-Pack(十)

#官网链接:https://www.elastic.co/guide/en/x-pack/current/index.html       #只是用官网文档做文字方面的介绍。      X-Pack是一个Elastic Stack扩展,它将安全性,警报,监视,报告和图形功能捆绑到一个易于安装的软件包中。 虽然X-Pack组件旨在无缝地一起工作,但可以轻松启用或禁用要使用的功能。      在Ela
作者:忙碌的柴少 分类:ELK 浏览:14967 评论:2

Kibana详细记录(九)

#基本全是翻译官网可略过。一、开始1.1 加载示例数据提取文件:$ wget https://download.elastic.co/demos/kibana/gettingstarted/accounts.zip$ wget https://download.elastic.co/demos/kibana/gettingstarted/logs.jsonl.gz$ wget https://download.elastic.co/demos/kibana/gettingstarted/shak
作者:忙碌的柴少 分类:ELK 浏览:6469 评论:2

ELK收集mysql慢查询日志(八)

#这个mysql日志也没有收集,我们就是收集web日志来着,正好大家一起来学习下。#http://blog.51niux.com/?id=203  了解了可以在Logstash那里用在filter区域用各种插件将message转换。#http://blog.51niux.com/?id=207   了解了可以在filebeat端直接对事件进行转换然后直接就是让logstash转发一下就可以了。一、正则表达式支持#前面已经有nginx log日志的例子了,所以我们知道过滤其实就是把
作者:忙碌的柴少 分类:ELK 浏览:3760 评论:3

ELK日志收集实例(七)

#前面记录了一大波,这里记录一些小例子捋一下。一、再以收集nginx为例#前面记录了在Logstash端通过grok将日志转换成json形式,这里记录一种直接在客户端就将nginx转换成json形式。1.1 Filebeat客户端的操作nginx端的配置# cat /usr/local/nginx/conf/nginx.conf    log_format  main  '$remote_addr 
作者:忙碌的柴少 分类:ELK 浏览:2730 评论:12

Elasticsearch详细记录(六)

#还是翻译官网,可忽略......一、入门1.1 基本概念Elasticsearch有一些核心概念。 从一开始就理解这些概念将极大地帮助缓解学习过程。Near Realtime (NRT)Elasticsearch是一个接近实时的搜索平台。 这意味着从索引文档的时间到可搜索的时间都有一个小的延迟(通常是一秒)。Cluster      群集是一个或多个节点(服务器)的集合,它们一起保存整个数据,并在所有节点上提供联合索引和搜索功能。 一个集群由一个唯一的名
作者:忙碌的柴少 分类:ELK 浏览:2950 评论:0