柴少的官方网站 技术在学习中进步,水平在分享中升华

ELK收集mysql慢查询日志(八)

#这个mysql日志也没有收集,我们就是收集web日志来着,正好大家一起来学习下。#http://blog.51niux.com/?id=203  了解了可以在Logstash那里用在filter区域用各种插件将message转换。#http://blog.51niux.com/?id=207   了解了可以在filebeat端直接对事件进行转换然后直接就是让logstash转发一下就可以了。一、正则表达式支持#前面已经有nginx log日志的例子了,所以我们知道过滤其实就是把
作者:忙碌的柴少 分类:ELK 浏览:8985 评论:4

ELK日志收集实例(七)

#前面记录了一大波,这里记录一些小例子捋一下。一、再以收集nginx为例#前面记录了在Logstash端通过grok将日志转换成json形式,这里记录一种直接在客户端就将nginx转换成json形式。1.1 Filebeat客户端的操作nginx端的配置# cat /usr/local/nginx/conf/nginx.conf    log_format  main  '$remote_addr 
作者:忙碌的柴少 分类:ELK 浏览:7298 评论:13

Elasticsearch集群监控和版本升级(六)

#Elasticsearch集群已经部署起来了,那么平时就需要了解一下集群的整体健康情况,当然开篇说的Cerebro插件就是一种查看集群状态的工具。一、集群监控指标学习Elasticsearch集群监控状态指标分三个级别:集群级别:集群级别的监控主要是针对整个Elasticsearch集群来说,包括集群的健康状况、集群的状态等。节点级别:节点级别的监控主要是针对每个Elasticsearch实例的监控,其中包括每个实例的查询索引指标和物理资源使用指标。索引级别:索引级别的监控主要是针对每个索引来
作者:忙碌的柴少 分类:ELK 浏览:8781 评论:0

Logstash多配置文件启动(五)

一、配置Logstash(跟着官网学习一下可直接忽略)1.1 配置文件结构Logstash配置文件为要添加到事件处理管道的每种类型的插件都有一个单独的部分。 例如:# This is a comment. You should use comments to describe # parts of your configuration. input&nb
作者:忙碌的柴少 分类:ELK 浏览:24069 评论:6

Beats详解(四)

#前面一篇博客已经接触过Filebeat这个轻量级客户端,这里跟着官网详细介绍一下。此篇就是翻译官网,可略过。一、Beats平台介绍1.1 Beats介绍       Beats是开源数据发送者,可以将其作为代理安装在您的服务器上,以将不同类型的运营数据发送到Elasticsearch。Beats可以直接发送数据到Elasticsearch或通过Logstash发送到Elasticsearch,可以使用它来分析和转换数据。 &
作者:忙碌的柴少 分类:ELK 浏览:24825 评论:10

Logstash日志收集(三)

还是得先顺着官网了解一波:https://www.elastic.co/products/logstash 一、跟着官网学习下Logstash的基本概念(官网翻译可忽略) 集中,转换和隐藏。您的数据Logstash是一个开源的服务器端数据处理管道,可以同时从多个源中获取数据,并将其转换为您喜欢的“存储”(自然是Elasticsearch)。)1.1 Logstash 6.0.0新增功能用多条管道简化处理: Logstash 6.0引入了针对不同用例同时运行多个管道的
作者:忙碌的柴少 分类:ELK 浏览:29438 评论:18

Kibana展示简单部署(二)

一、部署Kibana官方文档:https://www.elastic.co/guide/en/kibana/current/index.html 1.1 安装Kibana#我们就专门搞了一台机器做kibana,所以这里也单独的搞一台机器192.168.14.66做kibana。先把Elasticsearch装一遍:http://blog.51niux.com/?id=201 $ vim /home/elk/elasticsearch/config/elasticsearch.yml cl
作者:忙碌的柴少 分类:ELK 浏览:11678 评论:9

Elasticsearch集群部署(一)

前面已经对flume这种日志收集方式进行了记录http://blog.51niux.com/?id=196,这里开始记录ELK的日志收集。ELK大家已经很熟悉了主要是用来日志收集分析展示。一、ELK介绍1.1 ELK简介            一个完整的集中式日志系统,是离不开以下几个主要特点的:收集-能够采集多种来源的日志数据 传输-能够稳定的把日志数据传输到中央系统 存储-如何存储日志数据 分析-可以支持 U
作者:忙碌的柴少 分类:ELK 浏览:22392 评论:14

网络测试工具

网络压缩测试工具多种多样,这里也不详细一一列举了,就简单记录一下。

#首先有个Google的BBR优化算法非常牛逼,最新版本的Linux内核已经集成了该算法,该算法是一个优化网络堵塞的算法。开启BBR的机器首先在网络正常的情况下就比不开启的机器网络性能要高20%左右,随着丢包率和延时的增大,BBR算法的跟不开启BBR算法的Linux机器在响应速度上差距也越来越大,所以BBR算法挺厉害的,在这里记录一下。

部署链接地址:

作者:忙碌的柴少 分类:运维工具使用 浏览:9186 评论:5

大数据(十四)flume实例部署

#我擦前面又把官网翻译了一遍,现在写一些例子把前面的知识捋一下,虽然前面又好多的source、channel、sink,但是实际用到的也不多。一、简单本机示例1.1 使用memory做channel、exec做source、file_roll做sink设置一个测试.conf:$ vim /home/flume/flume/conf/exec_test1.conf a1.sources = source1      &
作者:忙碌的柴少 分类:大数据 浏览:10592 评论:0