柴少鹏的官方网站 技术在分享中进步,水平在学习中升华

ELK日志收集实例(七)

#前面记录了一大波,这里记录一些小例子捋一下。一、再以收集nginx为例#前面记录了在Logstash端通过grok将日志转换成json形式,这里记录一种直接在客户端就将nginx转换成json形式。1.1 Filebeat客户端的操作nginx端的配置# cat /usr/local/nginx/conf/nginx.conf    log_format  main  '$remote_addr 
作者:忙碌的柴少 分类:ELK 浏览:3286 评论:13

Elasticsearch详细记录(六)

#还是翻译官网,可忽略......一、入门1.1 基本概念Elasticsearch有一些核心概念。 从一开始就理解这些概念将极大地帮助缓解学习过程。Near Realtime (NRT)Elasticsearch是一个接近实时的搜索平台。 这意味着从索引文档的时间到可搜索的时间都有一个小的延迟(通常是一秒)。Cluster      群集是一个或多个节点(服务器)的集合,它们一起保存整个数据,并在所有节点上提供联合索引和搜索功能。 一个集群由一个唯一的名
作者:忙碌的柴少 分类:ELK 浏览:3626 评论:0

Logstash详细记录(五)

这篇还是翻译官网,可略过。官网链接:https://www.elastic.co/guide/en/logstash/current/index.html一、开始使用Logstash1.1 安装Logstashhttps://www.elastic.co/guide/en/logstash/current/installing-logstash.html 1.2 使用Logstash解析日志以便运行Logstash时将输出打印到stdout,完成之后,first-pipeline.co
作者:忙碌的柴少 分类:ELK 浏览:10113 评论:6

Beats详解(四)

#前面一篇博客已经接触过Filebeat这个轻量级客户端,这里跟着官网详细介绍一下。此篇就是翻译官网,可略过。一、Beats平台介绍1.1 Beats介绍       Beats是开源数据发送者,可以将其作为代理安装在您的服务器上,以将不同类型的运营数据发送到Elasticsearch。Beats可以直接发送数据到Elasticsearch或通过Logstash发送到Elasticsearch,可以使用它来分析和转换数据。 &
作者:忙碌的柴少 分类:ELK 浏览:9842 评论:10

Logstash日志收集(三)

还是得先顺着官网了解一波:https://www.elastic.co/products/logstash 一、跟着官网学习下Logstash的基本概念 集中,转换和隐藏。您的数据Logstash是一个开源的服务器端数据处理管道,可以同时从多个源中获取数据,并将其转换为您喜欢的“存储”(自然是Elasticsearch)。)1.1 Logstash 6.0.0新增功能用多条管道简化处理: Logstash 6.0引入了针对不同用例同时运行多个管道的能力。 
作者:忙碌的柴少 分类:ELK 浏览:17330 评论:17

Kibana展示简单部署(二)

一、部署Kibana官方文档:https://www.elastic.co/guide/en/kibana/current/index.html 1.1 安装Kibana#我们就专门搞了一台机器做kibana,所以这里也单独的搞一台机器192.168.14.66做kibana。先把Elasticsearch装一遍:http://blog.51niux.com/?id=201 $ vim /home/elk/elasticsearch/config/elasticsearch.yml cl
作者:忙碌的柴少 分类:ELK 浏览:5812 评论:9

Elasticsearch集群部署(一)

前面已经对flume这种日志收集方式进行了记录http://blog.51niux.com/?id=196,这里开始记录ELK的日志收集。ELK大家已经很熟悉了主要是用来日志收集分析展示。一、ELK介绍1.1 ELK简介            一个完整的集中式日志系统,是离不开以下几个主要特点的:收集-能够采集多种来源的日志数据 传输-能够稳定的把日志数据传输到中央系统 存储-如何存储日志数据 分析-可以支持 U
作者:忙碌的柴少 分类:ELK 浏览:13493 评论:13

网络测试工具

网络压缩测试工具多种多样,这里也不详细一一列举了,就简单记录一下。#首先有个Google的BBR优化算法非常牛逼,最新版本的Linux内核已经集成了该算法,该算法是一个优化网络堵塞的算法。开启BBR的机器首先在网络正常的情况下就比不开启的机器网络性能要高20%左右,随着丢包率和延时的增大,BBR算法的跟不开启BBR算法的Linux机器在响应速度上差距也越来越大,所以BBR算法挺厉害的,在这里记录一下。部署链接地址:https://segmentfault.com/a/11900000083958
作者:忙碌的柴少 分类:运维工具使用 浏览:3410 评论:5

大数据(十四)flume实例部署

#我擦前面又把官网翻译了一遍,现在写一些例子把前面的知识捋一下,虽然前面又好多的source、channel、sink,但是实际用到的也不多。一、简单本机示例1.1 使用memory做channel、exec做source、file_roll做sink设置一个测试.conf:$ vim /home/flume/flume/conf/exec_test1.conf a1.sources = source1      &
作者:忙碌的柴少 分类:大数据 浏览:2110 评论:0

大数据(十三)flume筛选器

一、Flume channel Selectors(筛选器)如果没有指定类型,则默认为replicating(“复制”)。1.1 Replicating Channel Selector (default)selector.type  #默认值是replicating  组件类型名称需要replicating  selector.optional   #将被标记为可选的通道集合agent名称为a1,source为r
作者:忙碌的柴少 分类:大数据 浏览:2716 评论:0