柴少鹏的官方网站 技术在分享中进步,水平在学习中升华

Logstash详细记录(五)

这篇还是翻译官网,可略过。官网链接:https://www.elastic.co/guide/en/logstash/current/index.html一、开始使用Logstash1.1 安装Logstashhttps://www.elastic.co/guide/en/logstash/current/installing-logstash.html 1.2 使用Logstash解析日志以便运行Logstash时将输出打印到stdout,完成之后,first-pipeline.co
作者:忙碌的柴少 分类:ELK 浏览:7979 评论:6

Beats详解(四)

#前面一篇博客已经接触过Filebeat这个轻量级客户端,这里跟着官网详细介绍一下。此篇就是翻译官网,可略过。一、Beats平台介绍1.1 Beats介绍       Beats是开源数据发送者,可以将其作为代理安装在您的服务器上,以将不同类型的运营数据发送到Elasticsearch。Beats可以直接发送数据到Elasticsearch或通过Logstash发送到Elasticsearch,可以使用它来分析和转换数据。 &
作者:忙碌的柴少 分类:ELK 浏览:7136 评论:8

Logstash日志收集(三)

还是得先顺着官网了解一波:https://www.elastic.co/products/logstash 一、跟着官网学习下Logstash的基本概念 集中,转换和隐藏。您的数据Logstash是一个开源的服务器端数据处理管道,可以同时从多个源中获取数据,并将其转换为您喜欢的“存储”(自然是Elasticsearch)。)1.1 Logstash 6.0.0新增功能用多条管道简化处理: Logstash 6.0引入了针对不同用例同时运行多个管道的能力。 
作者:忙碌的柴少 分类:ELK 浏览:13991 评论:15

Kibana展示简单部署(二)

一、部署Kibana官方文档:https://www.elastic.co/guide/en/kibana/current/index.html 1.1 安装Kibana#我们就专门搞了一台机器做kibana,所以这里也单独的搞一台机器192.168.14.66做kibana。先把Elasticsearch装一遍:http://blog.51niux.com/?id=201 $ vim /home/elk/elasticsearch/config/elasticsearch.yml cl
作者:忙碌的柴少 分类:ELK 浏览:4641 评论:9

Elasticsearch集群部署(一)

前面已经对flume这种日志收集方式进行了记录http://blog.51niux.com/?id=196,这里开始记录ELK的日志收集。ELK大家已经很熟悉了主要是用来日志收集分析展示。一、ELK介绍1.1 ELK简介            一个完整的集中式日志系统,是离不开以下几个主要特点的:收集-能够采集多种来源的日志数据 传输-能够稳定的把日志数据传输到中央系统 存储-如何存储日志数据 分析-可以支持 U
作者:忙碌的柴少 分类:ELK 浏览:12159 评论:13

网络测试工具

网络压缩测试工具多种多样,这里也不详细一一列举了,就简单记录一下。#首先有个Google的BBR优化算法非常牛逼,最新版本的Linux内核已经集成了该算法,该算法是一个优化网络堵塞的算法。开启BBR的机器首先在网络正常的情况下就比不开启的机器网络性能要高20%左右,随着丢包率和延时的增大,BBR算法的跟不开启BBR算法的Linux机器在响应速度上差距也越来越大,所以BBR算法挺厉害的,在这里记录一下。部署链接地址:https://segmentfault.com/a/11900000083958
作者:忙碌的柴少 分类:运维工具使用 浏览:2513 评论:5

大数据(十四)flume实例部署

#我擦前面又把官网翻译了一遍,现在写一些例子把前面的知识捋一下,虽然前面又好多的source、channel、sink,但是实际用到的也不多。一、简单本机示例1.1 使用memory做channel、exec做source、file_roll做sink设置一个测试.conf:$ vim /home/flume/flume/conf/exec_test1.conf a1.sources = source1      &
作者:忙碌的柴少 分类:大数据 浏览:1651 评论:0

大数据(十三)flume筛选器

一、Flume channel Selectors(筛选器)如果没有指定类型,则默认为replicating(“复制”)。1.1 Replicating Channel Selector (default)selector.type  #默认值是replicating  组件类型名称需要replicating  selector.optional   #将被标记为可选的通道集合agent名称为a1,source为r
作者:忙碌的柴少 分类:大数据 浏览:2220 评论:0

大数据(十二)flume的source、sink、channel详解

http://blog.51niux.com/?id=196    #已经对flume进行了介绍,也参照官网搭建了简单的agent端,这里还是参照官网,将配置文件的各种参数记录一下。一、Flume Sources配置参数详解1.1 Avro Source       监听Avro端口并接收来自外部Avro客户端流的事件。 当与另一个(前一跳)Flume agent内置的Avro Sink配对时,它可以创建分层收集拓扑。
作者:忙碌的柴少 分类:大数据 浏览:4986 评论:0

大数据(十一)flume介绍

flume要好好总结一下,15年接触flume的时候真的是资料太少了,基本就是抱着官网啃然后就一个flume群人多点进去问问题,然后网上的博客很少,现在好多了。当时学习源于美团的一片文章:https://tech.meituan.com/mt-log-system-arch.html    #棒的飞起,也可以看看其他的技术分享。flume官网:http://flume.apache.org/一、flume介绍(还是照着官网来)1.1 什么是flume?  
作者:忙碌的柴少 分类:大数据 浏览:3239 评论:3