柴少的官方网站 技术在学习中进步，水平在分享中升华

大数据(十三)flume筛选器

一、Flume channel Selectors（筛选器）如果没有指定类型，则默认为replicating（“复制”）。1.1 Replicating Channel Selector (default)selector.type  #默认值是replicating  组件类型名称需要replicating  selector.optional   #将被标记为可选的通道集合agent名称为a1，source为r
作者:忙碌的柴少 分类:大数据 浏览:11142 评论:0

大数据(十二)flume的source、sink、channel详解

https://blog.51niux.com/?id=196    #已经对flume进行了介绍，也参照官网搭建了简单的agent端，这里还是参照官网，将配置文件的各种参数记录一下。一、Flume Sources配置参数详解1.1 Avro Source       监听Avro端口并接收来自外部Avro客户端流的事件。 当与另一个（前一跳）Flume agent内置的Avro Sink配对时，它可以创建分层收集拓扑。
作者:忙碌的柴少 分类:大数据 浏览:20800 评论:0

大数据(十一)flume介绍

flume要好好总结一下，15年接触flume的时候真的是资料太少了，基本就是抱着官网啃然后就一个flume群人多点进去问问题，然后网上的博客很少，现在好多了。当时学习源于美团的一片文章：https://tech.meituan.com/mt-log-system-arch.html    #棒的飞起，也可以看看其他的技术分享。flume官网：http://flume.apache.org/一、flume介绍（还是照着官网来）1.1 什么是flume？  
作者:忙碌的柴少 分类:大数据 浏览:15615 评论:3

大数据(十)学习kafka集群部署

一、kafka介绍官网：http://kafka.apache.org/ 1.1 kafka是什么？          ApacheKafka是一个分布式流媒体平台。  Kafka是一种高吞吐量的分布式发布订阅的消息队列系统，原本开发自LinkedIn，用作LinkedIn的活动流（ActivityStream）和运营数据处理管道（Pipeline）的基础。现在它已被多家不同类型的公司作为多种类型的数据管道和消息系统
作者:忙碌的柴少 分类:大数据 浏览:15803 评论:0

Docker(七)Dockerfile

       Dockerfile是Docker用来构建镜像的文本文件，包含自定义的指令和格式。可以通过docker build命令从Dockerfile中构建镜像。这个过程与传统分布式集群的编排配置过程相似，且提供了一系列统一的资源配置语法。用户可以用这些统一的语法命令来根据需求进行配置，通过这份统一的配置文件，在不同的平台上进行分发，需要使用时就可以根据配置文件自动化构建同时，Dockerfile与镜像配合使用，使Docker在构建时可以充分利用镜像的
作者:忙碌的柴少 分类:Docker 浏览:6329 评论:0

Docker(四)网络管理

一、Docker网络基础配置官方文档：https://docs.docker.com/engine/userguide/networking/1.1 端口映射实现访问容指定端口不指定IP映射：在启动容器的时候，如果不指定对应参数，在容器外部是无法通过网络来访问容器内的网络应用和服务的。当容器中运行一些网络应用，要让外部访问这些应用时，可以通过-P或-p参数来指定端口映射。当使用-P标记时，Docker会随机映射一个49000~49900的端口至容器内部开放的网络端口。# docker run -
作者:忙碌的柴少 分类:Docker 浏览:6863 评论:0

Docker(三)数据管理

一、Docker存储驱动官网文档：https://docs.docker.com/engine/admin/volumes/       为了支持（镜像分层与写时复制机制）这些特性，Docker提供了存储驱动的接口。存储驱动根据操作系统底层的支持提供了针对某种文件系统的初始化操作以及对镜像层的增、删、改、查和差异比较操作。目前存储系统的接口已经有aufs、btrfs、device mapper、vfs、overlay这5种具体实现，其中vfs不支持写时复制
作者:忙碌的柴少 分类:Docker 浏览:5047 评论:0

大数据(九)部署Hive

一、Hive介绍Hive官网：https://hive.apache.org/1.1 hive简介        Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。        最初，Hive是由F
作者:忙碌的柴少 分类:大数据 浏览:7104 评论:2

Docker(二)容器详解

https://blog.51niux.com/?id=185   #已经记录了docker的简单操作，这里进行一些比较深入的记录。一、Docker架构概览Docker架构：http://www.infoq.com/cn/articles/docker-source-code-analysis-part1/ #上图是一张Docker的总架构图。1.1 各个功能模块的功能简述：Docker client:       Docker clien
作者:忙碌的柴少 分类:Docker 浏览:6129 评论:0

大数据(八)学习部署Hbase

Hbase官网：http://hbase.apache.org/一、Hbase介绍1.1 Hbase简介        HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtab
作者:忙碌的柴少 分类:大数据 浏览:6695 评论:0