柴少的官方网站 技术在学习中进步,水平在分享中升华

Docker(三)数据管理

一、Docker存储驱动官网文档:https://docs.docker.com/engine/admin/volumes/       为了支持(镜像分层与写时复制机制)这些特性,Docker提供了存储驱动的接口。存储驱动根据操作系统底层的支持提供了针对某种文件系统的初始化操作以及对镜像层的增、删、改、查和差异比较操作。目前存储系统的接口已经有aufs、btrfs、device mapper、vfs、overlay这5种具体实现,其中vfs不支持写时复制
作者:忙碌的柴少 分类:Docker 浏览:3990 评论:0

大数据(九)部署Hive

一、Hive介绍Hive官网:https://hive.apache.org/1.1 hive简介        Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上,总归为大数据,并使得查询和分析方便。并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。        最初,Hive是由F
作者:忙碌的柴少 分类:大数据 浏览:4594 评论:2

Docker(二)容器详解

http://blog.51niux.com/?id=185   #已经记录了docker的简单操作,这里进行一些比较深入的记录。一、Docker架构概览Docker架构:http://www.infoq.com/cn/articles/docker-source-code-analysis-part1/ #上图是一张Docker的总架构图。1.1 各个功能模块的功能简述:Docker client:       Docker clien
作者:忙碌的柴少 分类:Docker 浏览:4817 评论:0

大数据(八)学习部署Hbase

Hbase官网:http://hbase.apache.org/一、Hbase介绍1.1 Hbase简介        HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtab
作者:忙碌的柴少 分类:大数据 浏览:5216 评论:0

大数据(七)部署spark

Spark官网:http://spark.apache.org/一、Spark介绍1.1 Spark是什么?      Spark最初由美国加州伯克利大学(UCBerkeley)的AMP(Algorithms, Machines and People)实验室于2009年开发,是基于内存计算的大数据并行计算框架,可用于构建大型的、低延迟的数据分析应用程序。Spark在诞生之初属于研究性项目,其诸多核心理念均源自学术研究论文。2013年,Spark加
作者:忙碌的柴少 分类:大数据 浏览:5011 评论:0

Docker(一)介绍与镜像介绍

一、Docker内容介绍1.1 云计算平台介绍       云计算是一种资源的服务模式,该模式可以实现随时随地、便捷按需地从可配置计算资源共享池中获取所需的资源(如网络、服务器、存储、应用及服务),资源能够快速供应并释,大大减少了资源管理工作开销。       经典云计算架构包括IaaS(Infrastructure as a Service,基础设施即服务)、PaaS(Platform-as-a-Service:平
作者:忙碌的柴少 分类:Docker 浏览:5450 评论:0

zabbix示例之监控Redis状态(九)

监控redis也是通过info信息来监控redis的状态:http://blog.51niux.com/?id=130    #此链接里面有info信息各参数的意思一、 zabbix监控单实例redis(通过自动发现的方式)#这种方式呢也是不太推荐的一种方式,虽然比较省事,但是在出图上面就有点麻烦了,这里脚本格式就不写的那么严谨了。1.1 客户端的配置自动发现脚本编写:# cat /etc/zabbix/scripts/redis_parameter   #
作者:忙碌的柴少 分类:zabbix 浏览:4455 评论:0

zabbix示例之监控TCP状态(八)

前面已经对zabbix进行了系统的介绍,感觉例子还是少一点,这里呢再写一些监控示例完善一下。一、zabbix监控TCP状态1.1 Shell端的操作这个tcp的连接状态,一般在排查问题的时候会提高很好的参考依据,所以这个一般是要监控上的。#netstat -an |awk '/(^tcp)/{++state[$NF]}END{for(key in state)print key"\t"state[key]}' TIME_WAIT  
作者:忙碌的柴少 分类:zabbix 浏览:6355 评论:0

大数据(六)Zookeeper分布式集群的搭建

一、Zookeeper介绍官网介绍文档:http://zookeeper.apache.org/doc/trunk/zookeeperOver.html1.1 Zookeerper简介        ZooKeeper本质上是一个分布式的小文件存储系统。原本是Apache Hadoop的一个组件,后来被拆分为一个Hadoop的独立子项目,现已经成为 Apache 的顶级项目。     &
作者:忙碌的柴少 分类:大数据 浏览:3827 评论:0

修复rpmdb损坏故障

进行任何rpm操作时提示:#rpm -qa|grep openssl|grep openssl-1.0.1e|wc -lerror: db3 error(12) from dbenv->open: Cannot allocate memory error: db3 error(12) from dbenv->close: Cannot allocate&
作者:忙碌的柴少 分类:解决小问题 浏览:7843 评论:0