柴少鹏的官方网站 技术在分享中进步,水平在学习中升华

Ceph跟着官网学一波(四)

上一章http://blog.51niux.com/?id=164字数太长了,这里继续跟着官网学习。 1.2.8 ERASURE CODE(擦除代码)Ceph池与一种类型相关联,以维持OSD的丢失(即,磁盘,因为大多数时间每个磁盘有一个OSD)。 复制创建池时的默认选项,这意味着每个对象都复制在多个磁盘上。 可以使用擦除代码池类型来节省空间。创建样品擦除编码池最简单的擦除编码池相当于RAID5,至少需要三台主机:$ ceph osd pool cr
作者:忙碌的柴少 分类:分布式文件系统 浏览:4919 评论:0

Ceph跟着官网学一波(三)

一、Ceph存储集群官网链接:http://docs.ceph.com/docs/master/rados/常用命令的man帮助:http://docs.ceph.com/docs/master/rados/man/ 故障排查:http://docs.ceph.com/docs/master/rados/troubleshooting/ CEPH存储群APIS:http://docs.ceph.com/docs/master/rados/api/1.1 配置1.1.1 存储设备:有两个Ceph守
作者:忙碌的柴少 分类:分布式文件系统 浏览:5823 评论:0

Ceph手工部署osd和mon集群(二)

一、CRUSH算法介绍及调优方法1.1 CRUSH算法介绍CRUSH(Controlled Replication Under Scalable Hashing)是一种基于可扩展哈希的控制复制算法,在Ceph中,CRUSH是其中负责数据对象实际分布与数据恢复的算法,对于大规模分布式存储系统来说,有一些问题是必须要关注的,比如分布数据和负载(提高资源利用率),最大化系统的性能,处理系统的扩展和硬件失效等。要做到当发生存储设备故障、存储设备添加和移除时,能最小化地迁移数据来恢复故障其实很有必要,可以
作者:忙碌的柴少 分类:分布式文件系统 浏览:6734 评论:1

Ceph简介和集群搭建(一)

Ceph大家已经不陌生了,主要是虚拟化分布式存储方面。官网:http://ceph.com/官网文档:http://docs.ceph.com/docs/master/一、Ceph简介1.1 Ceph的主要特点:统一存储无任何单点故障数据多份冗余存储容量可扩展自动容错及故障自愈1.2 Ceph三大角色组件及其作用在Ceph存储集群中,包含了三大角色组件,他们在Ceph存储集群中表现为3个守护进程,分别是Ceph OSD、Monitor、MDS。当然还有其他的功能组件,但是最主要的是这三个。Cep
作者:忙碌的柴少 分类:分布式文件系统 浏览:6371 评论:0

GlusterFS文件系统简单搭建

此GFS并非谷歌的三宝之一GFS(The Google File System)。如果有兴趣的话可以详细了解:http://blog.csdn.net/liuaigui (刘爱贵博士的博客)。我这里就是学习简单记录一下。官方文档:http://gluster.readthedocs.io/en/latest/  #GlusterFS2于2011年10月已经被redhat收购了,被收购之后增加了针对KVM许多特性,并且获得了QEMU的原生支持。一、GlusterFS文件介绍1.1 Glu
作者:忙碌的柴少 分类:分布式文件系统 浏览:3883 评论:0

分布式存储MooseFS的配置文件与命令详解

一、相关配置文件详解这些配置文件大部分是保持默认状态不需要修改的。1.1 mfsmaster.cfg配置文件详解# cat /usr/local/mfs/etc/mfs/mfsmaster.cfg#######运行选项###################### # WORKING_USER = mfs   #运行master守护进程的用户,默认是mfs # WORKING_GROUP = mfs&nb
作者:忙碌的柴少 分类:分布式文件系统 浏览:3099 评论:0

分布式存储MooseFS的搭建

MFS一般指得的就是MooseFS,还有一个MogileFS(FastDFS就跟它很像),分布式文件系统大家已经都不陌生了,谷歌的GFS,apache的HDFS,淘宝的TGS。了解一个东西一般应该先找到它的官网,下面是对应的一些链接:MooseFS的官网:https://moosefs.com/index.htmlyum安装:https://moosefs.com/download/centosfedorarhel.html官方文档:https://moosefs.com/documentati
作者:忙碌的柴少 分类:分布式文件系统 浏览:2452 评论:0

Fastdfs与nginx结合提供web服务

注意:4.0.6版本之后,fastdfs已经删除了http web的服务,因此需要与nginx整合,tracker与storage都需要配置nginx,其中storage需要结合nginx_fastdfs模块,tracker不需要,tracker上的nginx主要起代理调度作用。所以前面配置文件里面涉及到的HTTP的部分都不用关注,都没用。生产上面也是后端storage上面都部署nginx,然后前端nginx调用它们开放的端口。一、nginx和fastdfs整合的单机操作步骤1.1 fast安装
作者:忙碌的柴少 分类:分布式文件系统 浏览:2850 评论:0

FastDFS之集群部署

http://blog.51niux.com/?id=137 已经对FastDFS做了一个基本介绍,这里来用测试环境搭建一套集群,然后会在部署操作过程中去捋顺一下原理性知识点。一、环境规划与配置文件修改1.1 环境规划IP地址主机名主机角色192.168.1.103dfs-tracker-1跟踪服务器1+存储服务器1192.168.1.104dfs-tracker-2跟踪服务器2+存储服务器2192.168.1.105dfs-storage-group2-1存储服务器3192.168.1.106d
作者:忙碌的柴少 分类:分布式文件系统 浏览:2354 评论:0

FastDFS之基础知识

分布式文件系统是什么,大家都已经接触很长时间了,简单来说一块磁盘的容量是有限的现在最大是8T,以后可能十几T,但是现在是一个数据爆炸的年代,就算你12个盘做成一个大RAID也是不够的,那么用硬件存储吧。随随便便都是百万级的,接触这种硬件级别的存储也有几年了,一般这种硬件级别的存储可能会考虑用来做数据库之类的存储,如果用来存储海量的数据就太浪费了。不同的场景用不同的东西,这里记录的这块开源的FastDFS分布式文件系统,也是大家都熟悉的,用来专门存储小文件的。一、FastDFS简介1.1 Fast
作者:忙碌的柴少 分类:分布式文件系统 浏览:3023 评论:2