柴少鹏的官方网站 技术在分享中进步,水平在学习中升华

Hadoop(四)增加/删除节点与安全模式

hadoop使用的是HDFS分布式文件系统,既然是存储就可能要面临存储节点磁盘使用达到预警值的情况,当出现这种情况的时候,要么你就清理一下,那么就要新增数据存储节点了,这两种方式我们都采取过.一、增加datanode节点1.1 静态添加静态新增的方式,就相当于一开始部署hdfs集群规划一样,停止NameNode服务,新增数据节点。下面是操作步骤:停止服务(namenode节点操作)$ /home/hadoop/hadoop/sbin/stop-all.sh 修改配置文件slaves文件(name
作者:忙碌的柴少 分类:大数据 浏览:4064 评论:0

Hadoop(三)hadoop支持lzo

一、集群测试前面已经记录了集群的搭建以及一些命令的操作。1.1 在主节点上面查看集群的状态$ hdfs dfsadmin -report  #打印集群的信息Configured Capacity: 8449759969280 (7.69 TB) Present Capacity: 8017074094080 (7.29 TB) DFS Remaining: 8012713713664
作者:忙碌的柴少 分类:大数据 浏览:6283 评论:2

Hadoop(二)操作命令与目录结构

上一章:http://blog.51niux.com/?id=175   #已经对hadoop进行了介绍和hadoop的集群部署做了介绍,这里在深入的继续记录。官网文档:https://hadoop.apache.org/docs/   #这里有各个版本的一些文档一、操作命令1.1 Hadoop命令概述:官网文档:https://hadoop.apache.org/docs/r2.7.4/hadoop-project-dist/hadoop-common/CommandsMan
作者:忙碌的柴少 分类:大数据 浏览:3514 评论:0

Hadoop(一)介绍与部署

       写博客被朋友喷,写个东西也不介绍下,谁知道你写的是个什么东西,干什么的。好的下面对hadoop好好介绍介绍。       Hadoop是Apache开源组织的一个分布式计算开源框架(http://hadoop.apache.org/),Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架,实现在大量计算机组成
作者:忙碌的柴少 分类:大数据 浏览:15685 评论:0