频道栏目
首页 > 网络 > 云计算 > 正文

Hadoop搭建过程相关知识介绍

2018-05-25 15:12:24         来源:ZXQjinhu的博客  
收藏   我要投稿

本文是我学习Hadoop搭建过程中的各种笔记,内容来自于各种公开的教程,起点非常低,从Linux基础开始,直至在PC上搭建Hadoop成功,是真正的从零开始。

31、Hdfs 的相关内容介绍:

官网:http://hadoop.apache.org/index.html

Hadoop三大核心、四大模块:

\

HDFS的介绍:

\

HDFS设计目标:

\

注解上面的3.4.5.6:

3.储存量大,用流访问,保证HDFS的吞吐量

4.拷贝程序,不拷贝数据,移动程序比移动数据划算

5.简单一致性模型:HDFS希望你简单操作:一次性写入,多次读取

6.可以和别的框架,计算框架很好的融合

HDFS的特点:

\

HDFS三个服务:

\

HDFS是主从架构:

namenode是主,老大,管理所有的datanode,负责元数据的同步

namenode通过metadata管理所有的datanode

secondary namenode 相等于秘书,这里只有一个

metadata元数据:描述数据的数据

\

Client :客户端

← 相等与一个服务器

Rack1 Rack2:叫做机架,一个机架上可以装很多台服务器

←相当于datanode Rack1上面有3个datanodes,Rack2上面有2个datanodes

想写一个文件,操作:

Client客户端 向 Namenode发出请求

Namenode 告诉你写字哪个 Datanodes机子上

拿到Metadata上的地址(相当于给了你一个数组)

拿到地址后 联系Datanodes

写完后原样返回,关Client客户端即可

基本概念:

\

块:Hadoop1默认64兆 ,Hadoop2默认128兆。如有一个200兆的文件,应写到两个数据库里,一个128兆,一个72兆。任何文件系统都是以块来储存的

元数据:包上面的信息压缩到一个文件里面来

Fsimage:详细文件的压缩

Edits:用户操作HDFS文件系统的详细的日志信息,叫流水,出来问题才能找到原由

HDFS架构——NameNode:

两个节点,三个节点都可以了 3秒 10分钟 1小时

\

HDFS架构——DataNode:

\

HDFS文件权限:

\
上一篇:OpenShift3.9多节点集群(Ansible)安装教程
下一篇:CTR预估模型案例
相关文章
图文推荐
热门新闻

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站