(三)HDFS架构原理
创始人
2025-05-28 03:01:43
0次
目录
架构图
Datanode 从节点(slave)
元数据（Metadata）
元数据信息持久化
Block
架构图
Namenode 主节点(master)
管理HDFS文件系统的命名空间,维护元数据信息, 处理客户端读写请求
Datanode 从节点(slave)
存储数据（Block）,集群启动时，DataNode向NameNode汇报Block列表信息集群运行期间， 通过心跳机制定期（默认3秒） 与NameNode保持通信
元数据（Metadata）
信息存放在NameNode内存当中 包含：HDFS中文件及目录的基本属性信息（如拥有者、权限信息创建时间等）、文件有哪些block构成、 以及block的位置存放信息。
元数据信息持久化
fsimage（元数据镜像检查点文件）
edits（编辑日志文件，记录写操作）
注：block的位置信息并不会做持久化，仅仅只是在DataNode启动汇报给NameNode，存放在NameNode内存空间内
Block
• Block是HDFS的最小存储单元 • Block的大小 －默认大小：128M（HDFS 1.x中，默认64M）
－若文件大小不足128M，则会单独成为一个block －实质上就是Linux相应目录下的普通文件
－名称格式：blk_xxxxxxx
• Block和元数据分开存储，Block存储于DataNode，元数据存储于NameNode
• Block多副本 －默认副本数：3
－机架感知：将副本存储到不同的机架上，实现数据的高容错
－副本均匀分布：提高访问带宽和读取性能，实现负载均衡，避免出现数据倾斜
下一篇：【MySQL基础】5—聚合函数
相关内容
热门资讯
linux入门---制作进度条
了解缓冲区 我们首先来看看下面的操作： 我们首先创建了一个文件并在这个文件里面添加了...
C++ 机房预约系统（六）：学...
8、 学生模块 8.1 学生子菜单、登录和注销 实现步骤： 在Student.cpp的...
JAVA多线程知识整理
Java多线程基础 线程的创建和启动 继承Thread类来创建并启动 自定义Thread类的子类&#...
【洛谷 P1090】[NOIP...
[NOIP2004 提高组] 合并果子 / [USACO06NOV] Fence Repair G ...
国民技术LPUART介绍
低功耗通用异步接收器（LPUART） 简介 低功耗通用异步收发器...
城乡供水一体化平台-助力乡村振...
城乡供水一体化管理系统建设方案 城乡供水一体化管理系统是运用云计算、大数据等信息化手段...
程序的循环结构和random库...
第三个参数就是步长 引入文件时记得指明字符格式，否则读入不了 ...
中国版ChatGPT在哪些方面...
目录 一、中国巨大的市场需求 二、中国企业加速创新 三、中国的人工智能发展 四、企业愿景的推进 五、...
报名开启 | 共赴一场 Flu...
2023 年 1 月 25 日，Flutter Forward 大会在肯尼亚首都内罗毕...
汇编00-MASM 和 Vis...
Qt源码解析 索引 汇编逆向--- MASM 和 Visual Studio入门 前提知识ÿ...
【简陋Web应用3】实现人脸比...
文章目录🍉 前情提要🌷 效果演示🥝 实现过程1. u...
前缀和与对数器与二分法
1. 前缀和 假设有一个数组，我们想大量频繁的去访问L到R这个区间的和，...
windows安装JDK步骤
一、 下载JDK安装包 下载地址：https://www.oracle.com/jav...
分治法实现合并排序(归并排序)...
🎊【数据结构与算法】专题正在持续更新中，各种数据结构的创建原理与运用✨...
在linux上安装配置node...
目录前言1，关于nodejs2，配置环境变量3，总结 前言...
Linux学习之端口、网络协议...
端口：设备与外界通讯交流的出口 网络协议： 网络协议是指计算机通信网...
Linux内核进程管理并发同步...
并发同步并发 是指在某一时间段内能够处理多个任务的能力，而 并行 是指同一时间能够处理...
opencv学习-HOG LO...
目录1. HOG(Histogram of Oriented Gradients,方向梯度直方图)1...
EEG微状态的功能意义
导读大脑的瞬时全局功能状态反映在其电场结构上。聚类分析方法一致地提取了四种头表面脑电场结构ÿ...
【Unity 手写PBR】Bu...
写在前面 前期积累： GAMES101作业7提高-实现微表面模型你需要了解的知识 【技...