Hadoop原理与技术——Hbase实操
admin
2024-05-02 21:24:37
0

1:start-all.sh

开启hadoop相关进程

2: start-hbase.sh

启动hbase

3: jps

查看启动的进程情况

3: hbase shell

进入hbase

4: list

显示所有表

http://localhost:16010/master-status

5: create ‘rg34’,’f1’,’f2’,’f3’

创建rg34表,f1,f2,f3为列族

6: describe ‘rg34’

查看表结构

7: scan ‘rg34’

查看表全部数据

8: put ‘rg34’,’h1’,’f1:r1’,’hello’

往表中插入一条数据

9: scan ‘rg34’

查看表全部数据

10: get ‘rg34’,’h1’,{COLUMN=>’f1:c1’}

通过列名查找数据

11: put ‘rg34’,’h1’,’f1:c1’,’hello1’

往表中插入一条数据

12: scan ‘rg34’

查看表全部数据

13: get ‘rg34’,’h1’,{COLUMN=>’f1:c1’}

通过列名查找数据

发现只有hello1的数据,但实际上hello数据并没有被覆盖,hello数据也被保存起来了,这两个方式查看表数据的时候只显示这些列的最新数据

14: scan ‘rg34’,{RAW=TRUE,VERSIONS=1}

查看隐藏的数据 1表示显示数据版本个数为1个版本

15: scan ‘rg34’,{RAW=TRUE,VERSIONS=2}

查看隐藏的数据 2表示显示数据版本个数为2个版本

16: delete ‘rg34’,’h1’,’f1:c1’

删除数据

17: scan ‘rg34’

查看表全部数据,发现hello数据出来了

18: scan ‘rg34’,{RAW=TRUE,VERSIONS=2}

hello1数据并没有被删除,因为hbase的数据通常是保存在HDFS上,而hdfs只允许新增或者追加数据文件,如果要删除的话要对整个文件进行替换,所以删除操作是对删除的数据打上标记

什么时候数据被真正删除?

具体操作:
当多个storefile进行major_compact全局合并时,就会真正对那些打标记的数据进行删除。

storefile:
因为hbase基于hdfs进行数据存储。为了提升效率,会有一个memstore、block cache对数据进行缓存,使用wal日志文件来防止内存数据丢失。但这些东西最终都会放到磁盘中的某个文件进行存储,这个磁盘文件就是storefile

手动实现major_compact:
先进行flush数据刷写,然后再进行major_compact ‘rg34’

19: flush ‘rg34’

20: major_compact ‘rg34’

21: scan ‘rg34’,’h1’,’f1:c1’

发现标记要删除的数据不见了

22: disable ‘rg34’

使表不可用

23: drop ‘rg34’

删除表

24: list

显示全部表

java程序操作hbase

1:createTable(“rg34”); 创建表rg34

2:insertData(“rg34”); 往rg34表插入数据f1 c1 aaa

3:insertData(“rg34”); 往rg34表插入数据f1 c2 bbb

4:QueryAll(“rg34”); 查询rg34全部数据

5:QueryByCondition1(“rg34”,“Hbase”); 根据行键查询数据

6:getCellData(“rg34”,“Hbase”,“f1”,“c2”); 根据行键、列族、列名查询数据

7:deleteRow(“rg34”,“Hbase”); 删除Hbase行

8:deleteColumnFamily(“rg34”,“f1”); 删除f1列族

9:dropTable(“rg34”); 删除rg34表

高可靠性、高性能、列存储、可伸缩、扩展性强、实时读写的分布式数据库系统,海量存储、列式存储、极易扩展、高并发、稀疏灵活

适用:

高吞吐量
在大规模数据集中进行很好性能的随机访问(按列)
非结构化和半结构化的数据

不适用:

1 瞬间写入量很大,数据库不好支撑或需要很高成本支撑的场景。
2 数据需要长久保存
3 HBase不适用有join,多级索引,表关系复杂的数据模型

HBase包含3个重要组件:

ZooKeeper、HMaster、RegionServer。

ZooKeeper为整个HBase集群提供协助的服务(信息传输),HMaster主要用于监控和操作集群中的所有RegionServer,HRegionServer主要用于服务和管理分区(regions)。

相关内容

热门资讯

linux入门---制作进度条 了解缓冲区 我们首先来看看下面的操作: 我们首先创建了一个文件并在这个文件里面添加了...
C++ 机房预约系统(六):学... 8、 学生模块 8.1 学生子菜单、登录和注销 实现步骤: 在Student.cpp的...
JAVA多线程知识整理 Java多线程基础 线程的创建和启动 继承Thread类来创建并启动 自定义Thread类的子类&#...
【洛谷 P1090】[NOIP... [NOIP2004 提高组] 合并果子 / [USACO06NOV] Fence Repair G ...
国民技术LPUART介绍 低功耗通用异步接收器(LPUART) 简介 低功耗通用异步收发器...
城乡供水一体化平台-助力乡村振... 城乡供水一体化管理系统建设方案 城乡供水一体化管理系统是运用云计算、大数据等信息化手段࿰...
程序的循环结构和random库...   第三个参数就是步长     引入文件时记得指明字符格式,否则读入不了 ...
中国版ChatGPT在哪些方面... 目录 一、中国巨大的市场需求 二、中国企业加速创新 三、中国的人工智能发展 四、企业愿景的推进 五、...
报名开启 | 共赴一场 Flu... 2023 年 1 月 25 日,Flutter Forward 大会在肯尼亚首都内罗毕...
汇编00-MASM 和 Vis... Qt源码解析 索引 汇编逆向--- MASM 和 Visual Studio入门 前提知识ÿ...
【简陋Web应用3】实现人脸比... 文章目录🍉 前情提要🌷 效果演示🥝 实现过程1. u...
前缀和与对数器与二分法 1. 前缀和 假设有一个数组,我们想大量频繁的去访问L到R这个区间的和,...
windows安装JDK步骤 一、 下载JDK安装包 下载地址:https://www.oracle.com/jav...
分治法实现合并排序(归并排序)... 🎊【数据结构与算法】专题正在持续更新中,各种数据结构的创建原理与运用✨...
在linux上安装配置node... 目录前言1,关于nodejs2,配置环境变量3,总结 前言...
Linux学习之端口、网络协议... 端口:设备与外界通讯交流的出口 网络协议:   网络协议是指计算机通信网...
Linux内核进程管理并发同步... 并发同步并发 是指在某一时间段内能够处理多个任务的能力,而 并行 是指同一时间能够处理...
opencv学习-HOG LO... 目录1. HOG(Histogram of Oriented Gradients,方向梯度直方图)1...
EEG微状态的功能意义 导读大脑的瞬时全局功能状态反映在其电场结构上。聚类分析方法一致地提取了四种头表面脑电场结构ÿ...
【Unity 手写PBR】Bu... 写在前面 前期积累: GAMES101作业7提高-实现微表面模型你需要了解的知识 【技...