博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hbse的读写过程
阅读量:6900 次
发布时间:2019-06-27

本文共 1579 字,大约阅读时间需要 5 分钟。

1.Hbase的读取过程。

以读取test_region表,row key为this is row value 400000为例.

1: 到zookeeper中去读取/hbase/root-region-server znode中的值,得到-ROOT-的唯一region归那台region-server管.

2: 管-ROOT- 的那台region-server将从hdfs系统中加载-ROOT-表的内容到内存中(并cache).

3.1 在我目前的测试中-ROOT- 表只有一个row key,  所以直接从info:server中得到管.META.的那台region-server管, 返回给clinet.

3.2 如果-ROOT-表中有多条.META.关于test_region表的记录,找法和4相同

4: 管.META. 的那台region-server从hdfs加载表.META.的数据,并cache.  client以test_region,this is row value 400000, 9999999999999, 找到那条比这个key最接近的那条数据,从info:server中得管这个表的这个region(叫a)的region-server服务器.

5: 管理a这个region的服务器从hdfs找到存储这条数据的文件,然后读取返回.

 

总结:

(1): 经过三次,定位到数据所在的region

(2): 读操作不要经过hmaster

 

 

 

2.Hbase写数据过程。

以插入test_region表,row key为this is row value 400001为例.

1: 到zookeeper中去读取/hbase/root-region-server znode中的值,得到-ROOT-的唯一region归那台region-server管.

2: 管-ROOT- 的那台region-server将从hdfs系统中加载-ROOT-表的内容到内存中(并cache).

3.1 在我目前的测试中-ROOT- 表只有一个row key,  所以直接从info:server中得到管.META.的那台region-server管, 返回给clinet.

3.2 如果-ROOT-表中有多条.META.关于test_region表的记录,找法和4相同

4: 管.META. 的那台region-server从hdfs加载表.META.的数据,并cache.  client以test_region,this is row value 400000, 9999999999999, 找到那条比这个key最接近小的那条数据,从info:server中得管这个表的这个region(叫a)的region-server服务器.

5: 先写HLog, 当region-server死了后恢复数据使用

6.1 : 如果cache 没有达到指定的值,则把数据写到这台region-server服务器的这块内存就好了.

6.2 : 如果cache已达到某个值,则新建一个内存区去接受新来的insert,老的cache区将由一个线程flush到文件系统相应用的region.

7: 如果region文件太多并达到某些大小,将开启一个线程做合并工作,合并后将删除其它小文件,如果合并后文件过大,将进行split,split多个region时,将向master报告region要进行重新分配。进入master分配region过程.

 

 

总结:

(1): 经过三次,定位到数据所在的region

(2): 写操作不要经过hmaster.

(3): 写操作将会触发一系统动作

转载于:https://www.cnblogs.com/hupengcool/p/3280568.html

你可能感兴趣的文章
solr配置
查看>>
CSS HACK 区别于ie6/7/8/firefox的小问题
查看>>
编译一个可以用Qemu进行Debug的Linux Kernel:
查看>>
linux 服务器 keras 深度学习环境搭建
查看>>
xshell+xmanager远程linux图形化界面
查看>>
布局模型
查看>>
我的友情链接
查看>>
jquery 实现复选框 全选/反选
查看>>
我的友情链接
查看>>
http://www.mossle.com/wiki/13.lemon-devguide/0008.modeler
查看>>
UI自动化测试之selenium(3)——采坑填坑集
查看>>
全美五大最创新的公司
查看>>
传微软将于明年推出Linux版Office
查看>>
后LHC时代对撞机:瞬间输出能量超全球电力千倍
查看>>
Leetcode#75Sort Colorsetcode
查看>>
3月30日作业
查看>>
公司电话突然不能打外线故障处理过程
查看>>
Windows Server 2008流媒体服务器---创建播放列表
查看>>
centos添加批量添加ip提示无效参数
查看>>
PHP mkdir函数
查看>>