标签:HDFS

后端存储

HBase集群搭建笔记

11月12日

最近突发奇想,想自己搭建一个 HBase 集群玩玩,一来复习一下 HBase 的架构,二来试试搭建一个分布式系统需要注意哪些问题,三来可以练练动手能力。但理想很丰满,现实很骨感,我...
综合技术

用CombineFileInputFormat优化Hadoop小文件

09月18日

我们都知道,HDFS设计是用来存储海量数据的,特别适合存储TB、PB量级别的数据。但是随着时间的推移,HDFS上可能会存在大量的小文件,这里说的小文件指的是文件大小远远小于一个HD...
综合技术

Hadoop集群间的HDFS文件拷贝

09月15日

1、背景 部门有个需求,在网络互通的情况下,把现有的Hadoop集群(未做Kerberos认证,集群名为:bd-stg-hadoop)的一些hdfs文件拷贝到新的hadoop集群...
分布式数据库的存储设计改进
综合技术

分布式数据库的存储设计改进

09月14日

背景 在一次游泳的时候,想起一个问题,为什么 hdfs 的 namenode 没有存储块的对应节点信息,导致启动 hdfs 的时候,datanode 需要扫描所有的数据块,再将该 ...

专业 x 专注 x 聚合 x 分享 CC BY-NC-SA 4.0

使用声明 | 英豪名录