学习计算机科学与技术专业，喜欢计算机，喜欢linux，喜欢编程
分类：
2012-11-15 17:31:11
原文地址：hdfs文件系统简介 作者：zzywolf
今天看了这篇介绍，突然明白：hdfs只是这个抽象文件系统的一个实例的真实含义。
下文转自：
hdfs（hadoop distributed file system）是hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（large data set）的应用处理带来了很多便利。
hadoop整合了众多文件系统，在其中有一个综合性的文件系统抽象，它提供了文件系统实现的各类接口，hdfs只是这个抽象文件系统的一个实例。提供了一个高层的文件系统抽象类org.apache.hadoop.fs.filesystem，这个抽象类展示了一个分布式文件系统，并有几个具体实现，如下表1-1所示。
表1-1 hadoop的文件系统
文件系统 | uri方案 | java实现 （org.apache.hadoop） | 定义 |
local | file | fs.localfilesystem | 支持有客户端校验和本地文件系统。带有校验和的本地系统文件在fs.rawlocalfilesystem中实现。 |
hdfs | hdfs | hdfs.distributionfilesystem | hadoop的分布式文件系统。 |
hftp | hftp | hdfs.hftpfilesystem | 支持通过http方式以只读的方式访问hdfs，distcp经常用在不同的hdfs集群间复制数据。 |
hsftp | hsftp | hdfs.hsftpfilesystem | 支持通过https方式以只读的方式访问hdfs。 |
har | har | fs.harfilesystem | 构建在hadoop文件系统之上，对文件进行归档。hadoop归档文件主要用来减少namenode的内存使用。 |
kfs | kfs | fs.kfs.kosmosfilesystem | cloudstore（其前身是kosmos文件系统）文件系统是类似于hdfs和google的gfs文件系统，使用c 编写。 |
ftp | ftp | fs.ftp.ftpfilesystem | 由ftp服务器支持的文件系统。 |
s3（本地） | s3n | fs.s3native.natives3filesystem | 基于amazon s3的文件系统。 |
s3（基于块） | s3 | fs.s3.natives3filesystem | 基于amazon s3的文件系统，以块格式存储解决了s3的5gb文件大小的限制。 |
hadoop提供了许多文件系统的接口，用户可以使用uri方案选取合适的文件系统来实现交互。