hdfs文件系统简介-凯发app官方网站

凯发app官方网站-凯发k8官网下载客户端中心 | | 凯发app官方网站-凯发k8官网下载客户端中心
  • 博客访问: 247199
  • 博文数量: 40
  • 博客积分: 713
  • 博客等级: 军士长
  • 技术积分: 437
  • 用 户 组: 普通用户
  • 注册时间: 2011-11-06 19:16
个人简介

努力不一定成功但放弃就一定失败

文章分类

全部博文(40)

文章存档

2012年(32)

2011年(8)

相关博文
  • ·
  • ·
  • ·
  • ·
  • ·
  • ·
  • ·
  • ·
  • ·
  • ·

分类: 云计算

2012-10-18 20:22:03

今天看了这篇介绍,突然明白:hdfs只是这个抽象文件系统的一个实例的真实含义。
下文转自:

hdfs(hadoop distributed file system)是hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储,为超大数据集(large data set)的应用处理带来了很多便利。

  hadoop整合了众多文件系统,在其中有一个综合性的文件系统抽象,它提供了文件系统实现的各类接口,hdfs只是这个抽象文件系统的一个实例。提供了一个高层的文件系统抽象类org.apache.hadoop.fs.filesystem,这个抽象类展示了一个分布式文件系统,并有几个具体实现,如下表1-1所示。

表1-1 hadoop的文件系统

文件系统

uri方案

java实现

org.apache.hadoop

定义

local

file

fs.localfilesystem

支持有客户端校验和本地文件系统。带有校验和的本地系统文件在fs.rawlocalfilesystem中实现。

hdfs

hdfs

hdfs.distributionfilesystem

hadoop的分布式文件系统。

hftp

hftp

hdfs.hftpfilesystem

支持通过http方式以只读的方式访问hdfsdistcp经常用在不同hdfs集群间复制数据。

hsftp

hsftp

hdfs.hsftpfilesystem

支持通过https方式以只读的方式访问hdfs

har

har

fs.harfilesystem

构建在hadoop文件系统之上,对文件进行归档。hadoop归档文件主要用来减少namenode内存使用

kfs

kfs

fs.kfs.kosmosfilesystem

cloudstore(其前身是kosmos文件系统)文件系统是类似于hdfsgooglegfs文件系统,使用c 编写。

ftp

ftp

fs.ftp.ftpfilesystem

ftp服务器支持的文件系统。

s3(本地)

s3n

fs.s3native.natives3filesystem

基于amazon s3的文件系统。

s3(基于块)

s3 

fs.s3.natives3filesystem

基于amazon s3的文件系统,以块格式存储解决了s35gb文件大小的限制。

  hadoop提供了许多文件系统的接口,用户可以使用uri方案选取合适的文件系统来实现交互。

阅读(2777) | 评论(0) | 转发(1) |
0

上一篇:

下一篇:mysql权限级别解绍

给主人留下些什么吧!~~
")); function link(t){ var href= $(t).attr('href'); href ="?url=" encodeuricomponent(location.href); $(t).attr('href',href); //setcookie("returnouturl", location.href, 60, "/"); }
网站地图