@hust张友东 work@taobao zyd_com@126.com
(251)
(10)
(20)
(22)
(74)
(98)
(27)
发布时间:2014-09-03 18:32:33
tfs集群支持异地机房容灾,一个逻辑集群包含分布在多个机房的物理集群,其中一个是主集群,其他的是备份集群。客户端写文件时,都会写到主集群,主集群的dataserver(ds)异步将数据同步到多个备集群;客户端在读取数据时,会选择离自己最近的物理集群读取数据,如果读不到数据,就重试逻辑集群里的其他物理集群。.........
发布时间:2014-07-01 21:18:06
tfs支持erasurecode的版本上线数月,参与编码的数据量也不断在增加,因为规模效应,最近也暴露除了不少问题。索引预留空间问题tfs每个dataserver(ds)进程管理一块磁盘,ds上线前,需要对磁盘进行format,format的主要工作是创建一批固定大小的文件出来,这些文件对应tfs里的block(通常64m),block里存.........
发布时间:2014-05-27 10:59:22
作者:zyd_com@126.com博客:ydzhang.blog.chinaunix.net | blog.yunnotes.net微博:http://weibo.com/zhangyoudong/硬件故障是常态hdfs的目标是在有机器故障时仍能保证数据可靠,并自动进行故障恢复。流式数据访问hdfs主要为批处理应用设计,而非交互式应用,看重数据访问的吞吐量而非访问延迟。海量大文.........
发布时间:2014-05-13 10:22:57
tfs负责运维的同学在工作过程中,积累了各种运维脚本,全部使用shell编写,用于完成tfs机器的上下线、坏盘下线、集群同步、迁移等功能,这些脚本构成现在的运维平台;但由于运维同学的不断更替,新同学在使用前辈们留下来的运维脚本过程中经常踩坑,严重影响运维工作效率。以下列举了tfs运维过程中,出过的一些问题:.........
发布时间:2014-04-16 19:09:20
tfs发展至今,集群部署总容量已超过50pb,机器数量约2700台。tfs在阿里内部主流部署方式是主集群内数据块2个副本,每个主集群配置两个备集群,分别在同城和异地机房,实际上每份数据6个副本,存储成本非常高,为了降低tfs存储成本,我们将erasre code引入到tfs系统,本文将详细介绍tfs应用erasure code的技术方案。异.........
2014-06-18 16:19
学习了,如果能有nginx-tfs的相关文件就更好了
2013-09-09 17:26
对学习tfs帮助很大~~辛苦了~~~不过我觉得最好能有更多细节,毕竟tfs的资料挺少的