提要：目前，國內(nèi)自主研發(fā)的文件系統(tǒng)可謂鳳毛麟角。淘寶在這一領(lǐng)域做了有效的探索和實踐，TaobaoFileSystem(TFS)作為淘寶內(nèi)部使用的分布式文件系統(tǒng)，針對海量小文件的隨機讀寫訪問性能做了特殊優(yōu)化，承載著淘寶主站所有圖片、商品描述等數(shù)據(jù)存儲。

　　文章首先概括了TFS的特點：

　　TFS是什么

　　TFS，TaobaoFileSystem，淘寶內(nèi)部使用的分布式文件系統(tǒng)，主要針對海量小文件的隨機讀寫訪問性能做了特殊優(yōu)化，承載著淘寶主站所有圖片、商品描述等數(shù)據(jù)的存儲。

　　TFS有什么特點

　　1.完全扁平化的數(shù)據(jù)組織結(jié)構(gòu)，拋棄了傳統(tǒng)文件系統(tǒng)的目錄結(jié)構(gòu)。

　　2.在塊設(shè)備基礎(chǔ)上建立自有的文件系統(tǒng)，減少EXT3等文件系統(tǒng)數(shù)據(jù)碎片帶來的性能損耗

　　3.單進程管理單塊磁盤的方式，摒除RAID5機制

　　4.帶有HA機制的中央控制節(jié)點，在安全穩(wěn)定和性能復(fù)雜度之間取得平衡。

　　5.盡量縮減元數(shù)據(jù)大小，將元數(shù)據(jù)全部加載入內(nèi)存，提升訪問速度。

　　6.跨機架和IDC的負載均衡和冗余安全策略。

　　7.完全平滑擴容

　　TFS在淘寶的應(yīng)用規(guī)模

　　1.數(shù)百臺PCServer

　　2.PB級數(shù)據(jù)量3.百億數(shù)據(jù)級別TFS的性能參數(shù)

　　TFS在淘寶的部署環(huán)境中前端有兩層緩沖，到達TFS系統(tǒng)的請求非常離散，所以TFS內(nèi)部是沒有任何數(shù)據(jù)的內(nèi)存緩沖的，包括傳統(tǒng)文件系統(tǒng)的內(nèi)存緩沖也不存在。我們主要的性能參數(shù)不是IO吞吐量，而是單臺PCServer提供隨機讀寫IOPS。由于大家硬件型號不同，當(dāng)然也是因為一些技術(shù)保密的原因，我們很難給出一個參考值來說明性能。但基本上我們可以達到單塊磁盤隨機IOPS理論最大值的60%左右，整機的輸出隨盤數(shù)增加而線性增加。

　　TFS的邏輯架構(gòu)圖

　　以上是TFS的一個簡要的應(yīng)用情況和架構(gòu)介紹，后續(xù)將逐步豐富，歡迎大家拍磚。并再次做個廣告，TFS計劃在今年9月份建立開源社區(qū)，請大家支持。

　　文章發(fā)表以后，讀者反響熱烈，在評論中提出了各種問題與作者楚材進行技術(shù)交流，由此可見國內(nèi)社區(qū)對自主研發(fā)文件系統(tǒng)的關(guān)注程度。(編輯：燕青)

來源： 億邦動力