谷歌

摘要 MapReduce是一個編程模型，也是一個處理和生成超大數據集的算法模型的相關實現。用戶首先創建一個Map函數處理一個基于key/value pair的數據集合，輸出中間的基于key/value pair的數據集合；然后再創建一個Reduce函數用來合并所有的具有相同中間key值的中間value值。現實世界中有很多滿足上述處理模型的例子，本論文將詳細描…

摘要 我們設計并實現了Google GFS文件系統，一個面向大規模數據密集型應用的、可伸縮的分布式文件系統。GFS雖然運行在廉價的普遍硬件設備上，但是它依然了提供災難冗余的能力，為大量客戶機提供了高性能的服務。 雖然GFS的設計目標與許多傳統的分布式文件系統有很多相同之處，但是，我們的設計還是以我們對自己的應用的負載情況和技術環境的分析為基礎的，不管現在還是…

摘要 Bigtable是一個分布式的結構化數據存儲系統，它被設計用來處理海量數據：通常是分布在數千臺普通服務器上的PB級的數據。Google的很多項目使用Bigtable存儲數據，包括Web索引、Google Earth、Google Finance。這些應用對Bigtable提出的要求差異非常大，無論是在數據量上（從URL到網頁到衛星圖像）還是在響應速度上…