系統運維

Hadoop流 雖然Hadoop是用java寫的，但是Hadoop提供了Hadoop流，Hadoop流提供一個API, 允許用戶使用任何語言編寫map函數和reduce函數.Hadoop流動關鍵是，它使用UNIX標準流作為程序與Hadoop之間的接口。因此，任何程序只要可以從標準輸入流中讀取數據，并且可以把數據寫入標準輸出流中，那么就可以通過Hadoop流使…

hadoop安全模式在分布式文件系統啟動的時候，開始的時候會有安全模式，當分布式文件系統處于安全模式的情況下，文件系統中的內容不允許修改也不允許刪除，直到安全模式結束。安全模式主要是為了系統啟動的時候檢查各個DataNode上數據塊的有效性，同時根據策略必要的復制或者刪除部分數據塊。運行期通過命令也可以進入安全模式。在實踐過程中，系統啟動的時候去修改和刪除文…

Hive 是基于Hadoop 構建的一套數據倉庫分析系統，它提供了豐富的SQL查詢方式來分析存儲在Hadoop 分布式文件系統中的數據，可以將結構 化的數據文件映射為一張數據庫表，并提供完整的SQL查詢功能，可以將SQL語句轉換為MapReduce任務進行運行，通過自己的SQL 去查詢分析需 要的內容，這套SQL 簡稱Hive SQL，使不熟悉mapredu…

摘要 Bigtable是一個分布式的結構化數據存儲系統，它被設計用來處理海量數據：通常是分布在數千臺普通服務器上的PB級的數據。Google的很多項目使用Bigtable存儲數據，包括Web索引、Google Earth、Google Finance。這些應用對Bigtable提出的要求差異非常大，無論是在數據量上（從URL到網頁到衛星圖像）還是在響應速度上…

1.  簡介 Hive是基于Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張數據庫表，并提供完整的sql查詢功能，可以將sql語句轉換為MapReduce任務進行運行。 其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應用，十分適合數據倉庫的統計分析。 Hive與HBas…

1. 多表連接類型 1. 笛卡爾積(交叉連接) 在MySQL中可以為CROSS JOIN或者省略CROSS即JOIN，或者使用','  如：  SELECT * FROM table1 CROSS JOIN table2  &nb…

 1. 優化SQL   1）通過show status了解各種sql的執行頻率         show status like 'Com_%'        了解 Com_select,Com_in…

1.Linux 進程在內存數據結構      可以看到一個可執行程序在存儲（沒有調入內存）時分為代碼段，數據段，未初始化數據段三部分：      1) 代碼段：存放CPU執行的機器指令。通常代碼區是共享的，即其它執行程序可調用它。假如機器中有數個進程運行相同的一個程序，那么它們就…

Linux系統一般有4個主要部分： 內核、shell、文件系統和應用程序。內核、shell和文件系統一起形成了基本的操作系統結構，它們使得用戶可以運行程序、管理文件并使用系統。部分層次結構如圖1-1所示。  1. linux內核         內核是操作系統的核心，具有很多最基本功能，它負責管理系…

  在現代計算機系統中，要用到大量的程序和數據，因內存容量有限，且不能長期保存，故而平時總是把它們以文件的形式存放在外存中，需要時再隨時將它們調入內存。如果由用戶直接管理外存上的文件，不僅要求用戶熟悉外存特性，了解各種文件的屬性，以及它們在外存上的位置，而且在多用戶環境下，還必須能保持數據的安全性和一致性。顯然，這是用戶所不能勝任、也不愿…

1. 優化SQL步驟 1. 通過 show status和應用特點了解各種 SQL的執行頻率        通過 SHOW STATUS 可以提供服務器狀態信息，也可以使用 mysqladmin extende d-status 命令獲得。 SHOW STATUS 可以根據需要顯示 session 級別的統計結果和 g…

在某些情況下，or條件可以避免全表掃描的。 1 .where 語句里面如果帶有or條件, myisam表能用到索引， innodb不行。 1)myisam表：  CREATE TABLE IF NOT EXISTS `a` (   `id` int(1)&nb…

1.MySQL整體邏輯架構 我們先下圖看看MySQL整體邏輯架構(MySQL’s Logical Architecture)                       圖1  第一層，即最上一層，所包含的服務并不是MySQL所獨有的技術?！?/p>

在MySQL中的ORDER BY有兩種排序實現方式: 1、利用有序索引獲取有序數據 2、文件排序 在使用explain分析查詢的時候，利用有序索引獲取有序數據顯示Using index。而文件排序顯示Using filesort。 1.利用有序索引獲取有序數據         &…

1. Merge Tables         如果愿意的話，可以把合并表看成一種較老的、有更多限制的分區表，但是它們也有自己的用處，并且能提供一些分區表不能提供的功能。 合并表實際是容納真正的表的容器?？梢允褂锰厥獾腢NION語法來CREATE TABLE。下面是一個合并表的例子： mysql> &n…