大數據運維

  • 免費翻墻 [精]

    本人在hostus上買了一個國外的vps，花了一上午把Google給做好，可以訪問g.abcdocker.com進行搜索，因為是使用nginx代理進行翻墻。網上的文章也很亂，很不好整理。 可以可以使用g.abcdocker.com上Google查閱資料。（無法觀看視頻） www.abcdocker.com

    2017-06-17

  • linux入門學習動手部分

    linux入門學習了幾天，各種命令跟選項如果靠記憶很容易忘記，通過下面隨堂實驗加深記憶 實驗操作部分 enable 命令使用 禁用內部命令 enable -n echo 禁用echo命令 重新啟用echo命令 enable echo type 命令使用 type -a echo 列出所有echo的內部命令外部命令 type -p cd 顯出cd外部命令的路徑…

    Linux干貨 2017-05-20

  • 優云軟件數據專家最佳實踐：數據挖掘與運維分析

    這份研究報告，作者是優云軟件數據專家陳是維，在耗時1年時間制作的一份最佳實踐，今天和大家分享下，關于《數據采礦和運維分析》，共同探討~ 數據挖掘（Data Mining）是從大量數據中提取或“挖掘”知識。 廣義數據挖掘：數據挖掘是從存放在數據庫、數據倉庫或其它信息庫中的大量數據挖掘有趣知識的過程。 數據挖掘技術側重：1）概率與數理統計 2）數據庫技術 3）人…

    大數據運維 2016-07-16

  • Nginx代理MogileFS并實現負載均衡和高可用

    Nginx代理MogileFS并實現負載均衡和高可用 MogileFS nginx 負載均衡 前言 實驗拓撲 實驗環境 實驗步驟 配置MogileFS 配置Nginx 總結 前言 上篇文章我們了解分布式系統和MogileFS的基本使用, 但是那樣的架構是有問題的, 本篇文章我們來了解一下如何使用nginx-mogilefs-module-…

    大數據運維 2016-05-05

  • 分布式系統介紹及MogileFS安裝、基本配置

    分布式系統介紹及MogileFS安裝、基本配置 分布式 MogileFS 前言: 什么是分布式? 分布式存在的意義? 分布式的難點及CAP、BASE、2PC、X/Open XA介紹 分布式存儲和分布式文件系統: MogileFS實現原理: MogileFS編譯安裝和配置 總結 前言: 不知不覺中我們就進入大數據時代, 什么是大數據? 什么是分布式?…

    Linux干貨 2016-05-04

  • 分布式文件系統Mogilefs介紹與安裝

    一、分布式文件系統簡介： 什么是分布式存儲：       分布式存儲系統，是將數據分散存儲在多臺獨立的設備上。傳統的網絡存儲系統采用集中的存儲服務器存放所有數據，存儲服務器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網絡存儲系統采用可擴展的系統結構，利用多臺存儲…

    Linux干貨 2016-05-04

  • NFS(Network File System)介紹與應用（雙httpd + php-fpm + nfs + mysql 搭建discuz論壇）

    NFS相關介紹 一、NFS簡介     1. NFS（Network File System）: NFS是一個文件共享協議， 也是是在類Unix系統中在內核中實現的文件系統。      2. 起源： 最早是由SUN公司研發，非常古老，只是實現文件共享，安全控制方面比較簡…

    Linux干貨 2015-07-21

  • 鏈接分析算法之：SALSA算法

      SALSA算法的初衷希望能夠結合PageRank和HITS算法兩者的主要特點，既可以利用HITS算法與查詢相關的特點，也可以采納PageRank的“隨機游走模型”，這是SALSA算法提出的背景。由此可見，SALSA算法融合了PageRank和HITS算法的基本思想，從實際效果來說，很多實驗數據表明，SALSA的搜索效果也都優于前兩個算…

    大數據運維 2015-07-21

  • Hadoop集群配置（最全面總結）

    通常，集群里的一臺機器被指定為 NameNode，另一臺不同的機器被指定為JobTracker。這些機器是masters。余下的機器即作為DataNode也作為TaskTracker。這些機器是slaves\ 官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.ht…

    Linux干貨 2015-04-13

  • 谷歌三大核心技術（二）Google MapReduce中文版

    摘要 MapReduce是一個編程模型，也是一個處理和生成超大數據集的算法模型的相關實現。用戶首先創建一個Map函數處理一個基于key/value pair的數據集合，輸出中間的基于key/value pair的數據集合；然后再創建一個Reduce函數用來合并所有的具有相同中間key值的中間value值?，F實世界中有很多滿足上述處理模型的例子，本論文將詳細描…

    Linux干貨 2015-04-13

  • 谷歌三大核心技術（一）The Google File System中文版

    摘要 我們設計并實現了Google GFS文件系統，一個面向大規模數據密集型應用的、可伸縮的分布式文件系統。GFS雖然運行在廉價的普遍硬件設備上，但是它依然了提供災難冗余的能力，為大量客戶機提供了高性能的服務。 雖然GFS的設計目標與許多傳統的分布式文件系統有很多相同之處，但是，我們的設計還是以我們對自己的應用的負載情況和技術環境的分析為基礎的，不管現在還是…

    Linux干貨 2015-04-13

  • hbase安裝配置（整合到hadoop）

    1.  快速單擊安裝 在單機安裝Hbase的方法。會引導你通過shell創建一個表，插入一行，然后刪除它，最后停止Hbase。只要10分鐘就可以完成以下的操作。 1.1下載解壓最新版本 選擇一個 Apache 下載鏡像：http://www.apache.org/dyn/closer.cgi/hbase/，下載 HBase Re…

    Linux干貨 2015-04-13

  • Hadoop實戰實例

     Hadoop 是Google MapReduce的一個Java實現。MapReduce是一種簡化的分布式編程模式，讓程序自動分布到一個由普通機器組成的超大集群上并發執行。就如同java程序員可以不考慮內存泄露一樣， MapReduce的run-time系統會解決輸入數據的分布細節，跨越機器集群的程序執行調度，處理機器…

    Linux干貨 2015-04-13

  • Hadoop簡介

    Hadoop的概要介紹 Hadoop，是一個分布式系統基礎架構，由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力高速運算和存儲。 簡單地說來，Hadoop是一個可以更容易開發和運行處理大規模數據的軟件平臺。該平臺使用的是面向對象編程語言Java實現的，具有良好的可移植性。 Hadoop的發展歷史 &nbsp…

    Linux干貨 2015-04-13

  • 用PHP編寫Hadoop的MapReduce程序

    Hadoop流 雖然Hadoop是用java寫的，但是Hadoop提供了Hadoop流，Hadoop流提供一個API, 允許用戶使用任何語言編寫map函數和reduce函數.Hadoop流動關鍵是，它使用UNIX標準流作為程序與Hadoop之間的接口。因此，任何程序只要可以從標準輸入流中讀取數據，并且可以把數據寫入標準輸出流中，那么就可以通過Hadoop流使…

    Linux干貨 2015-04-13
欧美性久久久久