nene
-
Python爬蟲入門
自己在網上學習的一些內容，分享給大家，希望大家和我一樣，可以快速掌握Python爬蟲 一、爬蟲入門 1.?Python爬蟲入門一之綜述 2.?Python爬蟲入門二之爬蟲基礎了解 3.?Python爬蟲入門三之Urllib庫的基本使用 4.?Python爬蟲入門四之Urllib庫的高級用法 5.?Python爬蟲入門五之URLError異常處理 6.?Pyt…
-
Docker 實例
1、Docker 安裝 Nginx 方法一：通過 Dockerfile構建 創建Dockerfile 首先，創建目錄nginx,用于存放后面的相關東西。 # mkdir -p nginx/www nginx/logs nginx/conf www目錄將映射為nginx容器配置的虛擬目錄 logs目錄將映射為nginx容器的日志目錄 conf目錄里的配置文件將…
-
Docker入門
一、Docker 架構 Docker 使用客戶端-服務器 (C/S) 架構模式，使用遠程API來管理和創建Docker容器。 Docker 容器通過 Docker 鏡像來創建。 容器與鏡像的關系類似于面向對象編程中的對象與類。 Docker 面向對象 容器 對象 鏡像 類 Docker 鏡像(Images) Docker 鏡像是用于創建 Docker 容器的…
-
Python模塊及詳解（2）
目錄： 一、報表之Excel操作XlsxWriter模塊 二、Python與rrdtool的結合模塊 三、構建集中式的病毒掃描機制 四、系統批量運維管理器paramiko詳解 五、系統批量運維管理器Fabric詳解 一、報表之Excel操作XlsxWriter模塊 Excel是當今最流行的電子表格處理軟件，支持豐富的計算函數及圖表，在系統運營方面廣泛用于運營…
-
Python的模塊及詳解(1)
psuitil模塊 filecmp模塊 pycurl模塊 一、系統性能信息模塊psuitil psutil是一個跨平臺庫（http://code.google.com/p/psutil/），能夠輕松實現獲取系統運行的進程和系統利用率（包括CPU、內存、磁盤、網絡等）信息。它主要應用于系統監控，分析和限制系統資源及進程的管理。它實現了同等命令行工具提供的功能，…
-
Python基礎篇之過程型程序設計
一、Python過程型程序設計 面向過程 以指令為中心，由指令處理數據 如何組織代碼解碼問題 面向對象 以數據為中心，所有的處理代碼都圍繞數據展開 如何設計數據結構組織數據，并提供對此類數據所允許處理操作 簡單方法： 1)、編譯安裝新版本至某特定路徑 # yum install readline-devel # tar xf Python-2.7.6.tar…
-
NoSQL之MongoDB
分布式系統理論 1、 CAP: 分布式系統只能滿足其中兩個? Consistency ：一致性 Availibility：可用性 Partitions Tolerance ：分區容錯性 C,A ： SQL 傳統的數據庫。 兩段機制。 C,P ：悲觀枷鎖機制，分布式加鎖機制。加鎖機制與SQL不太一樣。 這里的C為最終一致性。 放棄C后的特例，既可以保證可用性，…
-
rsync+inotify實現數據的實時同步更新
? rsync可以實現觸發式的文件同步，但是通過crontab守護進程方式進行觸發，同步的數據和實際數據會有差異，而inotify可以監控文件系統的各種變化，當文件有任何變動時，就觸發rsync同步，這樣就可以解決同步數據的實時性問題。 一、rsync的優點與不足 rsync具有安全性高、備份迅速、支持增量備份等優點，通過rsync可以解決對實時性要求不高的…
-
haproxy
12.1 高性能負載均衡軟件HAProxy介紹 隨著互聯網業務的迅猛發展，大型電商平臺和門戶網站對系統的可用性和可靠性要求越來越高，高可用集群、負載均衡集群成為一種熱門的系統架構解決方案。在眾多的負載均衡集群解決方案中，有基于硬件的負載均衡設備，例如F5、Big-IP等，也有基于軟件的負載均衡產品，例如HAProxy、LVS、Nginx等。在軟件的負載均衡產…
-
Nagios
一、Nagios簡介 Nagios是一款開源的電腦系統和網絡監視工具，能有效監控Windows、Linux和Unix的主機狀態，交換機路由器等網絡設置，打印機等。在系統或服務狀態異常時發出郵件或短信報警第一時間通知網站運維人員，在狀態恢復后發出正常的郵件或短信通知。 Nagios原名為NetSaint，由Ethan Galstad開發并維護至今…
-
redis主/從配置及基于sentinel的故障轉移
?一、NoSQL基礎概念: ACID:原子性、一致性、隔離性、持久性；特性：數據量大、數據變化非常大（數據增長化、流量分布變化、數據間耦合結構變化）、數據源很多； CAP、BASECAP C:多個數據節點的的數據一致；A:用戶發出請求后的有限時間范圍內返回結果；P:network partition，網絡發生分區后，服務是否依可用；CAP理論：一個分布式系統…
-
OpenStack私有云部署
架構 實驗環境 角色 主機名 網卡 系統環境 Controller?Node controller.qween.com 管理接口eth0：192.168.22.128 外部接口eth1：192.168.36.130CentOS6.8Compute Nodecompute1.qween.com管理接口eth0：192.168.22.129 隧道接口eth1：1…
-
hadoop分布式集群
分布式集群的實現 環境： 192.168.36.129 ? node1：NN,SNN,RM ?192.168.36.130 ?node2：DN,NM 192.168.36.132 ? node3：DN,NM 192.168.36.133 ? node4：DN,NM 配置java環境，每個節點時間同步，基于主機名互相通信，定義/etc/hosts 文件 &nb…
-
Hadoop偽分布式模型
# java -version # vim /etc/profile.d/java.sh export JAVA_HOME=/usr # yum install java-1.8.0-openjdk-devel # mkdir /bdapps # tar xf hadoop-2.7.4.tar.gz -C /bdapps/ # cd /bdapps # ln…
-
Hadoop hdfs分布式文件系統
一、MapReduce理論基礎 每個MapReduce job都是Hadoop客戶端想要執行的一個工作單元，它一般由輸入數據、MapReduce程序和配置信息組成，而Hadoop會把每個job分隔成兩類任務(task)：map任務和reduce任務。在Hadoop集群中有兩類節點來執行兩類job進程的執行 1.1 大數據處理 任何基礎業務包含了收集、分析、監…
