MongoDB復制集及數據分片詳解

前言

MongoDB是一個由C++語言編寫的基于分布式文件存儲的數據庫，是當前NoSQL數據庫中比較熱門的一種，旨在為Web應用提供可擴展的高性能數據存儲解決方案。本文介紹MongoDB復制集及數據分片。

MongoDB

簡介

MongoDB是一個介于關系數據庫和非關系數據庫之間的產品，是非關系數據庫當中功能最豐富，最像關系數據庫的。支持的數據結構非常松散，因此可以存儲比較復雜的數據類型。最大的特點是其支持的查詢語言非常強大，其語法有點類似于面向對象的查詢語言，幾乎可以實現類似關系數據庫單表查詢的絕大部分功能，而且還支持對數據建立索引。

特點及功能特性

特點：高性能、易部署、易使用，存儲數據非常方便

主要功能特性有：

面向集合存儲，易存儲對象類型的數據

模式自由

支持動態查詢

支持完全索引，包含內部對象

支持查詢

支持復制和故障恢復

使用高效的二進制數據存儲，包括大型對象（如視頻等）

自動處理碎片，以支持云計算層次的擴展性

支持Ruby，Python，Java，C++，PHP等多種語言

文件存儲格式為Bson（一種Json的擴展）

可通過網絡訪問

優缺點

與非關系型數據庫相比，MongoDB的優點：

弱一致性（最終一致），更能保證用戶的訪問速度

文檔結構的存儲方式，能夠更便捷的獲取數據

內置GridFS，支持大容量的存儲

內置Sharding

第三方支持豐富(這是與其他的NoSQL相比，MongoDB也具有的優勢)

性能優越

與非關系型數據庫相比，MongoDB的缺點：

不支持事務操作

占用空間過大

沒有成熟的維護工具

MongoDB復制集

復制集

MongoDB有兩種復制類型：Master/Slave主從和Replica Set副本集復制，由于MongoDB的特性，主從復制架構已基本不再使用，目前比較常見的是副本集復制方式

工作特性：

至少三個，且應該為奇數個節點，可使用arbiter（仲裁者）來參與選舉

復制集可實現失效自動轉移（通過選舉方式實現）

復制集的中特殊類型的節點：

0優先級的節點：冷備節點，不會被選舉成為主節點，但可以參與選舉

被隱藏的從節點：首先是一個0優先級的從節點，且對客戶端不可見

延遲復制的從節點：首先是一個0優先級的從節點，且復制時間落后于主節點一個固定時長

arbiter: 仲裁者

復制集架構

實驗拓撲

#系統環境：CentOS6.6
#各節點時間已同步

配置過程

安裝所需軟件

[root@node1 ~]# cd mongodb/
[root@node1 mongodb]# ls
mongodb-org-server-2.6.10-1.x86_64.rpm  mongodb-org-tools-2.6.10-1.x86_64.rpm
mongodb-org-shell-2.6.10-1.x86_64.rpm
[root@node1 mongodb]# yum install *.rpm -y      #3個包都安裝

#所有節點都執行以上安裝操作

編輯配置文件

[root@node1 ~]# vim /etc/mongod.conf 

logpath=/var/log/mongodb/mongod.log
logappend=true
fork=true
dbpath=/mongodb/data                        #數據位置
pidfilepath=/var/run/mongodb/mongod.pid
#bind_ip=127.0.0.1                          #默認監聽本機，注釋掉監聽所有
httpinterface=true                          #開放web
rest=true
replSet=testSet                             #復制集名，可自定義
replIndexPrefetch=_id_only

同步配置文件至各節點

[root@node1 ~]# scp /etc/mongod.conf node3:/etc
root@node3's password: 
mongod.conf                                             100% 1567     1.5KB/s   00:00    
[root@node1 ~]# scp /etc/mongod.conf node4:/etc
root@node4's password: 
mongod.conf                                             100% 1567     1.5KB/s   00:00

創建數據目錄

[root@node1 ~]# mkdir /mongodb/data -pv
mkdir: created directory `/mongodb'
mkdir: created directory `/mongodb/data'
[root@node1 ~]# chown -R mongod.mongod /mongodb

#各節點都執行以上操作

啟動服務

[root@node1 ~]# service mongod start
Starting mongod:                                           [  OK  ]
[root@node1 mongodb]# ss -tnl | grep 27017
LISTEN     0      128                       *:27017                    *:*   

#各節點啟動服務，啟動過程中需要初始化數據，故啟動較慢

連接數據庫做初始化

[root@node1 ~]# mongo
MongoDB shell version: 2.6.10
connecting to: test
Welcome to the MongoDB shell.
For interactive help, type "help".
For more comprehensive documentation, see
	http://docs.mongodb.org/
Questions? Try the support group
	http://groups.google.com/group/mongodb-user
> rs.initiate()
{
	"info2" : "no configuration explicitly specified -- making one",
	"me" : "node1.scholar.com:27017",
	"info" : "Config now saved locally.  Should come online in about a minute.",
	"ok" : 1
}

#初始化成功，查看狀態信息
> rs.status()
{
	"set" : "testSet",
	"date" : ISODate("2015-07-13T12:33:27Z"),
	"myState" : 1,
	"members" : [
		{
			"_id" : 0,
			"name" : "node1.scholar.com:27017",
			"health" : 1,
			"state" : 1,
			"stateStr" : "PRIMARY",
			"uptime" : 1111,
			"optime" : Timestamp(1436790736, 1),
			"optimeDate" : ISODate("2015-07-13T12:32:16Z"),
			"electionTime" : Timestamp(1436790737, 1),
			"electionDate" : ISODate("2015-07-13T12:32:17Z"),
			"self" : true
		}
	],
	"ok" : 1
}
testSet:PRIMARY> 

#已成為主節點

添加節點

testSet:PRIMARY> rs.add("172.16.10.125")
{ "ok" : 1 }
testSet:PRIMARY> rs.add("172.16.10.126")
{ "ok" : 1 }

#查看各節點狀態
testSet:PRIMARY> rs.status()
{
	"set" : "testSet",
	"date" : ISODate("2015-07-13T12:41:07Z"),
	"myState" : 1,
	"members" : [
		{
			"_id" : 0,
			"name" : "node1.scholar.com:27017",
			"health" : 1,
			"state" : 1,
			"stateStr" : "PRIMARY",
			"uptime" : 1571,
			"optime" : Timestamp(1436791178, 1),
			"optimeDate" : ISODate("2015-07-13T12:39:38Z"),
			"electionTime" : Timestamp(1436790737, 1),
			"electionDate" : ISODate("2015-07-13T12:32:17Z"),
			"self" : true
		},
		{
			"_id" : 1,
			"name" : "172.16.10.125:27017",
			"health" : 1,
			"state" : 2,
			"stateStr" : "SECONDARY",
			"uptime" : 98,
			"optime" : Timestamp(1436791178, 1),
			"optimeDate" : ISODate("2015-07-13T12:39:38Z"),
			"lastHeartbeat" : ISODate("2015-07-13T12:41:06Z"),
			"lastHeartbeatRecv" : ISODate("2015-07-13T12:41:05Z"),
			"pingMs" : 1,
			"syncingTo" : "node1.scholar.com:27017"
		},
		{
			"_id" : 2,
			"name" : "172.16.10.126:27017",
			"health" : 1,
			"state" : 2,
			"stateStr" : "SECONDARY",
			"uptime" : 89,
			"optime" : Timestamp(1436791178, 1),
			"optimeDate" : ISODate("2015-07-13T12:39:38Z"),
			"lastHeartbeat" : ISODate("2015-07-13T12:41:06Z"),
			"lastHeartbeatRecv" : ISODate("2015-07-13T12:41:06Z"),
			"pingMs" : 1,
			"syncingTo" : "node1.scholar.com:27017"
		}
	],
	"ok" : 1
}

創建數據，驗證是否同步

#主節點
testSet:PRIMARY> use testdb
switched to db testdb
testSet:PRIMARY> db.students.insert({name: "ZhangSan",age: "21"})
WriteResult({ "nInserted" : 1 })

#從節點
testSet:SECONDARY> rs.slaveOk()     #每個從節點首先申明從節點準備完畢才可同步
testSet:SECONDARY> use testdb
switched to db testdb
testSet:SECONDARY> show collections
students
system.indexes
testSet:SECONDARY> db.students.findOne()
{
	"_id" : ObjectId("55a3b494ebcafd9edbdfce4d"),
	"name" : "ZhangSan",
	"age" : "21"
}
#驗證從節點是否可寫
testSet:SECONDARY> db.classes.insert({class: "2",numstu: "50"})
WriteResult({ "writeError" : { "code" : undefined, "errmsg" : "not master" } })

#由此可見，只有主節點才可寫

以上便是復制集的相關配置，如果主節點故障，從節點會自動選舉出新的主節點，這里就不再演示

數據分片

分片緣由

分片（sharding）是MongoDB用來將大型集合分割到不同服務器（集群）上所采用的方法。當單臺服務器CPU，Memory，IO等無法滿足需求，就需要將數據分片存放，減緩服務器壓力。

分片架構

實驗拓撲

配置過程

因為以上做過實驗我們首先來清理一下數據

[root@node1 ~]# service mongod stop
Stopping mongod:                                           [  OK  ]
[root@node1 ~]# rm -rf /mongodb/data/*

#各節點都執行以上操作，若第一次做可忽略

Config Server配置

#安裝所需包
[root@node2 mongodb]# ls
mongodb-org-server-2.6.10-1.x86_64.rpm  mongodb-org-tools-2.6.10-1.x86_64.rpm
mongodb-org-shell-2.6.10-1.x86_64.rpm
[root@node2 mongodb]# yum install *.rpm -y

修改配置文件

[root@node2 ~]# vim /etc//mongod.conf 

logpath=/var/log/mongodb/mongod.log
logappend=true
fork=true
dbpath=/mongodb/data  
configsvr=true                               #開啟config server                  
pidfilepath=/var/run/mongodb/mongod.pid
#bind_ip=127.0.0.1                          
httpinterface=true                         
rest=true

創建數據目錄

[root@node2 ~]# mkdir /mongodb/data -pv
mkdir: created directory `/mongodb'
mkdir: created directory `/mongodb/data'
[root@node2 ~]# chown -R mongod.mongod /mongodb

啟動服務

[root@node2 ~]# service mongod start
Starting mongod:                                           [  OK  ]
[root@node2 ~]# ss -tnl | grep 27019
LISTEN     0      128                       *:27019                    *:*     

#監聽端口已發生改變，不再是27017

Mongos配置

#安裝所需包，Mongos節點只裝此包即可，無需裝第一次實驗中的mongod的相關包
[root@node1 ~]# yum install mongodb-org-mongos-2.6.10-1.x86_64.rpm -y

啟動服務

[root@node1 ~]# mongos --configdb=172.16.10.124 --fork --logpath=/var/log/mongodb/mongos.log
2015-07-13T22:22:47.404+0800 warning: running with 1 config server should be done only fo
r testing purposes and is not recommended for production
about to fork child process, waiting until server is ready for connections.
forked process: 3583
child process started successfully, parent exiting

#--configdb指定config server --logpath指定日志位置 --fork后臺運行

Shard配置

#以為我們第一次實驗安裝過軟件了，下面直接修改配置文件
[root@node3 ~]# vim /etc/mongod.conf 

logpath=/var/log/mongodb/mongod.log
logappend=true
fork=true
dbpath=/mongodb/data                      
pidfilepath=/var/run/mongodb/mongod.pid
#bind_ip=127.0.0.1                          
httpinterface=true                         
rest=true

[root@node3 ~]# service mongod start
Starting mongod:                                           [  OK  ]

#兩個shard節點都執行以上操作

Mongos節點添加Shard節點

[root@node1 ~]# mongo --host 172.16.10.123
MongoDB shell version: 2.6.10
connecting to: 172.16.10.123:27017/test
mongos> sh.addShard("172.16.10.125")
{ "shardAdded" : "shard0000", "ok" : 1 }
mongos> sh.addShard("172.16.10.126")
{ "shardAdded" : "shard0001", "ok" : 1 }
mongos> sh.status()
--- Sharding Status --- 
  sharding version: {
	"_id" : 1,
	"version" : 4,
	"minCompatibleVersion" : 4,
	"currentVersion" : 5,
	"clusterId" : ObjectId("55a3c9ba131b83ff44e19435")
}
  shards:
	{  "_id" : "shard0000",  "host" : "172.16.10.125:27017" }
	{  "_id" : "shard0001",  "host" : "172.16.10.126:27017" }
  databases:
	{  "_id" : "admin",  "partitioned" : false,  "primary" : "config" }

對所需對象啟用分片功能

#對數據庫啟用sharding功能
mongos> sh.enableSharding("testdb")
{ "ok" : 1 }
mongos> sh.status()
--- Sharding Status --- 
  sharding version: {
	"_id" : 1,
	"version" : 4,
	"minCompatibleVersion" : 4,
	"currentVersion" : 5,
	"clusterId" : ObjectId("55a3c9ba131b83ff44e19435")
}
  shards:
	{  "_id" : "shard0000",  "host" : "172.16.10.125:27017" }
	{  "_id" : "shard0001",  "host" : "172.16.10.126:27017" }
  databases:
	{  "_id" : "admin",  "partitioned" : false,  "primary" : "config" }
	{  "_id" : "test",  "partitioned" : false,  "primary" : "shard0000" }
	{  "_id" : "testdb",  "partitioned" : true,  "primary" : "shard0000" }

#指定需要分片的Collection及索引
mongos> sh.shardCollection("testdb.students",{"age": 1})
{ "collectionsharded" : "testdb.students", "ok" : 1 }
mongos> sh.status()
--- Sharding Status --- 
  sharding version: {
	"_id" : 1,
	"version" : 4,
	"minCompatibleVersion" : 4,
	"currentVersion" : 5,
	"clusterId" : ObjectId("55a3c9ba131b83ff44e19435")
}
  shards:
	{  "_id" : "shard0000",  "host" : "172.16.10.125:27017" }
	{  "_id" : "shard0001",  "host" : "172.16.10.126:27017" }
  databases:
	{  "_id" : "admin",  "partitioned" : false,  "primary" : "config" }
	{  "_id" : "test",  "partitioned" : false,  "primary" : "shard0000" }
	{  "_id" : "testdb",  "partitioned" : true,  "primary" : "shard0000" }
		testdb.students
			shard key: { "age" : 1 }
			chunks:
				shard0000	1
			{ "age" : { "$minKey" : 1 } } -->> { "age" : { "$maxKey" : 1 } }
on : shard0000 Timestamp(1, 0)

分片功能已開啟，接下來我們手動創建數據來驗證是否會分片

mongos> use testdb
switched to db testdb
mongos> for (i=1;i<=100000;i++) db.students.insert({name:"student"+i,age:(i%120),addr:"china"})
WriteResult({ "nInserted" : 1 })
mongos> db.students.find().count()
100000
mongos> sh.status()
--- Sharding Status --- 
  sharding version: {
	"_id" : 1,
	"version" : 4,
	"minCompatibleVersion" : 4,
	"currentVersion" : 5,
	"clusterId" : ObjectId("55a3c9ba131b83ff44e19435")
}
  shards:
	{  "_id" : "shard0000",  "host" : "172.16.10.125:27017" }
	{  "_id" : "shard0001",  "host" : "172.16.10.126:27017" }
  databases:
	{  "_id" : "admin",  "partitioned" : false,  "primary" : "config" }
	{  "_id" : "test",  "partitioned" : false,  "primary" : "shard0000" }
	{  "_id" : "testdb",  "partitioned" : true,  "primary" : "shard0000" }
		testdb.students
			shard key: { "age" : 1 }
			chunks:
				shard0001	1
				shard0000	2
			{ "age" : { "$minKey" : 1 } } -->> { "age" : 1 } on : shard0001 Timestamp(2, 0) 
			{ "age" : 1 } -->> { "age" : 119 } on : shard0000 Timestamp(2, 2) 
			{ "age" : 119 } -->> { "age" : { "$maxKey" : 1 } } on : shard0000 Timestamp(2, 3)

查看數據狀態會發現數據已被分到不同shard上，至此，數據分片成功實現

The end

MongoDB復制集及數據分片就先說到這里了，通過以上簡單應用可以看出，MongoDB在無論大數據處理還是復制方面都有著比MySQL更加優秀的性能和更加簡單的操作，但由于MongoDB目前還不是很成熟，在實際的應用中還有許多問題有待解決，相信在未來MongoDB會更加出色。以上僅為個人學習整理，如有錯漏，大神勿噴~~~