NoSQL理論基礎及安裝、基本操作

30分鐘開始

分布式系統理論：

CAP：

一致性

可用性

分區容錯性

 

 

MongoDB:

安裝

crud

索引

副本集

分片

 

NoSQL:非關系型、分布式、不提供ACID功能

技術特點：

1、簡單數據模型

2、元數據和應用數據分離（分不同服務器存儲）

3、弱一致性

 

優勢：

1、避免不必要的復雜性

2、高吞吐量

3、高水平擴展能力和低端硬件集群

4、不適用對象-關系映射

 

劣勢：

1、不支持ACID特性

2、功能簡單

3、沒有統一的數據查詢模型

 

分類：

NoSQL:

鍵值存儲

列式數據庫

文檔數據庫

圖式數據庫

 

SQL：

mysql

pgsql

 

緩存數據庫系統：

memcache

 

CAP理論：從CAP中挑出2個

BASE理論：

基本可用

軟狀態

最終一致性

 

 

C,A:SQL(保證一致性，可用性)

C,P:悲觀加鎖機制（一致性，分區容錯性）

A,P:DNS

 

數據一致性模型：強一致性、弱一致性、最終一致性

 

數據一致性的實現技術：

Quorum(法定票數)系統NRW策略（關注）

N:副本數

R:完成讀操作所需要讀取的最少副本數

W:完成寫操作所需要寫入的最少副本數

 

要想保證強一致性：R+W>N

最多只能保證最終一致性：R+W<=N

 

兩段式提交：2PC（two phase commit protocol）（關注）

有兩類節點：

一類為協調者

一類為事務參與者

 

兩段：

1、請求階段：事務協調者通知事務參與者提交事務

2、提交階段：事務參與者提交事務

 

時間戳策略

 

Paxos:根據協議進行協調

 

向量時鐘

 

 

NoSQL的數據存儲模型：

1、鍵值存儲：k-w

優點：查找迅速

缺點：數據無結構、通常只被當做字符串或二進制數據

應用場景：內容緩存

實例：redis，dynamo

2、列式模型：

數據模型：數據按列存儲，將同一列數據存在一起

優點：查找迅速，可擴展性強，易于實現分布式

缺點：功能相對sql有限

應用場景：分布式文件系統或分布式存儲

實例：Bigtable(google),cassandra,HBase,Hypertable

3、文檔模型

數據模型：與鍵值模型相似，value指向結構化數據

優點：數據格式要求不嚴格，無需事先定義結構

缺點：查詢性能不高，缺乏統一查詢語法

應用場景：web應用

實例：MongoDB,CouchDB

 

4、圖式模型：

數據模型：圖結構模型

優點：利用圖結構相關算法提高性能，滿足特殊場景應用需求

缺點：實現分布式較困難，功能有定向性

應用場景：社交網絡、推薦系統、關系圖譜

實例：Neo4j

 

www.nosql-database.org

 

 

Mongodb:

collection：表

多個collection：database

 

 

MongoDB的安裝：是一個易于擴展的、高性能、開源、文檔模式的no-sql數據庫

存儲：海量數據、文檔數據庫、不需要創建表結構、c++研發的，開源

是什么？

基于文檔數據庫（json格式）

無表結構

性能：

c++

支持各種索引

不支持事務

內存映射（延遲寫操作）

擴展性：

復制

auto-sharding

商業支持

支持基于文檔的查詢：表達式為json

支持使用map/reduce

靈活的聚合操作

在分片的基礎上并行處理

GridFS：網格文件系統，存儲單個大文件或海量小文件的分布式文件系統

地理位置、空間索引

被生產環境驗證過

 

特性：

動態查詢

查詢性能剖析

基于復制完成故障自動轉移

 

rabbitmq的性能太差，使用HBase

適應場景：

web網站

緩存

低價值、高存儲量

高擴展性

實現對象、json存儲的應用編程環境

 

 

不適合場景：

事務型

商業智能決策

使用sql接口的

 

MongoDB數據模型：面向集合的數據庫

數據庫：無需創建

表：集合（行）：由文檔組成，多個文檔組成一個表，文檔是json格式的（可以嵌套）,集合無需事先定義

 

c/s:

mongod服務器端

mongo

 

 

安裝：

查看配置文件：

[root@stu?~]#?cat?/etc/mongod.conf?
#?mongo.conf

#where?to?log
logpath=/var/log/mongo/mongod.log

logappend=true

#?fork?and?run?in?background
fork?=?true

#port?=?27017

dbpath=/var/lib/mongo???#運行mongod服務的用戶也是mongod，所以保證這個目錄的屬主屬組也為mongod，
為了數據使用，應該找一個合理的目錄


#?location?of?pidfile
pidfilepath?=?/var/run/mongodb/mongod.pid

#?Disables?write-ahead?journaling
#?nojournal?=?true

#?Enables?periodic?logging?of?CPU?utilization?and?I/O?wait
#cpu?=?true

#?Turn?on/off?security.??Off?is?currently?the?default
#noauth?=?true
#auth?=?true

#?Verbose?logging?output.
#verbose?=?true

#?Inspect?all?client?data?for?validity?on?receipt?(useful?for
#?developing?drivers)
#objcheck?=?true

#?Enable?db?quota?management
#quota?=?true

#?Set?oplogging?level?where?n?is
#???0=off?(default)
#???1=W
#???2=R
#???3=both
#???7=W+some?reads
#diaglog?=?0

#?Ignore?query?hints
#nohints?=?true

#?Disable?the?HTTP?interface?(Defaults?to?localhost:27018).
#nohttpinterface?=?true

#?Turns?off?server-side?scripting.??This?will?result?in?greatly?limited
#?functionality
#noscripting?=?true

#?Turns?off?table?scans.??Any?query?that?would?do?a?table?scan?fails.
#notablescan?=?true

#?Disable?data?file?preallocation.
#noprealloc?=?true

#?Specify?.ns?file?size?for?new?databases.
#?nssize?=?<size>

#?Accout?token?for?Mongo?monitoring?server.
#mms-token?=?<token>

#?Server?name?for?Mongo?monitoring?server.
#mms-name?=?<server-name>

#?Ping?interval?for?Mongo?monitoring?server.
#mms-interval?=?<seconds>

#?Replication?Options

#?in?replicated?mongo?databases,?specify?here?whether?this?is?a?slave?or?master
#slave?=?true
#source?=?master.example.com
#?Slave?only:?specify?a?single?database?to?replicate
#only?=?master.example.com
#?or
#master?=?true
#source?=?slave.example.com

創建目錄，改屬主屬組

修改配置文件

啟動服務

system數據庫保存其他數據庫的元數據（和myslq中的mysql數據庫一樣）

查看端口：

27017：服務端口

28017：管理端口

NoSQL數據庫一般是在內網中使用的，不進行認證，直接連

數據庫幫助：

>?db.help
function?()?{
????print("DB?methods:");
????print("\tdb.addUser(userDocument)");
????print("\tdb.adminCommand(nameOrDocument)?-?switches?to?'admin'?db,?and?runs?command?[?just?calls?db.runCommand(...)?]");
????print("\tdb.auth(username,?password)");
????print("\tdb.cloneDatabase(fromhost)");
????print("\tdb.commandHelp(name)?returns?the?help?for?the?command");
????print("\tdb.copyDatabase(fromdb,?todb,?fromhost)");
????print("\tdb.createCollection(name,?{?size?:?...,?capped?:?...,?max?:?...?}?)");
????print("\tdb.currentOp()?displays?currently?executing?operations?in?the?db");
????print("\tdb.dropDatabase()");
????print("\tdb.eval(func,?args)?run?code?server-side");
????print("\tdb.fsyncLock()?flush?data?to?disk?and?lock?server?for?backups");
????print("\tdb.fsyncUnlock()?unlocks?server?following?a?db.fsyncLock()");
????print("\tdb.getCollection(cname)?same?as?db['cname']?or?db.cname");
????print("\tdb.getCollectionNames()");
????print("\tdb.getLastError()?-?just?returns?the?err?msg?string");
????print("\tdb.getLastErrorObj()?-?return?full?status?object");
????print("\tdb.getMongo()?get?the?server?connection?object");
????print("\tdb.getMongo().setSlaveOk()?allow?queries?on?a?replication?slave?server");
????print("\tdb.getName()");
????print("\tdb.getPrevError()");
????print("\tdb.getProfilingLevel()?-?deprecated");
????print("\tdb.getProfilingStatus()?-?returns?if?profiling?is?on?and?slow?threshold");
????print("\tdb.getReplicationInfo()");
????print("\tdb.getSiblingDB(name)?get?the?db?at?the?same?server?as?this?one");
????print("\tdb.hostInfo()?get?details?about?the?server's?host");
????print("\tdb.isMaster()?check?replica?primary?status");
????print("\tdb.killOp(opid)?kills?the?current?operation?in?the?db");
????print("\tdb.listCommands()?lists?all?the?db?commands");
????print("\tdb.loadServerScripts()?loads?all?the?scripts?in?db.system.js");
????print("\tdb.logout()");
????print("\tdb.printCollectionStats()");
????print("\tdb.printReplicationInfo()");
????print("\tdb.printShardingStatus()");
????print("\tdb.printSlaveReplicationInfo()");
????print("\tdb.removeUser(username)");
????print("\tdb.repairDatabase()");
????print("\tdb.resetError()");
????print("\tdb.runCommand(cmdObj)?run?a?database?command.??if?cmdObj?is?a?string,?turns?it?into?{?cmdObj?:?1?}");
????print("\tdb.serverStatus()");
????print("\tdb.setProfilingLevel(level,<slowms>)?0=off?1=slow?2=all");
????print("\tdb.setVerboseShell(flag)?display?extra?information?in?shell?output");
????print("\tdb.shutdownServer()");
????print("\tdb.stats()");
????print("\tdb.version()?current?version?of?the?server");

????return?__magicNoPrint;
}

集合幫助：

>?db.mycoll.help()
DBCollection?help
????db.mycoll.find().help()?-?show?DBCursor?help
????db.mycoll.count()
????db.mycoll.copyTo(newColl)?-?duplicates?collection?by?copying?all?documents?to?newColl;?no?indexes?are?copied.
????db.mycoll.convertToCapped(maxBytes)?-?calls?{convertToCapped:'mycoll',?size:maxBytes}}?command
????db.mycoll.dataSize()
????db.mycoll.distinct(?key?)?-?e.g.?db.mycoll.distinct(?'x'?)
????db.mycoll.drop()?drop?the?collection
????db.mycoll.dropIndex(index)?-?e.g.?db.mycoll.dropIndex(?"indexName"?)?or?db.mycoll.dropIndex(?{?"indexKey"?:?1?}?)
????db.mycoll.dropIndexes()
????db.mycoll.ensureIndex(keypattern[,options])?-?options?is?an?object?with?these?possible?fields:?name,?unique,?dropDups
????db.mycoll.reIndex()
????db.mycoll.find([query],[fields])?-?query?is?an?optional?query?filter.?fields?is?optional?set?of?fields?to?return.
??????????????????????????????????????????????????e.g.?db.mycoll.find(?{x:77}?,?{name:1,?x:1}?)
????db.mycoll.find(...).count()
????db.mycoll.find(...).limit(n)
????db.mycoll.find(...).skip(n)
????db.mycoll.find(...).sort(...)
????db.mycoll.findOne([query])
????db.mycoll.findAndModify(?{?update?:?...?,?remove?:?bool?[,?query:?{},?sort:?{},?'new':?false]?}?)
????db.mycoll.getDB()?get?DB?object?associated?with?collection
????db.mycoll.getIndexes()
????db.mycoll.group(?{?key?:?...,?initial:?...,?reduce?:?...[,?cond:?...]?}?)
????db.mycoll.insert(obj)
????db.mycoll.mapReduce(?mapFunction?,?reduceFunction?,?<optional?params>?)
????db.mycoll.remove(query)
????db.mycoll.renameCollection(?newName?,?<dropTarget>?)?renames?the?collection.
????db.mycoll.runCommand(?name?,?<options>?)?runs?a?db?command?with?the?given?name?where?the?first?param?is?the?collection?name
????db.mycoll.save(obj)
????db.mycoll.stats()
????db.mycoll.storageSize()?-?includes?free?space?allocated?to?this?collection
????db.mycoll.totalIndexSize()?-?size?in?bytes?of?all?the?indexes
????db.mycoll.totalSize()?-?storage?allocated?for?all?data?and?indexes
????db.mycoll.update(query,?object[,?upsert_bool,?multi_bool])?-?instead?of?two?flags,?you?can?pass?an?object?with?fields:?upsert,?multi
????db.mycoll.validate(?<full>?)?-?SLOW
????db.mycoll.getShardVersion()?-?only?for?use?with?sharding
????db.mycoll.getShardDistribution()?-?prints?statistics?about?data?distribution?in?the?cluster
????db.mycoll.getSplitKeysForChunks(?<maxChunkSize>?)?-?calculates?split?points?over?all?chunks?and?returns?splitter?function

簡單使用：

使用數據庫：（無需創建），collection也無需創建

db.collection.insert：插入

show collections：查詢集合

db.collections.find()：查詢語句

db.collections.update():更新

db.collections.remove():移除

集合信息：

刪除集合：

查看數據庫文件：

基本操作：

show dbs:查看所有數據庫

show collections:查看集合

show users:查看用戶

show profile:

show logs:查看所有日志列表

show log [name]:查看具體的日志

遠程連接：

mongo –host ip

crud操作：

create,read,update,delete

雖然沒有表結構，但還是應該對同類對象放到一個collection

查詢：

db.users.find({age:{$gt:18}}).sort({age:1})?? 查詢age大于18的用戶，以age為升序進行排序

插入：

db.users.insert(

{

name:’suse’,

age:26,

status:’A’,

group:[‘news’,’sports’]

}

)

更新：

db.coll.update(

{age:{$gt:18}},

{$set:{status:’A’}},

{multi:true}?? 不指定時只修改第一個符合條件

)

刪除：

db.coll.delete(

{status:’D’}

)

插入：

一批只顯示20個，輸入it繼續

limit：

刪除：

 

修改：

find高級用法：

db.collection.find(<添加>,<字段>)

db.collection.count()返回條數

比較運算：

$gt：大于{field:{$gt:value}}

$gte：大于等于{field:{$gte:value}}

$in：存在于{field:{$in:[value1,value2,…]}}

$lt：小于{field:{$lt:value}}

$lte：小于等于{field:{$lte:value}}

$ne：不等于{field:{$ne:value}}

$nin：不存在于{field:{$nin:[value1,value2…]}}

大于

顯示需要的字段：

邏輯運算：

$or:或運算，{$or:[{expression1},{expression2},…]}

$and:或運算，{$and:[{expression1},{expression2},…]}

$not:或運算，{field:{$not:{operator-expression}}}

$nor:反運算，即返回不符合所有指定條件的文檔，{$nor:[{expression1},{expression2},…]}

與運算：

元素查詢：

如果要分居文檔中是否存在某字段等條件來挑選文檔，則需要用到元素運算

$exists:根據指定字段的存在性挑選文檔，語法：{field:{$exists:<boolean>}},指定<boolean>的值為’true’則返回存在指定字段的文檔，’false’則返回不存在指定字段的文檔

$mod:將指定字段的值進行取模運算，并返回其余數作為指定值的文檔，語法{field:{$mod:[divisor,remainder]}}

$type:返回指定字段的值類型為指定類型的文檔，語法：{field:{$type:<bson type>}}

重新插入一條數據：

查詢：

更新：

update專有操作符大致包含：field,array,bitwise

field:

$inc:增大指定字段的值，格式：

db.collection.update({field:value},{$nic:{field1:amount}}),其中{field:value}用于指定挑選標準，{$inc:{field1:amount}}用于指定要提升其值的字段及提升大小amount

$rename:更改字段名，格式為{$rename:{<old name1>:<new name1>,<old name2>:<new name2>,…}}

$set:修改字段的值為新指定的值，格式db.collection.update({field:value1},{$set:{field2:value2}})

$unset:刪除指定的字段，格式db.collection.update({field:value1},{$unset:{field1:””}})