mongodb集群监控和运维

2017/09/06

这篇文件介绍如何动态的添加、下架mongod分片和副本集,以及如何监控和运维mongodb。

添加节点

副本集 改为仲裁节点

convert-secondary-into-arbiter

登录

mongo 192.168.0.35:27005
#使用admin数据库
use admin
#查看分区状态
rs.status();

移除副本集

rs.remove("192.168.0.35:27005")

查看配置

rs.conf()

删除shard5的数据目录,重启shard5

重新添加仲裁节点

rs.addArb("192.168.0.35:27005")

查看配置

rs.conf()

仲裁节点改成副本集

Add Members to a Replica Set

移除仲裁节点

rs.remove("192.168.0.35:27005")

删除总裁节点的数据,并重启

在 primary 添加副本节点

rs.add("192.168.0.35:27005")
rs.conf()
rs.status();

刚添加的副本集状态为:STARTUP2

"stateStr" : "STARTUP2",

集群中添加分片

mongo 192.168.0.31:20000
#使用admin数据库
use  admin
#添加分片
sh.addShard("shard5/192.168.0.35:27005,192.168.0.31:27005,192.168.0.32:27005")
#查看集群状态
sh.status()

监控

mongostat

mongostat是mongdb自带的状态检测工具,在命令行下使用。它会间隔固定时间获取mongodb的当前运行状态,并输出。如果你发现数据库突然变慢或者有其他问题的话,你第一手的操作就考虑采用mongostat来查看mongo的状态。

它的输出有以下几列:

  • inserts/s 每秒插入次数
  • query/s 每秒查询次数
  • update/s 每秒更新次数
  • delete/s 每秒删除次数
  • getmore/s 每秒执行getmore次数
  • command/s 每秒的命令数,比以上插入、查找、更新、删除的综合还多,还统计了别的命令
  • flushs/s 每秒执行fsync将数据写入硬盘的次数。
  • mapped/s 所有的被mmap的数据量,单位是MB,
  • vsize 虚拟内存使用量,单位MB
  • res 物理内存使用量,单位MB
  • faults/s 每秒访问失败数(只有Linux有),数据被交换出物理内存,放到swap。不要超过100,否则就是机器内存太小,造成频繁swap写入。此时要升级内存或者扩展
  • locked % 被锁的时间百分比,尽量控制在50%以下吧
  • idx miss % 索引不命中所占百分比。如果太高的话就要考虑索引是不是少了
  • q t|r|w 当Mongodb接收到太多的命令而数据库被锁住无法执行完成,它会将命令加入队列。这一栏显示了总共、读、写3个队列的长度,都为0的话表示mongo毫无压力。高并发时,一般队列值会升高。
  • conn 当前连接数
  • time 时间戳

示例:

mongostat -h 192.168.0.31:27001
##返回结果
insert query update delete getmore command dirty  used flushes vsize   res qrw arw net_in net_out conn    set repl                time
   576    *0     *0     *0     455  1370|0  2.7% 64.0%       0 15.8G 13.9G 0|1 0|0  1.82m   1.44m   77 shard1  PRI Aug 23 17:05:25.495
   514    *0     *0     *0     446  1336|0  2.7% 64.0%       0 15.8G 13.9G 0|1 0|0  1.71m   1.29m   77 shard1  PRI Aug 23 17:05:26.495
   499    *0     *0     *0     461  1310|0  2.7% 64.0%       0 15.8G 13.9G 0|0 1|0  1.68m   1.27m   77 shard1  PRI Aug 23 17:05:27.495
   485    *0     *0     *0     442  1285|0  2.7% 64.0%       0 15.8G 13.9G 0|0 0|1  1.64m   1.24m   77 shard1  PRI Aug 23 17:05:28.496
   498    *0     *0     *0     444  1317|0  2.7% 64.0%       0 15.8G 13.9G 0|0 0|0  1.68m   1.26m   77 shard1  PRI Aug 23 17:05:29.494
   477    *0     *0     *0     445  1272|0  2.7% 64.0%       0 15.8G 13.9G 0|0 0|0  1.61m   1.22m   77 shard1  PRI Aug 23 17:05:30.494

mongostat间隔时间刷新mongodb分片的各项操作。

mongotop

mongotop用来跟踪MongoDB的实例, 提供每个集合的统计数据。默认情况下,mongotop每一秒刷新一次。 mongotop用法:

mongotop -h 192.168.0.31:27001 10

后面的10是参数 ,可以不使用,等待的时间长度,以秒为单位,mongotop等待调用之间。通过的默认mongotop返回数据的每一秒。

mongotop –locks 报告每个数据库的锁的使用中,使用mongotop - 锁,这将产生以下输出:

结果字段介绍: ns:包含数据库命名空间,后者结合了数据库名称和集合。 db:包含数据库的名称。名为 . 的数据库针对全局锁定,而非特定数据库。 total:mongod花费的时间工作在这个命名空间提供总额。 read:提供了大量的时间,这mongod花费在执行读操作,在此命名空间。 write:提供这个命名空间进行写操作,这mongod花了大量的时间。

profiler

类似于MySQL的slow log, MongoDB可以监控所有慢的以及不慢的查询。

Profiler默认是关闭的,你可以选择全部开启,或者有慢查询的时候开启。

> use test
switched to db test
> db.setProfilingLevel(2);
{"was" : 0 , "slowms" : 100, "ok" : 1} // "was" is the old setting
> db.getProfilingLevel()

查看Profile日志

> db.system.profile.find().sort({$natural:-1})
{"ts" : "Thu Jan 29 2009 15:19:32 GMT-0500 (EST)" , "info" :
"query test.$cmd ntoreturn:1 reslen:66 nscanned:0 query: { profile: 2 } nreturned:1 bytes:50" ,
"millis" : 0} ...
#查看系统中的慢查询数量
db.system.profile.count();

3个字段的意义

  • ts:时间戳
  • info:具体的操作
  • millis:操作所花时间,毫秒

参考:Database Profiler

注意,造成满查询可能是索引的问题,也可能是数据不在内存造成因此磁盘读入造成。

db.serverStatus()

db.serverStatus()

获取服务器的状态

{
        "host" : "mongodb31.hkrt.cn:20000",
        "version" : "3.4.6",
        "process" : "mongos",
        "pid" : NumberLong(1940),
        "uptime" : 67854,
        "uptimeMillis" : NumberLong(67853593),
        "uptimeEstimate" : NumberLong(67853),
        "localTime" : ISODate("2017-08-23T09:39:55.400Z"),
        "asserts" : {
                "regular" : 0,
                "warning" : 0,
                "msg" : 0,
                "user" : 7048,
                "rollovers" : 0
        },
        "connections" : {
                "current" : 56,
                "available" : 52372,
                "totalCreated" : 523
        },
        "extra_info" : {
                "note" : "fields vary by platform",
                "page_faults" : 3
        },
        "network" : {
                "bytesIn" : NumberLong("102972729600"),
                "bytesOut" : NumberLong("7551683898"),
                "physicalBytesIn" : NumberLong("102972729600"),
                "physicalBytesOut" : NumberLong("7551683898"),
                "numRequests" : NumberLong(210803831)
        },
        "opcounters" : {
                "insert" : 79028505,
                "query" : 26334341,
                "update" : 0,
                "delete" : 4,
                "getmore" : 0,
                "command" : 79067537
        },
        "sharding" : {
                "configsvrConnectionString" : "config/192.168.0.33:21000,192.168.0.34:21000,192.168.0.35:21000",
                "lastSeenConfigServerOpTime" : {
                        "ts" : Timestamp(1503481193, 1),
                        "t" : NumberLong(1)
                }
        },
        "tcmalloc" : {
                "generic" : {
                        "current_allocated_bytes" : 3643648,
                        "heap_size" : 40898560
                },
                "tcmalloc" : {
                        "pageheap_free_bytes" : 36864,
                        "pageheap_unmapped_bytes" : 24522752,
                        "max_total_thread_cache_bytes" : NumberLong(1073741824),
                        "current_total_thread_cache_bytes" : 4660344,
                        "total_free_bytes" : 12695296,
                        "central_cache_free_bytes" : 2833608,
                        "transfer_cache_free_bytes" : 5201344,
                        "thread_cache_free_bytes" : 4660344,
                        "aggressive_memory_decommit" : 0,
                        "formattedString" : "------------------------------------------------\nMALLOC:        3643648 (    3.5 MiB) Bytes in use by application\nMALLOC: +        36864 (    0.0 MiB) Bytes in page heap freelist\nMALLOC: +      2833608 (    2.7 MiB) Bytes in central cache freelist\nMALLOC: +      5201344 (    5.0 MiB) Bytes in transfer cache freelist\nMALLOC: +      4660344 (    4.4 MiB) Bytes in thread cache freelists\nMALLOC: +      1401024 (    1.3 MiB) Bytes in malloc metadata\nMALLOC:   ------------\nMALLOC: =     17776832 (   17.0 MiB) Actual memory used (physical + swap)\nMALLOC: +     24522752 (   23.4 MiB) Bytes released to OS (aka unmapped)\nMALLOC:   ------------\nMALLOC: =     42299584 (   40.3 MiB) Virtual address space used\nMALLOC:\nMALLOC:           1936              Spans in use\nMALLOC:            109              Thread heaps in use\nMALLOC:           4096              Tcmalloc page size\n------------------------------------------------\nCall ReleaseFreeMemory() to release freelist memory to the OS (via madvise()).\nBytes released to the OS take up virtual address space but no physical memory.\n"
                }
        },
        "mem" : {
                "bits" : 64,
                "resident" : 24,
                "virtual" : 689,
                "supported" : true
        },
        "metrics" : {
                "cursor" : {
                        "timedOut" : NumberLong(21),
                        "open" : {
                                "multiTarget" : NumberLong(0),
                                "singleTarget" : NumberLong(0),
                                "pinned" : NumberLong(0),
                                "total" : NumberLong(0)
                        }
                },
                "commands" : {
                        "aggregate" : {
                                "failed" : NumberLong(1),
                                "total" : NumberLong(16)
                        },
                        "balancerStatus" : {
                                "failed" : NumberLong(0),
                                "total" : NumberLong(2)
                        },
                        "buildInfo" : {
                                "failed" : NumberLong(0),
                                "total" : NumberLong(519)
                        },
                        "collStats" : {
                                "failed" : NumberLong(1),
                                "total" : NumberLong(97)
                        },
                        "count" : {
                                "failed" : NumberLong(0),
                                "total" : NumberLong(12)
                        },
                        "createIndexes" : {
                                "failed" : NumberLong(0),
                                "total" : NumberLong(4)
                        },
                        "currentOp" : {
                                "failed" : NumberLong(0),
                                "total" : NumberLong(2)
                        },
                        "dbStats" : {
                                "failed" : NumberLong(0),
                                "total" : NumberLong(4)
                        },
                        "delete" : {
                                "failed" : NumberLong(0),
                                "total" : NumberLong(4)
                        },
                        "drop" : {
                                "failed" : NumberLong(0),
                                "total" : NumberLong(7)
                        },
                        "dropDatabase" : {
                                "failed" : NumberLong(0),
                                "total" : NumberLong(2)
                        },
                        "find" : {
                                "failed" : NumberLong(2),
                                "total" : NumberLong(26334294)
                        },
                        "getLastError" : {
                                "failed" : NumberLong(0),
                                "total" : NumberLong(252)
                        },
                        "getLog" : {
                                "failed" : NumberLong(0),
                                "total" : NumberLong(6)
                        },
                        "insert" : {
                                "failed" : NumberLong(0),
                                "total" : NumberLong(79028505)
                        },
                        "isMaster" : {
                                "failed" : NumberLong(0),
                                "total" : NumberLong(24048)
                        },
                        "listCollections" : {
                                "failed" : NumberLong(0),
                                "total" : NumberLong(44)
                        },
                        "listDatabases" : {
                                "failed" : NumberLong(1),
                                "total" : NumberLong(135)
                        },
                        "ping" : {
                                "failed" : NumberLong(0),
                                "total" : NumberLong(13575)
                        },
                        "profile" : {
                                "failed" : NumberLong(3),
                                "total" : NumberLong(3)
                        },
                        "replSetGetStatus" : {
                                "failed" : NumberLong(34),
                                "total" : NumberLong(34)
                        },
                        "serverStatus" : {
                                "failed" : NumberLong(0),
                                "total" : NumberLong(131)
                        },
                        "whatsmyuri" : {
                                "failed" : NumberLong(0),
                                "total" : NumberLong(135)
                        }
                }
        },
        "ok" : 1
}

需要关心的地方:

  • connections 当前连接和可用连接数,听过一个同行介绍过,mongodb最大处理到2000个连接就不行了(要根据你的机器性能和业务来设定),所以设大了没意义。设个合理值的话,到达这个值mongodb就拒绝新的连接请求,避免被太多的连接拖垮。
  • indexCounters:btree:misses 索引的不命中数,和hits的比例高就要考虑索引是否正确建立。你看我的”missRatio”3.543930204420982e-7,很健康吧。所以miss率在mongostat里面也可以看
  • 其他的都能自解释,也不是查看mongo健康状况的关键,就不说明了。

详细的解释参考这里:serverStatus

db.currentOp()

Mongodb 的命令一般很快就完成,但是在一台繁忙的机器或者有比较慢的命令时,你可以通过db.currentOp()获取当前正在执行的操作。

在没有负载的机器上,该命令基本上都是返回空的

>  db.currentOp()
{ "inprog" : [ ] }

以下是一个有负载的机器上得到的返回值样例:

{ "opid" : "shard3:466404288", "active" : false, "waitingForLock" : false, "op" : "query", "ns" : "sd.usersEmails", "query" : { }, "client_s" : "10.121.13.8:34473", "desc" : "conn" },

字段名字都能自解释。如果你发现一个操作太长,把数据库卡死的话,可以用这个命令杀死他

> db.killOp("shard3:466404288")

db.currentOp()

Show Disqus Comments

Post Directory