【CSDN博客】MongoDB分片操作详解与实践
OS：win10
MongoDB：4.4.24
伪分布式
分片架构
从图中可以看出，分片集群中主要由三个部分组成，即分片服务器（ Shard ）、路由服务器
（ Mongos ）以及配置服务器（ Config Server ）组成。其中，分片服务器有三个，即 Shard1 、
Shard2 、 Shard3 ；路由服务器有两个，即 Mongos1 和 Mongos2 ；配置服务器有三个，即主、副、副。
主要有如下所述三个主要组件：
Shard: 用于存储实际的数据块，实际生产环境中一个shard server 角色可由几台机器组个一个 replica set（副本集群） 承担，防止主机单点故障【3.6版本后必须配置成副本集群】
Config Server: mongod实例，存储了整个 ClusterMetadata ，其中包括 chunk 信息【3.4版本后必须部署成副本集群】。
Query Routers: 前端路由，客户端由此接入，且让整个集群看上去像单一数据库，前端应用可以透明使用。
————————————————
一、引言
随着数据量的不断增大，单台服务器在存储、计算和处理数据方面会面临性能瓶颈。为了解决这个问题，MongoDB提供了分片（Sharding）操作，它允许将数据分布到多个服务器或集群上，从而实现水平扩展和高可用性。本文将详细介绍MongoDB分片操作的原理、部署方法、应用实践以及常见问题和解决方案。
二、MongoDB分片集群概述
分片是MongoDB的扩展解决方案，它允许将一个集合的数据拆分并存储在不同的服务器上。MongoDB的分片集群由多个组件构成，包括分片服务器（Shard）、配置服务器（Config Server）和路由服务器（Mongos）。
- 分片服务器：存储分片数据，负责处理与数据相关的读写操作。
- 配置服务器：存储集群的元数据和分片信息，确保所有组件之间的协调一致。
- 路由服务器：作为客户端与分片集群之间的接口，负责接收客户端请求，并根据分片键将数据路由到对应的分片服务器上。
通过分片操作，MongoDB可以将数据分散到多个分片服务器上，从而提高数据的存储和访问性能。
三、分片集群部署
部署MongoDB分片集群需要以下步骤：
1. 准备环境：安装并配置MongoDB服务器，确保它们可以相互通信。
| 分片 | 节点（实例） | 端口 | 路径 |
| 1 | shard11(主) shard12（从） | 4006 4007 | dbpath:D:\shard1\shard11\data logpath:D:\shard1\shard11\log dbpath:D:\shard1\shard12\data logpath:D:\shard1\shard12\log |
| 2 | shard21（主） shard22（从） | 4008 4009 | dbpath:D:\shard2\shard21\data logpath:D:\shard2\shard21\log dbpath:D:\shard2\shard22\data logpath:D:\shard2\shard22\log |
2.每一个分片都应该安装 MongoDB 实例，需要将 bin 文件复制到每个分片中， 并且创建data 文件以及 log 文件存放数据库数据和日志数据
每个shard包含两个实例，一主一从。
步骤二 启动分片服务（实例）
启动分片集群shard1（shard11和shard12）
shard11
然后进入数据库bin目录中，启动cmd
mongod -shardsvr -replSet shard1 -port 4006 -dbpath D:\shard1\shard11\data -logpath D:\shard1\shard11\log\shard11.log
-shardsvr 为分片声明
当命令一直保持运行状态则说明服务运行成功，此服务为一次性服务，不要关闭此窗口，最小化即可。
shard12：
再次进入数据库bin目录中，启动cmd
mongod -shardsvr -replSet shard1 -port 4007 -dbpath D:\shard1\shard12\data -logpath D:\shard1\shard12\log\shard12.log
启动分片集群2（shard21和shard22）
shard21
mongod -shardsvr -replSet shard2 -port 4008 -dbpath D:\shard2\shard21\data -logpath D:\shard2\shard21\log\shard21.log
shard22
mongod -shardsvr -replSet shard2 -port 4009 -dbpath D:\shard2\shard22\data -logpath D:\shard2\shard22\log\shard22.log
tips：
电脑版本比较高，所以的 cmd 需要使用管理员身份运行
启动服务均为一次性服务，关闭 cmd 即为关闭服务，所以在未完成前，请勿关闭
实例均未添加至系统环境变量，请在 bin 目录下启动
虽然窗口很多，操作不太友好，但是在 win 系统下，还是多有耐心一点， linux会简单一些
步骤三：配置分片（shard1和shard2）集群
进入到shard1集群任何一个节点中
use admin
config={_id:"shard1",members:[
... {_id:0,host:"localhost:4006",priority:2},
... {_id:1,host:"localhost:4007",priority:1}
... ]}
rs.initiate(config)然后进入到shard2集群任何一个节点中
use admin
config={_id:"shard2",members:[
... {_id:0,host:"localhost:4008",priority:2},
... {_id:1,host:"localhost:4009",priority:1}
... ]}
rs.initiate(config)至此，shard的两个集群配置好了。
部署config server
步骤一：环境准备
值得注意的是：在 MongoDB 3。4 版本后 config 服务必须配置为 副本集，这里设置为一主一从。
| config实例 | 端口 | 数据路径 | 日志路径 |
| config1（主） | 4002 | D:\config\config1\data | D:\config\config1\log |
| config2（从） | 4003 | D:\config\config2\data | D:\config\config2\log |
每个文件夹添加data和log
步骤二：启动config server
启动config1
进入到bin目录中，启动cmd
mongod -configsvr -replSet confset -port 4002 -dbpath D:\config\config1\data -logpath D:\config\config1\log\conf1.log
启动config2
mongod -configsvr -replSet confset -port 4003 -dbpath D:\config\config2\data -logpath D:\config\config2\log\conf2.log
不要关闭cmd窗口！！！！！
步骤三：配置config server集群
进入任何一个配置服务器的节点初始化配置服务器的群集
use admin
config={_id:"confset",configsvr:true,members:[
... {_id:0,host:"localhost:4002"},
... {_id:1,host:"localhost:4003"}
... ]}
rs.initiate(config)
部署路由服务器 Route Process
可以创建专门的文件夹存放日志
在进入 数据库 bin 目录中 启动 cmd
mongos -configdb confset/localhost:4002,localhost:4003 -logpath D:\mongos\log\mongos.log -port 4000mongos ： mongos 就是一个路由服务器，它会根据管理员设置的 “ 片键 ” 将数据分摊到自己管理的mongod 集群，数据和片的对应关系以及相应的配置信息保存在 "config 服务器 " 上。
配置分片信息
bin 目录下使用 MongoDB Shell 登录到 mongos ，添加 Shard 节点
sh.addShard("shard1/localhost:4006,localhost:4007")
sh.addShard("shard2/localhost:4008,localhost:4009")
测试分片
登入路由（4000） 端口
指定要分片的数据库,以下指令指定分片数据库为test
mongos> sh.enableSharding("test")指定数据库里需要分片的集合和片键，片键根据实际情况选择
mongos> sh.shardCollection("test.c1",{"id":"hashed"})上述指令指定分片集合为c1，分片字段为“id”，分片形式是哈希分片，若改成“1”则为范围分片
如果集合已经包含数据，则必须在分片集合之前创建一个支持分片键的索引，如果集合为空，则
mongodb 将创建索引。
mongos> sh.enableSharding("test")mongos> sh.shardCollection("test.c2",{"id":"hashed"})插入10000条数据验证，数据必须包含分片键：id
mongos> for(var i=1;i<=10000;i++){
... db.c1.save({id:i,name:"a"+i,age:i});}查看分片状态
输入sh.status(） 查看分片集群状态
sh.status()
两个shard都有数据分布，说明分片成功！
robo 3T查看分片集
连接两个 shard 端口查看分片情况，若两个shard中的数据不同，则说明分片成功！！
shard1--4006端口中的数据存储，查看c1集合中的数据，可见分片键id的分布情况。
shard2--4008端口中的数据存储，查看c1集合中的数据，可见分片键id的分布情况和shard1完全不同。说明分片成功！
六、总结
MongoDB的分片操作是实现数据库水平扩展和高可用性的重要手段。通过合理的分片设计和应用，可以提高数据的存储和访问性能，满足不断增长的业务需求。在部署和使用分片集群时，需要注意选择合适的分片键和分片策略，并定期监控和维护集群状态。通过不断学习和实践，我们可以更好地掌握MongoDB分片操作的技术和应用。
标签：log,windows,MongoDB,shard1,集群,分片,服务器,config From： https://blog.csdn.net/jangxin/article/details/139509740