首页 > 数据库 >MongoDB分片(windows电脑系统)

MongoDB分片(windows电脑系统)

时间:2024-06-14 09:30:29浏览次数:21  
标签:bin log windows MongoDB 电脑系统 mongos 分片 config

系统版本:windows10专业版

MongoDB:4.4.24

分片架构

从图中可以看出,分片集群中主要由三个部分组成,即分片服务器( Shard )、路由服务器
( Mongos )以及配置服务器( Config Server )组成。其中,分片服务器有三个,即 Shard1 、
Shard2 、 Shard3 ;路由服务器有两个,即 Mongos1 和 Mongos2 ;配置服务器有三个,即主、副、副。
主要有如下所述三个主要组件:
Shard: 用于存储实际的数据块,实际生产环境中一个shard server 角色可由几台机器组个一个 replica set 承担,防止主机单点故障
Config Server: mongod实例,存储了整个 ClusterMetadata ,其中包括 chunk 信息。
Query Routers: 前端路由,客户端由此接入,且让整个集群看上去像单一数据库,前端应用可以透明使用。

部署分片集群

部署shard
步骤一:环境准备
分片节点(实例)端口 路径
1shard11(主)4006

dbpath:D:\shard1\shard11\data

logpath:D:\shard1\shard11\log

shard12(从)4007

dbpath:D:\shard1\shard12\data

logpath:D:\shard1\shard12\log

2shard21(主)4008

dbpath:D:\shard2\shard21\data

logpath:D:\shard2\shard21\log

shard22(从)4009

dbpath:D:\shard2\shard22\data

logpath:D:\shard2\shard22\log

每一个分片都应该安装 MongoDB 实例,需要将 bin 文件复制到每个分片中, 并且创建data 文件以及 log 文件存放数据库数据和日志数据。

每个shard包含两个实例,一主一从。

步骤二 启动分片服务(实例)
启动分片集群shard1(shard11)

shard11

然后进入数据库bin目录中,启动cmd

\bin>mongod --shardsvr --replSet shard1 -port 4006 -dbpath D:\shard1\shard11\data -logpath D:\shard1\shard11\log\shard11.log

--shardsvr 为分片声明

当命令一直保持运行状态则说明服务运行成功,此服务为一次性服务,不要关闭此窗口,最小化即可。

shard12:
再次进入数据库bin目录中,文件栏启动cmd

bin>mongod --shardsvr --replSet shard1 -port 4007 -dbpath D:\shard1\shard12\data -logpath D:\shard1\shard12\log\shard12.log

启动分片集群2(shard21和shard22)

shard21

\bin>mongod --shardsvr --replSet shard2 -port 4008 -dbpath D:\shard2\shard21\data -logpath D:\shard2\shard21\log\shard21.log

 

shard22

\bin>mongod --shardsvr --replSet shard2 -port 4009 -dbpath D:\shard2\shard22\data -logpath D:\shard2\shard22\log\shard22.log

 

tips:

如果电脑版本比较高, cmd 需要以管理员身份运行
启动服务均为一次性服务,关闭 cmd 即为关闭服务,所以在未完成前,请勿关闭
实例均未添加至系统环境变量,请在 bin 目录下启动
win窗口很多,操作不太友好,还是多有耐心一点, linux会简单一些

 

步骤三:配置分片(shard)集群

进入到shard1集群任何一个节点中

use admin
 
config={_id:"shard1",members:[
... {_id:0,host:"localhost:4006",priority:2},
... {_id:1,host:"localhost:4007",priority:1}
... ]}
 
 
 rs.initate(config)

进入到shard2集群任何一个节点中

use admin
 
config={_id:"shard2",members:[
... {_id:0,host:"localhost:4008",priority:2},
... {_id:1,host:"localhost:4009",priority:1}
... ]}
 
 
 rs.initate(config)

至此,shard集群配置好了。

部署config server
步骤一:环境准备

值得注意的是:在 MongoDB 3 版本后 config 服务必须配置为从 副本集 ,所以直接用前面设置好了的副 本启动即可

config实例端口数据路径日志路径
config1(主)4002D:\config\config1\dataD:\config\config1\log
config2(从)4003D:\config\config2\dataD:\config\config2\log

 

每个文件夹添加data和log

 

步骤二:启动config server
启动config1

进入到bin目录中,启动cmd

\bin>mongod --configsvr --replSet confset -port 4002 -dbpath D:\config\config1\data -logpath D:\config\config1\log\conf1.log

-configsvr 这里我们完全可以像启动普通 mongodb 服务一样启动,不需要添加 —shardsvr 和 configsvr 参数。因为这两个参数的作用就是改变启动端口的,所以我们自行指定了端口就可以。

 

 

不要关闭 cmd 窗口,最小化即可 ]

步骤三:配置config server集群 

进入任何一个配置服务器的节点初始化配置服务器的群集

 use admin
 
 
 config={_id:"confset",configsvr:true,members:[
... {_id:0,host:"localhost:4002"},
... {_id:1,host:"localhost:4003"}
... ]}
 
 
 rs.initiate(config)

 

 

部署路由服务器 Route Process

可以创建专门的文件夹存放日志

在进入 数据库 bin 目录中 启动 cmd

 
D:\MongoDB\bin>mongos --configdb confset/localhost:4002,localhost:4003 -logpath D:\mongos\log\mongos.log -port 4000

mongos : mongos 就是一个路由服务器,它会根据管理员设置的 “ 片键 ” 将数据分摊到自己管理的mongod 集群,数据和片的对应关系以及相应的配置信息保存在 "config 服务器 " 上。

D: MongoDB\bin>mongos --configdb confset/localhost:4002, localhost:4003 -logpath D: mongos\ log \mongos.log -port 4000

"t{"$date":"2024 06 10T22:27:56.002Z"},"s":"W","c":"SHARDING","id":24132,"ctx":"main","msg":"Running a sharded cluster with fewer than 3 config servers should only be done for testing purpoese and is not recommended for production."}

 

配置分片信息

bin 目录下使用 MongoDB Shell 登录到 mongos ,添加 Shard 节点

mongos> sh.addShard("shard1/localhost:4006,localhost:4007")

 

mongos> sh.addShard("shard2/localhost:4008,localhost:4009")

 

测试分片

登入路由(4000) 端口

指定要分片的数据库

mongos> sh.enableSharding("test")

指定数据库里需要分片的集合和片键,片键根据实际情况选择

mongos> sh.shardCollection("test.c2",{"id":"hashed"})

上述指令指定分片集合为c2,分片字段为“id”,分片形式是哈希分片,若改成“1”则为范围分片

如果集合已经包含数据,则必须在分片集合之前创建一个支持分片键的索引,如果集合为空,则

mongodb 将创建索引。

插入数据验证

mongos> for(var i=1;i<=10000;i++){
... db.c2.save({id:i,name:"a"+i});}
robo 3T查看分片集

连接两个 shard 端口查看分片情况,若两个片段不同,则说明分片成功

 

MongoDB分片部署知识总结
MongoDB分片部署是为了解决单个MongoDB实例存储容量有限、读写性能瓶颈等问题而设计的一种分布式数据库架构。下面是MongoDB分片部署的知识总结:

1. 分片概念
在MongoDB中,一个分片集群由多个节点组成,其中包括路由器节点(mongos)、配置服务器节点(config servers)和数据节点(shards)。数据会被分割成多个块(chunks),这些块会被平均地存储在不同的数据节点上。

2. 分片键
在进行分片之前,需要选择一个合适的字段作为分片键。这个字段的选择非常重要,它将直接影响到数据如何在各个分片之间进行均衡存储。

3. 部署步骤
- 部署配置服务器:至少需要部署3个配置服务器,用来存储集群的元数据信息。
- 部署路由器:每个应用服务器都要连接到mongos路由器节点,来实现对分片集群的访问。
- 部署数据节点:每个数据节点都会存储一部分数据,并根据配置自动平衡负载。

 4. 数据迁移
当需要扩容或缩减集群规模时,可以通过手动迁移数据或自动迁移数据来实现。自动迁移由MongoDB内置的均衡器完成。

5. 监控与维护
在分片部署后,需要定期监控各个节点的状态、负载情况以及性能指标。可以使用MongoDB提供的监控工具或第三方监控工具来实现。

6. 备份与恢复
对于分片集群,备份和恢复操作相对复杂一些。建议定期备份元数据信息、配置信息以及数据信息,并确保备份文件可靠可恢复。

总体来说,MongoDB分片部署可以帮助解决大规模数据存储和高并发访问的问题,但也需要谨慎设计和维护。

 

 

 

 

 

 

 

 

标签:bin,log,windows,MongoDB,电脑系统,mongos,分片,config
From: https://blog.csdn.net/H188693/article/details/139436869

相关文章

  • MongoDB基本操作(Windows)
    本篇博文介绍知识目标熟悉数据库和集合操作本篇目标掌握MongoDB的部署掌握文档的插入、更新、删除以及查询操作一、MongoDB的安装部署在浏览器输入网址:www.mongodb.com  2. 点击“TRYFREE”或“GETSTARTED”按钮,进入MongoDB的下载页面;3. 在下载页面中,选择适......
  • MongoDB副本集部署(windows)
    环境准备本教程演示mongodb4.4副本集部署(一主两从,伪分布式)节点配置主节点localhost:27017主节点1localhost:27018从节点2localhost:27019 每一个节点(实例)都创建对应的数据文件(data)和日志文件(log)。例如:动实例(服务)语法:bin>mongod-port端口号-dbpath数据路径-logpat......
  • linux+windows跨端md软件选择(未找到)
    目的windows上使用typora当初是通过破解的方式实现的。现在装双系统时想做做笔记,没有一个管理的软件用起来很不方便。要求正常编辑,没有难以忍受的问题。目录管理及大纲(基于标题层级)linux+windows双端,且linux端能够读取。从粘贴图片能够在相应的img目录下创建图片文件并引用......
  • Windows系统 搭建 FFmpeg运行环境
    一、下载FFMPEG进入FFMPEG官网下载界面http://www.ffmpeg.org/download.html;选择Windows平台的"WindowsbuildsbyBtbN"下载选项,然后会跳转到GitHub的Release发布版本界面https://github.com/BtbN/FFmpeg-Builds/releases;在GitHub界面下载最近的......
  • ffmpeg推送音视频流、拉取音视频流 —— Windows
    一、压缩视频文件例如将input.mp4转码成output.avi。在Windows下,打开cmd,执行:ffmpeg-iinput.mp4output.aviffmpeg-iinput.mp4output.avi有很多参数可以指定,见ffmpeg官网。例如:ffmpeg-iinput.mp4-c:vlibx264-presetultrafast-b:v6000koutput.avi 其中,......
  • 用C++判断Windows是否锁屏
    点击查看代码#include"windows.h"#include"Windows.h"#include"Wtsapi32.h"#include<tchar.h>#pragmacomment(lib,"WtsApi32.lib")usingnamespacestd;typedefHDESK(WINAPI*PFNOPENDESKTOP)(LPSTR,DWORD,BOO......
  • 蓝牙BLE上位机工具开发理论线索梳理_1.Win32设备(Windows 属性系统)
    1.Windows属性系统     Windows属性系统是一个可扩展的数据定义读/写系统,它提供一种统一的方式来表达有关Shell项的元数据。WindowsVista及更高版本中的Windows属性系统使你能够存储和检索Shell项的元数据。Shell项是任何单个内容,例如文件、文件夹、电......
  • usoclient命令 参数 是一个用于管理 Windows Update 的命令行工具,可以在 Windows 10
    usoclient是一个用于管理WindowsUpdate的命令行工具,可以在Windows10和WindowsServer操作系统中使用。它提供了一种在命令行界面下执行Windows更新任务的方法,从而允许管理员和技术支持人员以更灵活和自动化的方式处理更新。为什么使用 usoclient 命令?自动化更新......
  • SFC(System File Checker)是Windows操作系统中的一个实用程序,用于扫描和修复受损或丢失
    SFC(SystemFileChecker)是Windows操作系统中的一个实用程序,用于扫描和修复受损或丢失的系统文件。以下是一些常见的SFC命令及其用途:sfc/scannow描述:扫描所有受保护的系统文件,并尽可能修复文件。用法:在命令提示符(以管理员身份运行)中输入 sfc/scannow。sfc/verifyon......
  • 禁止Windows用户使用cmd、powershell、注册表、*.bat脚本、修改网卡IP等操作
    如果你想让你的计算机或域控用户的计算机禁止使用cmd、powershell、注册表、bat脚本、修改网卡IP等操作1. 使用本地组策略(如果是本地用户)如果是非域用户,如果你在Windows10Pro或更高版本上,可以使用本地组策略(LocalGroupPolicy)来限制访问。打开“本地组策略编辑器”(gpedit.......