Es集群设计技巧
节点可以配置为不同角色，通过选举master实现集群管理
Coordinating：协调节点；Master：管理节点；Data：数据存储节点；
数据是按照索引分片的，不是按照节点分片。为了保证高可用，每个分片可以有多个副本
bully和 raft算法
master和data混合部署
节点同时为master和data
每个节点都可以接受和处理客户端请求，写入请求会转发到数据主分片的node
适合数据量不大的业务
master和data分离部署
master与data 分离部署，master节点约为3或5个，data节点可以有几十个
master节点 不处理读写请求，只是管理集群。data节点处理读写请求和存储数据
适用于数据量比较大的业务
coordinationg 分离部署
master节点约为3或5个，data节点可以有几十个，coordinating节点2个以上
master节点管理集群，coordinating节点读写聚合，data节点负责数据存储
适用于数据量比较大，读写请求比较复杂的业务
cross cluster replication
两个集群 leader负责读写数据，follower复制数据
适合本地化聚合存储
redis cluster设计技巧
cluster为多个分片，不同分片保存不同数据
每个分片内部通过主备复制保证可用性
分片内部自动实现master选举，但是不依赖哨兵，cluster本身具备分片选举的能力
客户端连接需要特定实现，如jedisCluster，cluster有特有命令
数据分布和路由
所有key按照hash分为16384个槽位，将槽位分给分片
节点之间通过gossip交换数据，节点变化时会自动更新集群信息
每个节点都有所有key的分布信息
client连接任意节点，节点使用move命令告诉数据的实时位置
mangodb/hdfs 设计技巧
mangos sharding架构
mangos
独立部署代理程序，应用程序请求发给mangos
可以和应用程序部署在一起，可以和shard服务器部署在一起
为了提升性能 mangos会缓存config server上的cluster配置信息
config server
存储集群的元数据
自身通过replica set实现高可用
当config server挂掉时 cluster 进入read only状态
shard
存储分片数据的服务器
通过replica set保证可用性
如果全部挂掉，分片无法访问
HDFS架构
namenode 管理集群，保存元数据
datanode 保存数据，block
journalnode 监控并记录日志，被standby节点监听拉取日志，至少3个多数日志复制写入才算成功
failovercontroller namenode中独立进程，监控状态，依赖zk实现高可用
标签：架构设计,技巧,cluster,master,分片,集群,data,节点 From： https://www.cnblogs.com/windghost/p/16985879.html