• 2024-04-13Zookeeper的选举机制
    为什么要进行Leader选举?Leader主要作用是保证分布式数据一致性,即每个节点的存储的数据同步。遇到以下两种情况需要进行Leader选举服务器初始化启动服务器运行期间无法和Leader保持连接,Leader节点崩溃,逻辑时钟崩溃。服务器初始化时Leader选举Zookeeper由于其自身的性质,一般
  • 2024-03-13Linux系统架构----Nginx的服务优化
    Linux系统架构----Nginx的服务优化一.隐藏版本号在生产环境中,需要隐藏Nginx的版本号,以免泄露Nginx的版本,使得攻击者不能针对特定版本进行攻击查看Nginx的版本有两种方法使用fiddler工具抓取数据包,查看Nginx版本在Centos7上使用使用命令curl-I查看隐藏Nginx版本
  • 2024-02-04自动化运维工具【SaltStack】
    SaltStack管理工具允许管理员对多个操作系统创建一个一致的管理系统,包括VMwarevSphere环境。SaltStack作用于仆从和主拓扑。SaltStack与特定的命令结合使用可以在一个或多个下属执行。主要用的语言为python二、SaltStack的配置使用自动化软件,实现在server1中显示server2中执
  • 2024-01-08使用SSH管理Linux主机
    一、SSH简介SSH(SecureShell)是一种网络协议,用于在不安全的网络上进行安全的数据传输。它通常用于远程登录和远程管理服务器,以及执行命令、上传和下载文件等操作,最常用的是SSHv2版本,SSHv2对算法进行了修复和升级,解决了SSHv1中已知的安全漏洞。SSHv2采用了更强有力的加密算法,如AES(高
  • 2023-12-12nginx 反向代理实现不同来路IP跳转到不同网站服务器
    http{#定义一个map,将来路IP映射到后端服务器map$remote_addr$backend_server{defaultserver1;192.168.1.1server2;#添加更多的IP地址映射}server{listen80;#使用if语句根据来路IP选择后
  • 2023-12-01hadoop高可用集群集成hive
    hive和hadoop的关系从上图可以看出实际上外界是通过thriftserver这个节点和hadoop的hdfs以及rm进行交互的,中间为driver因此当我修改完hadoop集群为高可用的时候,hive也需要重新配置环境以下是我hive的全新配置<configuration><!--Hive元数据存储配置--><propert
  • 2023-11-09mysql-utilities对比两个库数据一致性
    1.安装mysql-utilities首先yum源安装python,之后根据python版本下载安装mysql-connector-pythonyuminstallpythonpython--versionpython2.6.6下载地址:https://downloads.mysql.com/archives/c-python/rpm-ivhmysql-connector-python-2.1.6-1.el6.x86_64.rpmwhichpython之后
  • 2023-07-20idea database连接hive很慢
    优化Hive数据库连接速度的步骤和代码示例概述在实际开发中,我们经常需要使用Hive作为数据库进行数据分析和处理。但有时候,我们可能会遇到连接Hive数据库很慢的情况,这会严重影响我们的开发效率和用户体验。为了解决这个问题,我们可以采取一些优化措施来提高Hive数据库连接的速度。
  • 2023-05-153、zookeeper的选举----经验证符合事实,网上很多都是错误的
    目录Zookeeper系列文章目录一、概念1、Zookeeper节点状态2、事务ID二、集群初始化选举1、每个Server发出一个投票2、接受来自各个服务器的投票3、处理投票4、统计投票5、改变服务器状态三、集群重新选举1、变更状态2、每个Server会发出一个投票3、接收来自各个服务器的投票4、处
  • 2023-04-05DFS分布式文件系统
    一、GFS文件系统概述1.GlusterFS简介GlusterFS是一个开源的分布式文件系统。由存储服务器、客户端以及NFS/Samba存储网关(可选,根据需要选择使用)组成。没有元数据服务器组件,这有助于提升整个系统的性能、可靠性和稳定性。MFS传统的分布式文件系统大多通过元服务器来存储元数据,元数
  • 2022-12-21大数据--python远程连接Hive
    步骤:启动metastore启动hiveserver2使用beeline进行连接测试,查看地址等是否能够成功连接(确认无误可以跳过)使用python连接hive(粗暴的文件配置以及完整操作见文末)一.启动hives
  • 2022-12-02【SpringCloud】Eureka Server实现高可用(IDEA同时启动两个Eureka Server)
    当你翻到这篇博客,可能你已经搭建好了一个EurekaServer的实例,这里记录一下参考网上的资料搭建实例的时候遇到的坑,视频里这点好像少了,使用IDEA启动两个EurekaServer。如果还
  • 2022-10-29zookeeper和kafka安装
    系统:CentOSLinux7(Core)x86_64一、JDK安装1.安装准备#查看系统jdk版本java-version#检查jdk自带安装包rpm-qa|grepjava#卸载jdkyum-yremovetzdat
  • 2022-08-27从Hive中使用HQL语句创建DataFrame--常用方式
    默认情况下SparkSession不支持读取Hive中的数据,也不支持操作HQL语法,如果要读取Hive中的数据,需要开启Hive的支持,构建sparkSession的时候调用一个函数enableHiveSupport()