• 2024-07-03(必看图文)Hadoop集群安装及MapReduce应用(手把手详解版)
    前言    随着大数据时代的到来,处理和分析海量数据已成为企业和科研机构不可或缺的能力。Hadoop,作为开源的分布式计算平台,因其强大的数据处理能力和良好的可扩展性,成为大数据处理领域的佼佼者。本图文教程旨在帮助读者理解Hadoop集群的安装过程,并通过MapReduce应用实例,
  • 2024-05-12Kibana系列---【重新启动kibana后,访问一直显示:Kibana server is not ready yet,查看后台错误日志报master_not_discovered_excepti
    重新启动kibana后,访问一直显示:Kibanaserverisnotreadyyet,查看后台错误日志报master_not_discovered_exception1.问题描述我的kibana之前都是好的,我把es集群重启之后,再重启kibana,发现无法访问了,访问时一直报:Kibanaserverisnotreadyyet,查看服务器后台日志后发现报:m
  • 2024-05-09Pacemaker入门之---了解配置故障转移
    案例说明:以下流程介绍了创建运行服务的一个Pacemaker集群,当节点上的服务变为不可用时,将其从一个节点切换到另一个节点上。通过这个步骤,您可以了解如何在双节点集群中创建服务,并可以查看在运行该服务的节点出现问题时会出现什么情况。这个示例步骤配置一个运行ApacheHTTP服
  • 2024-05-08Linux基础04-Linux中目录和文件都能操作的命令
    前面两节我们分别学习了目录操作命令和文件操作命令,那么有没有一些既可以操作目录,又可以操作文件的命令呢?这样我们就不需要记住两套命令了。其实还真有,今天这一章就带大家学习Linux中目录和文件都能操作的命令最近无意间获得一份阿里大佬写的刷题笔记,一下子打通了我的任督二脉
  • 2024-05-08Linux基础03-Linux文件操作命令
    其实啊,说起计算机操作,大部分情况下就是“增删改查”这四个大字儿,文件操作也是这么回事儿。就是改文件的时候得用点专门的编辑器,比如那个Vim。不过Vim这东西,真心不是一两句话就能给你讲清楚的,咱们在后续的章节再好好说道说道。现在学文件操作命令的时候,如果得改文件内容,咱们就先
  • 2024-04-22Linux基础-01:Linux命令的基本格式
    2.1.1命令提示符在CentOS7操作系统中,Linux命令提示符就像是你与电脑交流的一个小标志,告诉你系统已经准备好接受你的指令了。它通常会显示在你打开的终端窗口或控制台的最前面。让我们来看一个示例:[root@node01~]$在这个示例中:root:是当前登录的用户名。@:分隔符号,没有特
  • 2024-04-10lvs与keepalive实践
     LVS:node01: ifconfigeth0:8192.168.150.100/24node02~node03: 1)修改内核: echo1>/proc/sys/net/ipv4/conf/eth0/arp_ignore echo1>/proc/sys/net/ipv4/conf/all/arp_ignore echo2>/proc/sys/net/ipv4/conf/eth0/arp_announce echo2>/p
  • 2024-03-28hbase - [02] 分布式安装部署
      一、角色规划主机名node01node02node03node04Zookeeper○○○ NameNode○○  JournalNode○○○ DataNode○○○○ResourceManager○○  NodeManager○○○○Master○○○ RegionServer○○○○
  • 2024-03-26搭建hive环境,并解决后启动hive命令报 hive: command not found的问题
    一、问题解决 1、问题复现2、解决问题        查阅资料得知该问题大部分是环境变量配置出了问题,我就输入以下命令进入配置文件检查自己的环境变量配置:[root@node03~]#vi/etc/profile        检查发现自己的hive配置没有问题 ,于是我就退出,然后更新
  • 2024-03-25CDH - [02] 安装部署
     一、参考链接CDH6.3.2集群安装部署:https://blog.csdn.net/u010839779/article/details/130127169 二、版本信息ComponentComponentVersionChangesInformationApacheAvro1.8.2ChangesApacheFlume1.9.0ChangesApacheHadoop3.0.0ChangesApacheH
  • 2024-01-29今日总结
    一、spark入门与安装1、spark概述1)了解Spark是一种快速、通用、可扩展的大数据分析引擎,2009年诞生于加州大学伯克利分校AMPLab,2010年开源,2013年6月成为Apache孵化项目,2014年2月成为Apache顶级项目。目前,Spark生态系统已经发展成为一个包含多个子项目的集合,其中包含SparkSQL、Spark
  • 2024-01-23Ansible - Roles
      前言Q1:什么是Roles在实际生产环境中,会编写大量的playbook文件来实现不同的功能。而且,每个playbook还可能会调用其他文件(变量文件),对于海量的、无规律的文件,管理是个问题。Ansible从1.2版本开始支持Roles,Roles是管理ansible文件的一种规范(目录结构),Roles会按照标准的规范,自
  • 2023-12-21kubernetes 设置 Kubernetes master 可调度 pod
    kubernetes设置节点可调度kubectltaintnodenode01node-role.kubernetes.io/master-kubernetes设置节点不可调度kubectltaintnodenode01node-role.kubernetes.io/master="":NoSchedule
  • 2023-12-08xcat批量创建和部署vmware esxi虚机(仅测试esxi)
    安装参考xcatdocker部署使用,已添加esxi支持https://www.cnblogs.com/leaus/p/17884674.html编辑hosts表添加ip和主机名对应vi/etc/hosts192.168.1.101node01192.168.1.102node02添加节点,配置创建信息nodeaddnode01groups=nodevm,allnodeaddnode02groups=nodevm
  • 2023-10-23Docker网络
    目录1.网络类型1.1link(已不建议使用)1.2container(已不建议使用)1.3none1.4host1.5bridge/自定义网络(推荐)2.自定义网段网络3.bridge与自定义网段网络通信4.部署Redis集群示例1.网络类型1.1link(已不建议使用)link:--link连接的容器名或ID使用了link机制后,
  • 2023-10-23Docker-Compose
    目录1.简介2.Composeyml规则3.Compose示例3.1Python-web应用3.2wordpress应用1.简介DockerCompose是Docker官方的开源项目,作用是通过docker-compose.yml定义运行多个容器官方文档Compose概念:Services:容器,应用,例如:web、redis、mysql...Project:一组关联的容
  • 2023-10-15搭建Flink集群、集群HA高可用以及配置历史服务器
    Flink集群搭建集群规划节点node01node02node03角色JobManager<br>TaskManagerTaskManagerTaskManager下载并解压安装包wgethttps://repo.huaweicloud.com/apache/flink/flink-1.17.0/flink-1.17.0-bin-scala_2.12.tgz在node01节点下载flink安装包,同时解
  • 2023-09-12Ceph Enable Dashboard
    本次演示环境配置如下:hostnameIProlesnode01.srv.world192.168.10.101ObjectStorage;MonitorDaemon;ManagerDaemonnode02.srv.world192.168.10.102ObjectStoragenode03.srv.world192.168.10.103ObjectStoragedlp.srv.world192.168.10.142clientwww.srv.world192.168.10.140RAD
  • 2023-09-12Ceph文件系统使用
    本次演示环境如下:hostnameIProlesnode01.srv.world192.168.10.101ObjectStorage;MonitorDaemon;ManagerDaemonnode02.srv.world192.168.10.102ObjectStoragenode03.srv.world192.168.10.103ObjectStoragedlp.srv.world192.168.10.142client1.在dlp节点安装所需的软件包[root@n
  • 2023-09-12配置Ceph #1
    本次Ceph配置环境如下:hostnameiprolesnode01.srv.world192.168.10.101ObjectStorage;MonitorDaemon;ManagerDaemonnode02.srv.world192.168.10.102ObjectStoragenode03.srv.world192.168.10.103ObjectStorage以上OS系统均使用CentosStream9,采用最小安装,sdb将作为Ceph专用磁
  • 2023-09-01【MongoDB】副本集通过一致性备份增加新节点
    [mongod@node01~]#opensslrand-base64666>/var/lib/mongo/keyfile[mongod@node01~]#chownmongod:mongod/var/lib/mongo/keyfile[mongod@node01~]#chmod600/var/lib/mongo/keyfile[mongod@node01~]#l/var/lib/mongo/keyfile-rw-------1mongodmongo
  • 2023-08-26 【MySQL 8.0】透明数据加密(TDE)
    [mysql@node01~]$vim/etc/my.cnf[mysqld]early-plugin-load=keyring_file.sokeyring_file_data=/usr/local/mysql/data/keyring(root@node01)>selectplugin_name,plugin_statusfrominformation_schema.pluginswhereplugin_namelike'keyring%';
  • 2023-08-26【MySQL 8.0】在组复制(MGR)的基础上创建InnoDB Cluster
    [root@node04~]#wgethttps://dev.mysql.com/get/Downloads/MySQL-Shell/mysql-shell-8.0.32-1.el7.x86_64.rpm[root@node04~]#yumlocalinstallmysql-shell-8.0.32-1.el7.x86_64.rpm-y[root@node04~]#mysqlshMySQLJS>\connectroot@node01:3306MySQL
  • 2023-08-26【MySQL 8.0】密码复杂度验证组件与连接控制插件
    (root@node01)>installcomponent'file://component_validate_password';QueryOK,0rowsaffected(0.08sec)(root@node01)>select*frommysql.component;+--------------+--------------------+------------------------------------+|compo
  • 2023-08-25【MySQL 8.0】--通过组复制实现primary的switchover与failover
    [mysql@node01~]#uuidgen8d1945a5-5c74-4ba0-8240-e9d731110753[mysql@node01~]$vim/etc/my.cnfserver_id=101log_bin=mysql-binbinlog_cache_size=16Mmax_binlog_size=128M