- 2024-11-07使用阿里云搭建DataLight平台
DataLight官网:http://datalight.boundivore.cn/目录一、购买阿里云抢占式资源服务器二、修改一下配置1、修改实例名称2、远程连接3、修改主机名4、修改hosts映射文件5、修改安全组6、免密登录(不需要做,脚本自己会操作)三、购买mysql数据库四、初始化mysq
- 2024-08-14NIFI系列---【Linux离线安装nifi集群+内嵌zookeeper】
1.环境准备准备三台4c8g的centos7服务器,分别安装jdk8,zookeeper-3.5.7(zookeeper-3.4.7版本不行,官网要求不低于3.5.5),如果不用root安装,就直接切换到对应用户(例:afp)。node01node02node032.下载nifi安装包和nifi-toolkit-1.19.1-bin.zip安装包(本教程已验证过1.19.1和1.27
- 2024-07-29kibana8.x版本部署
目录安装配置创建用户下载安装包账号密码方式连接ESes生成kibana_system用户密码修改配置文件使用system启动登录验证开启https生成kibana证书和私钥拷贝证书至kibana生成crt文件修改配置文件重启服务访问验证安装配置创建用户useraddkibana下载安装包wgethttps://artifac
- 2024-07-29elasticsearch8单机/集群部署
目录一、ES8单节点部署集群架构1.环境准备2.创建用户和目录3.下载解压安装包3.1下载es83.2解压安装3.3授权目录4.修改配置文件5.使用system启动es5.1使用oracle-jdk启动(二选一)6.查看日志7.访问验证8.重置elastic密码8.1重置随机密码8.2自定义密码9.jvm内存调整9.1重启验证
- 2024-07-21在ROS2 - humble 中做一个节点
ROS2(RobotOperatingSystem2)中的节点(Node)是ROS2系统中的一个核心概念,它代表了执行特定任务的进程或程序模块。节点定义: 在ROS2中,节点是系统中最小的处理单元,负责执行特定的任务或功能。每个节点都具有独立的处理能力和通信能力,可以与其他节点进行交互。功能:
- 2024-07-03(必看图文)Hadoop集群安装及MapReduce应用(手把手详解版)
前言 随着大数据时代的到来,处理和分析海量数据已成为企业和科研机构不可或缺的能力。Hadoop,作为开源的分布式计算平台,因其强大的数据处理能力和良好的可扩展性,成为大数据处理领域的佼佼者。本图文教程旨在帮助读者理解Hadoop集群的安装过程,并通过MapReduce应用实例,
- 2024-05-12Kibana系列---【重新启动kibana后,访问一直显示:Kibana server is not ready yet,查看后台错误日志报master_not_discovered_excepti
重新启动kibana后,访问一直显示:Kibanaserverisnotreadyyet,查看后台错误日志报master_not_discovered_exception1.问题描述我的kibana之前都是好的,我把es集群重启之后,再重启kibana,发现无法访问了,访问时一直报:Kibanaserverisnotreadyyet,查看服务器后台日志后发现报:m
- 2024-05-09Pacemaker入门之---了解配置故障转移
案例说明:以下流程介绍了创建运行服务的一个Pacemaker集群,当节点上的服务变为不可用时,将其从一个节点切换到另一个节点上。通过这个步骤,您可以了解如何在双节点集群中创建服务,并可以查看在运行该服务的节点出现问题时会出现什么情况。这个示例步骤配置一个运行ApacheHTTP服
- 2024-05-08Linux基础04-Linux中目录和文件都能操作的命令
前面两节我们分别学习了目录操作命令和文件操作命令,那么有没有一些既可以操作目录,又可以操作文件的命令呢?这样我们就不需要记住两套命令了。其实还真有,今天这一章就带大家学习Linux中目录和文件都能操作的命令最近无意间获得一份阿里大佬写的刷题笔记,一下子打通了我的任督二脉
- 2024-05-08Linux基础03-Linux文件操作命令
其实啊,说起计算机操作,大部分情况下就是“增删改查”这四个大字儿,文件操作也是这么回事儿。就是改文件的时候得用点专门的编辑器,比如那个Vim。不过Vim这东西,真心不是一两句话就能给你讲清楚的,咱们在后续的章节再好好说道说道。现在学文件操作命令的时候,如果得改文件内容,咱们就先
- 2024-04-22Linux基础-01:Linux命令的基本格式
2.1.1命令提示符在CentOS7操作系统中,Linux命令提示符就像是你与电脑交流的一个小标志,告诉你系统已经准备好接受你的指令了。它通常会显示在你打开的终端窗口或控制台的最前面。让我们来看一个示例:[root@node01~]$在这个示例中:root:是当前登录的用户名。@:分隔符号,没有特
- 2024-04-10lvs与keepalive实践
LVS:node01: ifconfigeth0:8192.168.150.100/24node02~node03: 1)修改内核: echo1>/proc/sys/net/ipv4/conf/eth0/arp_ignore echo1>/proc/sys/net/ipv4/conf/all/arp_ignore echo2>/proc/sys/net/ipv4/conf/eth0/arp_announce echo2>/p
- 2024-03-28hbase - [02] 分布式安装部署
一、角色规划主机名node01node02node03node04Zookeeper○○○ NameNode○○ JournalNode○○○ DataNode○○○○ResourceManager○○ NodeManager○○○○Master○○○ RegionServer○○○○
- 2024-03-26搭建hive环境,并解决后启动hive命令报 hive: command not found的问题
一、问题解决 1、问题复现2、解决问题 查阅资料得知该问题大部分是环境变量配置出了问题,我就输入以下命令进入配置文件检查自己的环境变量配置:[root@node03~]#vi/etc/profile 检查发现自己的hive配置没有问题 ,于是我就退出,然后更新
- 2024-03-25CDH - [02] 安装部署
一、参考链接CDH6.3.2集群安装部署:https://blog.csdn.net/u010839779/article/details/130127169 二、版本信息ComponentComponentVersionChangesInformationApacheAvro1.8.2ChangesApacheFlume1.9.0ChangesApacheHadoop3.0.0ChangesApacheH
- 2024-01-29今日总结
一、spark入门与安装1、spark概述1)了解Spark是一种快速、通用、可扩展的大数据分析引擎,2009年诞生于加州大学伯克利分校AMPLab,2010年开源,2013年6月成为Apache孵化项目,2014年2月成为Apache顶级项目。目前,Spark生态系统已经发展成为一个包含多个子项目的集合,其中包含SparkSQL、Spark
- 2024-01-23Ansible - Roles
前言Q1:什么是Roles在实际生产环境中,会编写大量的playbook文件来实现不同的功能。而且,每个playbook还可能会调用其他文件(变量文件),对于海量的、无规律的文件,管理是个问题。Ansible从1.2版本开始支持Roles,Roles是管理ansible文件的一种规范(目录结构),Roles会按照标准的规范,自
- 2023-12-21kubernetes 设置 Kubernetes master 可调度 pod
kubernetes设置节点可调度kubectltaintnodenode01node-role.kubernetes.io/master-kubernetes设置节点不可调度kubectltaintnodenode01node-role.kubernetes.io/master="":NoSchedule
- 2023-12-08xcat批量创建和部署vmware esxi虚机(仅测试esxi)
安装参考xcatdocker部署使用,已添加esxi支持https://www.cnblogs.com/leaus/p/17884674.html编辑hosts表添加ip和主机名对应vi/etc/hosts192.168.1.101node01192.168.1.102node02添加节点,配置创建信息nodeaddnode01groups=nodevm,allnodeaddnode02groups=nodevm
- 2023-10-23Docker网络
目录1.网络类型1.1link(已不建议使用)1.2container(已不建议使用)1.3none1.4host1.5bridge/自定义网络(推荐)2.自定义网段网络3.bridge与自定义网段网络通信4.部署Redis集群示例1.网络类型1.1link(已不建议使用)link:--link连接的容器名或ID使用了link机制后,
- 2023-10-23Docker-Compose
目录1.简介2.Composeyml规则3.Compose示例3.1Python-web应用3.2wordpress应用1.简介DockerCompose是Docker官方的开源项目,作用是通过docker-compose.yml定义运行多个容器官方文档Compose概念:Services:容器,应用,例如:web、redis、mysql...Project:一组关联的容
- 2023-10-15搭建Flink集群、集群HA高可用以及配置历史服务器
Flink集群搭建集群规划节点node01node02node03角色JobManager<br>TaskManagerTaskManagerTaskManager下载并解压安装包wgethttps://repo.huaweicloud.com/apache/flink/flink-1.17.0/flink-1.17.0-bin-scala_2.12.tgz在node01节点下载flink安装包,同时解
- 2023-09-12Ceph Enable Dashboard
本次演示环境配置如下:hostnameIProlesnode01.srv.world192.168.10.101ObjectStorage;MonitorDaemon;ManagerDaemonnode02.srv.world192.168.10.102ObjectStoragenode03.srv.world192.168.10.103ObjectStoragedlp.srv.world192.168.10.142clientwww.srv.world192.168.10.140RAD
- 2023-09-12Ceph文件系统使用
本次演示环境如下:hostnameIProlesnode01.srv.world192.168.10.101ObjectStorage;MonitorDaemon;ManagerDaemonnode02.srv.world192.168.10.102ObjectStoragenode03.srv.world192.168.10.103ObjectStoragedlp.srv.world192.168.10.142client1.在dlp节点安装所需的软件包[root@n
- 2023-09-12配置Ceph #1
本次Ceph配置环境如下:hostnameiprolesnode01.srv.world192.168.10.101ObjectStorage;MonitorDaemon;ManagerDaemonnode02.srv.world192.168.10.102ObjectStoragenode03.srv.world192.168.10.103ObjectStorage以上OS系统均使用CentosStream9,采用最小安装,sdb将作为Ceph专用磁