首页 > 其他分享 >hadoop集群 大数据项目实战_电信用户行为分析_day02

hadoop集群 大数据项目实战_电信用户行为分析_day02

时间:2023-10-16 09:34:36浏览次数:30  
标签:bin bigdata day02 redis hadoop server 集群 conf stable

集群配置好后,运行一个小例子,统计单词

1.hdfs dfs -put 将本地系统的文件或文件夹复制到HDFS上

2.hdfs dfs -ls /output    将所有的文件显示出来

3.hdfs dfs -cat /output/  将所有的文件读取出来

 下载part-r-000000

安装Redis

1.下载Redis

wget https://download.redis.io/redis-stable.tar.gz 2.解压 tar -zxvf redis-stable.tar.gz 3.安装一些gcc编译库 yum install -y gcc g++ gcc-c++ make 4.编译并且安装 进入到redis的源码目录 make MALLOC=libc make PREFIX=/bigdata/server/redis install 5.拷贝配置文件redis.conf并且修改 cd /bigdata/server/redis mkdir {conf,data} # conf 配置文件目录 data 数据存放目录 log日志文件目录 cd /bigdata/soft/redis-stable cp redis.conf /bigdata/server/redis/conf/   需要修改的东西 bind 0.0.0.0 # 配置可以所有的地址都可以访问redis protected-mode no # 关闭保护模式 daemonize yes # 后台启动运行 dir  /bigdata/server/redis/data # 相关的数据和日志文件的存放目录 dbfilename dump.rdb # 数据文件存放 logfile "redis.log" # 指定logfile的文件名 默认没有日志文件   启动和关闭redis # 启动redis bin/redis-server conf/redis.conf # 关闭redis bin/redis-cli shutdown # 登录到redis bin/redis-cli

 

 

 

标签:bin,bigdata,day02,redis,hadoop,server,集群,conf,stable
From: https://www.cnblogs.com/hellotoworld/p/17763793.html

相关文章

  • 轻松掌握组件启动之Redis单机、主从、哨兵、集群配置
    单机配置启动Redis安装下载地址:http://redis.io/download安装步骤:1:安装gcc编译器:yuminstallgcc2:将下载好的redis‐5.0.3.tar.gz文件放置在/usr/local文件夹下,并解压redis‐5.0.3.tar.gz文件wgethttp://download.redis.io/releases/redis‐5.0.3.tar.gztarxzfredis......
  • 轻松掌握组件启动之Redis集群扩展秘籍:轻松扩容与缩容,释放高性能潜能
    扩展集群操作扩容在我们原始的集群基础上,我们决定增加一台主节点(8007)和一台从节点(8008),这样新增的节点将会在下图中以虚线框的形式显示在集群中。1:首先,在/usr/local/redis-cluster目录下创建两个文件夹,分别命名为8007和8008。接下来,将8001文件夹下的redis.conf......
  • 安装kubernetes-v1.26.9集群,安装配置calico网络
    安装kubernetes-v1.26.9集群,安装配置calico网络1、配置基础环境1、资源规划一共三台主机,安装配置一个master01,两个worker01master01:192.168.2.10worker01:192.168.2.11worker02:192.168.2.12镜像仓库服务器:192.168.2.20VMware虚拟机规格:CentOSLinux7(Core)2核CPU、3G内......
  • 搭建Flink集群、集群HA高可用以及配置历史服务器
    Flink集群搭建集群规划节点node01node02node03角色JobManager<br>TaskManagerTaskManagerTaskManager下载并解压安装包wgethttps://repo.huaweicloud.com/apache/flink/flink-1.17.0/flink-1.17.0-bin-scala_2.12.tgz在node01节点下载flink安装包,同时解......
  • ES集群故障转移
    6ES集群故障转移6.1什么是故障转移所谓故障转移指的是,当集群中有节点发生故障时,这个集群是如何进行自动修复的。ES集群目前是由3个节点组成,如下图所示,此时集群状态是green6.2模拟节点故障假设:node1所在机器宕机导致服务终止,此时集群会如何处理;大体分为三个步骤:1.重新选举2.......
  • ES集群分片副本
    5 ES集群分片副本5.1提高ES集群可用性如何提高ES集群系统的可用性;有如下两个方面;服务可用性:1.2个节点的情况下,允许其中1个节点停止服务;2.多个节点的情况下,坏的节点不能超过集群一半以上;数据可用性1.通过副本replication解决,这样每个节点上都有完备的数据。2.如下图所示......
  • ORACLE:集群oracle查看session的语句
    1.查看session可以把status改为ACTIVE和INACTIVEv$session和gv$session只在RAC中区别明显,有g是全局的,rac的两个数据库中的内容,没有是但实例的数据库的,内容不全rac么?  gv$开头视图是rac全局的,v$开头是本节点的gv$session比v$session多一个字段而已: INST_ID selectmachi......
  • Hadoop-3.3.5 自动安装
    Hadoop-3.3.5自动安装脚本为了方便数据科学与大数据技术的hadoop-3.3.5安装与配置目前适用于新安装的纯净虚拟机,未配置冲突检测..所以安装的话请使用全新创建的机器以避免错误...如何使用sshlocalhost输入你目前用户的密码exit退出当前ssh终端(此举是为自动建立.ssh文......
  • hadoop集群 大数据项目实战_电信用户行为分析_day01
    上图是相关配置的要求,主要创建了四个虚拟系统,有三台虚拟机搭建hadoop集群,一台作为业务系统。涉及到相关的Linux指令有::setnu[显示行号] :6[到第6行 shift+G跳到最后一行 进入vi指令后查找相关东西/(你需要查找的东西)1.配置环境、第一步设置网络参数,设置静态网络目录......
  • 迷你Ceph集群搭建(超低配设备)
    我的博客原文链接:https://blog.gcc.ac.cn/post/2023/%E8%BF%B7%E4%BD%A0ceph%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA/(原文有图,这里没图)环境机器列表:IP角色说明10.0.0.15osdARMv7,512M内存,32G存储,百兆网口10.0.0.16clientARM64,2G内存,测试集群性能用,千兆网口10.0.0.17osdAMD64,2G内存,32G......