Hadoop 常用命令

经过四天的Hadoop学习，我对这个分布式存储和处理框架有了更深入的了解。今天，我主要学习了Hadoop的生态系统中的其他组件和工具，以及如何在实际场景中应用Hadoop来解决实际问题。首先，我学习了Hadoop生态系统中的其他组件和工具，如Hive、HBase、Pig、Sqoop等。Hive是一个数据仓库工具，它......

1.创建表空间#创建大小为30G且开启自增的表空间CREATETABLESPACETEST_COM_SDM_FRONTDATAFILE'/oradata/ORA19/datafile/TEST_COM_SDM_FRONT_01.dbf'SIZE30024MAUTOEXTENDON;2.查看表空间使用情况#表空间数据文件维度使用率查询SELECTb.TABLESPACE_NAME,b......

1.下载JDK8Linux安装Openjdk2.下载Hadoop3.3.6Hadoop安装及环境变量配置3.创建hadoop数据存储的目录mkdir-p/opt/hadoop/tmp/opt/hadoop/hdfs/data/opt/hadoop/hdfs/name4.配置hostname和host文件hostnamectlset-hostname{hostName}vim/etc/hosts192.168.58.1......

hyperloglog处理问题的关键所在和bitmap差不多，都是为了减少对sql的写操作，提高性能，用于基数统计的算法。基数就是一种数据集，用于收集去重后内容的数量。会有0.81%的误差hyperloglog是string类型，但是不会存储数组的本身，不会像集合一样返回数组应用场景：①统计某个网站某个文章的uv（u......

WGCLOUD在v3.4.9版本新增了一个模块【常用命令笔记】这个模块非常有用，对我的工作非常有帮助，可以把我常用的一些命令或文档记录下来，也可以当作记事本使用，记录一些笔记使用简单，而且方便......

1.下载https://hadoop.apache.org/releases.html2.环境变量配置在/etc/profile.d中配置1.新建hadoop.shvi/etc/profile.d/hadoop.shexportHADOOP_HOME=/usr/hadoop/hadoop-3.3.6exportPATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin2.授予文件执行权限chmodu+x/e......

gitinit初始化一个新的git仓库。gitclone克隆一个已存在的仓库。gitadd将指定文件添加到暂存区。gitcommit创建一个新的提交。gitcommit-m附带一些描述修改的提交信息。gitpush将提交推送到远程仓库。gitfetch从远程仓库获取最新的提交。gitpull从远程仓......

    ......

其实这些命令官方上都有，而且可读性很强，还有汉化组翻译的http://redis.cn/commands.html，不过光是练习还是容易忘，写一写博客记录一下bitmap位图，是由0和1状态表现的二进制bit数组，bitmap是由string作为底层数据结构，本质就是一个数组应用场景：用户签到，视频是否播放，是否登录过，钉钉打卡......

1.文件系统基础1.1树状文件结构Linux文件系统采用树状结构，以根目录（/）为起点，所有文件和目录都位于其下。理解这个层次结构是理解Linux文件管理的关键。1.2文件与目录在Linux中，一切皆文件。文件可以是文本文件、二进制可执行文件、目录等。目录用于组织文件，使其更有层次感。2......