BigData

2024-01-22linux添加systemctl服务
1.添加服务cat>/etc/systemd/system/bigdata_sr_detection.service<<'EOF'[Unit]Description=bigdata_sr_detectionAfter=network.target[Service]WorkingDirectory=/webser/bigdata_sr_detectionExecStart=/usr/bin/java-jar/webser/bigdata_sr_
2024-01-13Hive常见问题
Hive常见问题1、hive创建数据库在使用hive指令创建数据库时，指定创建位置createdatabasebigdata_demo1location'/bigdata_29';在shell脚本中显示创建返回结果但是在hdfs中并未找到该数据库；这里可能是bug，于是我们通过第二种方法，即在location中将该数据库也加入到路径中
2023-12-24鲲鹏920 aarch64 版本 Ambari HDP 下载地址
本文能够适配兼容华为鲲鹏920 aarch64 版本，仅限CentOS7、openEuler20.03-LTS操作系统以下是详细下载地址1、CentOS7aarch64版本CentOS7aarch64https://mirrors.huaweicloud.com/kunpeng/yum/el/7/bigdata/https://mirrors.huaweicloud.com/kunpeng/yum/el/7/bigdata/
2023-12-06hbase shell 常用命令
Hbaseshell命令1．进入hbase客户端命令hbaseshell 2．查看帮助命令help 主要学习下面三个： 3．namespace创建命名空间（1）create_namespace‘ns1’（2）list_namespace4．ddl（1）list查看表格（2）create创建表格create‘student’,‘info’,’msg’ student表格，i
2023-12-04永久解决matplotlib中文乱码问题
永久解决matplotlib中文乱码问题1.拷贝Simhei.ttf字体文件至以下目录/root/software/anaconda3/envs/tensorflow/lib/python3.6/site-packages/matplotlib/mpl-data/fonts/ttf#根据自己系统酌情设置2.设置matplotlibrc文件(tensorflow)[root@bigdata~]#python>>>im
2023-10-20hadoop集群大数据项目实战_电信用户行为分析_day04
进行HIVE环境配置1.上传相关的包 2.对上传的包进行下载和创建软连接 3.配置相关的文件4.分别发送给其他机子假设你需要在所有机器执行同一个指令，则你就需要相关设置 5.在hive的onf文件中创建hive-site.xml进行相关设置```xml<configuration><--元数据存
2023-10-16hadoop集群大数据项目实战_电信用户行为分析_day02
集群配置好后，运行一个小例子，统计单词1.hdfsdfs-put将本地系统的文件或文件夹复制到HDFS上2.hdfsdfs-ls/output 将所有的文件显示出来3.hdfsdfs-cat/output/ 将所有的文件读取出来下载part-r-000000安装Redis1.下载Rediswgethttps://download.redis.i
2023-09-10hdfs批量上传下载文件和删除指定目录下文件
hdfs批量上传下载文件和删除指定目录下文件一、hdfs批量下载文件hdfsdfs-gets3a://bigdata/infra/zeppelin/notebook/二、hdfs批量上传文件hdfsdfs-put./*/bigdata/infr/zeppelin/notebook/三、hdfs删除指定目录hdfsdfs-rm-r/bigdata/infra/zeppelin/notebook/wei.ji10
2023-09-07OGG-将PostgreSQL通过OGG_BigData同步到Kafka后数据存在8小时时间差
问题描述：将PostgreSQL通过OGG_BigData同步到Kafka后数据存在8小时时间差。问题原因：kafka.properties中的参数goldengate.userexit.timestamp=utc解决办法：修改kafka.properties中的参数goldengate.userexit.timestamp为utc+8，然后重启目标端replicat进程。
2023-08-23idea安装bigdata tool 插件 HDFS客户端
在idea里面下载bigdatatool插件使用hdfs客户端一、下载hadoop安装包，并将文件解压二、在idea的插件里面找到bbigdatatool插件并进行安装如果在idea里面下载比较慢，可以在官网下载 BigDataTools-IntelliJIDEsPlugin|Marketplace(jetbrains.com) 在idea设置里面
2023-08-09修改mysql8.0的数据存储目录
-------先查看datadir的路径------------------------------------usemysqlshowvariableslike'%datadir%';————————————————————————--datadir=/data/mysqldata/mysql 老的--datadir=/bigdata/new_mysqldata 新的———————
2023-07-13[GIT]解决：failed to push some refs to ...（过程重现）
本问题有很多种情况，解决方法也很多，本文只针对笔者本人的自身诉求和情况，选择了一种适合我的解决方法。仅供参考。1问题描述johnnyzen@XXDSSSMINGW64/e/source_code/BigData/bdp_common_data_service(develop)$gitpushTogitlab-bigdata.johnnyzen.cn:platform-software/b
2023-06-04PostgreSQL In BigData 大数据Postgresql
1.BigSQL(整合了pg和hadoop的一个开源项目)[url]http://www.bigsql.org/se/[/url]2.ClouderaManagerDB[url]http://www.cloudera.com/content/cloudera/en/home.html[/url]3.Hadoopdb(耶鲁大学的一个开源项目)SQLtoMapReducetoSQL(SMS)Plann
2023-05-31datax 抽数据框架
标签（空格分隔）：协作框架一：datax概述1.1datax介绍1.1、什么使dataxDataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。1.2、datax的设计为了解决异构数
2023-05-159、hadoop高可用HA集群部署及三种方式验证
目录Hadoop系列文章目录一、HA集群规划1、三节点2、四节点3、七节点二、集群部署1、上传安装包、配置环境变量1)、上传解压Hadoop安装包2）、配置Hadoop环境变量3）、修改Hadoop配置文件hadoop-env.sh4）、修改Hadoop配置文件core-site.xml5）、修改Hadoop配置文件hdfs-site.xml6）、修改Had
2023-04-03Kerberos 安装
Kerberos安装1.Kerberos服务端安装服务端重点三个配置文件：/etc/krb5.conf/var/kerberos/krb5kdc/kdc.conf/var/kerberos/krb5kdc/kadm5.acl注意点：防止配置文件格式错误，如编辑过程中导致内容缺失。查询软件对加密算法的支持程度，如降低版本hadoop需要去除掉aes和
2023-03-01hdfs file system shell的简单使用
1、背景此处我们通过命令行，简单的学习一下hdfsfilesystemshell的一些操作。2、hdfsfilesystemshell命令有哪些我们可以通过如下网址https://hadoop.apache.org/d
2023-03-01hdfs file system shell的简单使用
目录1、背景2、hdfsfilesystemshell命令有哪些3、确定shell操作的是哪个文件系统4、本地准备如下文件5、hdfsfilesystemshell5.1mkdir创建目录5.2put上传文件5.3l
2023-02-24spark-3.3.2-bin-hadoop3-scala2.13 Local模式 02
安装文件hadoop-3.3.4.tar.gzscala-2.13.10.tgzscala-docs-2.13.10.txz 目录配置(base)hadoop@apollo-virtualbox:/opt/bigdata$lltotal44drwxr-xr-
2023-02-18云平台的测试———（3）BigDaTa测试
搭建Hadoop，搭建完成后用jps查看服务启动情况安装Hadoop完成后可在图形界面看到以下效果，环境运行信息在集群节点中/usr/hdp/2.4.3.0-227/hasoop-mapreduce/目录下，存
2023-02-10Maven
Maven的安装1检查Java的环境变量命令行：echo%JAVA_HOME%2jdk的配置方式：JAVA_HOME(新建)=D:\bigdata\software\Java\jdk1.8.0_361CLASSPATH(新建)=.;D:\bigdat
2023-02-09ELK企业级系统日志架构
企业级日志系统架构——ELK（Elasticsearch、Filebeat、Kafka、Logstash、Kibana）原创 liugp 大数据与云原生技术分享 2023-01-2707:30 发表于江西收录于合集#ELK
2023-01-20如何安装配置kafka
最近项目需要用到kafa进行数据流处理，下面将安装部署kafka的方法简单介绍下。1：配置java环境修改/etc/bashrc文件，添加JAVA_HOMEcat/etc/bashrcexportJAVA_HOME=/root/jdk-
2023-01-19HBase 快速入门(安装和命令操作)
1HBase安装部署1.1Zookeeper正常部署首先保证Zookeeper集群的正常部署，并启动。bin/zkServer.shstartbin/zkServer.shstartbin/zkServer.shstart1.2Hadoop正常部
2023-01-01我的第一个html文件
<!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"><title>这是我第一个html</title>