• 2024-11-30第5关:合法的学号
    本题要求实现一个check(s)函数,判断字符串s是否为合法的学号,合法返回True,不合法返回False。符合下面规则的字符串即为合法学号,否则不合法。(1)以字母H开始,学号长度为9(2)除首字符H以外的8位均为数字为了验证函数定义的正确性,测试程序代码如下,功能是判定用户输入的字符串是否合法
  • 2024-11-27【Springboot】全局异常可以捕获但无法返回给前端
    场景创建全局自定义异常处理类@Slf4j@ControllerAdvicepublicclassGlobalExceptionHandler{/***全局异常处理,统一返回rtnCode=2**@parame*@return*/@ExceptionHandler(Exception.class)publicObjecthandleException(
  • 2024-11-25“探寻顶级短视频素材库:抖音剪辑必备资源大全揭秘“
    在短视频创作与运营中,素材的搜集往往是创作者们最为棘手的一环。既要严格确保素材使用的合法性,避免任何版权纠纷,又要追求内容的卓越品质,这无疑为创作过程增添了不小的挑战。然而,今日,我将为大家揭秘一系列极其实用的短视频素材库宝藏网站。1.制片帮制片帮无疑是一个值得极力推
  • 2024-09-18数仓项目环境搭建
    目录一、安装CentOS1.1、修改映射关系:1.2、免密登录:1.3、关闭防⽕墙:1.4、修改linux的安全机制:1.5、修改yum源:二、安装JDK2.1、创建文件夹:2.2、解压安装:2.3、配置环境变量:2.4、刷新环境变量:2.5、验证:三、安装Hadoop[伪分布式]3.1、安装hdfs:3.2、修改
  • 2024-08-08离线数仓之Hive的基础操作
    Hive简介hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。Hive的优点是
  • 2024-07-11启动hive元数据服务
    nohuphive--servicemetastore>>metastore.log2>&1&这条命令是用来在后台运行Hive的元数据存储服务(metastore)。让我来逐步解释:1.nohup:是一个Unix/Linux命令,用于在后台运行命令,同时忽略所有挂起(SIGHUP)信号。这意味着,即使用户退出终端或断开与服务器的连接,命令
  • 2024-05-20Hive FGC 问题排查步骤
    背景:本文FGC排查方法包含Metastore和HiveServer2服务,Metastore是一个相对成熟的服务,通常情况下不会发生特殊的异常,HiveFGC通常是由两种情况导致:一是因为任务量得到增长导致现有服务示例不能满足当前任务的请求量,这类情况通过查看对应服务的连接数,任务数量的监控即可快速得
  • 2024-04-19hive安装
    下载hivewgethttps://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-4.0.0/apache-hive-4.0.0-bin.tar.gzsudochown-Rhduser:hadoop/opt/hive-4.0.0配置.bashrcexportHIVE_HOME=/opt/hive-4.0.0exportPATH=$PATH:$HIVE_HOME/binhive-site.xml<configuration&
  • 2024-03-08hive启动
    1.第一次启动初始化(使用mysql存储其元数据)bin/schematool-initSchema-dbTypemysql-verbos2.启动metastore服务bin/hive--servicemetastorenohupbin/hive--servicemetastore&bin/hive--servicemetastore--hiveconfhive.root.logger=DEBUG,console3.启动h
  • 2023-12-15hive Metastore 启动报错 Version information not found in metastore报错处理
    修改conf/hive-site.xml中的hive.metastore.schema.verification 设置为false。 hive Metastore 启动报错 [main]:MetastoreThriftServerthrewanexception...org.apache.hadoop.hive.metastore.api.MetaException:Versioninformationnotfoundinmetastore
  • 2023-12-01hadoop高可用集群集成hive
    hive和hadoop的关系从上图可以看出实际上外界是通过thriftserver这个节点和hadoop的hdfs以及rm进行交互的,中间为driver因此当我修改完hadoop集群为高可用的时候,hive也需要重新配置环境以下是我hive的全新配置<configuration><!--Hive元数据存储配置--><propert
  • 2023-10-19pyspark 连接hive
    pyspark连接hive想要spark能够连接上hive,就需要将hive的一些配置文件放到spark中,让spark可以通过配置文件中的metastore.uris找到hive的元数据库,从而访问hive.1.将hive的conf文件夹下的hive-site.xml,复制到本地spark的conf文件夹中:2.将hive的lib文件夹下的mysql连接包mysql-co
  • 2023-10-18低代码平台探讨-MetaStore元数据缓存
    背景及需求之前提到我们模型驱动的实现选择的是解释型,需要模型的元数据信息,在接到请求后动态处理逻辑.此外,应用的通用能力中还包括:页面dsl查询,菜单查询等.而且后期加入触发器,用户自定义api后,这些元数据也需要提供查询服务.所以我们需要一个元数据模块,需要提供两个基础
  • 2023-10-13虚拟机如何打开hive数据库
    1、启动hodoop2.、启动hive的服务:metastorecd/export/server/apache-hive-3.1.2-bin/bin./hive--servicemetastore后台启动nohup./hive--servicemetastore&3、启动hive的服务:hiveserver2服务./hive--servicehiveserver2nohup./hive--servicehivese
  • 2023-09-22HIVe的启动以及datagrip配置
    之前已经被治好所需要的HIVe环境,治理需要启动他,才可以进行下面的链接datagrip操作首先进到finallshell里面然后启动zookeeper然后再启动hadoop:start-all.sh启动完成之后看上一个博客先关闭防火墙;根据黑马教程中提到的有两种方式启动HIVe:一,先启动metastore,然后在启动hive二
  • 2023-09-149.14每日总结
    启动元数据管理服务(必须启动,否则无法工作) 前台启动:bin/hive--servicemetastore 后台启动:nohupbin/hive--servicemetastore>>logs/metastore.log2>&1& 启动客户端HiveShell方式(可以直接写SQL):  bin/hiveHiveThriftServer方式(不可直接写SQL,需
  • 2023-09-11hive启动整个流程
    首先是start-all.sh然后打开历史服务器:mapred--daemonstarthistoryserver最后首先启动metastore服务,然后启动hiveserver2服务nohupbin/hive--servicemetastore>>logs/metastore.log2>&1&nohupbin/hive--servicehiveserver2>>logs/hiveserver2.log2>&1&
  • 2023-09-07每日总结 9.7
    今天我完成了对hadoop和hive数据库的配置1.hive数据库启动命令1.启动start-dfs.sh2.启动start-yarn.sh3.启动mapred--daemonstarthistoryserver(历史服务器)4.跳转cd/export/server/hive5.启动metastorenohupbin/hive--servicemetastore>>logs/metastore.log2>&1&6.
  • 2023-08-122023.8.7-2023.8.14暑假第五周博客
    2023.8.7今天人在外,因此博客休息一天图片如下 2023.8.8今天对hive有了进一步的了解首先要明确一个流程当我打开三台虚拟机,用finalshell连接上后首先要使用如下命令1.su-hadoop切换到hadoop用户,大部分操作都必须在hadoop用户中完成,而千万不要再root中,因为root用户一
  • 2023-08-06数仓 Hive HA 介绍与实战操作
    目录一、概述二、HiveMetaStoreHA介绍与配置三、HiveHiveServer2HA介绍与配置四、环境部署五、测试验证1)hivemetastore测试验证2)hivehiveserver2测试验证一、概述在数据仓库中,HiveHA(HighAvailability)是指为ApacheHive这个数据仓库查询和分析工具提供高可用性的
  • 2023-07-2918-Hive入门&安装
    1.Hive概述1.1什么是Hive?ApacheHive是一款建立在Hadoop之上的开源数据仓库工具,可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表,基于表提供了一种类似SQL的查询模型,称为Hive查询语言(HQL),用于访问和分析存储在Hadoop文件中的大型数据集。H
  • 2023-07-23Hive安装与启动
    一、mysql安装在配置Hive之前一般都需要安装和配置MySQL,因为Hive为了能操作HDFS上的数据集,那么他需要知道数据的切分格式,如行列分隔符,存储类型,是否压缩,数据的存储地址等信息。为了方便以后操作所以他需要将这些信息通过一张表存储起来,然后将这张表(元数据)存储到mysql中。为了啥存
  • 2023-07-15启动Hadoop时需要进行的操作
    首先切换到hadoop用户su-hadoop启动hdfs集群start-dfs.sh启动yarn集群start-yarn.sh启动hive首先切换到hive文件夹cd/export/server/hive然后再运行下述命令#先启动metastore服务然后启动hiveserver2服务nohupbin/hive--servicemetastore>>logs/metastore.log