首页 > 其他分享 >【Hive 元数据和真实数据-TAB_COL_STATS记录错误问题】

【Hive 元数据和真实数据-TAB_COL_STATS记录错误问题】

时间:2023-02-25 18:44:32浏览次数:35  
标签:对表 STATS 记录 hive 查询 Hive TAB test 数据

MySql的元数据以及HDFS上数据的关系

 元数据在DBS和TBLS上 (SD_ID)

1 首先通过hive创建一个表table_test

在hdfs的存储路径会生成相应的表

TBLS 也会更新内容进行记录

2 通过hive插入insert一条数据

 会走一遍MR,数据产生变化后

   TAB_COL_STATS有记录改变(CS_ID)、(TBL_ID) 

3 通过hdfs 直接向hive的warehouse上传数据到表中

  hadoop fs -put test_table01.txt  /user/hive/warehouse/table_test 

(就是通过不用hive对表添加数据)

 使用select * from table_test

 可以查询到数据,但这个时候使用select count(1)

 对表进行查询返回的结果不准确

 因为没有走MR,Hive不知道数据的变化

 desc formatted 表 查询表信息

 numFiles 和numRows 这两个参数

 并不会对表进行记录,所以查询结果都为0

4 如果通过hive的 load data 上传就会记录

 numFiles和numRows的值

 当这两个值不正确或不一致的时候

 在去用count(1)查询的话

 则会通过MR进行纠错

5 如果都不能保证每次上传数据都通过hive

 我们可以通过刷新元数据的方式避免错误

 ANALYZE  TABLE  COMPUTE STATISTICS

 

 

标签:对表,STATS,记录,hive,查询,Hive,TAB,test,数据
From: https://www.cnblogs.com/august888-yang/p/17155027.html

相关文章

  • Go从入门到精通——常见报错: C compiler "gcc" not found: exec: "gcc": executable f
    常见报错:Ccompiler"gcc"notfound:exec:"gcc":executablefilenotfoundin%PATH%一、背景操作系统:windows10专业版Go版本:goversiongo1.19.4windows/a......
  • DataBase- relation model
                            ......
  • CompletableFuture 异步编排
    业务场景查询商品详情页的逻辑比较复杂,有些数据还需要远程调用,必然需要花费更多的时间。假如商品详情页的每个查询,需要如下标注的时间才能完成那么,用户需要5.5s后才能看......
  • zsh中ros2与colcon命令 tab补全失效解决办法[ros-galactic]
    zsh中ros2tab自动补全环境:Ubuntu20.04ros-galactic以galactic为例sudonano/opt/ros/galactic/share/rosidl_cli/environment/rosidl-argcomplete.zsh将下行注......
  • hive:regexp_replace函数
    语法regexp_replace(subject,pattern,str)subject,pattern,str都为字符串subject为被替换的字符串pattern为正则表达式str需要替换的字符串实例SELECTaa......
  • wine-stable
    通过wine官网找到安装方法1 brewtaphomebrew/cask-versions2 brewinstall--cask--no-quarantine(selectedwinepackage)wine-stable,wine-develorwine-stag......
  • Hive:COALESCE函数
    语法COALESCE(Tv1,Tv2,…)返回参数中的第一个非空值;如果所有值都为NULL,那么返回NULL。查询非空值selectcoalesce(a,b,c);如果a为null,则选择b;如果b为null,则选......
  • QT MySQL 连接出错报 QSqlDatabase: QMYSQL driver not loaded
    QT连接MySQL失败(本人QT版本:5.12.5)一、报错结果QSqlDatabase:QMYSQLdrivernotloadedQSqlDatabase:availabledrivers:QSQLITEQODBCQODBC3QPSQLQPSQL7二、报......
  • PHP使用ZipArchive批量打包压缩文件并下载
    PHP使用ZipArchive批量打包压缩文件,并下载。使用php自带的ZipArchive类,可以压缩或解压文件。首先需要确定已经安装了zip扩展,如果没有安装,请先安装,下载:http://pecl.php.net......
  • Diffusers中基于Stable Diffusion的哪些图像操作
    目录辅助函数Text-To-ImageImage-To-ImageIn-paintingUpscaleInstruct-Pix2Pix基于StableDiffusion的哪些图像操作们:Text-To-Imagegeneration:StableDiffusionPipeline......