首页 > 数据库 >04.大型数据库应用技术课堂测试05-日志数据分析-错误总结

04.大型数据库应用技术课堂测试05-日志数据分析-错误总结

时间:2022-10-18 23:11:53浏览次数:54  
标签:group 04 05 -- hive 解决 date input 日志

错误总结:

1.Expression not in GROUP BY key 'id'

解决:

在group by子句中,select 查询的列,要么需要是 group by中的列,要么得是用聚合函数(比如 sum、count 等)加工过的列。不支持直接引用非 group by的列。这一点和 MySQL 有所区别。

1.Hive不允许直接访问非group by字段;
2.对于非group by字段,可以用Hive的collect_set函数收集这些字段,返回一个数组;
3.使用数字下标,可以直接访问数组中的元素;
————————————————
原文链接:https://blog.csdn.net/qq_44033208/article/details/121255316

 

2.You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version

解决:

这里注意,以后在写sql 语句的时候,在表名,字段,加上 ` ,  ` 的位置在键盘esc下面

 

3.ParseException line 4:24 cannot recognize input near '18' '02' ':' in constant

解决:

这个实际上是因为hive中的保留关键字引起的,例如我写的字段是date。
在date加上反引号date即可。反引号:`  ,和上面一样多加注意

 

4.java.lang.RuntimeException: Can't parse input data: 'video240232'

解决:

网上解决方案如下:(并没有解决问题)

bin/sqoop export \
--connect "jdbc:mysql://hadoop102:3306/sqoop?useUnicode=true&characterEncoding=utf-8" \
--username root \
--password 123456 \
--table table1 \
--num-mappers 1 \
--export-dir /user/hive/warehouse/hivetest.db/table1 \
--input-fields-terminated-by ","

--input-null-string ‘\N’

--input-null-non-string ‘\N’

--input-fields-terminated-by ‘\001’

 

我解决的:

经过一番查看,由于自己的疏忽,将数据目录的路径写错了,这里大家注意一下这一点。

 

5.org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version

解决:
jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true
把这句话加在连接 字符串

 

大家如有其他想法,评论区留言

 

标签:group,04,05,--,hive,解决,date,input,日志
From: https://www.cnblogs.com/dzwj/p/16804570.html

相关文章

  • 20221304获奖感言和学习心得
    20221304获奖感言和学习心得获奖感言非常荣幸得到了娄老师的认可,获得了这份丰厚的奖品。在进入大学之前,我没有学过编程。一开学的时候确实有点不适应这样快的教学节奏,但......
  • 【转】ubuntu22.04桌面版开启root用户登陆
    ubuntu22.04桌面版默认不支持root用户登陆,测试环境每次都要敲个sudo,实在没有必要1.将下面两个文件/etc/pam.d/gdm-password和/etc/pam.d/gdm-autologin注释掉其中的一......
  • 大型数据库应用技术课堂测试05
    题目:Result文件数据说明:Ip:106.39.41.166,(城市)Date:10/Nov/2016:00:01:02+0800,(日期)Day:10,(天数)Traffic:54,(流量)Type:video,(类型:视频video或文章article)Id:8701(视......
  • 天翼云服务器ubuntu20.04安装Mysql8记录
    1、查看系统版本1root@wwqovahhked4rb48:~#uname-a2Linuxwwqovahhked4rb485.4.0-70-generic#78-UbuntuSMPFriMar1913:29:52UTC2021x86_64x86_64x86_......
  • 2004 Correlation Power Analysis with a Leakage Model
    一、汉明距离模型原理:CMOS电路中电流消耗与反转比特有关假设:相同数据下同时间总线比特位相同(不考虑非同步效应)、反转比特(0->1和1->0)消耗能量相同、消耗能量与......
  • 记录清理Oracle归档日志
    一、登录数据库1.切换到Oracle用户su命令–切换用户身份su命令来自于英文单词“switchuser”的缩写,其功能是用于切换用户身份。管理员切换至任意用户身份而无需密......
  • 每日习字|2020-05-25
    不堪盈手赠,还寝梦佳期海上生明月,天涯共此时。故人西辞黄鹤楼,烟花三月下扬州。孤帆远影碧空尽,唯见长江天际流。月落乌啼霜满天,江枫渔火对愁眠。姑苏城外寒山寺,......
  • java日志commons-logging/log4j/slf4j/logBack需要知道的几件事
    如果对于commons-loging、log4j、slf4j、LogBack等都已经非常清楚了,可以忽略本文。几次解决日志冲突问题时对这几个概念的简单总结,希望对这块基础没有理解透的同学能有所帮......
  • C语言零基础入门-指针-04
    C语言零基础入门-指针-04本节要点:1,指向一维数组的指针。2,指向二维数组的指针。3,指针的输出练习。01.指向一维数组的指针有意思的来了,指针指向数组的情况非常常见,同样也是一......
  • PXE无人值守安装ubuntu1804系统
       从以下截图可以看出,自动化安装ubuntu系统已经成功,进入安装软件包界面一开始错误原因: domain-name-servers配置错了,网络没通,后来改为114.114.114.114进行域名解......