首页 > 其他分享 >终于知道如何利用hive的日期转换函数进行日期格式的清洗啦~(之前用的外部数据清洗)

终于知道如何利用hive的日期转换函数进行日期格式的清洗啦~(之前用的外部数据清洗)

时间:2023-10-15 12:36:43浏览次数:42  
标签:result10 String ss hive yyyy 日期 table 清洗

1、创建合适格式的表result10

create table result10(
ip String,
time1 String,
day String,
traffic String,
type String,
id String)
row format delimited fields terminated by ',' stored as textfile;

2、将txt文件的数据插入到表中:

load data local inpath '/data/result.txt' into table result10;

3、将数据清洗后的数据加载到一个新的表中

create table newdata as
select ip,
date_format(from_unixtime(unix_timestamp(`time1`,'dd/MMM/yyyy:HH:mm:ss Z'), 'yyyy-MM-dd HH:mm:ss'),
'yyyy-MM-dd HH:mm:ss') as `time1`,
day,
traffic,
type,
id
from result10;

数据清洗完成:

内部清洗和外部清洗都ok啦~~

标签:result10,String,ss,hive,yyyy,日期,table,清洗
From: https://www.cnblogs.com/liuzijin/p/17765489.html

相关文章

  • Sublime Text 3 插入当前日期及时间
    importdatetimeimportsublime_plugin classAddCurrentTimeCommand(sublime_plugin.TextCommand):  defrun(self,edit):    self.view.run_command("insert_snippet",      {        "contents":"%s"%datetime.date......
  • hive大数据测试(时间数据清洗UDF打包到hive中调用自定义函数,hive表数据导出到本机)
    1.数据清洗pom依赖:<properties><maven.compiler.source>8</maven.compiler.source><maven.compiler.target>8</maven.compiler.target><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding&......
  • 使用python对txt文件的日期格式进行清洗
    我使用的Java对文件日期进行清洗,看到友友用的python清洗,就问了问应该如何做,代码是能看懂,但是若是要求我自己一步一步写的话,应该不太行~具体代码importrefromdatetimeimportdatetime#读取文件withopen('result3.txt','r')asfile:data=file.read()#使用正......
  • PHP 日期加月份
    function setMonth($time, $length){    // $time => 时间戳  $length => 加减几月(数字)    if (!is_numeric($time)) $time = strtotime($time);    if ($length > 0) $length = "+$length";    $hour = date(' H:i:s', $time); ......
  • Hive-服务启动和停止命令
    1、启动命令#!/bin/bashnohuphive--servicemetastore>>$HIVE_HOME/logs/metasotre.log2>&1&nohuphive--servicehiveserver2>>$HIVE_HOME/logs/hiveserver.log2>&1&2、停止命令#!/bin/bashprocess="hive"PID=$(p......
  • 虚拟机如何打开hive数据库
    1、启动hodoop2.、启动hive的服务:metastorecd/export/server/apache-hive-3.1.2-bin/bin./hive--servicemetastore后台启动nohup./hive--servicemetastore&3、启动hive的服务:hiveserver2服务./hive--servicehiveserver2nohup./hive--servicehivese......
  • hive数据清洗,导入mysql
    --用于清洗的表createtabledata1(`ip`stringcomment'城市',`date1`stringcomment'日期',`day`stringcomment'天数',`traffic`doublecomment'流量',`type`stringcomment'类型:视频video或文章art......
  • 转换日期数据的格式函数(hive)
    1、转换成标准格式--from_unixtime和unix_timestamp--默认情况下转成yyyy-MM-dd:HH:mm:ssselectfrom_unixtime(unix_timestamp('16/08/2018','dd/MM/yyyy'));2、原文件字段含有英文--月份英文selectfrom_unixtime(unix_timestamp('16/Aug/2018','dd/MMM/yyyy'......
  • java项目使用Mybatis-Plus插件,QueryWrapper日期开始-结束范围查询
    1、参数开始日期startTime、结束日期endTime挺好用,开始日期、结束日期当天都包含进去了,如果使用qw.between("create_time",startTime,endTime)方法是不含endTime结束日期当天的qw.apply(bCulresCardMvVO.getStartTime()!=null,"date_format(create_time,......
  • 明细表,根据开始日期的值,+1年赋值给结束日期JS
    <script>jQuery(document).ready(function(){varyxqqsrq=WfForm.convertFieldNameToId("yxqqsrq","detail_1");varyxjzrq=WfForm.convertFieldNameToId("yxjzrq","detail_1");//字段值改变事件......