首页 > 其他分享 >aws athena创建库表读取s3数据并查询

aws athena创建库表读取s3数据并查询

时间:2023-05-27 17:07:17浏览次数:34  
标签:log s3 aws int 库表 testlog year logs

建表

CREATE EXTERNAL TABLE testlogdb.testlog(
 `date` string, 
 `log`  string
)
PARTITIONED BY (year int,month int,day int)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES ('ignore.malformed.json'='true')
LOCATION 's3://fluent-bit-s3-gj/fluentbit-logs/test-log/'

运行repair分区

MSCK REPAIR TABLE default.test_logs;

查询

SELECT * FROM "testlogdb"."testlog" where log like '%"uid":"105470271911"%' and year=2023 and month=5 and day=24;

标签:log,s3,aws,int,库表,testlog,year,logs
From: https://blog.51cto.com/yht1990/6362534

相关文章

  • amzon s3/minio获取预签名上传url,及js使用预签名url上传文件
      $("#btnSubmit").click(function(event){varfile=$("#ipfile")[0].files[0];varcontentType=!!file.type?file.type:"video/x-flv";//请求api接口:调用amzons3/minio的sdk获取临时上传......
  • 关于AWS-VPC中的公有子网与私有子网-Public and private subnets
    关于AWS-VPC中的公有子网与私有子网的详细说明可以参考我们可以参考官网文档 AmazonVPC/ UserGuide 中有如下说明:PublicandprivatesubnetsIfasubnetisassociatedwitharoutetablethathasaroutetoaninternetgateway,it'sknownasa publicsubnet.I......
  • 监听文件夹下的文件变化, 并且传输到S3 (2)
     直接使用docker发布################whenfilecreatedtransferittoS3anddeleteit#########################3sudodockerrun-itd--privileged--restart=always--namefile_transfer_s3\-e'LISTENER_DIR=/opt/listener/'\-e'LISTE......
  • 关于AWS中VPC下的IGW-internet gateway的创建与说明
    关于AWS中VPC下有一个资源叫做 Internetgateways,也就是我们常说的IGW关于IGW,我们可以参考官网文档 AmazonVPC/ UserGuide中有如下说明:Aninternetgatewayisahorizontallyscaled,redundant,andhighlyavailableVPCcomponentthatallowscommunicationbetw......
  • CentOS7安装maven私服仓库nexus3教程
    大家好,我是程序员青戈,一个被Bug耽误了才艺的程序员......
  • 【全国产龙芯平台】迅为iTOP-LS3A5000_7A2000开发板+银河麒麟操作系统
       硬件准备 1.M.2.ssd硬盘(最好大于等于128G);2.迅为LS3A5000开发板;  3.U盘(需大于8g),制作启动盘使用;4.hdmi显示器;5.搭载linux环境的计算机。   安装步骤1制作启动盘我们首先使用命令查看U盘挂载节点位置。我们将iso镜像放入linux操作系统中,使用dd命令......
  • 部署aws命令配置管理机以及部署eksctl管理eks
    AWS命令部署curl"https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip"-o"awscliv2.zip"unzipawscliv2.zipsudo./aws/installaws--versionawsconfigurecurl-Ohttps://s3.us-west-2.amazonaws.com/amazon-eks/1.26.2/2023-03-17/bin/linu......
  • go ceph s3文件管理
    导入依赖gogetgopkg.in/amz.v1/awsgogetgopkg.in/amz.v1/s3创建用户在初始化连接之前,我们需要创建一个用户得到accessKey和secretKey,新增用户的指令如下:dockerexecceph-rgwradosgw-adminusercreate--uid="test"--display-name="testuser"封装使用packagemai......
  • Spring MVC +MyBatis3全注解实例详解
    SpringMVC3.0.5+Spring3.0.5+MyBatis3.0.4全注解实例详解(一):[url]http://www.blogjava.net/bolo/archive/2011/05/23/349655.html[/url]如何配置Eclipse,Maven,Jetty并运行工程.如是使用Tomcat的话,改插件为:[url]http://tomcat.apache.org/maven-plugin......
  • less3
     首先判断是什么闭合的类型,可以看出来是‘)的闭合类型。然后看是多少个字段的。  可以看出是3个字段的长度。然后判断是哪几个回显。 可以看出来是第二位和第三位,其实写到这我也不想写了,因为后面的是和之前的一样的。贴一下码?id=1\?id=1')orderby3--+?id=1')......