首页 > 其他分享 >hive事务得设置

hive事务得设置

时间:2023-11-08 20:12:05浏览次数:24  
标签:product set 事务 hive 设置 date true

1. 通过命令行方式开启事务,当前session有效

set hive.support.concurrency = true;
set hive.enforce.bucketing = true;
set hive.exec.dynamic.partition.mode = nonstrict;
set hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.DbTxnManager;
set hive.compactor.initiator.on = true;
set hive.compactor.worker.threads = 1; 

2. 通过配置文件hive-site.xml

<property> 
    <name>hive.support.concurrency</name> 
    <value>true</value>
</property>
<property> 
    <name>hive.txn.manager</name> 
    <value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value>
</property>

3. 通过UI工具(如Ambari)设置

按照上面的方式之一开启Hive事务后,创建如下的支持事务的分桶表:

create table dim_Product
(
 product_sk int ,
 product_code int ,
 product_name varchar(128),
 product_category varchar(256),
 version varchar(32),
 effective_date date,
 expiry_date date
)
-- 在Hive中只有分桶表支持事务
clustered by (product_sk ) into 8 buckets
-- 设置属性transactional'='true'开启事务支持
stored as orc tblproperties('transactional'='true');

 

标签:product,set,事务,hive,设置,date,true
From: https://www.cnblogs.com/chong-zuo3322/p/17818175.html

相关文章

  • hive3.0新特性
    hive3.0新特性:1、不再支持MR取而用Tez查询引警且支持两种查询模式.Container和LLAP2、HiveCLI不再支持(被beeline取代)3、SQLStandardAuthorization不再支持,且默认建的表就已经是ACID表。4、支持“批查询”(TEZ)或者“交互式查询”(LLAP)5、其他特性。(1)物化视图重写......
  • hive ACID事务得应用场景
     Hive的ACID语义可以完成以下使用场景:1、流数据的接入。许多用户都使用ApacheFlume,ApacheStorm,orApacheKafka将流式数据导入Hadoop集群。这些工具都是每秒百万行级的数据写入,而Hive只能每十五分钟到一个小时添加一次分区。快速的增加分区会对表中的分区数量形成压力......
  • vue2获取cookie/删除cookie/设置cookie
    起因,访问不同路由跳到首页/需登录账号demo<template><div><button@click="setCookie">设置Cookie</button><button@click="getCookie">获取Cookie</button><button@click="deleteCookie">删除Cook......
  • 基于hive旅游数据的分析与应用-计算机毕业设计源码+LW文档
    摘 要随着计算机技术发展,计算机系统的应用已延伸到社会的各个领域,大量基于网络的广泛应用给生活带来了十分的便利。所以把旅游数据管理与现在网络相结合,利用计算机搭建旅游数据的分析与应用系统,实现旅游数据的信息化。则对于进一步提高旅游数据管理发展,丰富旅游数据管理经验能起......
  • 金蝶云星空BOS设计器中基础资料字段属性“过滤”设置获取当前界面的基础资料值作为查
     背景说明序列号档案是基础资料,资料里面有组织和客户,都是基础资料的方式。 业务需求售后单表头有客户和组织,明细有序列号,选择序列号的时候,以表头的客户和组织作为选择序列号的过滤条件 格式基础资料的过滤字段的标识=GetValue(当前界面的过滤字段的标识)--如果基础资......
  • Docker容器间的网络设置
    1、构建自定义docker网络dockernetworkcreate-dbridgedocker_Net#其中,-d指定了docker的网络类型为bridge类型,并自定义docker网络的名称为docker_Net创建成功后,用dockernetworkls查看系统的docker网络: 2、创建docker容器dockerrun-it--rm\--namebusybox_2\......
  • Linux文件权限设置(1)
    Linux文件权限设置(1)总述:Linux系统一般将文件可存/取访问的身份分为3个类别:owner(所有者)、group(所属组)、others(其他),且3种身份各有read(读)、write(写)、execute(执行)等权限。1、权限介绍什么是权限?在多用户(可以不同时)计算机系统的管理中,权限是指某个特定的用户具有特定的系统资源使......
  • MySQL的存储引擎、事务补充、MySQL的锁机制、MySQL的日志
    MySQL的存储引擎概述数据库存储引擎是数据库底层软件组织,数据库管理系统(DBMS)使用数据引擎进行创建、查询、更新和删除数据。不同的存储引擎提供不同的存储机制、索引技巧、锁定水平等功能。现在许多不同的数据库管理系统都支持多种不同的数据引擎。MySQL的核心就是存储引擎。用户可......
  • SQL Server 事务处理 回滚事务
     创建表:SETANSI_NULLSONGOSETQUOTED_IDENTIFIERONGOCREATETABLE[dbo].[t1]([Id][int]NOTNULL,[c1][nvarchar](50)NULL,[c2][datetime]NULL,CONSTRAINT[PK_Table1]PRIMARYKEYCLUSTERED([Id]ASC)WITH(PAD_INDEX=OFF,S......
  • 台达PLC和昆仑通态触摸屏通讯设置
    今天,我们来一起学下下台达PLC与触摸屏之间无线通信的实现方法。其中触摸屏作为主站,台达PLC作为从站,并采用日系PLC专用无线通讯终端DTD435MC,作为实现无线通讯的硬件设备。台达PLC和触摸屏通讯关键是对于通讯参数的设置。触摸屏设置首先打开设备组态对话框如图,双击设备窗口对话框。显......