首页 > 数据库 >datax抽取mongodb数据到hive

datax抽取mongodb数据到hive

时间:2024-11-01 17:01:08浏览次数:1  
标签:STRING mongodb ods hive String datax type ID name

{
"job": {
"setting": {
"speed": {
"channel": 3
},
"errorLimit": {
"record": 0,
"percentage": 0.02
}
},
"content": [
{
"reader": {
"name": "mongodbreader",
"parameter": {
"address": [
"ip:27001"
],
"userName": "username",
"userPassword": "userpassword",
"dbName": "xxx",
"authDb": "xxx",
"collectionName": "xxx",
"column": [
  {
  "name": "_id",
  "type": "String"
  },
  {
  "name": "productId",
  "type": "String"
  },
  {
  "name": "deviceId",
  "type": "String"
  },
  {
  "name": "deviceNo",
  "type": "String"
  },
  {
  "name": "accountNo",
  "type": "String"
  },
  {
  "name": "commandId",
  "type": "String"
  },
  {
  "name": "params",
  "type": "Document"
  },
  {
  "name": "note",
  "type": "String"
  },
  {
  "name": "commandName",
  "type": "String"
  },
  {
  "name": "status",
  "type": "String"
  },
  {
  "name": "createTime",
  "type": "Long"
  },
  {
  "name": "sendTime",
  "type": "Long"
  },
  {
  "name": "finishTime",
  "type": "Long"
  },
  {
  "name": "operator",
  "type": "String"
  }
]
}
},
"writer": {
"name": "hdfswriter",
"parameter": {
"defaultFS": "hdfs://node151:8020",
"fileType": "orc",
"path": "/warehouse/tablespace/managed/hive/ods.db/ods_",
"fileName": "ods_",
"column": [
  {
  "name": "ID",
  "type": "STRING"
  },
  {
  "name": "PRODUCT_ID",
  "type": "STRING"
  },
  {
  "name": "DEVICE_ID",
  "type": "STRING"
  },
  {
  "name": "DEVICE_NO",
  "type": "STRING"
  },
  {
  "name": "ACCOUNT_NO",
  "type": "STRING"
  },
  {
  "name": "COMMAND_ID",
  "type": "STRING"
  },
  {
  "name": "PARAMS",
  "type": "STRING"
  },
  {
  "name": "NOTE",
  "type": "STRING"
  },
  {
  "name": "COMMAND_NAME",
  "type": "STRING"
  },
  {
  "name": "STATUS",
  "type": "STRING"
  },
  {
  "name": "CREATE_TIME",
  "type": "STRING"
  },
  {
  "name": "SEND_TIME",
  "type": "STRING"
  },
  {
  "name": "FINISH_TIME",
  "type": "STRING"
  },
  {
  "name": "OPERATOR",
  "type": "STRING"
  }
],
"writeMode": "append",
"fieldDelimiter": "^",
"compress": "SNAPPY"
}
}
}
]
}
}

 

标签:STRING,mongodb,ods,hive,String,datax,type,ID,name
From: https://www.cnblogs.com/chong-zuo3322/p/18520816

相关文章

  • 【Kettle的安装与使用】使用Kettle实现mysql和hive的数据传输(使用Kettle将mysql数据导
    文章目录一、安装1、解压2、修改字符集3、启动二、实战1、将hive数据导入mysql2、将mysql数据导入到hive一、安装Kettle的安装包在文章结尾1、解压在windows中解压到一个非中文路径下2、修改字符集修改spoon.bat文件"-Dfile.encoding=UTF-8"3、启动以......
  • ETLCloud遇上MongoDB:灵活数据流,轻松管理
    在当今数字化转型的大潮中,企业面临着数据管理的多重挑战。数据种类繁多、格式各异,传统关系型数据库往往难以满足这些复杂的需求。为了提升数据管理的灵活性与效率,越来越多的企业开始选择NoSQL数据库。而在众多NoSQL数据库中,MongoDB凭借其灵活的数据模型和强大的扩展性成为了佼佼者......
  • MongoDB关联另一个集合
    MongoDB本身并不支持传统关系数据库中的外键(foreignkey)概念,因为它是一个文档数据库,数据通常是以JSON格式存储的文档,并且不强制要求文档之间的关系。然而,你可以通过以下几种方式在MongoDB中实现类似外键的功能:1.引用(References)你可以在一个文档中存储另一个文档的ID,从而......
  • MongoDB的ORM 库
    MongoDB的ORM(对象关系映射)库主要有几个常用的选择,以下是一些比较流行的库及其特点:MongoEngine:(360)基于文档的ORM,允许使用Python类来定义MongoDB文档结构。提供了查询构建器,支持丰富的查询语法。适合于快速构建小型到中型应用。示例:frommongoengineimportDocument,......
  • 【解决MongoDB安装难题!】计算机丢失VCRUNTIME140D.dll?一招教你快速修复!
    在安装或运行Java的MongoDB相关程序时,如果遇到“无法启动此程序,因为计算机丢失VCRUNTIME140D.dll”的错误,通常是由于缺少MicrosoftVisualC++Redistributable包。VCRUNTIME140D.dll是VisualC++2015-2019Redistributable的一部分,用于支持C++应用程序的运行时库。以下是解......
  • 揭秘!SpringBoot与MongoDB连接池配置,高效数据库操作的秘密武器
    在SpringBoot中整合MongoDB并配置连接池,可以通过以下步骤实现。我们将使用SpringDataMongoDB来简化与MongoDB的交互,并配置连接池以提高性能和资源利用率。一、添加依赖首先,在你的pom.xml文件中添加必要的依赖:<dependencies><!--SpringBootStarterDataMongoDB-......
  • 013_Hive
    01:Hive基本概念将HQL转换为MapReduce程序:​ Hive的数据存储在Hdfs上​ hive分析数据传递称的实现是MapReduce​ 执行程序运行在YARN上Hive的架构Hive常用于数据分析,对实实时性要求不高Hive和数据库比较​ 查询语言​ 数据存储位置​ 数据更新​ 索引​ 执行......
  • MongoDB 部署指南:从 Linux 到 Docker 的全面讲解
    一、MongoDB简介MongoDB是一种NoSQL数据库,以文档模型存储数据,具备高性能、弹性扩展性和分布式架构等特点,非常适用于高并发和大数据量的场景。本文将从Linux和Docker环境开始讲解,帮助读者在不同环境下顺利部署MongoDB。二、在Linux(CentOS)上部署MongoDB2.1......
  • Spring Boot应用MongoDB
    1.添加Maven依赖在SpringBoot项目中,引入spring-boot-starter-data-mongodb依赖:<dependencies><!--MongoDBstarterdependencyforSpringBoot--><dependency><groupId>org.springframework.boot</groupId><......
  • 【SQL】Hive/Spark SQL笔记之时间函数、环比/同比/时间比较计算
    获取当天:'${zdt.format("yyyy-MM-dd")}'//获取上月月末select'${zdt.lastMonth().format("yyyy-MM-dd")}'T-1上月末select'${zdt.addDay(-1).lastMonth().format("yyyyMMdd")}'1个小时前select'${zdt.addHour(-1)......