首页 > 数据库 >SparkSql 写 Es

SparkSql 写 Es

时间:2023-09-22 17:34:42浏览次数:33  
标签:Es id2 write SparkSql table nodes id es

官方文档

key 备注
es.write.operation index(默认)添加新数据,旧数据被替换,重新索引;create添加新数据,数据存在抛出异常;update 更新现有数据,不存在抛出异常,upsert 插入及更新
es.mapping.id _id es的doc_id

出仓脚本exg:

CREATE TEMPORARY VIEW table_name 
(
    `id` STRING COMMENT 'id',
    `id2` BIGINT COMMENT 'id2'
) USING org.elasticsearch.spark.sql OPTIONS (
    resource 'index_version/_doc',
    nodes 'xxx'
     	,port '9200'
        ,scroll_size '50'
        ,nodes_client_only 'true'
        ,nodes_data_only 'false'
		,es.mapping.id 'id'
        ,es.write.operation 'upsert'
        ,es.batch.write.retry.count '6'
        ,es.batch.write.retry.wait '20s'
);

-- 只出仓维度
insert into table table_name
(select id,
        id2
 from table_name_source
 where xxx
)

标签:Es,id2,write,SparkSql,table,nodes,id,es
From: https://www.cnblogs.com/eiffelzero/p/17722979.html

相关文章

  • ESP8266串口WiFi模块的四大创新型应用领域分析
    ESP8266串口WiFi模块顾名思义,这是一款基于ESP8266方案的串口WiFi模块,可将用户的物理设备连接到WiFi无线网络上,进行互联网或局域网通信,实现联网功能。ESP8266串口WiFi模块是一种适用性强、应用范围广泛的WiFi模块。 ESP8266串口WiFi模块根据当前物联网市场发展趋势,ESP8266串口WiFi......
  • ClassNotfoundException:java.net.InetAddress$CacheEntry
    一个需求,需要修改本地的dns解析,去验证业务的正确性,修改本地的hosts文件需要频繁的修改本地磁盘文件。使用工具包(https://github.com/tanhaichao/javahost)这个工具类实际是通过反射机制,去修改了InetAddress中的cache值,来实现dns解析的修改。CloseableHttpClient方法在做connect的......
  • 聊聊wireshark的进阶使用功能
    1.前言emmm,说起网络知识学习肯定离不来wireshark工具,这个工具能够帮助我们快速地定位网络问题以及帮助正在学习网络协议这块的知识的同学验证理论与实际的一大利器,平时更多的只是停留在初步的使用阶段。也是利用部门内部的网络兴趣小组的讨论机会,私下对wireshark的一些进阶功能,......
  • # [Codeforces Round 898 (Div. 4)] E. Building an Aquarium
    CodeforcesRound898(Div.4)E.BuildinganAquariumYoulovefish,that'swhyyouhavedecidedtobuildanaquarium.Youhaveapieceofcoralmadeof\(n\)columns,the\(i\)-thofwhichis\(ai\)unitstall.Afterwards,youwillbuildat......
  • element ui 的messageBox中绑定vnode节点
    <template><divclass="about"><h1>Thisisanaboutpage</h1><el-buttontype="primary"size="default"@click="onTest">测试</el-button><div></div&......
  • 微信小程序全局变量(globalData)和缓存(StorageSync)的区别和用法
    globalData和storage的区别一、app.globalData是全局变量,下次进入的时候,就要重新获取,一般用于:1、保存一些可能涉及安全类的数据,例如资源类,每次需要很准确的,就建议用全局变量。2、全局变量每次关闭小程序重新打开的时候,都会进行初始化更新。二、缓存(StorageSync)本地存储,storage......
  • Typescript 测试驱动开发 TDD (15)
    异步测试(Asynchronoustests)正如我们在探索JavaScript和TypeScript时所看到的,我们编写的大部分代码都是异步的。这意味着我们无法准确控制回调函数何时被调用,或者Promise何时解析,因为我们正在等待一个超出我们控制范围的事件发生。这经常在单元测试中引起问题,在这种情况下,我们......
  • 聊聊wireshark的进阶使用功能 | 京东云技术团队
    1.前言emmm,说起网络知识学习肯定离不来wireshark工具,这个工具能够帮助我们快速地定位网络问题以及帮助正在学习网络协议这块的知识的同学验证理论与实际的一大利器,平时更多的只是停留在初步的使用阶段。也是利用部门内部的网络兴趣小组的讨论机会,私下对wireshark的一些进阶功能,比......
  • ABAP-AES加密解密
    1REPORTytestdzp.23FORMb.45DATA:lv_encryptTYPEstring."加密前的string类型6DATA:lv_encrypt_xTYPExstring."加密前的xstring类型78DATA:lv_encrypt_afterTYPEstring."加密后的string类型9DATA:lv_encrypt_afte......
  • Typescript 测试驱动开发 TDD (14)
    返回值的监视器 (Spiesreturningvalues)当我们希望模拟函数的返回值时,我们可以轻松地从模拟实现中返回一个值。作为示例,请考虑以下类:1classMyMockedClass{2functionToBeMocked():number{3return5;4}5}在这里,我们有一个名为MyMockedCl......