首页 > 数据库 >数据库_DuckDB-extension-读取clickhouse数据

数据库_DuckDB-extension-读取clickhouse数据

时间:2024-08-22 17:28:46浏览次数:11  
标签:extension DuckDB duckdb extensions https mysql clickhouse

duckdb

  练习学习sql的新选择-用duckdb代替mysql个人最佳分析数据库
   01.duckdb和依赖的parquet、httpfs插件
   02.测试duckdb是否能正常使用OSS,
   03.在postgresql中使用 pg_duckdb 访问oss内的parquet文件

duckdb扩展

 duckdb_mysql.    DuckDB to directly read and write data from a MySQL database instance
 sqlite_scanner.  DuckDB to directly read and write data from a SQLite database file
 postgres_scanner DuckDB to directly read and write data from a running Postgres database instance.
 
 duckdb_httpfs    http, https, s3
 duckdb_spatial
 
 Postgres extension for DuckDB 
        pg_duckdb https://github.com/duckdb/pg_duckdb
 parqut数据	 
步骤		
 1.MongoDB数据导出json - MongoDB的全量数据 --json 
 2.Duckdb读取json  
     create table duck_t1 as SELECT * FROM read_json_auto('t1.json');
 3.Duckdb映射远端MySQL mysql_dat库,并起一个数据库别名 mysql_alias 
     ATTACH 'host=192.168.1.1 user=admin password=123456 port=3306 database=mysql_dat' AS mysql_alias (TYPE mysql_scanner);
 4.Duckdb中操作mysql数据库  
    create table mysql_alias.t1 as SELECT * EXCLUDE('_id') FROM me.t1;		

 扩展下载: linux_amd64_gcc4   windows_amd64 osx_arm64  osx_amd64

https://extensions.duckdb.org/v1.0.0/linux_amd64_gcc4/httpfs.duckdb_extension.gz

Duckdb第三方扩展

下载:	https://community-extensions.duckdb.org/v1.0.0/linux_amd64_gcc4/chsql.duckdb_extension.gz 
 解压: gzip -dk	chsql.duckdb_extension.gz 	
    ,-k选项表示保留解压前的原始文件,

参考

把MongoDB的全量数据导入到MySQL里 https://blog.51cto.com/hcymysql/10226864	 
https://duckdb.org/docs/extensions/core_extensions.html
https://community-extensions.duckdb.org/list_of_extensions.html
https://github.com/lmangani/duckdb-extension-clickhouse-sql

标签:extension,DuckDB,duckdb,extensions,https,mysql,clickhouse
From: https://www.cnblogs.com/ytwang/p/18374373

相关文章

  • 【Azure Fabric Service】Service Fabric部署失败问题 Provisioning of VM extension
    问题描述ServiceFabric部署失败,错误信息:ProvisioningofVMextensionConfigureVMhastimedout.  Extensionprovisioninghastakentoolongtocomplete.Theextensiondidnot reportamessage.Moreinformationontroubleshootingisavailableat https://aka......
  • Install clickhouse
    Installscript#!/bin/sh-eOS=$(uname-s)ARCH=$(uname-m)DIR=if["${OS}"="Linux"]thenif["${ARCH}"="x86_64"-o"${ARCH}"="amd64"]then#Requireatleastx86-64......
  • 问题:ETL中写入数据到Clickhouse抛出 Code: 27. DB::ParsingException: Cannot parse i
    问题描述问题:ETL中写入数据到Clickhouse抛出Code:27.DB::ParsingException:Cannotparseinput问题原因:目标字段的长度和精度不足以容纳源字段问题解决方法:案例1:源是timestamp,目标是datetime修改结果:创建目标表的时候选择高精度的字段类型案例2:源是带有小数的......
  • 使用duckdb加载mysql
    安装duckdbhttps://duckdb.org/docs/installation/index加载mysql扩展https://duckdb.org/docs/extensions/mysql.html离线安装的话,可以等INSTALLmysql;超时后,根据它提示的URL到有网环境下载,再传到服务器挂载Nginx,修改/etc/hosts指向,再重新执行INSTALL。Demo代码如下:import......
  • 解锁强强组合: 使用 Kafka + ClickHouse 快速搭建流数据实时处理平台(DoubleCloud 博
    我们想要解决的问题让我们深入一个现实场景:设想你负责汇总多个销售点系统产生的大量数据。这些数据需要被实时处理并在高级分析仪表板上展示,以提供全面的洞察。在数据处理领域,速度至关重要。ClickHouse作为速度之王,它从不减速且异常迅速。其在并发处理方面的高效性以及成本效......
  • .NET Core 里的优秀日志框架Serilog、NLog、Log4Net、Microsoft.Extensions.Logging
    在.NETCore中,Serilog、NLog、Log4Net、Microsoft.Extensions.Logging都是流行的日志记录框架,它们各自具有不同的特点和用法。以下是对这些日志框架使用方法的概述:目录1.Serilog2.NLog3.Log4Net4.Microsoft.Extensions.Logging1.Serilog特点:可配置性强,支持链式......
  • @clickhouse/client-web部署后出现ClickHose query error:crypto.randomUUID is not a
    crypto.randomUUID报错我这里是因为使用使用@clickhouse/client-web组件,在服务器部署后在浏览器访问界面导致的crypto.randomUUIDisnotafunction报错如果你用http://localhost:端口,在服务器浏览器上访问这个部署的页面,发现不会报错,这是因为,你使用localhost访问......
  • 适配iOS18 Widget Extension控制中心新功能:ControlWidgetToggle和ControlWidgetButton
    热烈欢迎,请直接点击!!!进入博主AppStore主页,下载使用各个作品!!!注:博主将坚持每月上线一个新app!!支持原创,博客园原文链接:https://www.cnblogs.com/strengthen/p/18362397文末可以有demo下载。首先查看WWDC2024的官方视频:WWDC2024将App控件扩展到系统级别:https://developer.apple......
  • DuckDB_SQL-使用示例以及和PG之间的概念
    duckdbCatalog(目录):表示整个数据库或数据库管理系统。一个数据库服务器可以包含多个数据库,每个数据库都有自己的Catalog1.database--catalogcatalog_namedatabase:In‑Memoryvs.PersistentDatabasedatabase--database_listnew_db.my_schema:system......
  • clickhouse_mergeTree
    MergeTree类型Clickhouse中最强大的表引擎当属MergeTree(合并树)引擎及该系列(*MergeTree)中的其他引擎。MergeTree系列的引擎被设计用于插入极大量的数据到一张表当中。数据可以以数据片段的形式一个接着一个的快速写入,数据片段在后台按照一定的规则进行合并。相比在插入时不......