首页 > 数据库 >NineData:通过一个SQL语句构建实时数仓

NineData:通过一个SQL语句构建实时数仓

时间:2023-11-14 11:55:33浏览次数:24  
标签:NineData 数仓 跨库 数据库 DSQL 查询 SQL 数据库系统 数据

随着企业数据量呈现出爆炸式增长,跨部门、跨应用、跨平台的数据交互需求越来越频繁,传统的数据查询方式已经难以满足这些需求。同时,不同数据库系统之间的数据格式、查询语言等都存在差异,直接进行跨库查询十分困难。

原生跨库查询的局限性

虽然 MySQL、Oracle、PostgreSQL 等数据库系统都提供了自身的跨库查询功能,但是存在诸多局限性:

  • 数据库类型限制:MySQL 的 Federated、Oracle 的 Database Links 功能均要求目标数据库也必须是相同类型的数据库,这限制了跨库查询功能的适用范围,不适用于异构数据库的跨库查询。
  • 额外性能损耗:自带的跨库查询功能可能会有 JOIN 操作带来的额外性能损耗,特别是在大规模数据查询或数据传输时,会增加系统负担,影响其他查询的效率。

这些局限性意味着数据库系统自带的跨库查询功能可能无法满足复杂多样的数据分析需求,特别是在异构数据库、大规模数据查询、有高性能高安全性方面需求等场景。

为解决这些问题,NineData DSQL 应运而生。

什么是 NineData DSQL ?

NineData DSQL 是针对多个同异构数据库系统进行跨库查询的功能,当前支持对表和视图进行 SELECT 操作。您可以在一个查询中访问多个数据库,获取分散在各个数据库中的有用信息,并且将这些信息聚合为一份查询结果返回,轻松实现跨多个库、多个数据源,乃至跨多个异构数据源的数据查询。

NineData DSQL 具有如下特性:

  1. 连接多个数据库系统:支持连接多个数据库系统,并确保这些数据库系统之间的兼容性。这些数据库系统可以来自不同的厂商或平台,且数据格式、存储方式、查询语言等可以存在差异。
  2. 统一的查询语法:DSQL 提供了统一的查询语法,您仅需使用一种语法即可跨多个异构或同构数据库进行查询,系统会自动将该语法解析并转换成不同类型数据源的查询语法进行下发查询。
  3. 结果整合和输出:整合同异构数据库系统的查询结果,并统一输出格式,方便您获取所需信息。您无需关心数据存储在哪个数据库中,只需通过一个查询就可以获得所需的结果。
  4. 数据隐私和安全保护:基于 NineData 的权限管控功能,支持对敏感数据进行脱敏处理、对访问权限进行控制等,保护数据的隐私和安全,防止数据泄露和非法访问。
  5. 图形化界面支持:提供一目了然的图形化界面,方便您进行可视化的查询和管理,提高您的工作效率。

易于记忆的 DSQL 查询语法

在 DSQL 中,无论是执行联表(视图)查询还是单表(视图)查询,指定来源数据源时都需要采用三段式语法,即<DBLINK 名称>.<库名|Schema 名>.<表名(视图名)>。

示例 1:跨异构源查询,从 DBLINK1(MySQL) 和 DBLINK2(Oracle) 中查询数据。

SELECT *
FROM DBLINK1.database_name.table_name a,
DBLINK2.schema_name.table_name b
WHERE a.id=b.id;

示例 2:单表(视图)查询,从 DBLINK1 中查询数据。

SELECT *
FROM DBLINK1.database.table_name
WHERE id=1;

如果您的库名或表(视图)名以数字开头,或使用了预留字段,则需要使用双引号("")包裹该名称,否则查询失败。例如:

SELECT * FROM dblink_mysql_3451."9zdbtest3".sbtest1;

什么情况下需要使用 DSQL?

  1. 企业级数据整合:企业经常需要从多个部门或系统中整合数据,以提供更全面的视角。通过 DSQL ,企业可以在一个查询中访问多个数据库,获取分散在各个数据库中的有用信息,然后将其整合在一起,方便数据分析和决策。
  2. 数据挖掘与分析:数据挖掘和分析需要大量的数据支持。通过 DSQL ,您可以在多个数据库中检索需要的数据,然后使用挖掘和分析工具对数据进行深入的研究和分析。
  3. 数据仓库:数据仓库是用于存储和管理大量数据的系统。通过 DSQL ,您无需搭建数据仓库,即可实现数据仓库的功能。

操作示例

5.1 查看需要查询的库表列信息

您可以在左侧导航栏查看需要查询的 DBLink 名、库名|Schema 名、表名、视图名、列名等信息,无需摸黑操作。

查看需要查询的库表列信息

5.2 编写跨库查询语句并执行

通过简单的查询 SQL 即可对多个同、异构数据源进行查询,支持对查询结果中的敏感字段进行脱敏。

编写跨库查询语句并执行

5.3 整合多表查询结果并导出

执行跨库查询后,系统会整合查询结果到一张表中,您可以对结果集执行导出操作。同时,还支持对结果集进行搜索。

整合多表查询结果并导出

5.4 收藏常用 DBLink

如果 DBLink 很多,您可以收藏常用的几个 DBLink,方便查找。

收藏常用 DBLink

综上所述,NineData DSQL 提供了全局视角审视您的数据,在减少了数据处理的复杂性的同时,提高了数据利用率,为企业提供了更灵活、高效和安全的方式来处理数据,可促进数据驱动的决策和业务发展,助力企业降本增效。

标签:NineData,数仓,跨库,数据库,DSQL,查询,SQL,数据库系统,数据
From: https://www.cnblogs.com/ninedata/p/17831291.html

相关文章

  • 关于sql server 只能查看特定数据库的某张表
    1.正常新建登录名--》在需要设置的数据库中新建用户(用户名和登录名一致、默认架构选择dbo)-->在对应的表或者存储过程给到对应的权限新建登录名新建数据库用户设置表对应的权限其他数据库无权限(但是其他数据库名称可以查看这一点怎么去避免)2.给public角色的访问任意......
  • 查询mysql数据量,表数量脚本
    #查询数据库中每个库的数据量SELECTtable_schemaAS"Database",SUM(data_length+index_length)/1024/1024AS"Size(MB)"FROMinformation_schema.TABLESGROUPBYtable_schema;#查询数据库中每个库的表数据量SELECTTABLE_SCHEMA,COUNT(*)FROMinformation......
  • SQL Server 分组排序后取第N条数据(或前N条)
    节选自https://blog.csdn.net/cxu123321/article/details/92059001分组取前N条数据SQLSELECT*FROM(SELECTROW_NUMBER()OVER(PARTITIONBYt1.XORDERBYt1.Y)ASRNUM,*FROMTable1t1)ASTWHERET.RNUM=NX:分组的字段;Y:排序的字段;N:第N条......
  • SQLyog 连接 MySQL8.0 提示密码错误(错误号码:2508)
    原因分析:MySQL8.0安装时自动为‘root’@'localhost’创建帐户,密码的加密方法发生了改变,因此SQLyog不能正常解析,才报出如上错误。解决方法:可解决先安装MySQL8.0并且已经已对操作过数据库后,再安装SQLyog首次登陆会出现密码错误。进入cmd输入(******是mysql的密码):mysq......
  • mysql数据表 Table is marked as crashed and should be repaired 的解决办法
    问题查询时,报  Tableismarkedascrashedandshouldberepaired 错误错误原因网上查了一下,错误的产生原因,有网友说是频繁查询和更新XXX表造成的索引错误,还有说法是Mysql数据库因某种原因而受到了损坏。如:数据库服务器突发性断电,在数据表提供服务时对表的源文件进行某......
  • Oracle sql自定义统计月范围
     思路: 1,使用SUBSTR(to_char(INSPECTION_DATE,'yyyy-mm-dd'),-2)取出天数, 2,使用case……when……then……判断取出的天数是否大于等于25号,如果是则将日期设置成下月第一天 如果小于等于24号,则设置成当月第一天 3,使用TRUNC(ADD_MONTHS(INSPECTION_DATE,1),'mm')增......
  • mysql-partition库-创建数据库表分区、展示表分区最新字段
    说明[tips]提供mysql数据库的分区表最新分区查询,支持分区字段为DATE或TO_DAYS(date_str)类型的数据表新建分区,依赖库包括:"pandas","pymysql","sqlalchemy".[ProvidethelatestpartitionqueryforthepartitiontableofMySQLdatabase,supportingpartitionfields......
  • Django中ORM如何执行原生sql语句操作数据库
    django中的ORM提供的操作功能有限,在模型提供的查询API不能满足实际工作需要时,可以在ORM中直接执行原生sql语句。Django提供两种方法使用原生SQL进行查询:一种是使用raw()方法,进行原生SQL查询并返回模型实例;另一种是完全避开模型层,直接执行自定义的SQL语句。另外就是用extra方法。......
  • wordpress SQL
     UPDATEwp_postsSETpost_content=REPLACE(post_content,"192.168.120.126:8000","计算机名:8000")  WHEREid=10 ;   修改ip地址后,导致图片失效 报语法错,跟mysql版本没有关系。   更改ip和切换主题都会导致文章排版和图片问题。有些主题是用markdown,有......
  • SQLserver中的递归如何实现
    在SQLServer中,可以使用递归CTE(通用表达式)来实现递归查询。CTE(通用表达式)是一种临时命名结果集,它只存在于查询语句的执行过程中。CTE可以在一个SELECT,INSERT,UPDATE或DELETE语句中使用,并且可以在同一个查询中递归引用自身。这使得递归查询成为可能。下面是一个使用递归CTE的示例:......