• 2024-09-03Pyspark中catalog的作用与常用方法
    文章目录Pysparkcatalog用法catalog介绍cache缓存表uncache清除缓存表cleanCache清理所有缓存表createExternalTable创建外部表currentDatabase返回当前默认库tableExists检查数据表是否存在,包含临时视图databaseExists检查数据库是否存在dropGlobalTempView删
  • 2024-09-01博客园-awescnb插件-geek皮肤优化-目录优化
  • 2024-09-01博客园-awescnb插件-geek皮肤优化-目录优化
  • 2024-08-27查看安装vs的相关配置
     "C:\ProgramFiles(x86)\MicrosoftVisualStudio\Installer\vswhere.exe"-all instanceId:50011384installDate:2023/12/417:15:19installationName:VisualStudio/17.10.0+34916.146installationPath:C:\ProgramFiles\MicrosoftVisualStud
  • 2024-08-16DuckDB_SQL-使用示例以及和PG之间的概念
    duckdbCatalog(目录):表示整个数据库或数据库管理系统。一个数据库服务器可以包含多个数据库,每个数据库都有自己的Catalog1.database--catalogcatalog_namedatabase:In‑Memoryvs.PersistentDatabasedatabase--database_listnew_db.my_schema:system
  • 2024-08-06《数据资产管理核心技术与应用》读书笔记-第二章:元数据的采集与存储
    《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书,全书共分10章,第1章主要让读者认识数据资产,了解数据资产相关的基础概念,以及数据资产的发展情况。第2~8章主要介绍大数据时代数据资产管理所涉及的核心技术,内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与
  • 2024-07-23postgresql 导出数据字典文档
    在PostgreSQL中,数据字典(或称系统目录)是由一系列的系统表组成,这些表包含了数据库对象的元数据,例如表、索引、视图、函数、触发器等。要导出数据字典文档,实际上是导出这些系统表中的信息。尽管PostgreSQL并没有直接提供一个工具来一次性生成完整的数据字典文档,但是你可以使用
  • 2024-07-221、Flink 的 Table API & SQL API 概述
    1)概览1.TableAPI&SQLFlink有两种关系型API来做流批统一处理:TableAPI和SQL。TableAPI是用于Scala和Java语言的查询API,它可以用一种非常直观的方式来组合使用选取、过滤、join等关系型算子。FlinkSQL是基于ApacheCalcite来实现的标准SQL。无论输入
  • 2024-06-20【Addressable】Catalog文件大小优化
    在Unity中使用Addressables系统时,AddressableCatalog文件的大小可能会影响加载时间和性能。以下是一些降低AddressableCatalog文件大小的方法:1.减少冗余的地址标签确保每个Addressable资产只使用必要的标签。避免给每个资产附加过多的标签,因为标签会增加Catalog文
  • 2024-06-16unitycatalog datagrics 开源的data&ai 多模catalog
    unitycatalogdatagrics开源的data&ai多模catalog包含的特性支持任意格式、引擎、资产的多摸接口 支持包含了deltalake,iceberg,uniform,paquert,csv。。。等格式,超越表,支持非结构化数据以及ai资产,插件化的架构,可以支持hms以及icebergrestcatalog以及其他插件(比如ai),与delt
  • 2024-06-11数据库-Duckdb-catalog和schema
    创建数据库1.会有一个或者两个文件.duckbd.wal 2.用户的数据库名称--databasename-database_oid数据库对象表的全限定名可表示为:Catalog名.Schema名.表名01.DuckDB'stwointernaldatabaseschemanames,systemandtemp.有两个内部的数据schema_nameT
  • 2024-06-09postgresql 数据库基本管理
    逻辑结构PostgreSQL教程--逻辑结构:实例、数据库、schema、表之间的关系数据库基本管理--查询所有数据库selectdatnamefrompg_catalog.pg_database;--创建数据库createdatabasejxwithencoding'UTF8'LC_COLLATE='C'LC_CTYPE='C'TEMPLATE=template1;--查询
  • 2024-06-04[pg]指定 schema 下所有用户或角色对 sequence
    在PostgreSQL中可以使用以下查询来获取指定schema下所有用户或角色对sequence的权限详细信息:查询指定schema下所有用户对sequence的权限:SELECTpg_catalog.pg_get_userbyid(g.grantee)ASgrantee,c.relnameASsequence_name,array_to_string(array
  • 2024-05-16React-入门手册-全-
    React入门手册(全)原文:zh.annas-archive.org/md5/2B8E3D6DF41679F5F06756066BE8F7E8译者:飞龙协议:CCBY-NC-SA4.0前言诸如Angular和React之类的项目正在迅速改变开发团队构建和部署Web应用程序到生产环境的方式。在本书中,你将学习到使用React入门所需的基础知识,并应
  • 2024-05-04Catalog
    Problem(P):P2508[HAOI2008]圆上的整点https://www.cnblogs.com/mfc007/p/17643618.htmlUVA1073GlenbowMuseumhttps://www.cnblogs.com/mfc007/p/17643619.html(S1)最小斯坦纳树https://www.cnblogs.com/mfc007/p/17643622.htmlUVA11400LightingSystemDesignhttps
  • 2024-05-01dbt docs generate 简单说明
    dbtdocsgenerate核心是获取dbt项目的元数据信息(包含了project的)以及相关table的(dbt模型相关的),然后通过提供的解析页面进行显示目前是基于静态处理的(先生成,然后基于纯web的解析渲染)对于展示方法很多,可以基于dbt的docsserve命令也可以基于自己的静态webserver(nginx或
  • 2024-04-18Trino418版本动态加载catalog不需要重启集群修改思路及实现2
       原来没事的时候改了一个这样的功能,当时也没有仔细研究,后来也没继续弄。详细可以参考 https://www.cnblogs.com/liuzx8888/p/17635913.html当时有1个问题:新增数据源需要每一个节点都去调取API注册,这样非常麻烦,最近闲下来又研究了一下,在原先的基础上做了一些改造。具体流
  • 2024-04-09openGauss升级脚本撰写
    概述重要提示:升级过程通过执行升级sql脚本实现系统表变更,这些脚本必须由开发人员在修改系统表的同时一并提供升级sql脚本,请将这些脚本代码提交至openGauss-server/src/include/catalog/upgrade_sql目录下,该目录结构如下所示。1.1.升级目录介绍src/include/catalog/up
  • 2024-04-08Kingbase-KDTS数据迁移mysql_to_kingbase
    一、启动kingbase服务cd/opt/Kingbase/ES/V8/Server/bin/启动 ./sys_ctlstart-D/opt/Kingbase/ES/V8/data/停止 ./sys_ctlstop-D/opt/Kingbase/ES/V8/data/ 二、启动kingbase自带的DTS数据同步服务cd  /opt/Kingbase/ES/V8/ClientTools/guitools/KDts/KDTS-WEB
  • 2024-04-08openGauss系统函数添加指导
    openGauss系统函数添加指导1、函数架构简介openGauss内函数的可以分为两个部分:​身份注册声明:openGauss中存在一个系统表pg_proc,这个表存放了所有函数的基本元信息,相当于函数的“户口本”,只有在其中可以查到的函数,才可以在SQL语句中进行调用,才有“数据库函数”的身份。
  • 2024-03-30MogDB/openGauss学习笔记-获取对象DDL
    MogDB/openGauss学习笔记-获取对象DDL本文出处:https://www.modb.pro/db/399230内置函数omm2=#\df*defListoffunctionsSchema|Name|Resultdatatype|
  • 2024-03-29数据库对象大小统计脚本
    获取数据库排名前20的表selectt.table_catalogasdb,n.nspnameasschemaname,c.relname,c.reltuples::numericasrowcount,sys_size_pretty(sys_table_size('"'||nspname||'"."'||relname||
  • 2024-02-01SharePoint Online 启用网站集 App Catalog
    前言最近,有个项目需要使用SharePointFramework解决方案,但是,网站集没有启用对应的AppCatalog功能,所有,就需要用PowerShell来进行启用。正文下面就是对应的命令,我这里用了UseWebLogin,意思是会弹出一个登录的Web界面,从里面输入管理员的账号密码,然后用来执行下面
  • 2024-01-09dremio nessie 集成玩法
    昨天我简单写了dremio集成nessie的玩法,实际上dremio与nessie的集成可以分为两大类,一类是使用nessie做为catalog服务(当然也是支持写入iceberg的),一类是基于外部工具(spark,flink)使用nessie做为metadatastorage然后dremio查询参考玩法图外部工具类的catalog类的此时ness
  • 2023-12-30dremio nessie 集成玩法
    昨天我简单写了dremio集成nessie的玩法,实际上dremio与nessie的集成可以分为两大类,一类是使用nessie做为catalog服务(当然也是支持写入iceberg的),一类是基于外部工具(spark,flink)使用nessie做为metadatastorage然后dremio查询参考玩法图外部工具类的catalog类的